Neu robots.txt zulassen Einstellung

kutti

Gut bekanntes Mitglied
Hallo,
leider finde ich die Einstellung der robots.txt im Backend nicht. Google zeigt mir neuerdings einen Fehler an (siehe Bild im Anhang). Was muss ich wo umstellen, bzw. anders eintragen? Wenn mir jemand helfen könnte, wäre dies sehr nett.

Hier die Einstellungen in der Datei:

User-agent: *

Disallow: /navi.php

Disallow: /druckansicht.php

Disallow: /suche.php

Disallow: /bestellabschluss.php

Disallow: /bestellvorgang.php

Disallow: /jtl.php

Disallow: /pass.php

Disallow: /registrieren.php

Disallow: /warenkorb.php

Disallow: /admin

Disallow: /admin/*

Disallow: /dbeS/*
 

Anhänge

  • Unbenannt.jpg
    Unbenannt.jpg
    74,6 KB · Aufrufe: 160
Zuletzt bearbeitet:

en001

Sehr aktives Mitglied
15. März 2017
444
43
Damit ist nicht die robots.txt gemeint sondern die von ebay.
Im Shop ist eine Weiterleitung zu ebay drin.
Die könnte in der .htaccess stecken.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Genau, ruf ma! deine Url mit /robots.txt auf, da landest du bei ebay, da musst du aber sehr eigenartige Sachen gemacht haben in der htaccess oder?
 

kutti

Gut bekanntes Mitglied
Hallo,
danke für Eure antworten.
Ich habe nichts gemacht in der htaccess , das ist die original Datei von jtl. Na hoffentlich finde ich den Fehler. Ich habe nämlich keine Ahnung davon. :( Vielleicht kann es sich ja mal jemand anschauen?

<IfModule mod_setenvif.c>
<IfModule mod_headers.c>
<FilesMatch "\.(bmp|cur|gif|ico|jpe?g|png|svgz?|webp)$">
SetEnvIf Origin ":" IS_CORS
Header set Access-Control-Allow-Origin "*" env=IS_CORS
</FilesMatch>

SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
</IfModule>
</IfModule>

<IfModule mod_filter.c>
AddOutputFilterByType DEFLATE \
"application/atom+xml" \
"application/javascript" \
"application/json" \
"application/ld+json" \
"application/manifest+json" \
"application/rdf+xml" \
"application/rss+xml" \
"application/schema+json" \
"application/vnd.geo+json" \
"application/vnd.ms-fontobject" \
"application/x-font-ttf" \
"application/x-javascript" \
"application/x-web-app-manifest+json" \
"application/xhtml+xml" \
"application/xml" \
"font/eot" \
"font/opentype" \
"image/bmp" \
"image/svg+xml" \
"image/vnd.microsoft.icon" \
"image/x-icon" \
"text/ cache-manifest" \
"text/css" \
"text/html" \
"text/javascript" \
"text/plain" \
"text/vcard" \
"text/vnd.rim.location.xloc" \
"text/vtt" \
"text/x-component" \
"text/x-cross-domain-policy" \
"text/xml"

<IfModule mod_mime.c>
AddEncoding gzip svgz
</IfModule>
</IfModule>

<IfModule mod_deflate.c>
<FilesMatch "\\.(js|css|html|htm|php|xml)$">
SetOutputFilter DEFLATE
</FilesMatch>
</IfModule>

<IfModule mod_expires.c>
ExpiresActive on
ExpiresDefault "access plus 1 months"
</IfModule>

<IfModule mod_headers.c>
Header unset ETag

Header set X-UA-Compatible "IE=edge"
Header set X-Content-Type-Options "nosniff"
Header unset X-Powered-By

<FilesMatch "\.(eot|otf|tt[cf]|woff2?)$">
Header set Access-Control-Allow-Origin "*"
</FilesMatch>

<FilesMatch "\.(appcache|atom|bbaw|bmp|crx|css|cur|eot|f4[abpv]|flv|geojson|gif|htc|ico|jpe?g|js|json(ld)?|m4[av]|manifest|map|mp4|oex|og[agv]|opus|otf|pdf|png|rdf|rss|safariextz|svgz?|swf|topojson|tt[cf]|txt|vcard|vcf|vtt|webapp|web[mp]|webmanifest|woff2?|xloc|xml|xpi)$">
Header unset X-UA-Compatible
</FilesMatch>
</IfModule>

<IfModule mod_rewrite.c>
RewriteEngine on

#REWRITE ANPASSUNG 1 (REWRITEBASE)
#Wenn Ihr Shop in einem Unterverzeichnis (also z.B. meinedomain.de/meinverzeichnis) installiert ist, so kommentieren Sie die kommende Zeile aus und passen Sie den Verzeichnisnamen an
#RewriteBase /

#REWRITE ANPASSUNG 2 (auf www.meinedomain.de umleiten)
#Ihr Shop sollte nicht unter www.meinedomain.de und nur meinedomain.de erreichbar sein, siehe: http://guide.jtl-software.de/index....tion#4._Einrichtung_einer_Domainweiterleitung
#RewriteCond %{HTTP_HOST} ^meinedomain.de
#RewriteRule ^(.*)$ http://www.meinedomain.de/$1 [r=301,L]

#Regeln fuer das Rewrite der URLs von JTL-Shop4
#Aendern Sie an diesen Zeilen nichts!
RewriteRule ^((urllist|sitemap_).*\.(xml|txt)(\.gz)?)$ includes/sitemap.php?datei=$1 [L]
RewriteRule ^export/((sitemap_).*\.(xml|txt)(\.gz)?)$ $1 [L]
RewriteRule ^asset/(.*)$ includes/libs/minify/?g=$1 [L]
RewriteRule ^robots.txt$ robots.php [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule ^. index.php [L]
</IfModule>

FileETag None
#Server Signatur deaktivieren
#ServerSignature Off


php_value max_execution_time 120
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
kann das sein das du bei dir im Shop in den weiterleitungen was eingetragen hast was nicht da drin stehen sollte.
Wenn du wirklich keine AHnung hast solltest du dringend jemanden schauen lassen
upload_2017-5-2_10-44-36.png
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Wenn du nie eine angelegt hast, ja dann kill die mal alle, die linke seite sieht teilweise komisch aus, links ist ja immer das was jemand versucht hat aufzurufen.
Hast du denn eine robots.php da bei dir liegen, denn normal wird diese ja aufgerufen, poste mal bitte den inhalt der der robots.php.

Ich bin jetzt nicht sicher wann die interne Umleitung greift, wenn die Datei vorhanden ist sollte nichts passieren würde ich sagen.
 

elevennerds.de

Sehr aktives Mitglied
23. September 2015
1.187
179
Das sind 43.000 Weiterleitungen, ich fürchte, dass Du ein Sicherheitsproblem hast, da diese Weiterleitungen automatisch angelegt werden. Ich würde den Shop abschalten und mich an den JTL-Support wenden bzw. Deinem Service-Partner.

MfG

Rene
 
  • Gefällt mir
Reaktionen: kutti

kutti

Gut bekanntes Mitglied
Das ist die robots.php

<?php
/**
* @copyright (c) JTL-Software-GmbH
* @license http://jtl-url.de/jtlshoplicense
*/
ob_start();
require_once dirname(__FILE__) . '/includes/globalinclude.php';

$robotsContent = file_get_contents(PFAD_ROOT . 'robots.txt');

if (file_exists(PFAD_ROOT . PFAD_EXPORT . 'sitemap_index.xml') && strpos($robotsContent, 'Sitemap: ') === false) {
$robotsContent .= PHP_EOL . 'Sitemap: ' . Shop::getURL() . '/sitemap_index.xml';
}

ob_end_clean();
header('Content-Type: text/plain', true, 200);

echo $robotsContent;
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Das sind ja nur Links, die versucht wurden aufzurufen, da würde ich nicht gleich von einem Sicherheitsproblem sprechen, und bei der Anzahl hab ich schon weitaus schlimmeres gesehen, da kann auch einiges durch fehlerhaften html code kommen, der sich dann als Link genommen wird.

Aber ja du solltest den support oder einen SP bemühen, ohne Glaskugel wird das keiner finden ohne sich das direkt auf dem Webspace anzuschauen, wenn es immernoch passiert obwohl die gelöscht wurden.
 

gthomas

Aktives Mitglied
4. April 2017
2
1
Geht es hier um "deine-stickerei.de" oder um "deinestickerei.de"?

Die eine (deinestickerei.de) leitet auf einen ebay- shop weiter, hinter der anderen (deine-stickerei.de) liegt ein JTL-Shop. Bei letzterer stimmt auch der Google-Eintrag, dort werden keine Searchbots o.ä. blockiert.
 
  • Gefällt mir
Reaktionen: kutti

gthomas

Aktives Mitglied
4. April 2017
2
1
Die Seite taucht aber einwandfrei im Google-Index auf. Die hat auch nicht die Probleme, die du oben mit dem Screenshot gepostet hast.
Soweit das von hier aus erkennbar ist, ist dein Shop jedenfalls sauber in Google gelistet und hat auch keine Probleme mit der robots.txt! Das hat nur der Shop "deinestickerei.de" - aber das ist nicht deiner, sondern ein ebay-Shop.

Auf dem Screenshot weiter unten ist meines Wissens nach lediglich das Logging drauf, sprich welche URLs jemand irgendwann mal aufgerufen hat. Das kann bei befallenen Shops ein Indiz dafür sein, wo der Angreifer "her kam" - in den meisten Fällen werden das aber URLs sein, die jemand (wie schon erwähnt) eher zufällig generiert hat: Durch klicken auf defektes HTML-Markup, welches dir den JS-Code und Co zerstört.

Du kannst dir alles gern nochmal Sicherheitsmäßig überprüfen lassen. Aber das ursprüngliche "google und robots.txt"-Problem hat ein anderer Shop, nicht deiner. Da hast du wohl die URL zum Shop im Screenshot nicht genau gelesen :)
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
Ach das sehe ich ja jetzt erst, ich bin von dem LInk ausgegangen der in der ersten Grafik ist, und hab auch nur den LInk mit robots.txt geprüft
bring uns mal alle schön durcheinander ;)

Dann brauchst du auch keinen JTL Support, ein Sicherheitsproblem hast du wie ich schon sagte, wegen der weiterleitungen da nicht, die sehen nur doof aus.
 
  • Gefällt mir
Reaktionen: kutti

holzpuppe

Sehr aktives Mitglied
14. Oktober 2011
1.683
242
Leipzig
Hm, ich hab mal bei Denic nachgeschaut. Ok sind tatsächlich 2 verschiedene Inhaber. Ich würde dir in deinem Fall anraten noch eine andere URL zu holen die eindeutiger zu deinem Shop gehört. deine-stickerei.de und deinestickerei.de sind zu ähnlich und wird bei Kunden öfter mal Verwirrung stiften. Du kannst dir ja mal Gedanken machen ob du den Inhaber von deinestickerei.de fragen möchtest, ob er gewillt ist zuverkaufen. ;) (deinestickerei.de läuft bei ebay ins leere. Also Ahnung scheint er nicht so recht zu haben, oder den Shop gibt es nicht mehr.)
 
  • Gefällt mir
Reaktionen: kutti

kutti

Gut bekanntes Mitglied
Ehrlich gesagt, mir ist es selbst nicht aufgefallen, das sich nicht um meinen eigenen Shop handelte .... händevormkopfklatsch
Sorry für die Umstände die ich Euch gemacht habe.

Aber das mit den Weiterleitungen ist doch aber trotzdem nicht normal oder?
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.639
1.583
Berlin
doch
ich kann deinen shop mit sinnlosen links in jeglicher form zuballern, niemand hindert mich daran, es sei denn da ist irgendwo im shop eine Sperre, je IP nur eine umleitung oder ähnliches aber das glaube ich vorerst, bis ich was anderes gehört habe nicht.
 
  • Gefällt mir
Reaktionen: kutti