Robots.txt JTL Online-Shop

[dora_k]

Hallo an alle,

bei der Search Console von Google erhalte ich die Fehlermeldung:

Das Crawlen wurde verschoben, weil nicht auf robots.txt zugegriffen werden konnte.

Meine robots.txt Datei sieht folgendermaßen aus:

User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Sitemap: /export/sitemap_index.xml

Kann mir jemand sagen welcher Fehler behoben werden muss, damit diese Fehlermeldung nicht auftaucht? Habe bereits recherchiert bin aber nicht wirklich fündig geworden. Wo kann die robots.txt Datei bearbeitet werden?

Vielen Dank schon mal und liebe Grüße!

 

[ag-websolutions.de]

AW: Robots.txt JTL Online-Shop

Welche Shop-Version?

 

[hula1499]

AW: Robots.txt JTL Online-Shop

Welche Url

Liegt die Robots.txt denn auch brav im Root des Shops?

 

[dora_k]

AW: Robots.txt JTL Online-Shop

Hallo und danke für die Rückmeldung.
Meine Shopversion ist 4.01, die URL ist http://www.kaloudia.de
hula1499 ich konnte leider nicht rausfinden ob die Robots.txt im Root des Shops ist. Muss dazu sagen das der Shop nicht von mir erstellt wurde.Wie kriege ich das raus?

 

[hula1499]

AW: Robots.txt JTL Online-Shop

Ja, ist im Root -> kaloudia.de/robots.txt
und auch aufrufbar.

Abgesehen von dem Sitemapeintrag sollt hier G keine Probleme haben, viell. war nur temporär dein Webhosting kurz offline und daher konnte G nicht zugreifen.
Geh nochmal in die Webmasterconsole von Google
Crawling-> robots.txt-Tester
und trag dort nochmal die robots.txt ein, also einfach die property richtig wählen und dann unten nur robots.txt eingeben -> dann testen.

 

[dora_k]

AW: Robots.txt JTL Online-Shop

Habe die Schritte befolgt dann kommt Zugelassen aber die Fehlermeldung kommt weiterhin.Woran kann es sonst liegen?

 

[hula1499]

AW: Robots.txt JTL Online-Shop

Du hast auch sicher die richtige Property ausgewählt? Also in der Console die www.kaloudia.de ausgewählt?

Wenn zugelassen steht, wie kann die Fehlermeldung noch kommen? Mach mal einen Screenshot.

 

[dora_k]

AW: Robots.txt JTL Online-Shop

Hallo hula1499 habe eine neue Property hinzugefügt und zwar http://www.kaloudia.de. Die andere Property https://www.kaloudia.de habe ich gelöscht. Ich glaube das war der Fehler. Nachdem ich die neue Property hinzugefügt habe erschien beim robots.txt Tester gleich die robots.txt Datei und ich habe sie gesendet aber beim Dashboard sind aktuell keine Daten verfügbar. Ich nehme an das dauert noch eine Weile bis Google die neue Property überprüft hat?

 

[hula1499]

AW: Robots.txt JTL Online-Shop

Ich hatte schon vorher geschrieben, das die Property richtig ausgewählt sein muss

Wenn man die robots testet (so wie von mir beschrieben), steht dort unten auch die zu überprüfende Url, wenn diese nicht zusammenpasst und falsch ist, kann natürlich auch nichts funktionieren (denn ein Aufruf der https://www.kaloudia.de/robots.txt funktioniert ja auch logischerweise nicht, wenns kein SSL gibt).

Du musst die property natürlich auch bestätigen, dass stand aber ebenfalls in der Console von G. Wenn sie bestätigt ist, wirds etwas dauern, bis die Daten (crawling statistiken etc) für dich sichtbar sind.

 

[dora_k]

AW: Robots.txt JTL Online-Shop

Ja hoffe das passiert bald
Vielen Dank nochmal!