Neu Google Meldung - Indexiert, obwohl durch robots.txt-Datei blockiert

FPrüfer

Moderator
Mitarbeiter
19. Februar 2016
1.082
226
Halle
Hallo,
Wenn du für deinen Shop die URL /robots.txt aufrufst, bekommst du die Liste mit den für alle oder spezielle Crawler gesperrten Seiten. Per Standard sind dort für alle Crawler u.a. diese beiden Seiten unter *disallow* gelistet. Der Google-Crawler hat diese beiden Seiten nun aber - warum auch immer - trotzdem indexiert und die Google-Konsole informiert dich darüber. Normalerweise ist das ein Hinweis, wenn bereits indexierte Seiten plötzlich über die /robots.txt gesperrt werden - könnte ja ein Fehler sein. In dem Fall kannst du das aber ignorieren und Google wird - vermutlich - die beiden Seiten (irgendwann) aus dem Index nehmen.
 

sjk

Mitglied
16. Januar 2019
86
22
Bei uns hat Google heute dieselbe Warnung für die /warenkorb.php und die /registrieren.php gebracht. Mal sehen ob das in ein paar Tagen wieder verschwindet.
 

Conny

Gut bekanntes Mitglied
7. September 2009
343
8
Hi,

ich verstehe halt Google nicht ganz.
In der ROBOTS.TXT steht
Code:
Disallow: /registrieren.php
Disallow: /warenkorb.php
und in der warenkorb.php
Code:
<meta name="robots" content="noindex">
Das müsste doch eigentlich richtig sein - oder bin ich da falsch ?

Bei Google steht:
"Indexiert, obwohl durch robots.txt-Datei blockiert: Die Seite wurde indexiert, obwohl sie durch eine robots.txt-Datei blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, es kann jedoch sein, dass über eine andere Seite auf diese Seite verlinkt wird. Dies ist dann als Warnung markiert, da wir nicht sicher sind, ob Sie die Seite blockieren wollten, sodass sie nicht in den Suchergebnissen erscheint. Wenn Sie diese Seite blockieren und eine Indexierung vermeiden möchten, sollten Sie dazu nicht die robots.txt-Datei verwenden. Stattdessen können Sie entweder "noindex" verwenden oder den anonymen Zugriff auf die Seite durch eine erforderliche Anmeldung verhindern. Sie können den robots.txt-Tester verwenden, um zu ermitteln, durch welche Regel die Seite blockiert wird. Durch die robots.txt-Datei wird wahrscheinlich jedes für die Seite angezeigte Snippet suboptimal sein. Wenn Sie diese Seite nicht blockieren möchten, aktualisieren Sie Ihre robots.txt-Datei so, dass die Blockierung aufgehoben wird. "
 
Zuletzt bearbeitet:

sjk

Mitglied
16. Januar 2019
86
22
Es macht auch keinen Sinn. Ein zweiter möglicher Grund neben einer kürzlichen robots.txt Änderung ist anscheinend, wenn es viele externe Verweise auf eine *disallow* Seite gibt. Das ist hier aber garantiert nicht der Fall. Es muss irgendein Fehler sein.
 

Conny

Gut bekanntes Mitglied
7. September 2009
343
8
Die robots.txt wurde nicht geändert. Sie sollte eigentlich kompl. auf "JTL Standard" sein.

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

en001

Gut bekanntes Mitglied
15. März 2017
209
17
Wie soll das noindex verarbeitet werden wenn der Crawler es nicht lesen darf?
Wenn die Datei nicht in den Inxdex soll und das per noindex in der Datei steht muss der Eintrag aus der robots.txt raus.
 

Über uns

  • In unserem moderierten JTL-Forum könnt Ihr Euch themenbezogen mit der JTL-Community rund um die Produkte von JTL, passende Erweiterungen und den E-Commerce im Allgemeinen austauschen, Tipps und Tricks teilen sowie Verbesserungswünsche und Fehler diskutieren.

    Unsere Forumsnutzer helfen sich untereinander auch gerne weiter, wenn Sie mal nicht weiterkommen oder einen Ratschlag benötigen.

Schnell-Navigation

Benutzer Menü