Neu Google Meldung - Indexiert, obwohl durch robots.txt-Datei blockiert

[Conny]

Hi,
seit ein paar Tagen bekomme ich die Meldung von Google

Indexiert, obwohl durch robots.txt-Datei blockiert

für folgende zwei Seiten
https://www.meine-domain.de/registrieren.php
https://www.meine-domain.de/warenkorb.php



Was mach ich da am besten?

LG Conny

 

[FPrüfer]

Hallo,
Wenn du für deinen Shop die URL /robots.txt aufrufst, bekommst du die Liste mit den für alle oder spezielle Crawler gesperrten Seiten. Per Standard sind dort für alle Crawler u.a. diese beiden Seiten unter *disallow* gelistet. Der Google-Crawler hat diese beiden Seiten nun aber - warum auch immer - trotzdem indexiert und die Google-Konsole informiert dich darüber. Normalerweise ist das ein Hinweis, wenn bereits indexierte Seiten plötzlich über die /robots.txt gesperrt werden - könnte ja ein Fehler sein. In dem Fall kannst du das aber ignorieren und Google wird - vermutlich - die beiden Seiten (irgendwann) aus dem Index nehmen.

 

[sjk]

Bei uns hat Google heute dieselbe Warnung für die /warenkorb.php und die /registrieren.php gebracht. Mal sehen ob das in ein paar Tagen wieder verschwindet.

 

[Conny]

Hi,

ich verstehe halt Google nicht ganz.
In der ROBOTS.TXT steht

Disallow: /registrieren.php
Disallow: /warenkorb.php

und in der warenkorb.php

<meta name="robots" content="noindex">

Das müsste doch eigentlich richtig sein - oder bin ich da falsch ?

Bei Google steht:
"Indexiert, obwohl durch robots.txt-Datei blockiert: Die Seite wurde indexiert, obwohl sie durch eine robots.txt-Datei blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, es kann jedoch sein, dass über eine andere Seite auf diese Seite verlinkt wird. Dies ist dann als Warnung markiert, da wir nicht sicher sind, ob Sie die Seite blockieren wollten, sodass sie nicht in den Suchergebnissen erscheint. Wenn Sie diese Seite blockieren und eine Indexierung vermeiden möchten, sollten Sie dazu nicht die robots.txt-Datei verwenden. Stattdessen können Sie entweder "noindex" verwenden oder den anonymen Zugriff auf die Seite durch eine erforderliche Anmeldung verhindern. Sie können den robots.txt-Tester verwenden, um zu ermitteln, durch welche Regel die Seite blockiert wird. Durch die robots.txt-Datei wird wahrscheinlich jedes für die Seite angezeigte Snippet suboptimal sein. Wenn Sie diese Seite nicht blockieren möchten, aktualisieren Sie Ihre robots.txt-Datei so, dass die Blockierung aufgehoben wird. "

 

[sjk]

Es macht auch keinen Sinn. Ein zweiter möglicher Grund neben einer kürzlichen robots.txt Änderung ist anscheinend, wenn es viele externe Verweise auf eine *disallow* Seite gibt. Das ist hier aber garantiert nicht der Fall. Es muss irgendein Fehler sein.

 

[Conny]

Die robots.txt wurde nicht geändert. Sie sollte eigentlich kompl. auf "JTL Standard" sein.

User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*

 

[en001]

Wie soll das noindex verarbeitet werden wenn der Crawler es nicht lesen darf?
Wenn die Datei nicht in den Inxdex soll und das per noindex in der Datei steht muss der Eintrag aus der robots.txt raus.