Neu Google Meldung - Indexiert, obwohl durch robots.txt-Datei blockiert

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

FPrüfer

Moderator
Mitarbeiter
19. Februar 2016
1.170
261
Halle
Hallo,
Wenn du für deinen Shop die URL /robots.txt aufrufst, bekommst du die Liste mit den für alle oder spezielle Crawler gesperrten Seiten. Per Standard sind dort für alle Crawler u.a. diese beiden Seiten unter *disallow* gelistet. Der Google-Crawler hat diese beiden Seiten nun aber - warum auch immer - trotzdem indexiert und die Google-Konsole informiert dich darüber. Normalerweise ist das ein Hinweis, wenn bereits indexierte Seiten plötzlich über die /robots.txt gesperrt werden - könnte ja ein Fehler sein. In dem Fall kannst du das aber ignorieren und Google wird - vermutlich - die beiden Seiten (irgendwann) aus dem Index nehmen.
 

sjk

Gut bekanntes Mitglied
16. Januar 2019
203
70
Bei uns hat Google heute dieselbe Warnung für die /warenkorb.php und die /registrieren.php gebracht. Mal sehen ob das in ein paar Tagen wieder verschwindet.
 

Conny

Gut bekanntes Mitglied
7. September 2009
379
23
Hi,

ich verstehe halt Google nicht ganz.
In der ROBOTS.TXT steht
Code:
Disallow: /registrieren.php
Disallow: /warenkorb.php
und in der warenkorb.php
Code:
<meta name="robots" content="noindex">
Das müsste doch eigentlich richtig sein - oder bin ich da falsch ?

Bei Google steht:
"Indexiert, obwohl durch robots.txt-Datei blockiert: Die Seite wurde indexiert, obwohl sie durch eine robots.txt-Datei blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, es kann jedoch sein, dass über eine andere Seite auf diese Seite verlinkt wird. Dies ist dann als Warnung markiert, da wir nicht sicher sind, ob Sie die Seite blockieren wollten, sodass sie nicht in den Suchergebnissen erscheint. Wenn Sie diese Seite blockieren und eine Indexierung vermeiden möchten, sollten Sie dazu nicht die robots.txt-Datei verwenden. Stattdessen können Sie entweder "noindex" verwenden oder den anonymen Zugriff auf die Seite durch eine erforderliche Anmeldung verhindern. Sie können den robots.txt-Tester verwenden, um zu ermitteln, durch welche Regel die Seite blockiert wird. Durch die robots.txt-Datei wird wahrscheinlich jedes für die Seite angezeigte Snippet suboptimal sein. Wenn Sie diese Seite nicht blockieren möchten, aktualisieren Sie Ihre robots.txt-Datei so, dass die Blockierung aufgehoben wird. "
 
Zuletzt bearbeitet:

sjk

Gut bekanntes Mitglied
16. Januar 2019
203
70
Es macht auch keinen Sinn. Ein zweiter möglicher Grund neben einer kürzlichen robots.txt Änderung ist anscheinend, wenn es viele externe Verweise auf eine *disallow* Seite gibt. Das ist hier aber garantiert nicht der Fall. Es muss irgendein Fehler sein.
 

Conny

Gut bekanntes Mitglied
7. September 2009
379
23
Die robots.txt wurde nicht geändert. Sie sollte eigentlich kompl. auf "JTL Standard" sein.

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

en001

Gut bekanntes Mitglied
15. März 2017
227
22
Wie soll das noindex verarbeitet werden wenn der Crawler es nicht lesen darf?
Wenn die Datei nicht in den Inxdex soll und das per noindex in der Datei steht muss der Eintrag aus der robots.txt raus.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Gelöst Google Shopping Export-Datei URL-Pfad Gelöste Themen in diesem Bereich 2
Neu google abdeckungsfehler User helfen Usern - Fragen zu JTL-Wawi 0
Neu google User helfen Usern - Fragen zu JTL-Wawi 3
Neu Google ReCaptcha funktioniert nicht für das Kontaktformular und Newsletter Einrichtung von JTL-Shop 3
Neu Google Shopping Fehler =EUR JTL-Shop - Fehler und Bugs 3
Neu Google Shopping mit korrekter Steuerberechnung bei Versandkosten? Plugins für JTL-Shop 3
Neu Google Shopping Export dauert mehr als 30 Min. und bricht mit timeout ab Betrieb / Pflege von JTL-Shop 1
Neu JTL-WAWI auf SQL Server in Google Cloud Installation von JTL-Wawi 1
Neu Google Shopping Exportformat (Plugin) - keine Datenfeed erstellung Plugins für JTL-Shop 5
Neu Google Shopping EAN google_identifier_exists fals oder bIdentifierExists Allgemeine Fragen zu JTL-Shop 2
Neu Jtl Shop Inhaberschaft der Website auf Google bestätigen Allgemeine Fragen zu JTL-Shop 7
Neu Anzeige in der Google Suche mit "Suchfeld" und Kategorien Allgemeine Fragen zu JTL-Shop 10
Neu Google Analytics einbinden Allgemeine Fragen zu JTL-Shop 14
Neu DHL GKP - was hat es mit dieser Meldung auf sich? JTL-ShippingLabels - Fehler und Bugs 2
Neu Keine Meldung mehr wenn Kunde bereits in der Datenbank vorhanden User helfen Usern - Fragen zu JTL-Wawi 4
Gelöst Beim senden von Tagesabschlussbericht kommt immer die Meldung Versand der E-Mail fehlgeschlagen Gelöste Themen in diesem Bereich 25