Neu Google Meldung - Indexiert, obwohl durch robots.txt-Datei blockiert

FPrüfer

Moderator
Mitarbeiter
19. Februar 2016
1.881
527
Halle
Hallo,
Wenn du für deinen Shop die URL /robots.txt aufrufst, bekommst du die Liste mit den für alle oder spezielle Crawler gesperrten Seiten. Per Standard sind dort für alle Crawler u.a. diese beiden Seiten unter *disallow* gelistet. Der Google-Crawler hat diese beiden Seiten nun aber - warum auch immer - trotzdem indexiert und die Google-Konsole informiert dich darüber. Normalerweise ist das ein Hinweis, wenn bereits indexierte Seiten plötzlich über die /robots.txt gesperrt werden - könnte ja ein Fehler sein. In dem Fall kannst du das aber ignorieren und Google wird - vermutlich - die beiden Seiten (irgendwann) aus dem Index nehmen.
 

sjk

Sehr aktives Mitglied
16. Januar 2019
537
242
Bei uns hat Google heute dieselbe Warnung für die /warenkorb.php und die /registrieren.php gebracht. Mal sehen ob das in ein paar Tagen wieder verschwindet.
 

Conny

Sehr aktives Mitglied
7. September 2009
565
61
Hi,

ich verstehe halt Google nicht ganz.
In der ROBOTS.TXT steht
Code:
Disallow: /registrieren.php
Disallow: /warenkorb.php

und in der warenkorb.php
Code:
<meta name="robots" content="noindex">

Das müsste doch eigentlich richtig sein - oder bin ich da falsch ?

Bei Google steht:
"Indexiert, obwohl durch robots.txt-Datei blockiert: Die Seite wurde indexiert, obwohl sie durch eine robots.txt-Datei blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, es kann jedoch sein, dass über eine andere Seite auf diese Seite verlinkt wird. Dies ist dann als Warnung markiert, da wir nicht sicher sind, ob Sie die Seite blockieren wollten, sodass sie nicht in den Suchergebnissen erscheint. Wenn Sie diese Seite blockieren und eine Indexierung vermeiden möchten, sollten Sie dazu nicht die robots.txt-Datei verwenden. Stattdessen können Sie entweder "noindex" verwenden oder den anonymen Zugriff auf die Seite durch eine erforderliche Anmeldung verhindern. Sie können den robots.txt-Tester verwenden, um zu ermitteln, durch welche Regel die Seite blockiert wird. Durch die robots.txt-Datei wird wahrscheinlich jedes für die Seite angezeigte Snippet suboptimal sein. Wenn Sie diese Seite nicht blockieren möchten, aktualisieren Sie Ihre robots.txt-Datei so, dass die Blockierung aufgehoben wird. "
 
Zuletzt bearbeitet:

sjk

Sehr aktives Mitglied
16. Januar 2019
537
242
Es macht auch keinen Sinn. Ein zweiter möglicher Grund neben einer kürzlichen robots.txt Änderung ist anscheinend, wenn es viele externe Verweise auf eine *disallow* Seite gibt. Das ist hier aber garantiert nicht der Fall. Es muss irgendein Fehler sein.
 

Conny

Sehr aktives Mitglied
7. September 2009
565
61
Die robots.txt wurde nicht geändert. Sie sollte eigentlich kompl. auf "JTL Standard" sein.

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

en001

Sehr aktives Mitglied
15. März 2017
557
60
Wie soll das noindex verarbeitet werden wenn der Crawler es nicht lesen darf?
Wenn die Datei nicht in den Inxdex soll und das per noindex in der Datei steht muss der Eintrag aus der robots.txt raus.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Google shopping export kein Auswahl , ob nur Väter oder Kindartikel exportiert werden sollen Technische Fragen zu Plugins und Templates 1
Neu Schlechte Shop Ladezeit - Google Pagespeed Allgemeine Fragen zu JTL-Shop 11
Neu Google Ads Conversion Tracking mit Consent Mode v2 Plugins für JTL-Shop 0
Neu Exportformat Google Shopping Plugin Plugins für JTL-Shop 1
Neu Google Shopping: Verständnisfrage zu Wertname und Werttyp Technische Fragen zu Plugins und Templates 0
Neu Google liest falsche Preise im Nova Template Templates für JTL-Shop 13
Neu Nova Template und Google Analytics, Ads Technische Fragen zu Plugins und Templates 3
Neu Google Shopping (Plugin) Export immer leer Allgemeine Fragen zu JTL-Shop 4
Kann keinen neuen Export für Google Shopping mehr erstellen Allgemeine Fragen zu JTL-Shop 4
Neu Google Indexierung seit Monaten kein Fortschritt - Eher Rückschritt Allgemeine Fragen zu JTL-Shop 23
Neu Zweites Bild auf Google Shopping Export mappen Plugins für JTL-Shop 0
Neu Google shopping export - neue Produkte markieren um eine Werbung nur für neue Produkte laufen zu lassen Technische Fragen zu Plugins und Templates 1
Neu Welches PlugIn für ein besseres Google Ranking? Plugins für JTL-Shop 2
Neu Plugin-Update 2.4.1: JTL Exportformat Google Shopping Plugins für JTL-Shop 6
Neu WMS-Lager lässt sich nicht anlegen – Meldung „Sie besitzen keine Lizenz für JTL-WMS“ trotz gebuchtem WMS Start Installation von JTL-WMS / JTL-Packtisch+ 3
Neu Amazon Lister 2.0, Vaterartikel, Meldung "Angebot unvollständig, Menge nicht gepflegt" Amazon-Lister - Fehler und Bugs 0
Error Meldung -> Issue with Dbcontext JTL-Wawi 1.10 0
Neu Wie lange ist der JTL Token gültig? Ich bekomme rel. schnell die Meldung "Fehlerhafter Token" User helfen Usern - Fragen zu JTL-Wawi 0

Ähnliche Themen