Neu Google Meldung - Indexiert, obwohl durch robots.txt-Datei blockiert

FPrüfer

Moderator
Mitarbeiter
19. Februar 2016
1.878
518
Halle
Hallo,
Wenn du für deinen Shop die URL /robots.txt aufrufst, bekommst du die Liste mit den für alle oder spezielle Crawler gesperrten Seiten. Per Standard sind dort für alle Crawler u.a. diese beiden Seiten unter *disallow* gelistet. Der Google-Crawler hat diese beiden Seiten nun aber - warum auch immer - trotzdem indexiert und die Google-Konsole informiert dich darüber. Normalerweise ist das ein Hinweis, wenn bereits indexierte Seiten plötzlich über die /robots.txt gesperrt werden - könnte ja ein Fehler sein. In dem Fall kannst du das aber ignorieren und Google wird - vermutlich - die beiden Seiten (irgendwann) aus dem Index nehmen.
 

sjk

Sehr aktives Mitglied
16. Januar 2019
364
130
Bei uns hat Google heute dieselbe Warnung für die /warenkorb.php und die /registrieren.php gebracht. Mal sehen ob das in ein paar Tagen wieder verschwindet.
 

Conny

Sehr aktives Mitglied
7. September 2009
548
60
Hi,

ich verstehe halt Google nicht ganz.
In der ROBOTS.TXT steht
Code:
Disallow: /registrieren.php
Disallow: /warenkorb.php

und in der warenkorb.php
Code:
<meta name="robots" content="noindex">

Das müsste doch eigentlich richtig sein - oder bin ich da falsch ?

Bei Google steht:
"Indexiert, obwohl durch robots.txt-Datei blockiert: Die Seite wurde indexiert, obwohl sie durch eine robots.txt-Datei blockiert wurde. Google beachtet die Anweisungen in der robots.txt-Datei immer, es kann jedoch sein, dass über eine andere Seite auf diese Seite verlinkt wird. Dies ist dann als Warnung markiert, da wir nicht sicher sind, ob Sie die Seite blockieren wollten, sodass sie nicht in den Suchergebnissen erscheint. Wenn Sie diese Seite blockieren und eine Indexierung vermeiden möchten, sollten Sie dazu nicht die robots.txt-Datei verwenden. Stattdessen können Sie entweder "noindex" verwenden oder den anonymen Zugriff auf die Seite durch eine erforderliche Anmeldung verhindern. Sie können den robots.txt-Tester verwenden, um zu ermitteln, durch welche Regel die Seite blockiert wird. Durch die robots.txt-Datei wird wahrscheinlich jedes für die Seite angezeigte Snippet suboptimal sein. Wenn Sie diese Seite nicht blockieren möchten, aktualisieren Sie Ihre robots.txt-Datei so, dass die Blockierung aufgehoben wird. "
 
Zuletzt bearbeitet:

sjk

Sehr aktives Mitglied
16. Januar 2019
364
130
Es macht auch keinen Sinn. Ein zweiter möglicher Grund neben einer kürzlichen robots.txt Änderung ist anscheinend, wenn es viele externe Verweise auf eine *disallow* Seite gibt. Das ist hier aber garantiert nicht der Fall. Es muss irgendein Fehler sein.
 

Conny

Sehr aktives Mitglied
7. September 2009
548
60
Die robots.txt wurde nicht geändert. Sie sollte eigentlich kompl. auf "JTL Standard" sein.

Code:
User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
 

en001

Sehr aktives Mitglied
15. März 2017
444
43
Wie soll das noindex verarbeitet werden wenn der Crawler es nicht lesen darf?
Wenn die Datei nicht in den Inxdex soll und das per noindex in der Datei steht muss der Eintrag aus der robots.txt raus.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Google Shopping 2.2.2 JTL-Shop - Fehler und Bugs 2
Neu Neues Plugin: Google Translate / Übersetzer (DSGVO-konform und weitere Features) Plugins für JTL-Shop 1
Neu Google Shopping Problem Allgemeine Fragen zu JTL-Shop 1
Neu Unterseitenindexierung bei Google - wo ausschalten? Allgemeine Fragen zu JTL-Shop 1
Neu PayPal Checkout mit Apple Pay und Google Pay Plugins für JTL-Shop 1
Neu Google Listings & Ads image Fehler WooCommerce-Connector 2
Datenfeed google shopping - Übertragung saleprice JTL-Wawi 1.8 2
Neu Strukturierte Daten für VarKombis/Varianten nach Google Ankündigung vom 20.02.2024 JTL-Shop - Ideen, Lob und Kritik 0
Neu Unterstuetzung Google Consent Mode V2 Allgemeine Fragen zu JTL-Shop 11
Neu google recaptcha ablösen? dadurch ohne consentmanager leben JTL-Shop - Ideen, Lob und Kritik 7
Neu Google Pmax Kampagnen in Österreich - Shopping Produkte - Erfahrungswerte Smalltalk 0
Neu Inaktive Artikel werden mit 404 Fehler bei Google Search angezeigt Allgemeine Fragen zu JTL-Shop 2
Neu JTL Cookie Banner vs Consent Mode v2 für Google ADs Allgemeine Fragen zu JTL-Shop 6
Exportformat Google Shopping Merkmale Einrichtung JTL-Shop5 1
Neu Fehler beim Update von Exportformat Google Shopping JTL-Shop - Fehler und Bugs 1
Neu Google Shopping - Exportiert nicht alle Artikel? Plugins für JTL-Shop 2
Neu JTL Exportformat Google Shopping - Exportvorlage um Staffelpreise [bulk_price] erweitern? Plugins für JTL-Shop 4
Neu Shopumstellung - Google Ads funktioniert nicht Plugins für JTL-Shop 3
Neu cDeeplink für Google Shopping direkt aus der Shop-Datenbank? Allgemeine Fragen zu JTL-Shop 0
Neu GLS - Originalmeldung Meldung: An error occurred when validating input: Field 'Name1' in Delivery is not present or not valid. JTL-ShippingLabels - Ideen, Lob und Kritik 0
Neu Angebotsimport bricht ohne Meldung ab eBay-Anbindung - Fehler und Bugs 0

Ähnliche Themen