Neu Google-Warnung: Indexiert, obwohl durch robots.txt-Datei blockiert

[Andreas Schieck]

Hallo in die Runde,

die Google Search-Console gibt mir für viele Seiten folgende Warnung aus: "Indexiert, obwohl durch robots.txt-Datei blockiert". Z.B.: https://www.kult-design-unikate.de/navi.php?k=25&suche&Sortierung=6&af=30 (in Google-Suche nicht existent). Man kommt raus bei https://www.kult-design-unikate.de/Shopper-Beutel (in Google-Suche vorhanden).

Offensichtlich handelt es sich um irgendwelche JTL - Shop - internen Suchfilter. Kann man diese Suchfilter von der Indexierung ausschließen, um die Warnmeldung zu beseitigen?

Vielen Dank für eine Info.

Freundliche Grüße / Andreas

 

[hula1499]

Schau mal in deine robots.txt, da steht drinnen, unter anderem:
Disallow: /navi.php

es wird ja eh nix indexiert, was mit navi.php?xxxx ist, also alles gut.

 

[en001]

Nein, die Zeile muss aus der robots.txt raus damit Google crawlen darf und die Änderungen übernehmen kann.
Aktuell sehen die das noindex nicht.

 

[hula1499]

Google soll aber keine navi.php?xxx crawlen, deswegen stehts ja auch - richtigerweise - in der robots.txt mit disallow.

Die Warnmeldung zeigt ja nur an, dass der bot hier nichts crawled, was ja auch so sein soll.

 

[en001]

Das war aber nicht immer so.
Es sind ja Seiten davon im Index und die verschwinden dort nur wenn diese Zeile gelöscht wird.
Er will doch das diese Meldungen verschwinden.

 

[Andreas Schieck]

Google soll aber keine navi.php?xxx crawlen, deswegen stehts ja auch - richtigerweise - in der robots.txt mit disallow.

Die Warnmeldung zeigt ja nur an, dass der bot hier nichts crawled, was ja auch so sein soll.

Hallo nochmal,

die Fehlermeldung "Indexiert, obwohl durch robots.txt-Datei blockiert" taucht immer noch massiv auf. Der Eintrag in der robots.txt "Disallow: /navi.php" ist nur eine Seite der Medaille. Wie man bei Sistrix-> Google nachlesen kann, kann eine Seite dennoch indexiert werden, wenn Verweise auf sie existieren. Um sicher zu gehen müssen die Seiten mit einem noindex Metatag belegt werden.

Nun werden alle Navi-Seiten automatisch von Shopseite mit einem noindex belegt (und damit alle beide Bedingungen erfüllt) und sind auch nicht direkt in der Google - Suche auffindbar und dennoch kommt die Warnmeldung in der Search Console.

Kann man das abstellen? Besten Dank für einen Tipp / Andreas

PS: Der Shop selbst lenkt die Anfrage jedoch "korrekt" um, d.h.
https://www.kult-design-unikate.de/navi.php?k=25&suche&Sortierung=6&af=30 (in Google-Suche nicht existent) zu
https://www.kult-design-unikate.de/Shopper-Beutel (in Google-Suche vorhanden).

 

[en001]

Lösche diese Zeile aus der robots.txt:
Disallow: /navi.php

Erst dann kann Google crawlen, deindexieren und die Meldung verschwindet.

 

[Andreas Schieck]

Lösche diese Zeile aus der robots.txt:
Disallow: /navi.php

Erst dann kann Google crawlen, deindexieren und die Meldung verschwindet.

Und das zu Weihnachten ))) / Habe die Zeile Disallow: /navi.php manuell aus robots.txt gelöscht. Vielen Dank.

 

[hula1499]

Und hast jetzt unnötige links, produzierst double content mit der Gefahr an ranking zu verlieren und das zu Weihnachten....

Vollkommen unnötige Aktion

 

[en001]

Das ist doch Blödsinn. Wie kann etwas DC produzieren das nicht in den Index kommt?

 

[hula1499]

Vollkommener Blödsinn ist deine Info an ihn...da muss nichts verändert oder verstellt werden, das disallow passt da schon, da erfordert es keinerlei Extra-Arbeit.
Die Consolenmeldung ist lediglich eine Info, da Google das Shopsystem nicht interessiert sondern lediglich aufzeigt, dass hier etwas auf disallow steht -> ob das jetzt Sinn macht oder nicht, soll/muss der Webmaster entscheiden, das ist nur eine INFO, nix weiter.

 

[upbox]

Und hast jetzt unnötige links, produzierst double content mit der Gefahr an ranking zu verlieren und das zu Weihnachten....

Vollkommen unnötige Aktion

Das stimmt so nicht. Warum sollte eine Seite die auf "noindex" steht neuen DC erzeugen?
Der Bot findet diese Seite, stellt das "noindex, follow" fest und rennt weiter. Wenn die Seite schon im Index ist, fliegt sie raus. Alles sauber.

Das wäre nur ein Problem, wenn diese Seiten eben NICHT gekennzeichnet sind. Denn dann hat Google die Seite im Index, will sie regelmäßig prüfen, darf nicht und findet das "noindex" nie. Die Folge ist hier nur, dass die Seite ewig gelistet ist. Vermutlich wird dadurch eher mehr DC generiert als mit dern anderen Lösung.

Das einzige was beeinflusst wird, ist eventuell das Crawl Budget. Aber darüber müssen sich die wenigsten kleinen Shops Gedanken machen.


Ich muss allerdings zugeben, dass die Standard Einstellungen was die "index, noindex" Kennzeichnung im Shop angeht, wirklich sehr suboptimal ist. Gerade wenn es Richtung Merkmale geht.

 

[WeLoveVelo]

Hallo zusammen!
ich habe auch auf einmal auch das Problem, dass Seiten indexiert werden, obwohl diese eigentlich durch die robots.txt-Datei blockiert werden. Beispiele wären registrieren.php und warenkorb.php.

So sieht die robots.txt-Datei aktuell bei mir (JTL Shop 4) aus:

User-agent: *
Disallow: /navi.php
Disallow: /druckansicht.php
Disallow: /suche.php
Disallow: /bestellabschluss.php
Disallow: /bestellvorgang.php
Disallow: /jtl.php
Disallow: /pass.php
Disallow: /registrieren.php
Disallow: /warenkorb.php
Disallow: /admin
Disallow: /admin/*
Disallow: /dbeS/*
Sitemap: /export/sitemap_index.xml

Was muss ich tun?

Und btw: Beim robots.txt-Tester in der Search-Console wird bei "Sitemap: /export/sitemap_index.xml" ein Fehler ausgegeben: "Ungültige Sitemap-URL gefunden, Syntax wurde nicht verstanden."

Was ist bei der Sitemap-URL in der robots.txt-Datei falsch und wie und wo korrigiere ich dies?

Vielen Dank!

 

[upbox]

Hi,

ich bin der Meinung gerade man sollte der Warenkorb und die Registrierung sind sowieso schon als noindex gekennzeichnet. Daher nehme ich die gerne aus der robots.txt raus, dann verschwindet auch der Fehler. Wenn der Bot die Seite unbedingt sehen will, soll er halt prüfen.

Ich meine, wenn du nur wenig Crawl Budget von Google hast, weil du eine kleine Seite bist oder weil du sehr, sehr viele Unterseiten hast, ist es schon sinnvoll die Seiten auszuschließen. Aber bei vielen Fällen geht es auch ohne Probleme so.

Wenn du deine Sitemap XML direkt aufrufst, kommt dann so was?

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>
https://www.beispiel.de/export/sitemap_0.xml.gz
</loc>
<lastmod>2019-06-19</lastmod>
</sitemap>
</sitemapindex>

 

[WeLoveVelo]

Hallo,
vielen Dank für die schnelle Antwort.

Und kann ich registrieren.php und warenkorb.php direkt in der Search-Console bei "robots.txt testen" ändern? Oder wo mache ich das? Und sollte ich "navi.php" auch entfernen? Das hatte ich noch in einen anderen Beitrag gelesen.

Wenn ich in der Search-Console die Sitemap "export/sitemap_index.xml" aufrufe kommt folgendes:

-<sitemapindex>
-<sitemap>
<loc>https://www.meineDomain.de/export/sitemap_0.xml.gz</loc>
<lastmod>2019-06-18</lastmod>
</sitemap>
</sitemapindex>

Schaut also anders aus. Soll ich es wie bei dir oben dargestellt ändern? Und wo mache ich das?

 

[Andreas Schieck]

Hallo,
zum inhaltlichen Teil kann ich nichts sagen, aber die Änderungen musst du in deiner robots.txt durchführen. Also per ftp in dein Verzeichnis einwählen, deine robots.txt Datei auf deinen Rechner kopieren, für alle Fälle duplizieren und als letzten Stand ablegen, robots.txt mit einem Texteditor editieren und wieder auf deinen ftp Verzeichnis hochladen und damit deine jetzige Datei überschreiben.

 

[WeLoveVelo]

Hallo Andreas,
dank dir! Hatte die robots.txt-Datei schon im FTP-Verzeichnis gefunden. Nehme aber erst die Änderungen vor sobald ich mehr zu Sitemap-Geschichte weiß.

Kann mir da hemand helfen? Der Aufbau der Sitemap scheint ja nicht richtig zu sein. Siehe weiter oben.

 

[WeLoveVelo]

Kann mir jemand bei dem sitemapindex in der robots.txt helfen? Wie muss da genau der Aufbau sein? Und wie kann es sein, dass sich die sitemapindex plötzlich ändert? Der Fehler ist neu..

 

[en001]

Es muss ein vollständiger Link sein samt Domain wenn du die dort rein haben willst.
Das man die besser überhaupt nicht in die robots.txt rein stellt ist eine andere Geschichte.