Neu Google will bestimmte Regeln in der robots.txt nicht mehr beachten

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

Hanthyphy

Mitglied
5. Juli 2019
18
2
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Ab 1. September 2019 werden folgende "inoffizielle, nicht dokumentierte" Regeln in der robots.txt nicht mehr vom Google-Bot beachtet:
- noindex
- nofollow
- crawldelay

Google begründet dies folgendermaßen:
"Since these rules were never documented by Google, naturally, their usage in relation to Googlebot is very low. Digging further, we saw their usage was contradicted by other rules in all but 0.001% of all robots.txt files on the internet."

Einige News-Seiten haben dies so übersetzt, dass die Regeln nur in 0.001% aller robots.txt-Dateien im Internet verwendet werden. Dies ist aber nicht korrekt, vielmehr sagt Google hier, dass diese Regeln im Bezug auf Googlebot kaum verwendet würden, und weiter, dass nur in 0.001% aller robots.txt-Dateien diese Regeln tatsächlich greifen und ihnen nicht von anderen Regeln widersprochen wird.

Google schlägt außerdem einige Lösungsansätze vor, die allerdings nur für noindex vorgesehen sind.

Sicherlich benutzen einige User aber auch nofollow. Habt ihr schon irgendwelche Lösungsansätze oder weiterführende Artikel zu dem Thema gesehen? Wenn ich das richtig verstehe, wird die Abschaffung dieser Regeln doch die allermeisten Shops auf den Kopf stellen...
 

fibergirl

Sehr aktives Mitglied
14. April 2016
381
56
Hamburg
noindex und nofollow gehören doch eh nicht in die robots.txt?
Das sind Metatags, die gehören in den head der jeweiligen Seite.

In der robots.txt heißt es Disallow.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu Google local Feed - Artikelzustand zwingend erforderlich - shop3 Allgemeine Fragen zu JTL-Shop 0
Neu google Export Datei nicht verschlüsselt Installation / Updates von JTL-Shop 0
Gelöst Google Shopping Export-Datei URL-Pfad Gelöste Themen in diesem Bereich 2
Neu google abdeckungsfehler User helfen Usern - Fragen zu JTL-Wawi 0
Neu google User helfen Usern - Fragen zu JTL-Wawi 3
Neu Google ReCaptcha funktioniert nicht für das Kontaktformular und Newsletter Einrichtung von JTL-Shop 3
Neu Google Shopping Fehler =EUR JTL-Shop - Fehler und Bugs 3
Neu Google Shopping mit korrekter Steuerberechnung bei Versandkosten? Plugins für JTL-Shop 3
Neu Google Shopping Export dauert mehr als 30 Min. und bricht mit timeout ab Betrieb / Pflege von JTL-Shop 1
Neu JTL-WAWI auf SQL Server in Google Cloud Installation von JTL-Wawi 1
Neu Google Shopping Exportformat (Plugin) - keine Datenfeed erstellung Plugins für JTL-Shop 5
Neu Google Shopping EAN google_identifier_exists fals oder bIdentifierExists Allgemeine Fragen zu JTL-Shop 2
Neu Workflow Nur Eine Bedingung und Bestimmte Bedingung kombiniereren JTL-Workflows - Ideen, Lob und Kritik 3
Neu Wie Exporte ich nur bestimmte Artikel unter den Filterregeln? JTL-Ameise - Ideen, Lob und Kritik 3
Neu Nur bestimmte Kategorien in Shop importieren User helfen Usern - Fragen zu JTL-Wawi 4
Neu Bestimmte Variationen ausblenden - Ausschlussabfrage User helfen Usern - Fragen zu JTL-Wawi 1
Neu Importieren einer SEO-URL für eine bestimmte Plattform - Feld zum mappen fehlt? JTL-Ameise - Fehler und Bugs 3
Neu Textmeldungen für bestimmte Kunden hinterlegen JTL-Wawi - Ideen, Lob und Kritik 5
Gelöst Übersicht warum bestimmte Aufträge nicht auf Picklisten erscheinen JTL-WMS - Ideen, Lob und Kritik 5