Neu Google will bestimmte Regeln in der robots.txt nicht mehr beachten

  • Wenn Ihr uns das erste Mal besucht, lest euch bitte zuerst die Foren-Regeln durch.

Hanthyphy

Neues Mitglied
5. Juli 2019
3
0
#1
https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Ab 1. September 2019 werden folgende "inoffizielle, nicht dokumentierte" Regeln in der robots.txt nicht mehr vom Google-Bot beachtet:
- noindex
- nofollow
- crawldelay

Google begründet dies folgendermaßen:
"Since these rules were never documented by Google, naturally, their usage in relation to Googlebot is very low. Digging further, we saw their usage was contradicted by other rules in all but 0.001% of all robots.txt files on the internet."

Einige News-Seiten haben dies so übersetzt, dass die Regeln nur in 0.001% aller robots.txt-Dateien im Internet verwendet werden. Dies ist aber nicht korrekt, vielmehr sagt Google hier, dass diese Regeln im Bezug auf Googlebot kaum verwendet würden, und weiter, dass nur in 0.001% aller robots.txt-Dateien diese Regeln tatsächlich greifen und ihnen nicht von anderen Regeln widersprochen wird.

Google schlägt außerdem einige Lösungsansätze vor, die allerdings nur für noindex vorgesehen sind.

Sicherlich benutzen einige User aber auch nofollow. Habt ihr schon irgendwelche Lösungsansätze oder weiterführende Artikel zu dem Thema gesehen? Wenn ich das richtig verstehe, wird die Abschaffung dieser Regeln doch die allermeisten Shops auf den Kopf stellen...
 

fibergirl

Gut bekanntes Mitglied
14. April 2016
253
24
Hamburg
#2
noindex und nofollow gehören doch eh nicht in die robots.txt?
Das sind Metatags, die gehören in den head der jeweiligen Seite.

In der robots.txt heißt es Disallow.