Neu Google will bestimmte Regeln in der robots.txt nicht mehr beachten

[Hanthyphy]

https://webmasters.googleblog.com/2019/07/a-note-on-unsupported-rules-in-robotstxt.html

Ab 1. September 2019 werden folgende "inoffizielle, nicht dokumentierte" Regeln in der robots.txt nicht mehr vom Google-Bot beachtet:
- noindex
- nofollow
- crawldelay

Google begründet dies folgendermaßen:
"Since these rules were never documented by Google, naturally, their usage in relation to Googlebot is very low. Digging further, we saw their usage was contradicted by other rules in all but 0.001% of all robots.txt files on the internet."

Einige News-Seiten haben dies so übersetzt, dass die Regeln nur in 0.001% aller robots.txt-Dateien im Internet verwendet werden. Dies ist aber nicht korrekt, vielmehr sagt Google hier, dass diese Regeln im Bezug auf Googlebot kaum verwendet würden, und weiter, dass nur in 0.001% aller robots.txt-Dateien diese Regeln tatsächlich greifen und ihnen nicht von anderen Regeln widersprochen wird.

Google schlägt außerdem einige Lösungsansätze vor, die allerdings nur für noindex vorgesehen sind.

Sicherlich benutzen einige User aber auch nofollow. Habt ihr schon irgendwelche Lösungsansätze oder weiterführende Artikel zu dem Thema gesehen? Wenn ich das richtig verstehe, wird die Abschaffung dieser Regeln doch die allermeisten Shops auf den Kopf stellen...

 

[fibergirl]

noindex und nofollow gehören doch eh nicht in die robots.txt?
Das sind Metatags, die gehören in den head der jeweiligen Seite.

In der robots.txt heißt es Disallow.