Neu 5er Shop robots.txt

[TimWB]

Hallo,
gibt es eine Vorlage für den 5er Shop einer sinnvollen Robots.txt oder wäre jemand so lieb und postet den Inhalt der etwas mehr als dem Standard entspricht ?
Tausend Dank
Liebe Grüße
Tim

 

[en001]

Der Standard ist richtig. Das ist eine sinnvolle robots.txt. Crawl-Sperren verhindern nur die Aktualisierung von Seiten. Will man Seiten nicht in einem Index haben nutzt man ein noindex. Ein Disallow: /geheim/12345.html verrät ja mehr und schützt nicht.

 

[P0ttwal]

Der Standard ist richtig. Das ist eine sinnvolle robots.txt. Crawl-Sperren verhindern nur die Aktualisierung von Seiten. Will man Seiten nicht in einem Index haben nutzt man ein noindex. Ein Disallow: /geheim/12345.html verrät ja mehr und schützt nicht.

Das sehe ich nicht so.

Ich will ja bestimmte Bots ausschließen, da diese sich gerne in den tausenden Merkmalseiten verfangen und dann nicht mehr raus kommen. Obwohl diese noindex sind. Gerade der Bing Bot ist hier sehr anfällig und nimmt mir was vom Crawlbudget weg, weil er lieber stundenlang Filterseiten mit 3 und mehr filtern durchwühlt.