Neu Bingbot und Msnbot crawlen Filterung

[xadoX]

Hallo zusammen,

mir ist aufgefallen, dass der bingbot und msnbot Kategorieseiten crawlt und dabei alle möglichen Filtermöglichkeiten ausprobiert.
Hier ein Beispiel.

GET /adidas-originals:sale60__damen__schuhgroesse-eu-375__schuhgroesse-eu-425 HTTP/2.0

Diese Abfragen fressen enorm Performance, da die Merkmalfilterung in JTL ja generell sehr langsam ist, wenn man viele Produkte und viele Merkmale hat.

Hat jemand eine Idee wie man das unterbinden kann? Abgesehen natürlich vom kompletten Sperren der beiden bots.

 

[apalusa]

Wenn ich mich nicht irre sollte das funktionieren indem man in der robots.txt folgendes einfügt:
Disallow: /*__*

So zumindest haben wir bei Seobility verhindert dass Filter beim crawlen verwendet werden, da hier ja immer ein doppelter Unterstrich enthalten ist. Bezieht sich dann natürlich auf alle Crawler die auf die robots.txt hören.

 

[xadoX]

Danke für den Hinweis. Wir nutzen Cloudflare und haben es dann jetzt so gelöst:

 

[_jb_]

Wir hatten das gleiche Problem und der Eintrag in der Robot.txt alleine hat nicht geholfen. Habe es dann direkt über Apache gelöst.