Neu DoS-Angriff wegen Bots?

[sah]

Hallo!
Wie kann man Bots besser steuern? Wir möchten ja, dass Google unseren Shop crawlt, doch gleichzeitig beschwert sich Google, er wäre wegen Überlastung nicht erreichbar. Gibt es ein Finetuning jenseits von robots.txt?

 

[recent.digital]

da gibt es diverse Threads, @css-umsetzung, und diesen Link https://forum.jtl-software.de/threa...t-lahm-kein-zugriff-mehr.249826/#post-1370076