Neu Wer kennt diesen Webcrawler - Robot?

oRsst

Mitglied
23. Mai 2023
32
2
Hallo,
ein Wettbewerber setzt verschiedene Methoden ein, um unserem Online- Shop zu schaden. Dazu gehören auch mehrere Spam-Attacken, gegen die wir uns problemlos wehren.
Ich hätte nur noch eine Frage: Im Backend sehe ich einen Webcrawler mit dem Namen „robot“, der unsere Seite im Vergleich zum Google-Crawler extrem stark crawlt (siehe Bild im Anhang).
Kennt jemand diesen Crawler? Hat jemand schon Erfahrung mit ihm oder lieber sperren?
Viele Grüße
Alex

Den Anhang 119974 betrachten