Neu Spider Zugriffe! spider-feedback@bytedance.com, wie aussperren

[Stonekeeper]

Wie die Überschrift schon sagt, haben wir ständige Spider Zugriffe von verschiedenen IP Adressen aus Singapur.
2866 am heutigen Tag über 5-6 IP Adressen: 47.128.17.198 - 47.128.52.83 und so weiter.
Zugegriffen wird immer auf GET /bilder/intern/webp/*.* enden lauten: "Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, like Gecko) Mobile Safari/537.36 (compatible; Bytespider; spider-feedback@bytedance.com)"
16793 Zugriffe diese Woche.

Wie ist das beste vorgehen zum ausperren via htaccess?
Müssen die IPs gesperrt werden oder funktioniert ein einfacher Eintrag von:

RewriteCond %{HTTP_USER_AGENT} Bytespider [NC]
RewriteRule .* - [F,L]

Die Frage ist auch, sollte man die Spider sperren?

Vielen Dank

 

[css-umsetzung]

Ja man sollte, alles was Bad Bots sind haben da nichts zu suchen und gerade der Bytespider ist teilweise sehr aggressiv.
Ich verweise mal auf diesen Beitrag, dass ist der einfachste Weg, zusätzlich solltest du dir auch den zweiten Link anschauen sofern Bing bei dir auch zu extrem unterwegs ist.

https://forum.jtl-software.de/threa...ft-stuendlich-voll.210099/page-2#post-1122889
https://forum.jtl-software.de/threads/sitemap-wird-bei-bing-wird-wegen-fehler-abgelehnt.209842/

 

[Stonekeeper]

Ja man sollte, alles was Bad Bots sind haben da nichts zu suchen und gerade der Bytespider ist teilweise sehr aggressiv.
Ich verweise mal auf diesen Beitrag, dass ist der einfachste Weg, zusätzlich solltest du dir auch den zweiten Link anschauen sofern Bing bei dir auch zu extrem unterwegs ist.

https://forum.jtl-software.de/threa...ft-stuendlich-voll.210099/page-2#post-1122889
https://forum.jtl-software.de/threads/sitemap-wird-bei-bing-wird-wegen-fehler-abgelehnt.209842/

Vielen Dank für die Infos und direkter Lösung über die Config + Einträge.
Kannst du bitte kurz erläutern wieso du die Lösung per Config empfiehlst.
Verbraucht die Config Variante nicht mehr Ressourcen als per .htaccess?, da der PHP-Code für jede Anfrage ausgeführt wird, die .htaccess sperrt doch schon auf Webserver-Ebene.

Bin damit nicht so vertraut.

 

[css-umsetzung]

Wie man es macht muss jeder für sich entscheiden.

• Diese Lösung hat den Vorteil das du das einmal anfasst und dann ist es da, bei einer htaccess Anpassung musst du bei jedem Update schauen das es wieder vorhanden ist wenn die mit einem Patch überschrieben wird.
• Die Lösung ist auch nginx Servertauglich (da gibt es keine htaccess und man müsste sich durch die nginx Konfig wühlen)
• Das ist unter den gefühlt eine Million If() Abfragen im Core nur eine weitere, die du gar nicht bemerken wirst.
• Auch um die htaccess zu prüfen muss ein Apache gestartet werden.

Es gibt verschiedene Beiträge, die bereits ca. zwei Jahre her sind, da haben wir dieses Thema wegen sehr vielen Bots die Amok liefen schon mal besprochen, da entstanden diverse Lösungen, die dann unter anderem Serverseitige Lösungen sowie über htaccess und meine Lösung beinhalteten.

Die wirkliche Last auf dem Server entsteht ja eigentlich, wenn Datenbank Abfragen kommen.
Wenn da mal nen kleiner php Prozess gestartet wird, der direkt wieder geschlossen wird, dann sollte das jeder Server locker verkraften können.
(meine Meinung)

 

[Stonekeeper]

Wie man es macht muss jeder für sich entscheiden.

• Diese Lösung hat den Vorteil das du das einmal anfasst und dann ist es da, bei einer htaccess Anpassung musst du bei jedem Update schauen das es wieder vorhanden ist wenn die mit einem Patch überschrieben wird.
• Die Lösung ist auch nginx Servertauglich (da gibt es keine htaccess und man müsste sich durch die nginx Konfig wühlen)
• Das ist unter den gefühlt eine Million If() Abfragen im Core nur eine weitere, die du gar nicht bemerken wirst.
• Auch um die htaccess zu prüfen muss ein Apache gestartet werden.

Es gibt verschiedene Beiträge, die bereits ca. zwei Jahre her sind, da haben wir dieses Thema wegen sehr vielen Bots die Amok liefen schon mal besprochen, da entstanden diverse Lösungen, die dann unter anderem Serverseitige Lösungen sowie über htaccess und meine Lösung beinhalteten.

Die wirkliche Last auf dem Server entsteht ja eigentlich, wenn Datenbank Abfragen kommen.
Wenn da mal nen kleiner php Prozess gestartet wird, der direkt wieder geschlossen wird, dann sollte das jeder Server locker verkraften können.
(meine Meinung)

Danke für die ausführliche Erklärung, Mühe und Zeit, dies wird bestimmt noch anderen Usern helfen!
Wünsche einen angenehmen Abend und bedanke mich vielmals!