Neu Crawlerproblem

[alex9019]

Hallo,

gestern und heute um exakt 17 Uhr habe wir massive mit Crawlern zu kämpfen
und diese legen unseren Shop komplett lahm, was zurzeit extrem Geschäftsschädigend ist.

Wir sind bei Timmehosting.

Das sind laut log die Verursacher:

• facebookexternalhit
• meta-externalagent
• facebookcatalog
• facebookbot
• Bytespider
• PerplexityBot
• Amazonbot
• AhrefsBot
• SemrushBot
• DotBot (Hubspot/LinkedIn)

Wir haben bereits das Plugin BotBlock im Einsatz, sowie folgende Rewrite Rules/Header:

## sperre den meta-externalagent
if ($http_user_agent ~* meta-externalagent ) {
return 403;
}

# ===== Bot-Sperren (kompatibel mit ISPConfig) =====

# Meta / Facebook Crawler blockieren
if ($http_user_agent ~* "(facebookexternalhit|meta-externalagent|facebookcatalog|facebookbot)") {
return 403;
}

# Meta / Facebook IP-Ranges blockieren
deny 57.141.0.0/16;
deny 129.134.0.0/16;
deny 102.132.0.0/16;

# KI-Scraper blockieren
if ($http_user_agent ~* "(PerplexityBot|Amazonbot|Bytespider|ClaudeBot|GPTBot|ImagesiftBot|Cohere|youbot|Google-Extended)") {
return 403;
}


Auch ein Anfragenlimit ist aktiv, jedoch scheint es alles nicht zu greifen.

Ist hier jemand der uns helfen kann?

 

[Frank Engelbrecht]

Ich denke du hast einfach nicht alle bzw. ausreichend von diesen Parasiten in deiner Blocklist, versuch mal diese:

set $block 0; if ($http_user_agent ~* "(AddSearchBot|AI2Bot|AI2Bot\-DeepResearchEval|Ai2Bot\-Dolma|aiHitBot|amazon\-kendra|Amazonbot|AmazonBuyForMe|Andibot|Anomura|anthropic\-ai|Applebot|Applebot\-Extended|atlassian\-bot|Awario|bedrockbot|bigsur\.ai|Bravebot|Brightbot\ 1\.0|BuddyBot|Bytespider|CCBot|ChatGLM\-Spider|ChatGPT\ Agent|ChatGPT\-User|Claude\-SearchBot|Claude\-User|Claude\-Web|ClaudeBot|Cloudflare\-AutoRAG|CloudVertexBot|cohere\-ai|cohere\-training\-data\-crawler|Cotoyogi|Crawl4AI|Crawlspace|Datenbank\ Crawler|DeepSeekBot|Devin|Diffbot|DuckAssistBot|Echobot\ Bot|EchoboxBot|FacebookBot|facebookexternalhit|Factset_spyderbot|FirecrawlAgent|FriendlyCrawler|Gemini\-Deep\-Research|Google\-CloudVertexBot|Google\-Extended|Google\-Firebase|Google\-NotebookLM|GoogleAgent\-Mariner|GoogleOther|GoogleOther\-Image|GoogleOther\-Video|GPTBot|iAskBot|iaskspider|iaskspider/2\.0|IbouBot|ICC\-Crawler|ImagesiftBot|imageSpider|img2dataset|ISSCyberRiskCrawler|Kangaroo\ Bot|KlaviyoAIBot|KunatoCrawler|laion\-huggingface\-processor|LAIONDownloader|LCC|LinerBot|Linguee\ Bot|LinkupBot|Manus\-User|meta\-externalagent|Meta\-ExternalAgent|meta\-externalfetcher|Meta\-ExternalFetcher|meta\-webindexer|MistralAI\-User|MistralAI\-User/1\.0|MyCentralAIScraperBot|netEstate\ Imprint\ Crawler|NotebookLM|NovaAct|OAI\-SearchBot|omgili|omgilibot|OpenAI|Operator|PanguBot|Panscient|panscient\.com|Perplexity\-User|PerplexityBot|PetalBot|PhindBot|Poggio\-Citations|Poseidon\ Research\ Crawler|QualifiedBot|QuillBot|quillbot\.com|SBIntuitionsBot|Scrapy|SemrushBot\-OCOB|SemrushBot\-SWA|ShapBot|Sidetrade\ indexer\ bot|Spider|TerraCotta|Thinkbot|TikTokSpider|Timpibot|VelenPublicWebCrawler|WARDBot|Webzio\-Extended|webzio\-extended|wpbot|WRTNBot|YaK|YandexAdditional|YandexAdditionalBot|YouBot|ZanistaBot)") { set $block 1; } if ($request_uri = "/robots.txt") { set $block 0; } if ($block) { return 403; }

Ich hoffe es ist erlaubt die Quelle zu obigem Code zu verlinken: KI-Bots sperren

 

[cschroeder]

das hatten wir auch... Timme konnte mir nicht helfen...

wende Dich mal an Andreas Hörmann (ehem. Petermann) der hat meinen Shop schnell wieder am laufen gehabt...

 

[alex9019]

@cschroeder meinst du Böhmann? Unter Hörmann ist nichts zu finden?

 

[frankell]

wende Dich mal an Andreas Hörmann (ehem. Petermann) der hat meinen Shop schnell wieder am laufen gehabt...

Hilfreicher ist wahrscheinlich, den Usernamen hier im Forum zu nennen: @css-umsetzung

 

[css-umsetzung]

Ja, ich kann in der Regel helfen.
Timme würde im Zweifelsfall alles aussperren, was aber nichts bringt, da es sich mittlerweile vermehrt um Zugriffe, ohne Kennung und mit ständigem IP Wechsel handelt.

 

[cschroeder]

Ja, ich kann in der Regel helfen.
Timme würde im Zweifelsfall alles aussperren, was aber nichts bringt, da es sich mittlerweile vermehrt um Zugriffe, ohne Kennung und mit ständigem IP Wechsel handelt.

also timme hat mir bei MEINEM Problem gesagt (sie helfen sonst immer wirklich gut) das Sie da nix machen können, wegen der Vielzahl der unterschiedlichen IP Adressen,
ich weiß aber nicht genau ob hier das gleiche Problem wie bei meinem Shop vorliegt...

 

[css-umsetzung]

Ja es war das gleiche Problem, es ist eigentlich immer dieses Problem.
Der Shop von @alex9019 rennt wieder.

man muss sich das ja nur mal anschauen, was da innerhalb einer Sekunde an stark verschachtelten Merkmalfilterungen aufgerufen wurde und es waren noch mehr, mein Bildschirm war da blos am Ende angekommen

 

[cschroeder]

ach komm Andreas... du bist der erste der bei meinem für mich normalen 32" nicht per Teamviewer meckert...

 

[css-umsetzung]

Ich habe 1600px in der Höhe

Es waren bis zu 40 Request in der Sekunde mit bis zu 10 verschachtelten Merkmalen.
Das kann ein JTL Shop einfach nicht, egal was ich für einen Server habe.

 

[andiarbeit]

wie wurde das problem gelöst?

 

[css-umsetzung]

Durch eine Programmierung, die ich hinzufüge, die alles was nicht zu einem normalen Aufruf gehört sperrt.

 

[simplybecause]

@css-umsetzung
Hallo Andreas,
ist das ein Plugin, das Updates erhält oder ein Eintrag in der config-Datei o.ä.?

 

[css-umsetzung]

Das ist eine reine Modifizierung der config ini die ja Updatesicher ist.
Wenn das eines Tages nicht mehr reichen sollte, darfst du mich jederzeit anschreiben und ich passe das an.
Aber von dem was ich da jetzt habe, ist es recht unwahrscheinlich, das ich nachbessern muss, da ich mich eher an dem Aufruf als an der Kennung orientiere.

 

[simplybecause]

Und dadurch kann ich mir die Pflege meiner GEO-IP-Einträge und das Blocken von IPs per fail2ban-Blacklist sparen? Wie groß ist die Möglichkeit, damit aus Versehen normale User auszusperren?

 

[css-umsetzung]

Ich sperre keine User,
Ich verbiete nur diverse Links die unnatürlich direkt aufgerufen werden sowie eine direkt aufgerufene Suchen, was dir am Ende bei Anbietern wie z.B.: Doofinder einiges an Kosten sparen kann.

Bisher waren am Ende alle, mit dem Ergebnis zufrieden.

 

[simplybecause]

Okay, danke.