Neu Massive Erhöhung der Suchanfragen laut JTL Search seit 11.11.23

[NoOne]

Und ich würde sagen nein, bzw: nur für Bestandskunden: https://forum.jtl-software.de/threads/faq-zu-unseren-neuen-tarifeditionen.223042/

Wann kann ich JTL-Search benutzen?
JTL-Search ist in JTL Pro inkludiert und kann in anderen Editionen nicht einzeln hinzugebucht werden. Mit der Inkludierung in JTL Pro fällt zudem die Abrechnung nach Suchvolumen weg.
Ab dem 01.09.2024 wird JTL-Search nicht mehr neu aktivierbar sein, bis JTL-Search 2.0 releast wird. War JTL-Search bereits vor dem 01.09. bei Ihnen im Einsatz, können Sie es weiterhin wie gewohnt nutzen. Es gibt aktuell noch kein festes Releasedatum für JTL-Search 2.0. Sobald wir ein Datum haben, werden wir dieses und die nötigen Einrichtungsschritte mit den Nutzern teilen.

 

[Zschopautaler Imker]

Hallo,
Also ich habe 3 JTL Shops alle laufen bei Hetzner und habe von 3 Shop 2 mit über 300k Suchanfragen wie oben auch beschrieben. Also ist es ja ein gennereles Problem. Wie kann man das Unterbinde wie kann es sein das eine Suchmaschiene direkt auf die Suchfunktion des Shops zugreifen kann das sollte doch so nicht Funktionieren da dies auch eine enome Systemauslastung ist und ich wundere mich seit Wochen/Monate warum der eine Shop su extrem Langsam ist ich dachte es ist der Cache habe da schon rumgestellt Redis/Datei und co. und nix hat geholfen....

Wie kann dafür eine Lösung gefunden werden ohne Bing direkt aus zu schließen?
Habe den Live Log laufen lassen auf meine Server....
[06/Nov/2025:20:53:31 +0100] "GET /search/?qs=%22black+beans+with+mango+no+salad%22 HTTP/2.0" 200 49923 "-" "Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36"

in der Datenbank im Minuten Takt...

 

[deliman]

Bzgl. des Bing-Bots gibt es einen Beitrag hier im Forum https://forum.jtl-software.de/threads/sitemap-wird-bei-bing-wird-wegen-fehler-abgelehnt.209842/
Da geht es letztlich um die Merkmale, die viele Suchaufrufe durch Bots erzeugen. Vielleicht hilft das schon...

Das könnte auch interessant sein https://forum.jtl-software.de/threads/robots-txt-wie-richtig-einstellen.238824/page-2#post-1307719

 

[css-umsetzung]

Ich habe da Lösungen für

 

[Zschopautaler Imker]

Ja habe ich gerade gelesen das du eine Kostenpflichtige Lösung anbietest....
Ich bin aber denoch der Meinung das das Problem seitens JTL gelöst werden sollte zumal ich über 400 Euro im Monat für diese Software ausgebe und das ein Problem seites Software Entwickler ist und sollte nicht auf die Schultern der Nutzer ausgetragen werden....
Dann werte ich mal JTL Suport kontaktieren.... Bis jetzt habe ich ja noch die Hoffung gehabt das mit einfachn einstellunge zu Lösen zumal es bei einem Shop nicht passiert dort habe ich aber die Merkmal auf noindex stehen.....
Die frage: wäre das Problem Zeitweilig behoben wenn man auf noindex Stellt..... Bin zwar gerade dabei die ganzen Merkmal SEO zu Optimieren aber mmm wenn dadurch der Serv ständig ins 500 rutscht...

 

[css-umsetzung]

Da bist du, muss ich leider sagen, auf dich allein gestellt.
JTL kann dir da nicht helfen, das Problem besteht mittlerweile seit einigen Jahren.
JTL weiß das und bekommt es nicht hin.

Nein, das nutzt dir was bei den regulären Bots, aber nicht bei dem, was momentan alles unterwegs ist, wir reden hier von Bots, die ohne Kennung und ständig wechselnden IP Adressen kommen.

Trage doch das mal in deine config.ini Datei vom Shop ein und schaue dann in das jtllog/ Verzeichnis vom Shop was bei dir da so los ist

if (!empty($_SERVER['HTTP_USER_AGENT'])) {
    $agent = $_SERVER['HTTP_USER_AGENT'];
} else {
    $agent = "unknown";
}
date_default_timezone_set('Europe/Berlin');

if (!empty($agent) && !empty($_SERVER['REQUEST_URI']) && $fp = fopen(PFAD_ROOT . "jtllogs/zugriffslog_" . date("d-m-Y") . ".log", "a+")) {
    fwrite($fp, date("H:i:s") . "    " . $_SERVER['REMOTE_ADDR'] . "                " . $agent . "\n");
    fwrite($fp, $_SERVER['REQUEST_URI'] . "\n");
    fwrite($fp, "---------------------------------------------------------------------------------\n");
    fclose($fp);
}

 

[Zschopautaler Imker]

Ich sehe schon das da unheimlich viel Los ist um Grunde im Sekunden Takt. Die frage ist kann man den nicht einfach den zugriff auf /search/ einschränken... alle anderen anfrage sind ja normale Link anfragen mit Shop zugehörigen Links... aber nur Bing nutzt die Such anfrage... sicher wenn zu viele Anfragen insgesamt kommen gleicht dem einer DDOS ...

Im grunde habe ich mit deinem Skript jetzt alle IP adressen und naja nicht immer Namen aber die anfragen sind ja sehr unterschiedlich... die meisten greifen wie gesagt dirket auf Links zu zwar zu 95% auf Merkmal Links aber keine ahnung ob relevant oder nicht da steck ich nicht tief genug drin ... mir ging es eben um die suchanfragen die ja zum schluss in der DB als Suchanfrage ohne ergebnis landen und so meine DB aufblasen und langsam machen.... maximal noch ReDirekt anfragen/einträge das passiert ja aber nur wenn Links angefragt werden die nicht oder nicht mehr vorhanden sind....

Langerbestandsanfragen sind noch dabei, was ist [qs] ?, https://openai.com/bot [srsltid]?,

die frage kommt eh noch: macht es sinn KI auszusperren da ja keiner fragt ob ich meine Texte zur verfügung stellen möchte. Ich nutze zwar auch GPT aber naja es ist schon erschreckent wie die Benutzer zugriffe aufgrund Google KI eingebrochen sind....

Bis jetzt ist nix schlimmes dabei aber ich werde es mal 1-2 Tage beobachten...

Und danke für den Skript .....

 

[css-umsetzung]

Es ist so, irgendwann gehen die auf die Merkmale und das wird dann richtig schlimm und wenn du kostenpflichtige Anbieter für deine Suche verwendest, dann wird es irgendwann auch teuer.
Ich habe Kunden, da kamen dann irgendwann weit über 40, in einem Fall sogar 90 verschachtelte Merkmalsuchen in der "Sekunde".

Da steht dann alles nur noch still.

Der Vorteil mit meinem snippet den du jetzt hast ist, dass du jetzt sehr einfach sehen kannst, was da so los ist, das schreibt dir ja jeden Tag ein Log.
Wenn du dann, wenn es soweit ist, gegen die Merkmalsuchen nichts unternimmst, wird dein Redis Cache irgendwann auch aussteigen.

Achso,

nimm mal das fwrite($fp, print_r($_REQUEST, true) . "\n");
raus, das ist nur hier bei mir in der Entwicklung wichtig, das gehört da, auch wegen Sicherheitsgeschichten nicht rein.

 

[Zschopautaler Imker]

Hab mal paar IPs verfolgt
Internetanbieter: China Unicom Hostname:-
Land:China
Region/Bundesland:Tianjin
Ort:Tianjin
Postleitzahl:Unknown


würde es helfen die Index von den Merkmalen aus zu schalten? Muss man eben Landingpages machen.
oder vom Server anbieter zugriffe Zeit limitieren?

 

[css-umsetzung]

Wie ich schon schrieb, die kommen über immer wechselnde IP's, daher macht die Beschränkung der Aufrufe keinen Sinn.
In einem Forumsbeitrag habe ich das auch mal beschrieben, es nutzt dir alles nichts, wenn du einen 12 Core Server und viele Merkmale hast, dann bringe ich ich deinen Shop, je nach Serverkonfiguration, mit 12 Aufrufen zum stillstand.

Da nutzt dir auch ein noindex nichts.

Es gibt von vielen, auch von Hostern, verschiedene Ansätze das einzudämmen, so kannst Du theoretisch, auch einzelne Länder verbieten, wenn der Server GeoIP unterstützt, aber die kommen von überall her.

Ich könnte über dieses Problem mittlerweile ein Buch schreiben.

 

[cschroeder]

also ich kann nur sagen das Du es von Andreas lösen lassen solltest... seine Lösung ist absolut bezahlbar und er baut sie Dir schnell ein...
Danach ist ruhe und Dein Shop läuft wieder...

Ich hatte das gleiche Problem und meine Datenbank war völlig überlastet und der Shop zeigte nur eine weiße Seite an... und dank Andreas lief sofort wieder alles...

noch einmal vielen Dank Andreas...

 

[Zschopautaler Imker]

Genau das problem habe ich ja, auch das ich ab und zu im Admin bereich HTTP-Fehler 500 habe (Wenn ich in der Suchanfrage mit 0 Treffer auf Aktualiesieren Drücke) und bei Updates und Cache sachen habe ich ab und zu ne weiße seite. Habe mir dadurch schonmal den Shop komplett zur sau gemacht weil ich nicht wusste woran es lag und habe 6-8h Backups eingespielt und wieder Update und das gleich und dacht das es am Cache lag bzw. am Update .....

Bin schon im Kontakt mit Ihm ...

 

[ple]

Sind das die ganzen Zugriffe die man auch im backend sieht bei der besucheranzahl? Habe da so ca.20.000 pro Tag, wobei da wenn überhaupt nur 5-10 richtige Kunden dabei wären.

 

[css-umsetzung]

20k ist nen Witz
Wir sprechen hier im Extremfall von bis zu 300k

Deine beiden Seiten sehen auch nicht so aus als ob da gerade ein Bot Stresstest durchgeführt werden, auch wenn du bei der einen Seite recht viele Merkmale hast.

 

[Zschopautaler Imker]

Bei mir sind es aktuell um die 10k-90k pro Tag mal mehr mal weniger....

 

[deliman]

Wir hatten bei einem Shop im Sommer teilweise 80-90k Zugriffe pro Tag bzw. rund 1.000.000 pro Monat (hochgerechnet), was den Shop extrem langsam gemacht hat bzw. ihn komplett in die Knie gezwungen hat. Nach Rücksprache mit dem Ecomdata-Support haben sie wohl jede Menge IPs gesperrt, da massenweise Bots unterwegs waren und seit dem ist (vorerst) Ruhe.

 

[cschroeder]

Bei mir sah es so aus...

 

[sar.no]

Würde sagen doch.

So, hatte ich das auch in Erinnerung

VG,
Sarah