Neu Probleme mit Cache Einstellungen / HTTP 500 - memory limit exceeded

[chr1s4us]

Huhu,

in der JTL Shop Version 5.6.1 können wir nicht mehr die Cache Konfiguration im JTL Shop Admin Bereich aufrufen. Wir bekommen einen HTTP 500 Fehler und folgenden PHP Meldung:

```
[Mon Jan 26 20:00:37.044816 2026] [proxy_fcgi:error] [pid 1004:tid 130054092748480] [client 217.225.135.XXX:4087] AH01071: Got error 'PHP message: PHP Fatal error: Allowed memory size of
1073741824 bytes exhausted (tried to allocate 4096 bytes) in /var/www/XXX/includes/src/Cache/Methods/CacheRedis.php on line 298', referer: https://XXX.de/admin/
```
Wir sind mit memory_limit=128M gestartet - wie man in der obigen Fehlermeldung sieht, bekommen wir dies auch mit 1GB memory_limit, daher gehe ich von einem Software-Fehler aus.

Details:
PHP 8.3 (FPM)
Apache/2.4.58
JTL Shop 5.6.1

Kennt das Problem jemand? Gibt es einen Workaround?

Danke,
Chris

 

[css-umsetzung]

Auch Huhu,

Vermutlich muss dein Redis neu gestartet werden, es kann aber auch sein, dass in deinem template_c Verzeichnis Chaos herrscht.
Öffne das Verzeichnis per ftp (auch das darin enthaltene Verzeichnis von deinem Child Template) und schaue, ob da "tausende" von Dateien liegen.

 

[frankell]

Öffne das Verzeichnis per ftp (auch das darin enthaltene Verzeichnis von deinem Child Template) und schaue, ob da "tausende" von Dateien liegen.

Ergänzung: Dauer das Öffnen sehr, sehr lange oder scheitert gar. Dann herrscht da auf jeden Fall "Chaos".

 

[chr1s4us]

Guten Abend!

Vielen Dank für die HIlfe.
Leider war der Hinweis mit dem template_c Folder nicht zielführend. Der Folder war nur 70 MB groß und auch mit komplett neuem template_c Folder bekomme ich einen 500er beim öffnen der Cache Einstellungen.

Der Shop läuft auf einem root Server mit 8 cores und 32 GB RAM. Es sind round about 20.000 Artikel im System. Redis liegt auf dem selben Server und darf aktuell 4GB nutzen. Rest dürfen php-fpm worker und Datenbank sich teilen. Eng ist es auf dem Server nur, wenn mal wieder die KI Bots wild auf dem Shop unterwegs sind.

Ggf. noch eine Idee?

Grüße,
Chris

 

[css-umsetzung]

Der Shop läuft auf einem root Server mit 8 cores und 32 GB RAM. Es sind round about 20.000 Artikel im System. Redis liegt auf dem selben Server und darf aktuell 4GB nutzen. Rest dürfen php-fpm worker und Datenbank sich teilen. Eng ist es auf dem Server nur, wenn mal wieder die KI Bots wild auf dem Shop unterwegs sind.

Ggf. noch eine Idee?

Ja, wenn die Bots dafür sorgen das Redis "überläuft" so dass gar nichts mehr geht kann ich dir helfen.

Wenn das ein Root Server ist auf dem zu Zugriff und die Möglichkeiten hast das zu konfigurieren, kann man zum einen Redis eventuell optimieren und zum anderen könnte ich was gegen dein Bot Problem tun.

Dann solltest du diese Probleme nicht mehr haben, das der Server in die Knie geht.

 

[chr1s4us]

Ja, wenn die Bots dafür sorgen das Redis "überläuft" so dass gar nichts mehr geht kann ich dir helfen.

Wenn das ein Root Server ist auf dem zu Zugriff und die Möglichkeiten hast das zu konfigurieren, kann man zum einen Redis eventuell optimieren und zum anderen könnte ich was gegen dein Bot Problem tun.

Dann solltest du diese Probleme nicht mehr haben, das der Server in die Knie geht.

Entschuldige - wahrscheinlich habe ich mich da falsch ausgedrückt. Der Server kommt an seine Grenzen bei den Bots, da ihm irgendwann die PHP Worker ausgehen, nicht wegen des Caches --> ich mach hierfür aber auch mal einen Thread auf.

Zurück zu dem Problem: Warum bekommt der Shop, wenn ich die Cache Einstellungen aufrufe, ein Speicherproblem. Will er den ganzen Redis Server in den RAM laden um mir im Anschluss die die Liste der Cache Objekte anzuzeigen? Ich glaube hier läuft etwas nicht richtig - oder übersehe ich etwas?

 

[css-umsetzung]

Entschuldige - wahrscheinlich habe ich mich da falsch ausgedrückt. Der Server kommt an seine Grenzen bei den Bots, da ihm irgendwann die PHP Worker ausgehen, nicht wegen des Caches --> ich mach hierfür aber auch mal einen Thread auf.

Das sehe ich anders, es ist eher die Datenbank, die an Ihre Grenzen kommt aber ich kenne deinen Shop nicht und sehe nicht wie die Zugriffe der Bots sind, daher lassen wir das mal so, als Vermutung stehen.
Damit bei einem Server mit 32G RAM die apachen schlapp machen, muss so einiges passieren oder der Server ist nicht gut konfiguriert.

Wenn es so ist wie ich vermute (wenn du in deinem Shop auch Merkmale verwendest):
Dann rufen die Bots alle möglichen Suchen sowie Merkmalfilter in verschiedensten varianten auf und das stresst in der Regel die Datenbank.
Hinzu kommt, dass die Merkmalfilter alle im Redis Cache landen schau doch einfach mal (geht ja gerade nicht) bei den Cache Einstellungen wie hoch der Cache der Artikelfilter ist, der ist vermutlich jenseits von gut und böse.

Das sind alles Dinge, die man im Vorfeld einfach prüfen kann.
Ich hab im Forum ein einfaches snippet veröffentlicht, mit dem man sehr schnell und unkompliziert sehen kann ob man ein solches Problem hat.

 

[chr1s4us]

Das sehe ich anders, es ist eher die Datenbank, die an Ihre Grenzen kommt aber ich kenne deinen Shop nicht und sehe nicht wie die Zugriffe der Bots sind, daher lassen wir das mal so, als Vermutung stehen.
Damit bei einem Server mit 32G RAM die apachen schlapp machen, muss so einiges passieren oder der Server ist nicht gut konfiguriert.

Wenn es so ist wie ich vermute (wenn du in deinem Shop auch Merkmale verwendest):
Dann rufen die Bots alle möglichen Suchen sowie Merkmalfilter in verschiedensten varianten auf und das stresst in der Regel die Datenbank.
Hinzu kommt, dass die Merkmalfilter alle im Redis Cache landen schau doch einfach mal (geht ja gerade nicht) bei den Cache Einstellungen wie hoch der Cache der Artikelfilter ist, der ist vermutlich jenseits von gut und böse.

Das sind alles Dinge, die man im Vorfeld einfach prüfen kann.
Ich hab im Forum ein einfaches snippet veröffentlicht, mit dem man sehr schnell und unkompliziert sehen kann ob man ein solches Problem hat.

Okay, bleiben wir kurz Offtopic:

Wie geschrieben, ich verwende php-fpm. Hierbei gibt es eine bestimmte Anzahl an PHP Prozessen, die sich exklusiv eigene Ressourcen holen. Wenn aber bei 20k Artikeln die Bots gefühlt 100 Produktbilder in der Minute ziehen, kann man noch so viele von diesen (exklusiven) Workern haben. Erschwerend kommt noch dazu - wenn die Mond und Sonnenkonstellation ungünstig ist - sieht man mittlerweile 3-4 solcher (AI-) Bots auf dem Shop turnen, und anhand der parallelen Zugriffe von unterschiedlichen IPs grenzt das m.E. schon an Denial of Service Angriffen. Es sind erkennbar gemietete Systeme und nicht die typischen Bots, weshalb ich diese mittlerweile ausgeschlossen habe - die robots txt lesen sie zum Glück. Ich tippe auf Mitbewerber, die ihre Preise an uns ausrichten.

Kleines (vereinfachtes) Rechenexempel:
Datenbank: 8 GB
Redis: 8 GB
System: 2 GB
--> Es bleiben 14 GB RAM übrig.

Gebe ich nun jedem PHP Prozess 128 MB RAM, wie empfohlen, bleibt raum für 112 gleichzeitige Zugriffe. Hört sich wenig an, ist aber in 90% der Fälle ausreichen.

Normalerweise löst man das damit, dass man statische Inhalte, wie Bilder, auf einer anderen url hosted - z.B. static.xyz.de oder eben ein CDN (Plugin) welches am Ende aber auch genau das macht - inhalte über eine andere URL ausspielen um eben diese nicht über den teuren Prozess zu routen. Für andere Shopsysteme und CMS Systeme gibt es auch geeigenete Plugins, die helfen solchen statischen Inhalte auszulagern. Für JTL ist mir so etwas aber noch nicht über den Weg gelaufen... Cloudflare einfach davor schalten geht, ist aber auch keine Lösung. Man will ja z.B. dass ab dem Cart eben NICHT mehr ein CDN verwendet wird und auch dass der Shop den Cache im CDN invalidiert.
Mit einem solchen Setup habe ich lange Zeit eine Webseite mit Wordpress betrieben und auch wenn die Werbung im Radio & TV lief, waren die Zugriffszeiten top und der einfache Server langweilte sich.

 

[css-umsetzung]

Da würden mich die Zugriffe interessieren.

Die Daten sind von heute, also bis jetzt
Kunde hat 23k Artikel / verteilt auf 36k Bilder
Server mit 16G RAM / 8 Cores / memorylimit liegt bei 1G / Redis 4G
derzeitige RAM Auslastung 11,6G Serverload 2,5,
Hat bisher 350k Zugriffe auf den Shop, also das was über php lief, ein Großteil wird bereits vom Serverbetreiber Serverseitig geblockt , ca. 40k Zugriffe von Bots, die durchkommen, blocke ich, die sind aber in den 350k enthalten.

Können uns auch gerne mal direkt per PN austauschen, um den Thread hier nicht zu verwurschteln
Zugriffszahlen und Performance interessieren mich schon etwas, wenn es um den Shop geht.

 

[frankell]

Können uns auch gerne mal direkt per PN austauschen, um den Thread hier nicht zu verwurschteln

Aber interessante Ergebnisse gerne wieder hier teilen. Zumindest ich lese interessiert mit.