Neu JTL Shop 5 ... REDIS Cache läuft stündlich voll

[wawi-dl]

Hallo,

wir benötigen mal Infos von Profis, da uns der REDIS Cache offenbar stündlich voll läuft, Aussage von unserem Hoster.

Wir haben ca. 5.000 Artikel online, keine Varianten, aber alle haben Merkmale und die Kunden suchen die Produkte hauptsächlich über Merkmale.

Wieviel RAM soll man diesem denn geben? Wir haben wohl 2 Kerne und 8GB RAM, hatten testweise aber auch 4 Kerne und 16GB RAM.
CronJobs laufen nur wöchentlich.

Andere berichten das gleiche, ist denn etwas falsch konfiguriert oder braucht der JTL Shop wirklich so viel???
https://forum.jtl-software.de/threa...oll-und-startet-sich-neu.198796/#post-1091359

 

[css-umsetzung]

Hi @wawi-dl

Die Frage ist unter anderem, wie der cache Konfiguriert ist, kommt Ihr an die Konfiguration auf dem Server ran?
Hat der ganze Server nur 8GB Ram?
Das finde ich heutzutage etwas wenig.

Redis muss auf jedenfalls so konfiguriert werden, dass wenn der Cache vollläuft, dieser ältere keys automatisch killt.
Wirklich etwas dazu sagen kann man aber erst wenn man sich das ganze Konstrukt angeschaut hat.

 

[wawi-dl]

Hi @wawi-dl

Die Frage ist unter anderem, wie der cache Konfiguriert ist, kommt Ihr an die Konfiguration auf dem Server ran?
Hat der ganze Server nur 8GB Ram?
Das finde ich heutzutage etwas wenig.

Redis muss auf jedenfalls so konfiguriert werden, dass wenn der Cache vollläuft, dieser ältere keys automatisch killt.
Wirklich etwas dazu sagen kann man aber erst wenn man sich das ganze Konstrukt angeschaut hat.

Danke für deinen Input.

Leider kommen wir da nicht ran, das muss der Hoster einstellen.
Wir hatten auch mal erhöht, lief auch voll, dauerte nur länger.

Was kann ich denn dem Hoster konkret mitteilen, damit er das prüfen kann?
Oder ist das zu komplex?

 

[waldemar.p]

Den meisten Cache verbraucht in der Regel Artikel und Artikelfilter. In eurem Fall wird vermutlich der Artikelfilter das Problem sein, wie ich es herauslese. Denn je mehr Merkmale zum Filtern zur Verfügung stehen, desto mehr Kombinationen müssen auch gecacht werden.
Wie groß da der Cache werden kann, könnt ihr mit der Caching Methode SQLite mal austesten. Nach aktivieren einfach mal abwarten und die Größe beobachten.
Denn ich konnte durchaus beobachten, dass durch üppige Merkfallauswahl der Cache durchaus über 60GB groß werden kann.
Bei der Größe könnte sein, dass Redis Größe gar nicht mehr ausreicht und ggf. mehr Arbeitsspeicher zugefügt werden muss.
Aber ggf. stimmt, die Shop Performance mit der SqLite auch, sodass man dies als alternative belassen kann.
Achtung, es kann sein, dass die Cache-Seite dann im Backend sich nicht öffnen bzw. sehr verzögert öffnen lässt. Dies ist kein Indiz, dass der Cache langsam ist, sondern da wird die Statistik über die gesamte SQlite DB gezogen/berechnet, aus diesem Grund ist die Seite dann langsamer. Und bitte mindestens Shop Version 5.2.3, wenn ihr mit SqLite-Cache-Methode dauerhaft belassen möchtet., denn da wurden wichtige Fixes für diesen Cache noch nachgetragen.

 

[recent.digital]

Danke für die Aufklärung.

 

[css-umsetzung]

Wenn euer Redis aussteigt weil der cache voll ist, also deswegen einen 500er produziert, dann solltet Ihr diese Einstellung prüfen lassen.
https://redis.io/docs/reference/eviction/

 

[wawi-dl]

Wir schauen uns das mit dem Hoster an.

Mein Hoster fragt, ob der JTL Shop keinen Garbagecollector hat und durch den Cache jagt um alte Einträge zu löschen?!
Seiner Meinung nach sollte der Shop (wie Magento / Shopware) seinen Cache selbst nach Ablauf löschen (Stichwort TTL).

Der Redis Cache wurde nun mal auf 1GB begrenzt, es werden dann halt keine neuen Einträge geschrieben, oder?
Würde das dann den Shop lahm legen?

 

[css-umsetzung]

Das kommt auf die Einstellungen vom Redis drauf an, je nachdem was da konfiguriert ist würde Redis auch in einen 500er laufen wenn der cache voll ist.
Und ja JTL kümmert sich bestimmt um die alten Einträge (auch wenn ich die Cache Funktionen im Core noch nie richtig angeschaut habe)

 

[mh1]

Wir schauen uns das mit dem Hoster an.

Mein Hoster fragt, ob der JTL Shop keinen Garbagecollector hat und durch den Cache jagt um alte Einträge zu löschen?!
Seiner Meinung nach sollte der Shop (wie Magento / Shopware) seinen Cache selbst nach Ablauf löschen (Stichwort TTL).

Der Redis Cache wurde nun mal auf 1GB begrenzt...

Warum begrenzt du den auf 1GB, wenn du 8GB RAM hast?

...es werden dann halt keine neuen Einträge geschrieben, oder?

Der Redis muss so konfiguriert werden, dass alte Einträge gelöscht werden, wenn er voll ist.
Wie @css-umsetzung schon geschrieben hat, ist hier die Einstellung für "key eviction" ausschlaggebend.

​

 

[css-umsetzung]

Warum begrenzt du den auf 1GB, wenn du 8GB RAM hast?

Er braucht ja noch nen bissel was für den Apachen und MySQL
Mehr hätte ich dem Redis da jetzt auch nicht gegeben, da ich die 8GB für den Server eh schon dürftig finde.

 

[waldemar.p]

Die "Lifetime"-Einstellung ist genau das TTL. Bei Redis sollte sogar der Server bzw. Redis selber sich drum kümmern die alten Einträge zu entfernen, Shop setzt lediglich nur das TTL.
1GB ist allerdings recht wenig, wenn es tatsächlich der Shop wesentlich mehr benötigt. D.h. der Cache wird immer überfüllt sein und es wird häufiger auf die Datenbank zurückgegriffen, wo die Performance des Shops darunter leiden wird.
Wie bereits erwähnt, mal ggf. dann mit der SqLite-Methode ausprobieren, und die Shop-Performance mal dabei prüfen, ob es dann ggf. besser ist, weil dann der Cache sich entfalten kann. Auf Redis kann man sowieso bei Nichtgefallen wieder zurückstellen.

 

[wawi-dl]

Danke für die Info.

1 GB war nur ein Test, es wurde dann auch eine Fehlermeldung ausgegeben.

In den Einstellungen LIFETIME haben wir aktuell Standard stehen "86400", was sollte man denn hier eintragen?

 

[wawi-dl]

Übersicht Redis Cache, eigentlich sind es ja nicht sooo viele Daten oder?

 

[css-umsetzung]

Die Statistik, wie viel Speicher gerade verwendet wird ist interessant .

JTL gibt im Hosting max 250MB frei und das geht auch ohne Fehler.

von daher sage ich die Konfig ist nicht OK und prüfe ob da Bots Amok laufen.

 

[waldemar.p]

Lifetime von 86400 (sind Secunden) = 24h ist im Grunde in Ordnung. Wenn diese heruntergeregelt wird, kann man zwar beeinflussen, dass der Cache schneller geleert wird, aber ganz ehrlich, dies wäre nicht der Sinn des Caches.
Ganz wichtig: Wenn Redis z.B: auf localhost läuft, und auf dem gleichen Server noch andere Shop ebenfalls das Redis als Cache im Einsatz haben, so muss man unbedingt beachten, dass die Redis-DB nicht bereits von einem Fremden Shop verwendet wird, denn da könnten beide Shops ggf.in die quere kommen. Die Redis-DB ist eine Zahl und kann einfach nach oben hochgezählt werden. 0...n

 

[Freaky]

Hmm, dann sieht es bei mir ja auch nicht schlecht aus

 

[css-umsetzung]

Das hast du in 7 Stunden geschafft?
Ich habe mal einige Shops angeschaut, wir sprechen bei dem Beispiel von einem Shop mit ca. 150 Bestellungen am Tag, dementsprechend sind auch die Besucherzahlen und man sieht (wie es scheint) , dass Redis auch über mehrere Tage problemlos läuft wenn es richtig Konfiguriert ist, in einem anderem Shop ist Redis seit 167 Tagen aktiv und hat auch viele Bestellungen und nur 2GB für Redis zur Verfügung.

 

[Freaky]

Ja, das ist etwas komisch...
Der geht meistens so auf etwas über 8GB, es stehen 16 GB nur für den Redis zur Verfügung, dann sinkt der wieder auf Null und die Daten im unteren Screenshot bleiben bestehen.
Wenn ich den richtig resette, dann sind auch die unteren Werte wieder auf null.

Wir haben aber auch keine Probleme, es sei denn ein Bot ruft kurzzeitig sehr viele Merkmalseiten auf. Dann bekommt der Bot eine 500er Antwort. Es folgen aber keine weiteren 500er Antworten für andere User.

Ich muss dazu sagen, dass wir wirklich sehr viele Merkmale nutzen.

 

[css-umsetzung]

Meine Empfehlung ist ganz klar, die unerwünschten Bots auszuschließen, es gibt ja hier verschiedene Varianten, htaccess / meine Lösung und noch viele andere.
Ich kenne deine Besucherzahlen nicht, aber ich denke wenn du das in 7 Stunden schaffst, dann tummeln sich da einige Bots die du gar nicht haben möchtest.

 

[Freaky]

Danke für dein Feedback Andreas,

bei "meine Lösung" bin ich neugierig geworden. Hast du da was im Sortiment? Finde bei deinen Plugins gar nichts, was danach riecht