Neu Automatisch Objekt und Template Cache leeren

[Specker]

Hallo
Ich habe das Problem, dass mein templatec_c/filecache Ordner nach knapp 2 Wochen komplett mit fast 250.000 Dateien belegt ist. Wahrscheinlich wegen Bots.
Das führt dazu, dass unser Shop quasi nicht mehr funktioniert.
Erst nachdem man den gesamten Objekt- Cache und den Template Cache leert, funktioniert wieder alles.

Meine Frage wäre jetzt, ob man es irgendwie einstellen kann, dass sowohl der Objekt Cache, als auch der Template Cache nach einer gewissen Zeit automatisch geleert werden.

Das würde uns einige Kopfschmerzen in der Zukunft ersparen.

 

[Specker]

falls irgendjemand mal das selbe Problem haben sollte, schreibt mich einfach an.
Ich habe mir eine kleines Node.JS Script geschrieben und als .exe datei gebaut.
Das Script loggt sich in den admin bereich ein und klickt die cache löschen Buttons automatisch an.

Windows führt diese Datei dann einmal die Woche aus.. problem solved

 

[orangeampel]

falls irgendjemand mal das selbe Problem haben sollte, schreibt mich einfach an.
Ich habe mir eine kleines Node.JS Script geschrieben und als .exe datei gebaut.
Das Script loggt sich in den admin bereich ein und klickt die cache löschen Buttons automatisch an.

Windows führt diese Datei dann einmal die Woche aus.. problem solved

Grüße,

Ja wir stehen vor dem selben Problem!

Wir bitten um Hilfe
Hast eine PN

Danke

 

[Specker]

An alle, die das Java-Script von mir haben wollen als .exe Datei:
Ihr müsst den Code natürlich schon minimal anpassen und dann selber kompilieren. (mit der gratis Software visual studio code z.B.)

Das liegt einfach daran, dass URL, Benutzer und Passwort logischerweise variieren.
Das sollte aber eigentlich jeder hinbekommen und ich helfe auch gerne weiter, falls es Probleme gibt.

 

[css-umsetzung]

Die bessere Alternative wäre, sich einen Hoster zu suchen der Redis oder zumindest APC unterstützt, allein schon wegen der Geschwindigkeit des Shops, dann hat man diese Probleme nicht.

Wäre ich JTL würde ich den Dateicache aus dem Programm werfen, weil der oft Probleme macht, da die Server die Dateimengen nicht verwalten können.
Wenn Ihr ständig den gesamten cache löscht könnt Ihr den auch gleich deaktivieren, kommt aufs gleiche raus.

 

[bzng]

Besser keinen Cache nutzen als den Dateicache
Einzige Alternative ist ein funktionaler Cache, der auch die nötige Performance liefert = Redis oder ggfs. noch APC.
Sprich Redis / APC oder gar nichts.

Ständiges leeren eines Caches widerspricht dem Sinn des selbigen. Dies müsste der Shop schon korrekt selbst steuern, da gerade die automatisierte Invalidierung bei neuen Daten aus der Wawi enorm wichtig ist.

 

[css-umsetzung]

Ständiges leeren eines Caches widerspricht dem Sinn des selbigen. Dies müsste der Shop schon korrekt selbst steuern, da gerade die automatisierte Invalidierung bei neuen Daten aus der Wawi enorm wichtig ist.

So ist es und der Dateicache kann das aufgrund der Dateimengen meist nicht, daher bringt es nichts diesen zu verwenden und er sollte abgeschafft werden, damit er gar nicht erst zur Auswahl steht.

 

[Specker]

Stimmt schon alles,
allerdings muss ich sagen, dass es für uns aktuell ein guter Workaound ist mit dem Script.
Der Shop läuft angenehm schnell. Einmal die Woche lasse ich das Script laufen und im Anschluss dann noch
einen selbst programmierten Crawler, der im Hintergrund einmal jede Page des Shops öffnet.
Das sorgt dafür, dass der Shop nach der Cache Entleerung wieder schnell läuft.

 

[css-umsetzung]

Sorry, dass ist kein guter Workaround, dass ist murks und das lässt sich leider auch mit nichts schön reden.

 

[Specker]

Ich mag meinen Workaround.
besser als das alle 2 Wochen der Shop lahm liegt, so wie vorher.

Aber ja, anderer Server wäre besser...

 

[pe1]

Im Zuge des geplanten Updates auf 5.4.0 habe ich mich mal damit beschäftigt und ehrlich ich kann das System nicht nachvollziehen.
Wenn man den Objekt Cache leert betrifft das welchen Ordner im Front/Backend?
Wenn man den Template Cache leert sollte dann nicht der Order /templates_c leer sein?

Peter

 

[yousuf1131]

Hallo
Ich habe das Problem, dass mein templatec_c/filecache Ordner nach knapp 2 Wochen komplett mit fast 250.000 Dateien belegt ist. Wahrscheinlich wegen Bots.
Das führt dazu, dass unser Shop quasi nicht mehr funktioniert.
Erst nachdem man den gesamten Objekt- Cache und den Template Cache leert, funktioniert wieder alles.

Meine Frage wäre jetzt, ob man es irgendwie einstellen kann, dass sowohl der Objekt Cache, als auch der Template Cache nach einer gewissen Zeit automatisch geleert werden.

Das würde uns einige Kopfschmerzen in der Zukunft ersparen.

Hallo

Wir möchten dieses Skript benutzen. Können Sie vielleicht mehr Informationen geben? Ich kann Ihnen eine Nachricht senden.

 

[olli33]

Hallo Zusammen, wir haben das bisher mit einem cronjob gelöst der die Verzeichnisse nach XX Stunden leert. Auch keine gute Lösung, die wir leider noch wegen IONOS machen müssen. Aber zu dem Thema kann ich nur empfehlen, Hoster und Cache zu wechseln.

 

[yousuf1131]

Hallo Zusammen, wir haben das bisher mit einem cronjob gelöst der die Verzeichnisse nach XX Stunden leert. Auch keine gute Lösung, die wir leider noch wegen IONOS machen müssen. Aber zu dem Thema kann ich nur empfehlen, Hoster und Cache zu wechseln.

Wir benutzen gerade wir Files (extended) und leeren den Cache jeden Tag. Das funktioniert, aber haben wir nicht viel Traffic und nur 500 Artikel. Ich denke, die Empfehlung von JTL ist der bessere Weg. Ein neuer Host und Cache können auch eine bessere Option sein, je nach Anbieter.

 

[Belushi]

Wir hatten das Problem trotz (oder wegen) Redis, nachdem sich ein paar Bots auf uns eingeschossen hatten. Die sind inzwischen vom Provider geblockt. Trotzdem unsere Erfahrung dazu:
a) Redis bringt sehr wohl was in der Geschwindigkeit. Es ist kein Raketenbooster, aber der Unterschied zu "ohne Cache" ist definitiv sichtbar.
b) Der Cache neigt tatsächlich zum Überlaufen; dann schlägt z.B. der Worker-Abgleich fehl. Wir löschen den 1x pro Woche von Hand im Backend; das gehört zu meinen Wochenendaufgaben.
Besser wäre natürlich, wenn die Verwaltung von Redis veraltete Einträge automatisch oder notfalls per Cronjob aufräumen könnte. Aber... it is what it is.

 

[css-umsetzung]

Wir hatten das Problem trotz (oder wegen) Redis, nachdem sich ein paar Bots auf uns eingeschossen hatten. Die sind inzwischen vom Provider geblockt.

Das Blocken von Bots reicht mittlerweile nicht mehr aus.
Achte mal auf deinen Artikelfilter im Cache, der ist meistens unnatürlich hoch.
Wenn Redis dann noch, vom Hoster aus, falsch konfiguriert ist, dann bekommst du Probleme mit dem Cache.

Es ist nicht vorgesehen, das man einmal die Woche seinen Cache manuell leeren muss, wenn das so ist, dann stimmt etwas am Gesamtsystem nicht.

 

[Belushi]

Also, ich halte unseren Hoster schon für ziemlich kompetent
Aber sicher kann man immer irgendwas optimieren; evtl. müssen wir mal ne andere maxmemory-Einstellung (key Eviction) testen.

Kannst Du mir in 2 Sätzen erklären, wo das Problem mit den Artikelfiltern liegt?

 

[css-umsetzung]

Ich habe nicht gesagt, dass er nicht kompetent ist

Du findest hier im Forum massenweise Beiträge von mir und anderen, wo ich das Problem mit den Bots beschrieben wird, denn mittlerweile kommen diese als User getarnt, mit ständig wechselnden IP Adressen, das kannst du Serverseitig gar nicht sperren, es sei denn du sperrst ganze Länder aus.

Von außen kann ich dir keine Tipps geben, ohne das drumherum zu kennen.

Aber das ist doch klar, dass da bei dir was falsch läuft, wenn du jede Woche den Cache leerst, oder steht das irgendwo, bei JTL in einer Dokumentation.
Keiner meiner Kunden von dem ich weiß, muss wöchentlich den Cache leeren, egal wie groß der Shop ist.

 

[Belushi]

Bitte nicht in den falschen Hals bekommen: Wenn Du so ominöse Andeutungen machst wie "Achte mal auf deinen Artikelfilter im Cache, der ist meistens unnatürlich hoch." wäre eine kurze Erklärung schon nett

es sei denn du sperrst ganze Länder aus

Das tun wir tatsächlich (Geo-IP). Unser Hoster hat das damals für uns analysiert und dann die bösesten Buben wie z.B. China und Korea gesperrt.

Und, ich "muss" das nicht machen mit dem wöchentlichen Cache löschen, das ist eine rein präventive Maßnahme:
Wenn der Cache überläuft, passiert das meist beim Wawi-Abgleich; dann kommt es im Worker zu einem Abbruch und der Shop protokolliert gleichzeitig einen "memory limit exceeded" Fehler für Redis. Das passiert so etwa 1-2x pro Monat. Also, das wöchentlich ist wirklich reine Vorsorge.

 

[css-umsetzung]

Nein, bekomme ich nicht.

Ich habe Kunden gehabt, bei denen der cache vom Artikelfilter Bereich von mehreren 100 000 Einträgen war.

Da der Artikelfiltercache nicht automatisch gelöscht wird, wie es scheint (habe das geprüft und stimmt vermutlich)
https://forum.jtl-software.de/threa..._filter-wo-wird-der-cache-invalidiert.243882/

Wenn das also "unnatürlich" immer größer wird, bekommst du irgendwann ein Problem mit dem Cache.
Redis sollte so eingestellt sein, dass es wenn es voll läuft, nicht nach dem expired sondern nach den am wenigsten verwendeten Einträgen geht, so hast du eine Chance, dass der Cache nicht Amok läuft.

Frage deinen Hoster also am besten mal, was er eingestellt hat.

Ich habe schon mehrfach ein Script zur Verfügung gestellt, mit dem man sehr schnell sehen kann, ob man ein Problem mit Bots und den Merkmalen hat und damit sieht man auch gut, dass auch die Botsperre von Cloudflare nicht alles filtert.

Hast du denn mal geschaut, wie groß der Artikelfilter im laufe der Woche aussieht?
Auch eine sehr Hohe Anzahl von Usern ist ein Indiz dafür, das du ein Problem hast, ich hatte Kunden die 80 000 Besucher am Tag hatten, davon waren am Ende nur wenige Tausend echt.

Aber wie ich schon schrieb, von außen ist das alles nur Rätselraten und macht keinen Sinn Weil auch keiner weiß, ob du die Merkmale überhaupt verwendest.