Neu Shop4 / MySQL 5.7 / Apache2

[maydo]

nach einer Laufzeit von ca. 2 Tagen bremst redis enorm den abgleich ab.
Der Speed geht runter auf ca 2-5Art/sec.
nach leeren des Object Caches (Redis) läuft der Abgleich wieder mit ca 30-50Art/sec.

gibt es eine Möglichkeit den Object Cache automatisch leeren zu lassen ? z.b. über einen cronjob
ohne es manuell leeren zu müssen

Der Cache wächst innerhalb wenigen Stunden auf etwa 2Gb an, Lifetime ist auf 600 eingestellt.
PS: kann per
redis-cli flushall
geleert werden

 

[css-umsetzung]

Wenn der auf 10 Minuten eingestellt ist, dann kann man sich den cache eigentlich auch direkt sparen oder?

Die Frage ist also, wie oft machst du einen derartigen Abgleich (habe nicht gesehen ob das irgendwo steht), der diese extreme Performance benötigt.
Dann könnte man schauen ob per Zeitsteuerung den cache deaktiviert oder per Hook 134 immer einen clear befehl sendet, dann wäre nur der erste Durchlauf langsamer als die anderen.

 

[maydo]

wir aktualisieren ca. 50k artikel alle zwei stunden
mit den ganzen optimierungen, schaffen wir das im moment ohne das eine lange worker queue entsteht.
~1000 Artikel in der Minute, ist der speed im moment.

der redis cache bremst enorm wenn der einige stunden am buckel hat, ich leere den nun jede stunde mit "redis-cli flushall"
läuft sehr gut bis jetzt
die lifetime habe ich auf 3600 eingestellt, 600 macht da kein sinn, wenn er stündlich geleert wird.

 

[css-umsetzung]

Ich muss das jetzt mal so fragen.

Warum muss man alle zwei Stunden 50k Artikel aktualisieren?
Welche Menge an Artikel muss im Durchschnitt wirklich geändert werden in einem solchem Durchlauf.

Ich frage nur weil wenn in den 50 000 Artikel gerade mal 1000 sind die geändert werden müssen, warum lässt du dann 50 000 durchlaufen.
Da hätte ich mir eher eine andere Lösung genommen, die vorab schaut und nur die in die Abgleichsliste aufnimmt die wirklich anders sind.
Ich habe damals mal so etwas für einen Kunden mit > 260 000 Artikel gebaut sonst hätte er Tage gebraucht.

Oder ich würde mit Firmen wie Visitmedia sprechen, die soweit ich weiß, dafür bessere Lösungen haben.

 

[maydo]

danke für den tip, die automatik ist schon soweit optimiert, dass nur geänderte übertragen werden, umsonst verursachen wir kein traffic.

eine bessere lösung kenne ich bis jetzt nicht um eine größere anzahl artikel zu aktualisieren.
wobei auch nicht notwendig, die aktuelle lösung ist mehr als zufriedenstellend für den bedarf