Shopabgleich legt den Onlineshop lahm

[MAG]

Hallo zusammen,

wir haben jetzt mehrfach beobachtet, wie ein einfacher Webshop-Abgleich unseren Onlineshop minutenlang lahmlegt.
WaWi ist Version 1.09, Webshop ist 3.20 - das Problem existiert aber schon länger.

Sobald der ganz normale Webshop-Abgleich gestartet wird, wird der Onlineshop langsam - gestern ist er sogar komplett ausgestiegen.

Ich habe unseren Hoster zum gestrigen Vorfall um Hilfe gebeten, Antwort:

die max. Anzahl MySQL-Connections war vorhin kurz ausgeschöpft.

Nun bin ich der Meinung, dass der Server relativ dicke reichen sollte; wenn wir gerade keinen Wawi-Abgleich machen haben wir einen TTFB von <0.4s - i.d.R. 0.3s und zwar Tageszeit/Nutzerzahl unabhängig.

Der Shop wird nicht nur auf der Leitung langsam, mit der der Shop-Abgleich gemacht wird (das wäre logisch) sondern komplett - das haben wir persönlich und auch durch ein externes Servermonitoring getestet.

Habt ihr mir einen Tip, wo ich hier ansetzen kann?

Besten Dank
Martin

 

[boaa-group]

AW: Shopabgleich legt den Onlineshop lahm

Die Hardware der Server hat ja nichts mit der Konfiguration der einzelnen Dienste zu tun. Frag deinen Hoster Mal welcher Wert für max_connections hinterlegt ist und lass diesen eventuell hochstellen.

 

[MAG]

AW: Shopabgleich legt den Onlineshop lahm

Danke für die schnelle Antwort.
Als Wert für max_connections ist 500 eingetragen - das ist doch schon ganz ordentlich, oder? Welcher Wert wird denn empfohlen?

 

[boaa-group]

AW: Shopabgleich legt den Onlineshop lahm

Frag noch nach der "stay alive" Zeit. Wenn du die zu hoch hast dann ist der Kunde weg die Verbindung ist aber noch Minuten reserviert und wenn du schon dabei bist, lass dir bestätigen das MySQL Query Caching aktiv ist.


Gesendet von iPad mit Tapatalk

 

[MAG]

AW: Shopabgleich legt den Onlineshop lahm

Query Caching ist aktiv.
wait_timeout ist auf den Standardwert 28.800 Sekunden eingestellt (oder meintest Du etwas anderes mit "stay alive" Zeit?)

 

[boaa-group]

AW: Shopabgleich legt den Onlineshop lahm

Jep, genau... guck Mal in Google Analytics wielange die durschnittliche Aufenthaltsdauer deiner Besucher ist > und stell den Wert minimal höher.

 

[WaidMann]

AW: Shopabgleich legt den Onlineshop lahm

Auch wir müßen uns diesem Problem anschließen! Obwohl Cache deaktiviert (!) benötigte der komplette Webshopabgleich beim letzten Mal ganze 14 Tage (!) ... und das ununterbrochen Tag und Nacht! Ok, es waren/sind ca. 250.000 Artikel, aber selbst diese müßten wesentlich schneller abgearbeitet sein. Schaut man sich die Prozesse des Webservers per phpadmin an, so ist dieser (trotz optimaler Konfiguration und wirklich sehr guter Hardware) während des Abgleichs zu 99,9% ausgelastet und nur sehr wenige Ressourcen sind für den Onlineauftritt frei. Muß ein Kunde lange auf den Aufbau einer Seite warten, ist dieser auf Nimmerwiedersehen verschwunden. Allein der letzte Abgleich hat uns Umsatzeinbußen von geschätzten 20.000,- € gekostet!
Wir haben auch schon ein Ticket bei JTL eröffnet, denen einen Dump des Webservers, eine Datensicherung unserer WaWi und eine mittels Ameise einzulesene Datei zur Verfügung gestellt ... das Ergebnis innerhalb von 4 Wochen (!) ist ernüchternd, da der Vorgang nicht richtig reproduziert wurde. Ebenfalls wurde uns ein Testshop eröffnet. Man hat aber vergessen, das Speicherlimit höher zu setzen und nach ca. 5.000 Artikeln wurde abgebrochen. Alles in Allem ein bisher äußerst unzufriedenes (Zwischen-)Ergebnis!
Wir können uns hier nur einiger Äußerungen in anderen Themen anschließen, daß JTL doch bitte erst einmal die veröffentlichte Versionen 100%ig zum Laufen bringen sollte, als Neuerungen anzukündigen!!!

 

[boaa-group]

AW: Shopabgleich legt den Onlineshop lahm

Auch wir müßen uns diesem Problem anschließen! Obwohl Cache deaktiviert (!) benötigte der komplette Webshopabgleich beim letzten Mal ganze 14 Tage (!) ...

Dein Problem ist aber ein anderes und passt hier nicht 100%ig rein + für dein Problem ist JTL ja schon via Ticket dran und hier im Forum wird da wohl niemand eine Lösung haben.

 

[MAG]

AW: Shopabgleich legt den Onlineshop lahm

Ok danke Dir! - dann werde ich das mal probieren (lassen) - ich gebe Feedback, wenn ich weiter bin; an irgendwelchen weiteren falschen Einstellungen kann es nicht liegen?

 

[boaa-group]

AW: Shopabgleich legt den Onlineshop lahm

an irgendwelchen weiteren falschen Einstellungen kann es nicht liegen?

Ursachen kann es viele haben, dass wäre aber die wahrscheinlichste mMn. Dein Timeout für nicht ordnungsgemäß geschlossene Verbindungen liegt aktuell bei 8 Stunden da kann ein Engpass schon Mal auftreten.

 

[testjo]

AW: Shopabgleich legt den Onlineshop lahm

Weiss nicht ob aber es gab mall wen einige debugging / logging ( JTLSHOP und oder jtlwawi settings dazu) auf on auch probs. ( im produktiv)
Also wen die mall gesetzt worden sind und vergessen wider zurück zu setzen.?

Weiter kan man mit dieser settings und die von Server/host selbe vielleicht auch einiges herausfinden.

Glaube auch mit jtlshop produktiv soll man mysql logging auf Server eigentlich auf off setzen oder? ( Also wen on dan auch hier mal nachsehen aber dazu weiss BOAA vielleicht mehr?)

( Probleme mit LOGGING immer man braucht die für fehler suche, optimierung und co, aber teils bringen die mehr last und oder langsam sein mit sich!)

 

[DITH-Shop]

AW: Shopabgleich legt den Onlineshop lahm

Auch wir müßen uns diesem Problem anschließen! Obwohl Cache deaktiviert (!) benötigte der komplette Webshopabgleich beim letzten Mal ganze 14 Tage (!) ... und das ununterbrochen Tag und Nacht! Ok, es waren/sind ca. 250.000 Artikel, aber selbst diese müßten wesentlich schneller abgearbeitet sein.

Also (bei mir) laufen je Sekunde 2-3 Artikelupdates durch. Quickupdates etwas schneller. CPU Auslastung dabei ~20%
Bei 250.000 Artikel sollte das also nach ca. 27 Stunden durch sein.
Bei 14 Tagen würde ich sagen, das da gehörig was falsch konfiguriert ist.

Ansetzen würde ich beim Webserver und dessen Verbindung zu PHP. Wie sieht das bei euch aus ? Apache2? Was für ein MPM? Prefork/Event/ Worker?
Was für eine Schnittstelle? CGI/FCGI/FastCGI/FPM?
Wird Zend verwendet? Was für ein PHP- Cache?

In dieser Reihenfolge abarbeiten und optimieren, dann klappt das irgendwann.


Ich kam so nach dem Umstieg vom Shop4 von Ladezeiten um 12 Sekunden (!!!) auf 0,3Sekunden.
Abgleich von ~ 20-24 Stunden auf jetzt nur noch 3-4 Stunden (35.000 Artikel)

 

[WaidMann]

AW: Shopabgleich legt den Onlineshop lahm

Direkt nach dem Umstieg von der shopversion 3.xx auf die 4.0 verlief der erste geplante Webshopabgleich ja auch um ein Vielfaches schneller. Der Abgleich von ca. 250.000 Artikeln war nach ca. 11/2 Tagen erledigt! Ungefähr einen Monat später wurde dann der nächste Komplettabgleich gestartet und dann wurden die 14 Tage an Zeit benötigt, OHNE (!!!) daß zwischenzeitlich irgendwelche Einstellungsveränderungen oder andere Dinge vorgenommen wurden! Aber diese Probleme haben wir in den letzten Jahren schon mehrfach geschildert, auch daß der Webserver dann mit diesem Abgleich total überlastet ist und wir wurden scheinbar nicht ernst genommen, da wir immer damit vertröstet wurden, irgendwelche Einstellungen oder Änderungen in irgendwelchen .php-Dateien vorzunehmen, was aber alles in allem nichts einbrachte!
Wie bereits beschrieben, arbeitet JTL derzeit an diesem Thema und wir können nur hoffen, daß hier endlich eine abschließende Lösung gefunden wird.

 

[Bastian 5]

Hi,
der Shop wird langsam während des Webshop-Abgleich.
Ich denke wir haben das Problem gefunden jedoch nicht gelöst.
Das Problem ist folgendes:
Es werden für das Schreiben verschiedene Tabellen gesperrt während dem Worker Abgleich!
Erst nachdem die Tabellen wieder zum lesen frei gegeben sind ist der Shop wieder schnell.

Die Shop-Ladezeit steigt während Tabellen gesperrt sind sehr stark an. Von normalen 0.5s auf 8s bei uns !
Kann uns jemand helfen? Gibt es eine Lösung für das Problem?