Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

[DITH-Shop]

Wegen der Suche nach dem "Bilderproblem" (falsche Pfade laut Aussage anderer Forenmitglieder) habe ich mich entschlossen den Shop 4.02 komplett zurück zu setzen und einen Komplettabgleich per Wawi (099923) machen zu lassen.

Das ist aber extreeem (!!) langsam.

Auch haben andere Forenmitglieder mitgeteilt ich solle dann mal nach Problemen auf meinen Servern suchen wenn der Abgleich so langsam ist
(33tsd Artikel benötigen rund 24 Std) .
Nun bin ich alle mir bekannten Möglichkeiten (Netzwerk, Ram, CPU, Firewall, SSD) durchgegangen, finde aber keine Probleme.

Netzwerkauslastung = nahezu 0 (exakt 0,2%)
CPU Auslastung aller beteiligten Rechner - ebenfalls nahezu 0 (exakt 1-5% auf dem Web-Shopserver, 1-3% auf dem Wawi-DB-Server der auch die Daten verschickt)
Übertragen werden die Daten im lokalen Netzwerk (Gigabit Leitungen), testweise auch schon über die externe Internetleitung (6MBit SDSL)

Übertragen werden müssen 33.699 Artikel - schon bei den reinen Artikel-Textdaten schleicht der Abgleich mit 50-70 Artikel / Minute dahin.


Bitte um Info - wo kann, muss, sollte geschaut werden wenn es so schleicht. Es werden alle 4-5 Minuten klitzekleine Pakete (450Kb) übertragen (Voreinstellung der Webshop-Paket-Einstellungen), die blitzschnell umgesetzt werden, dann eine ganze Weile nichts mehr....


Zum Shop-Server:
Ubuntu 15.10, Apache2- Worker MPM mit fastcgi, 2x Xeon 3GHz, 32GB RAM, 2x GBit Lan, SSD

DB Server
W + SQL 2012 Standard, 32 GB RAM, SSD, 2x Xeon 3GHz, 2x GBit Lan

 

[chefsalat]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Netzwerkdurchsatz ok?

Mal mit netio die TCP Performance gemessen?

ARS Computer und Consulting GmbH ? NETIO Benchmark

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Netzwerkdurchsatz ok?

Mal mit netio die TCP Performance gemessen?

ARS Computer und Consulting GmbH ? NETIO Benchmark

Japp, gerade - sieht (im laufenden Betrieb) für mich gut aus.

TCP connection established.
Packet size 1k bytes: 37.29 MByte/s Tx, 57.78 MByte/s Rx.
Packet size 2k bytes: 38.12 MByte/s Tx, 48.08 MByte/s Rx.
Packet size 4k bytes: 38.82 MByte/s Tx, 45.98 MByte/s Rx.
Packet size 8k bytes: 38.83 MByte/s Tx, 39.79 MByte/s Rx.
Packet size 16k bytes: 38.96 MByte/s Tx, 50.69 MByte/s Rx.
Packet size 32k bytes: 38.40 MByte/s Tx, 47.88 MByte/s Rx.

Auslastung im Netzwerk (Taskmanager) dann bei ~ 45%

 

[chefsalat]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Sollte eigentlich bei Gigabit über 100 Mbyte/s liegen, aber es ist defintiv mal weitaus schneller als profanes DSL und somit ist die reine TCP Perfomance wohl nicht die Ursache.

Webserver und DB Server hängen an einem Switch oder ist dazwischen irgendein Router / Firewall / Appliance, die ggf. bockig ist und Traffic analysiert / priorisiert o.ä?
Wenn VLAN, dann gleiches VLAN oder wird zwischen VLANs geroutet?

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Laut Janusch sollten 20.000 Artikel in einer Stunden zu machen sein.

"und für 20.000 Artikel benötige ich ca.1 Std."

Bei mir läuft der Abgleich jetzt etwas über eine Stunde und es sind nur knapp 5000 Artikel "durch".
Da muss irgendwo was in der Wawi klemmen, es wird viel zu langsam gepackt und verschickt.

So werden erst frühestens ab ~17Uhr die Bilder zum Shop gesandt und dere Shop wäre dann ab ~ 0 Uhr erst wieder einsatzbereit.
Das lässt sich doch bestimmt optimieren

 

[chefsalat]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Nachtrag: Läuft auf dem Win-Server ein Virenscanner oder ähnliches Sicherheitszeugs?

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Sollte eigentlich bei Gigabit über 100 Mbyte/s liegen, aber es ist defintiv mal weitaus schneller als profanes DSL und somit ist die reine TCP Perfomance wohl nicht die Ursache.

Webserver und DB Server hängen an einem Switch oder ist dazwischen irgendein Router / Firewall / Appliance, die ggf. bockig ist und Traffic analysiert / priorisiert o.ä?
Wenn VLAN, dann gleiches VLAN oder wird zwischen VLANs geroutet?

Ja, ist derselbe Switch, sonst nichts dazwischen.
Firewall (beide) sind entsprechend offen, es wird IMHO nichts gefiltert, geprüft.


Ich habe an der Wawi das Debugging gestern für den Shopabgleich mal laufen lassen.
Es werden nur alle 5 Minuten Pakete mit ~450Kb gepackt, die dann verschickt werden. Der Server benötigt aber nur wenige Sekunden das zu verarbeiten, nur kommt dann nichts neues nach.
Im Log ist auch nichts zu finden das der Shop sich zurückmeldet das neues geschickt werden kann/soll.

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Nachtrag: Läuft auf dem Win-Server ein Virenscanner oder ähnliches Sicherheitszeugs?

Nope, weder auf dem Shop noch auf dem DB Server

 

[chefsalat]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Poste mal die laufende PHP Konfiguration vom Webserver, was Uploadsize, Laufzeit von Skripten etc. angeht.

Am besten eine Datei mit <?php phpinfo(); ?> ausführen und posten. Ggf. wichtiges anonymisieren.

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Poste mal die laufende PHP Konfiguration vom Webserver, was Uploadsize, Laufzeit von Skripten etc. angeht.

Am besten eine Datei mit <?php phpinfo(); ?> ausführen und posten. Ggf. wichtiges anonymisieren.

[TABLE]
[TR]
[TD="class: e"]max_execution_time[/TD]
[TD="class: v"]86400[/TD]
[TD="class: v"]86400[/TD]
[/TR]
[TR]
[TD="class: e"]max_file_uploads[/TD]
[TD="class: v"]200[/TD]
[TD="class: v"]200[/TD]
[/TR]
[TR]
[TD="class: e"]max_input_nesting_level[/TD]
[TD="class: v"]64[/TD]
[TD="class: v"]64[/TD]
[/TR]
[TR]
[TD="class: e"]max_input_time[/TD]
[TD="class: v"]60[/TD]
[TD="class: v"]60[/TD]
[/TR]
[TR]
[TD="class: e"]max_input_vars[/TD]
[TD="class: v"]1000[/TD]
[TD="class: v"]1000[/TD]
[/TR]
[TR]
[TD="class: e"]memory_limit[/TD]
[TD="class: v"]128M[/TD]
[TD="class: v"]128M[/TD]
[/TR]
[TR]
[TD="class: e"]open_basedir[/TD]
[TD="class: v"][I]no value[/I][/TD]
[TD="class: v"][I]no value[/I][/TD]
[/TR]
[TR]
[TD="class: e"]output_buffering[/TD]
[TD="class: v"]4096[/TD]
[TD="class: v"]4096[/TD]
[/TR]
[TR]
[TD="class: e"]output_encoding[/TD]
[TD="class: v"][I]no value[/I][/TD]
[TD="class: v"][I]no value[/I][/TD]
[/TR]
[TR]
[TD="class: e"]output_handler[/TD]
[TD="class: v"][I]no value[/I][/TD]
[TD="class: v"][I]no value[/I][/TD]
[/TR]
[TR]
[TD="class: e"]post_max_size[/TD]
[TD="class: v"]8M[/TD]
[TD="class: v"]8M[/TD]
[/TR]
[/TABLE]

Brauchst noch mehr davon ? => PM

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Ist es korrekt und so gewollt das beim Shop Abgleich nur ein einziger Task - seriell - die Artikel anlegt?
Im Apache Status als auch in MySQL Admin sehe ich nur einen einzigen Task der daran arbeitet.

 

[DITH-Shop]

AW: Webshop-Abgleich extrem langsam - erbitte Hilfe / Lösungsansätze

Inzwischen habe ich das Problem eingekreist, nur finde ich keine Lösung:

• Die Wawi exportiert gerade einmal 3 Artikel / Sekunde für den Shop Abgleich. Die Erzeugung eines Paketes dauert somit rund 3 Minuten
• Das wird dann flux zum Shop transferiert (vernachlässigbarer Zeitaufwand) <20 Sekunden
• Da wird dann das ZIP Archiv ins tmp Verzeichnis entpackt und einzeln mit ~2 Artikel / Sekunde abgearbeitet. Also noch einmal ~4 Minuten.
• Dann wird wohl ein "BinFertig-MachMal" an die Wawi gesendet die DANN erst anfängt wieder zu packen.

Neu-Import von 400 Artikel (reiner Txet, noch keine Bilder) dauert bei mir also knapp 8 Minuten

Optimieren könnte man also beim Verpacken (Wieso dauert das eigentlich so lange?)
Beim Import (wieso arbeitet da nur ein Task, wo doch bequem 5-10 Tasks parallel arbeiten könnten?)

Also, meine Frage:
Wo sind die Einstellungen zu finden die genau diese Möglichkeiten bieten?