WebShop-Abgleich extrem langsam

[WaidMann]

Wir gehen nicht davon aus, daß bei ca. 220.000 gelisteter Artikel der Abgleich nicht innerhalb eines Tages abläuft .... aber nach 3 Tagen nahezu ununterbrochenen Abgleichs sind "erst" ca. 150.000 Artikel abgeglichen.

Wie haben auch schon die verschiedensten Einstellungen in der WaWi versucht, aber alles ohne nennenswerten Verbesserungen.
Wir haben hier zwar nicht die allerschnellster Internetverbindung, haben aber auch schon einen Bekannten gebeten, den Abgleich über eine neuartige Glasfaserverbindung aufzurufen. Das bringt überhaupt nichts, da die "Bremse" eindeutig die WaWi selbst ist. Das läßt sich auch über den DSL-Monitor feststellen, denn dort ist zuerkennen, daß nur sporadisch mal ein Datenpaket gesendet wird und dann wieder lange Zeit nichts.
Wir haben auch schon den WebServer-Anbieter kontaktiert und anhand anderer Beispieldaten ist erkennbar, daß sowohl der Down- als auch der Upload problemlos bewerkstelligt wird.

Im Prinzip ist das eigentlich auch nicht das große Problem, wenn man denn einen dauerhaften Fortschritt erkennen könnte, denn nach einer gewißen Zeit ist der Balken der Fortschrittanzeige beim Abgleich durchgehend grün und man meint, daß das System hängt.


Was können wir tun, um hier nennenswerte Ergebnisse zu erlangen?

 

[Janusch]

AW: WebShop-Abgleich extrem langsam

Hallo,

schreib mal welche Wawiversion und welches Shopsystem dahinter hängen.

Bei 200.000 Artikeln und ca. 50KB für Bilder/Artikel, sind es alleine 10GB die geuploadet werden müssen. Wie hoch ist der Upload?

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Shop-Version = 3.17 Build 1 (da ein Update auf Build 2 einmal fatale Auswirkungen hatte und wir erst warten wollen, bis diese Version stabil läuft)
WaWi-Version = 0.9.9.884

Aufgrund der ländlichen Gegend hier sind nur Uploads mit 224 kbit/s möglich, aber selbst diese geringe Bandbreite wird nicht ausgenutzt (wie oben beschrieben), sondern nur ab und an ein Datenpaket gesendet.

 

[Janusch]

AW: WebShop-Abgleich extrem langsam

Also mit 28KB/s diese Datenmenge hochzuspielen dauert theoretisch 4,5 Tage.

Die Wawi sendet die Pakete nacheinander. D.h. es wird nur ein Paket hochgeladen. Die Netzwerkauslastung kann man hier nicht richtig auswerten. Wenn ich die Wawi Uploade mit der vollen Bandbreite ist diese auch nur 0,02% ausgelastet.


Schaut euch das Angebot von skyDSL an. Für diesen Zweck wäre es sehr gut.

 

[Dustin]

AW: WebShop-Abgleich extrem langsam

Uploads mit 224 kbit/s möglich

Ich denke das wird trotzdem damit zu tun haben. Hast du vielleicht auch eine Zwangstrennung?

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Da wir eine statische IP haben, ist keine Zwangstrennung vorgesehen. Außerdem haben wir, wie oben bereits erwähnt, auch einen Bekannten gebeten, die Daten von einem anderen Standort mittels Glasfaser auf den WebServer zu laden und es ist KEIN Unterschied zu unserem Schneckenupload festzustellen! Also kann die DSL-Bandbreite nicht das Problem sein! Außerdem sind nicht alle Artikel mit Bildern versehen, sondern nur ca. 20.000, also rund 10%.

 

[Janusch]

AW: WebShop-Abgleich extrem langsam

Wenn Du uns Ferwartungszugang bei dem Bekannten beschaffen kannst, können wir uns das gerne anschauen.
Am besten wenn er über die Glasfaser einen unserer Testshops befüllen kann. Könnte auch eine Begrenzung der Bandbreite am Webserver/ Hosting sein.

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Ist auszuschließen, da es sich bei dem Unternehmen des Bekannten um ein großes Chemieunternehmen handelt und dieser dort als Admin beschäftigt ist, sodaß er zwar Uploads tätigen kann, jedoch niemand von außen "mal eben so" auf das System darf.
Es findet auch keine Begrenzung des Webservers statt, da alle anderen Anwendungen die Bandbreite "bis zum Anschlag" des Uploads ausreizen. Aufgefallen ist uns im DSL-Monitoring, daß für kurze Zeit ein Paket von der WaWi mit ungefähr 150 kbit/s gesendet wird und dann wieder "still ruht der See".

 

[Janusch]

AW: WebShop-Abgleich extrem langsam

Wurde etwas an den JTL-Shop3 - Übertragungsparametern in der Wawi verändert?

Standardmäßig werden ZIP Archive 300KB und 1MB gebaut. Wenn ihr schwachen Client habt, kann dieser hier länger benötigen um die Daten zu zippen.
Abgleich direkt vom Rechner ausführen wo SQL-Server installiert ist. So müssen die Daten nicht erst zum Client gesendet werden.

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Wir haben schon die verschiedensten Einstellungen verwendet, ohne nennenswerte Ergebnisse.
Derzeit haben wir Einstellungen für die Anzahl der Dateien bei den Vorgaben belassen und die Größe der Archive mit 4096 (Archivgröße) bzw. 1000 KB (Bildarchivgröße) eingestellt.

 

[Janusch]

AW: WebShop-Abgleich extrem langsam

Je schwacher die Leitung desto kleiner sollten die Werte sein.
Nimmt für die Archivgröße 200 KB für Bilder und 600 KB für Archivgröße.

Bei so Großen Werten kann es schnell zu Timeouts kommen.

Wo liegt der SQL-Server im lokalen Netzwerk?
Wird der Abgleich vom Rechner wo SQL-Server installiert ist ausgeführt?

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Der Abgleich wird vom Server selbst, also nicht von einem Client ausgeführt und ist selbst wahnsinnig schnell (64bit, 32 GB RAM, Server 2008 R2 (KEINE Express-Version)), also an dem kann es auch nicht liegen. WIr versuchen es mal mit den von Dir vorgeschlagenen Werten und melden uns dann nochmals.
Danke schonmal dafür!

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Die Änderung der Einstellungen bringt überhaupt nichts! Die o.a. Vorschläge haben meines Erachtens sogar zu einer weiteren Verlangsamung geführt.

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Wir sind jetzt Dank Hilfe des sehr informativen Supports des Server-Hosters ein ganzes Stück weiter gekommen! Nach einhelliger Übereinstimmung und intensiver Prüfung durch EDV- und Datenbankspezies werden wir gleich ein Support- Ticket eröffnen, denn die Logdatei des Servers sagt aus, daß der Fehler im SuchwortCache der Datenbank zu suchen ist ... und das ist wieder ein JTL-spezifisches Thema.

 

[basti]

AW: WebShop-Abgleich extrem langsam

Hallo zusammen

Gibts hierzu schon nähere Infos?
Wir haben hier ein ähnliches Problem mit unserem Testshop.
Bei ca. 21000 Artikeln (Änderungen nur an den Artikeln, KEINE Bilder!!) dauert der Abgleich locker 1- 1 1/2 Stunden.
Mit unserem aktuellen 2er Shop geht das Ganze wirklich wesentlich schneller....

 

[Manuel Pietzsch]

AW: WebShop-Abgleich extrem langsam

Hallo,

wir planen in diesem Zusammenhang diverse Optimierungen für die kommende Version. Danke für die zahlreichen Feedbacks.

Gruß Manuel

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Wir stehen wieder kurz davor, umfangreiche Artikeländerungen über die WaWi an den Shop zu senden. Da es letztens fast eine Woche (!) gedauert hat, bis die ca. 200.000 Artikel abgeglichen waren (und das bei 24 Stunden online), fragen wir nun an, ob hinsichtlich Abgleich mit den letzten Versionen etwas verändert wurde? Wir sind der Meinung, daß die erhebliche Verzögerung dadurch zustande kommt, daß mit jedem Artikel auch die Suchwortdatei neu aufgebaut wird und das zu den unnormalen Wartezeiten führt. Aufgefallen ist uns auch, daß mit dem Aufspielen der aktuellsten WaWi-Version (0.9.9.889) und dem erstmaligen Abgleich rund 194.000 Artikeldaten per "Quicksync" abgeglichen werden und das in einer wirklich akzeptablen Geschwindigkeit. Wir bitte um Nachricht!!!

 

[david]

AW: WebShop-Abgleich extrem langsam

Wir sind der Meinung, daß die erhebliche Verzögerung dadurch zustande kommt, daß mit jedem Artikel auch die Suchwortdatei neu aufgebaut wird und das zu den unnormalen Wartezeiten führt.

Hallo, der Suchcache hat, wie bereits in unserer Ticket-Kommunikation erläutert, keinen negativen Einfluss auf den Shopabgleich.
Das einzige SQL, welches bezüglich Suchcache beim Abgleich ausgeführt wird ist folgendes:

UPDATE tsuchcache SET dGueltigBis = DATE_ADD(now(), INTERVAL 60 MINUTE) WHERE dGueltigBis IS NULL

Dieses SQL wird abgesetzt, nachdem ein kompletter Satz an Artikeln verarbeitet wurde. Der Suchcache kann als Ursache für den langsamen Shopabgleich ausgeschlossen werden.

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Hallo David, Danke für die Antwort. Das ist zwar vielleicht eine Erklärung, aber keine Lösung des Problems! Fakt ist, daß 7-8 Tage Webshopabgleich nicht tragbar sind, da dadurch auch die Performance des Webservers erheblich beeinträchtigt wird. Wie schon erwähnt, hat heute Morgen der erste WebShopabgleich mit der neuesten WaWi-Version und dem Versenden von rund 194.000 Artikeldaten geschätzte 15-20 Minuten benötigt (warum auch immer so viele Artikeldaten versendet wurden!). Beim normalen Abgleich werden, nachdem in der WaWi nahezu alle Artikeldaten mittels Ameise aktualisiert wurden, diese immer Blockweise an den Server gesendet und man kann sehr gut nachverfolgen, wie die Suchwortdatei neu geschrieben wird (im Backend unter "Freischaltzentrale" zu beobachten). Nach dem dieser Block vom WebServer verarbeitet wurde, dauert es ca. 10 - 15 Minuten, bis dann wieder ein neuer Block gesendet wird usw., usw.. Hier haben auch die unterschiedlichsten Einstellungen in den WebShop-Einstellungen der WaWi nicht gebracht, außer daß bei bestimmten Einstellungen der Abgleich irgendwann gefreezt wird. An der Performance des WebServers braucht auch nicht gezweifelt zu werden, denn dieser dürfte als "Intel Quad Core Xeon (2.13GHz) 12GB mehr als ausreichend bemessen sein. Auch an der DSL-Leitung kann es nicht liegen, denn, wie bereits oben erwähnt, funktioniert der Abgleich recht flott, wenn die Artikel per Quicksync aktualisiert werden. Dann wird der Artikelsatz auch nicht blockweise, sondern kontinuierlich und mit voller Uploadgeschwindigkeit der DSL-Leitung übertragen.

 

[WaidMann]

AW: WebShop-Abgleich extrem langsam

Immer noch keine Lösung des Problems in Aussicht? Wir haben es soeben nochmals versucht und der Abgleich würde wieder ganze 8 Tage benötigen! Wir verweisen an dieser Stell nochmals darauf, daß der Artikelabgleich wesentlich schneller vonstatten geht, wenn diese per Quicksync versendet werden (was aber nach einem Artikelupdate per Ameise nicht funktioniert!).