Neu JTL Bilder Import deutlich beschleunigen

[sabine11]

Hallo liebes Forum,

ich nutze JTL Wawi mit dem neusten Shopware Connector und Shopware Version 5.6.7. Hierbei ist der Import der Bilder in den Shop ziemlich zeitintensiv, was ich nicht ganz verstehe.

Beim Import der Artikel in die Wawi werden die Bilder ja bereits lokal abgespeichert. Somit werden Sie ja dann in den Shop einfach nur hochgeladen und zugeordnet. Für 9100 Bilder benötige ich 14 Stunden.

Das ist meiner Ansicht nach irgendwie viel zu lang und klaut recht viel Zeit. Kann man das irgendwie deutlich beschleunigen? Am Server oder an der Verbindungsgeschwindigkeit sollte es eigentlich nicht liegen.

 

[Enrico W.]

Sprichst Du jetzt wirklich vom Import der Bilder (z.B. mit der JTL-Ameise die Bilder dem Artikel zuordnen) oder sprichst Du vom Webshop-Abgleich?

 

[sabine11]

Vom Webshop Abgleich

 

[Enrico W.]

Dann verschiebe ich das mal zum Connector. Was ich Dir aber bereits mitgeben kann: Prüf bitte die Größe Deiner Bilder. Damit kann man den Abgleich schon sehr stark beeinflußen. Der nächste Punkt ist deine Internetleitung. Im Upload wirst Du bei weitem nicht so einen hohen Datendurchsatz haben wie im Download. Und hier muss jedes Bild hochgeladen und zum Shop gesandt werden.

 

[sabine11]

Der Upstream ist dank Dedicated Server sehr hoch. Kann ich die Bilder die in der Wawi liegen irgendwie local optimieren?

Was ich auch nicht verstehe: Habe es gerade auf dem Server gecheckt, der uploader nutzt nur eine minimale Verbindungsbreite. Dabei könnte er mit mehrere MB/s hochschieben, da beide Server eine extrem gute Anbindung haben. Woran liegt das? Blockiert wird absolut nichts. Oder gibt es werte die ich prüfen sollte in Shopware usw.?

 

[SHAAN]

Der Upstream ist dank Dedicated Server sehr hoch. Kann ich die Bilder die in der Wawi liegen irgendwie local optimieren?

Was ich auch nicht verstehe: Habe es gerade auf dem Server gecheckt, der uploader nutzt nur eine minimale Verbindungsbreite. Dabei könnte er mit mehrere MB/s hochschieben, da beide Server eine extrem gute Anbindung haben. Woran liegt das? Blockiert wird absolut nichts. Oder gibt es werte die ich prüfen sollte in Shopware usw.?

Hast du auch deinen Uploadbandbreite im Büro/Home geprüft (gedrosselt) ?

Sonst ist das vielleicht auch interessant:
https://forum.jtl-software.de/threads/vorschlag-webp-unterstuetzung.144262/

 

[sabine11]

Hast du auch deinen Uploadbandbreite im Büro/Home geprüft (gedrosselt) ?

Sonst ist das vielleicht auch interessant:
https://forum.jtl-software.de/threads/vorschlag-webp-unterstuetzung.144262/

Nochmals: Der Upload der Bilder zum Shop hin erfolgt von einem Dedicated Server! Der Upstream beträgt laut Test 287 Mbps! Das ist mehr als nur schnell genug! Es gibt keine Limitierung für die Wawi oder sonst was, deshalb verstehe ich ja auch nicht wieso das so ist!

 

[SHAAN]

Nochmals: Der Upload der Bilder zum Shop hin erfolgt von einem Dedicated Server! Der Upstream beträgt laut Test 287 Mbps! Das ist mehr als nur schnell genug! Es gibt keine Limitierung für die Wawi oder sonst was, deshalb verstehe ich ja auch nicht wieso das so ist!

Möglicherweise wird jeder Artikel in einer Prozedur abgearbeitet, was eine kleine Verzögerung mit sich bringt. Was dann wiederum bei 9100 Bilder die 5,5 Sekunden pro Bild erklären könnte. Aber das wird wohl am besten ein Entwickler beantworten können.

Ich kann mich grob daran erinnern, dass ich anfangs rund 2000 Bilder hochgeladen hatte und dass auch 3-4 Stunden gedauert hat.
So eine Menge läd man nicht alle Tage hoch. Ist vermutlich nichts was du umgehen kannst.

Vielleicht könnte es helfen mit mehreren JTL Instanzen gleichzeitig zu arbeiten.

 

[sabine11]

Möglicherweise wird jeder Artikel in einer Prozedur abgearbeitet, was eine kleine Verzögerung mit sich bringt. Was dann wiederum bei 9100 Bilder die 5,5 Sekunden pro Bild erklären könnte. Aber das wird wohl am besten ein Entwickler beantworten können.

Ich kann mich grob daran erinnern, dass ich anfangs rund 2000 Bilder hochgeladen hatte und dass auch 3-4 Stunden gedauert hat.
So eine Menge läd man nicht alle Tage hoch. Ist vermutlich nichts was du umgehen kannst.

Vielleicht könnte es helfen mit mehreren JTL Instanzen gleichzeitig zu arbeiten.

Das kann ich leider nicht genau sagen, wie das verarbeitet wird. Jedoch erscheint mir dir das alles sehr langsam und klaut mir immer richtig viel Zeit. Irgendwie muss das doch schneller gehen. Vielleicht kann hier einer der Entwickler Aufschluss geben?

 

[SHAAN]

Was spricht denn dagegen es auf einer seperaten Instanz durchlaufen zu lassen?

 

[sabine11]

Was spricht denn dagegen es auf einer seperaten Instanz durchlaufen zu lassen?

was genau ist damit gemeint?

 

[SHAAN]

Hallo Sabine!

Zunächst einmal geht aus deinen Beiträgen nicht hervor, warum die 14 Stunden für dich ein Problem darstellen.
Dass es der alleinige Grund sein könnte, die volle Geschwindigkeit nicht ausreizen zu können, halte ich für nicht plausibel genug.
Daher vermute ich blind, dass du nicht gleichzeitig hochladen und mit der JTL Wawi weiterarbeiten kannst.

Mit einer weiteren JTL Instanz meine ich, einen zweiten PC anzuschmeißen und dort in Ruhe das Update laufen zu lassen. Mit gleichem Benutzer könntest du dann auf dem ersten PC deine normale Arbeit weiter verrichten.

 

[sabine11]

Hallo Sabine!

Zunächst einmal geht aus deinen Beiträgen nicht hervor, warum die 14 Stunden für dich ein Problem darstellen.
Dass es der alleinige Grund sein könnte, die volle Geschwindigkeit nicht ausreizen zu können, halte ich für nicht plausibel genug.
Daher vermute ich blind, dass du nicht gleichzeitig hochladen und mit der JTL Wawi weiterarbeiten kannst.

Mit einer weiteren JTL Instanz meine ich, einen zweiten PC anzuschmeißen und dort in Ruhe das Update laufen zu lassen. Mit gleichem Benutzer könntest du dann auf dem ersten PC deine normale Arbeit weiter verrichten.

Der einzige Prozess der in der Wawi läuft ist der Upload! Sonst mach ich dort nichts. Die 14 Stunden klauen mir leider sehr viel Zeit, da ich regelmäßig diese Uploads durchführen muss. Somit frage ich mich eben, ob das nicht deutlich schneller geht.

 

[SHAAN]

Dann könnte mein Vorschlag ja deine Lösung sein.

 

[weinrank]

Hat sich hier irgendeine Lösung ergeben?
Wir haben das gleiche Problem.

• Leistungsstarker WaWi Server
• 100 Mbit/s Glasfaser synchron
• Dedizierter Webserver mit 1 Gbit/s Anbindung

Alle Systeme ( WaWi Server, Netzwerkstrecke, Webserver) sind nicht ansatzweise ausgelastet.
Trotzdem dauert der Abgleich der Bilder Stunden.
Wir dümpeln bim Upload im Kbit/s Bereich herum.

• CDN ist nicht aktiv
• NGN/etc Firewall ist nicht im Einsatz

Hardware/Internetleitung schließen wir als limitierende Faktoren aus.