In Diskussion OnlineShop Abgleich beschleunigen

[csaeum]

Hallo

wie kann man den Onlineshopabgleich beschleunigen. Wir haben jetzt in 16min 1600 Artikel abgeglichen (Komplettabgleich bzw erstimport) wenn ich das nun auf die 250.000 hochrechne, sind wir bei 38 Stunden.

Welche Stellschraube haben wir noch um das zu beschleunigen?

 

[3po]

und wieviel MB bilder haben die 1600 Artikel und welchen upload hat eure Leitung?

 

[csaeum]

Bilder sind nur 3046 Stück drin. Die sind net groß und die Leitung sind auch 3x 16MBit Asynchron.

Es geht mir hier rein um die "Rohdaten" Derzeit ist die Paketgröße bei 50 Stück und das dauert halt.

In einer Stunde waren es nun 4600 Artikel das Hochgerechnet sind dann 55 Stunden ohne die paar Bilder oder andere Sachen die die JTL beim Erstimport holt.

 

[csaeum]

So habe nun mal folgendes gemacht.

DEV SQL 2016 installiert die DB in diesen umgezogen die Pakete (Artikel) die er abholt sind immernoch 10 Stück auch wenn ich diese im Connector von 10 auf 20 und 50 auf 100 angepasst habe.
Dennoch ist der DEV SQL obwohl ich diesen 4GB RAM direkt zugewiesen habe (der Express macht ja nur 1GB) es nicht schneller.

Als ich angefangen habe mit den Import waren es 250.000 und in der ersten Stunde machte er fast 5000 Artikel tw noch mit 50er Schritten.
Nun sind es 10er Schritte und in ca 3min 100 Artikel. Im großen und ganzen frag ich mich ob man überhaupt diese Menge an Artikel pflegen und in Shops übertragen kann.

 

[csaeum]

Ok nachdem wir einige Fehler in der Datenbank bereinigt haben die mit Plugins zu tun hatten bereinigt haben, sind wir nun bei fast stabilen 6000 Artikeln pro Stunde angekommen.

Laut JTL Support sind aber bis zu 24.000 Artikel pro Stunden möglich und auch umgesetzt worden.

Auf Nachfrage bekommen wir aber keine Infos was man am MSSQL bzw MySQL tun sollte um diese Werte zu erreichen.
Bei den Übertragungsparametern wurden von JTL mit einer 1.3.x jeweils 100 angegeben was der derzeit höchste Wert ist. Ab 1.4 sind auch höhere Werte möglich.

Wer hat eine 1.3 laufen mit dem Shopware Connector und kommt auf höhere Werte wie 6000 pro Stunde. Wie sind eure MySQL eingestellt? Unser Dienstleister ProfiHost und der Managed Server brauchen halt ein paar Stichpunkte und wollen nicht wild rumstellen.

Derzeit hat der Server keine Leistungsspitze sondern noch freie Ressourcen.

Würde mich freuen wenn jemand was dazu sagen könnte oder vielleicht einer der JTL-Shopware-Connector Entwicker.

 

[gre000]

Was macht du denn gerade?
WaWi -> Shopware
oder
Shopware -> Wawi

 

[csaeum]

Derzeit erstmal nur Shopware => Wawi
Später dann auch Wawi <=> Shopware

 

[3po]

Später dann auch Wawi <=> Shopware

Wenn ich richtig dran bin wird diese Konstellation nicht unterstützt, abgesehen von den Bestellungen natürlich.

 

[csaeum]

Wenn ich richtig dran bin wird diese Konstellation nicht unterstützt, abgesehen von den Bestellungen natürlich.

Leute ob ich nun <=> oder => oder <= mache.
Es geht um die optimierung des Übertragungsprozesses und nicht ob x oder y bei der Übertragung geht.

 

[3po]

Ganz ehrlich verstehe ich diese Diskussion eh nicht, die läuft jetzt seit Anfang August wegen einem einmaligen höheren Sync Aufwand (aufgrund hoher Datenmengen), danach wirst du wohl kaum dauernd einen Komplettabgleich machen sondern lediglich quick syncs die nur einen mini Bruchteil der Zeit in Anspruch nehmen.

 

[csaeum]

Wenn ich diese Menge im nachhinein auf 10 Shops verteilen muss. Dann sind wir bei der derzeitigen Geschwindigkeit jeweils Monate unterwegs. Vorallem wenn diese abbrechen und man wieder von vorne anfangen muss.

Auch kann es für andere nur Ok sein wenn jemand mal dieses anspricht und Tipps gibt.

 

[3po]

Wenn ich diese Menge im nachhinein auf 10 Shops verteilen muss. Dann sind wir bei der derzeitigen Geschwindigkeit jeweils Monate unterwegs.

Da wir hier von SW reden ist es egal ob Du 1 oder 10 oder gar 100 Shops betreibst, Du lädst nur einmal Deine Artikel hoch. Wenn man 10 unterschiedlich SW Installationen ansteuert ist das kontraproduktiv.

Aber ich bin jetzt mal raus aus dem Gespräch scheint mir nicht zielführend zu sein.

 

[gre000]

Wenn ich diese Menge im nachhinein auf 10 Shops verteilen muss. Dann sind wir bei der derzeitigen Geschwindigkeit jeweils Monate unterwegs. Vorallem wenn diese abbrechen und man wieder von vorne anfangen muss.
Auch kann es für andere nur Ok sein wenn jemand mal dieses anspricht und Tipps gibt.

ja Moment mal du sprichst erstmal vom ersten Import in die Wawi da stimme ich @3po zu das machst du einmal und dann nie wieder.
Schau dir mal in Shopware Subshops an macht ggf. mehr Sinn!

Leute ob ich nun <=> oder => oder <= mache.
Es geht um die optimierung des Übertragungsprozesses und nicht ob x oder y bei der Übertragung geht.

Doch das ist wichtig denn einmal gibt es mehr Schreibzugriffe auf MySQL und weniger aus MSSQL bzw. umgekehrt. Dann brauchst du einmal Upload und das andere mal Downoadspeed.

Wie schnell ist dein realer Down bzw. Upload?

 

[csaeum]

Auf Shubshops aufbauend will ich nicht. Weil wenn es zu Fehlern kommt dann alle Shops weg sind. Besser sind hier eigene Installationen pro Shop.

Der Download und Upload ist schnell genug. Laut JTL-Support soll es am MySQL liegen. Aber einen guten Hinweis was JTL selbst angepasst hat am MySQL um eine Übertragungsrate von 24.000 Artikeln zu bekommen. Sagen diese leider nicht.

Daher mal die Nachfrage hier im Forum.

 

[gre000]

Auf Shubshops aufbauend will ich nicht. Weil wenn es zu Fehlern kommt dann alle Shops weg sind. Besser sind hier eigene Installationen pro Shop.

Darüber könnten wir jetzt lange diskutieren aber deine Entscheidung.

Ich kann dir jetzt nicht genau sagen wie schnell der Abgleich bei mir ist ich fahr heute Nachmittag mal mein Testsystem hoch und mach einen Komplettabgleich.
Sind die 250k Artikel einzelne Artikel oder Var.Kombis?

 

[csaeum]

Es sind ca 1750 Vater und der Rest sind Kinder also VarKombis

Danke gre000

 

[gre000]

Es sind ca 1750 Vater und der Rest sind Kinder also VarKombis

Sind die Kindartikel ungefähr gleichverteilt also immer um die 140 Kinder oder gibt es da Ausreißer nach oben bzw. unten?

Laut JTL Support sind aber bis zu 24.000 Artikel pro Stunden möglich und auch umgesetzt worden.

Das ist dann aber mit ganz normalen Artikel erreicht worden oder was hat der Support dazu gesagt?