In Diskussion OnlineShop Abgleich beschleunigen

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
Hallo

wie kann man den Onlineshopabgleich beschleunigen. Wir haben jetzt in 16min 1600 Artikel abgeglichen (Komplettabgleich bzw erstimport) wenn ich das nun auf die 250.000 hochrechne, sind wir bei 38 Stunden.

Welche Stellschraube haben wir noch um das zu beschleunigen?
 
Zuletzt von einem Moderator bearbeitet:

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
Bilder sind nur 3046 Stück drin. Die sind net groß und die Leitung sind auch 3x 16MBit Asynchron.

Es geht mir hier rein um die "Rohdaten" Derzeit ist die Paketgröße bei 50 Stück und das dauert halt.

In einer Stunde waren es nun 4600 Artikel das Hochgerechnet sind dann 55 Stunden ohne die paar Bilder oder andere Sachen die die JTL beim Erstimport holt.
 

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
So habe nun mal folgendes gemacht.

DEV SQL 2016 installiert die DB in diesen umgezogen die Pakete (Artikel) die er abholt sind immernoch 10 Stück auch wenn ich diese im Connector von 10 auf 20 und 50 auf 100 angepasst habe.
Dennoch ist der DEV SQL obwohl ich diesen 4GB RAM direkt zugewiesen habe (der Express macht ja nur 1GB) es nicht schneller.

Als ich angefangen habe mit den Import waren es 250.000 und in der ersten Stunde machte er fast 5000 Artikel tw noch mit 50er Schritten.
Nun sind es 10er Schritte und in ca 3min 100 Artikel. Im großen und ganzen frag ich mich ob man überhaupt diese Menge an Artikel pflegen und in Shops übertragen kann.
 

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
Ok nachdem wir einige Fehler in der Datenbank bereinigt haben die mit Plugins zu tun hatten bereinigt haben, sind wir nun bei fast stabilen 6000 Artikeln pro Stunde angekommen.

Laut JTL Support sind aber bis zu 24.000 Artikel pro Stunden möglich und auch umgesetzt worden.

Auf Nachfrage bekommen wir aber keine Infos was man am MSSQL bzw MySQL tun sollte um diese Werte zu erreichen.
Bei den Übertragungsparametern wurden von JTL mit einer 1.3.x jeweils 100 angegeben was der derzeit höchste Wert ist. Ab 1.4 sind auch höhere Werte möglich.

Wer hat eine 1.3 laufen mit dem Shopware Connector und kommt auf höhere Werte wie 6000 pro Stunde. Wie sind eure MySQL eingestellt? Unser Dienstleister ProfiHost und der Managed Server brauchen halt ein paar Stichpunkte und wollen nicht wild rumstellen.

Derzeit hat der Server keine Leistungsspitze sondern noch freie Ressourcen.

Würde mich freuen wenn jemand was dazu sagen könnte oder vielleicht einer der JTL-Shopware-Connector Entwicker.
 

3po

Sehr aktives Mitglied
30. August 2011
2.584
94
Ganz ehrlich verstehe ich diese Diskussion eh nicht, die läuft jetzt seit Anfang August wegen einem einmaligen höheren Sync Aufwand (aufgrund hoher Datenmengen), danach wirst du wohl kaum dauernd einen Komplettabgleich machen sondern lediglich quick syncs die nur einen mini Bruchteil der Zeit in Anspruch nehmen.
 

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
Wenn ich diese Menge im nachhinein auf 10 Shops verteilen muss. Dann sind wir bei der derzeitigen Geschwindigkeit jeweils Monate unterwegs. Vorallem wenn diese abbrechen und man wieder von vorne anfangen muss.

Auch kann es für andere nur Ok sein wenn jemand mal dieses anspricht und Tipps gibt.
 

3po

Sehr aktives Mitglied
30. August 2011
2.584
94
Wenn ich diese Menge im nachhinein auf 10 Shops verteilen muss. Dann sind wir bei der derzeitigen Geschwindigkeit jeweils Monate unterwegs.
Da wir hier von SW reden ist es egal ob Du 1 oder 10 oder gar 100 Shops betreibst, Du lädst nur einmal Deine Artikel hoch. Wenn man 10 unterschiedlich SW Installationen ansteuert ist das kontraproduktiv.

Aber ich bin jetzt mal raus aus dem Gespräch scheint mir nicht zielführend zu sein.
 

gre000

Sehr aktives Mitglied
28. Juli 2015
911
92
Wenn ich diese Menge im nachhinein auf 10 Shops verteilen muss. Dann sind wir bei der derzeitigen Geschwindigkeit jeweils Monate unterwegs. Vorallem wenn diese abbrechen und man wieder von vorne anfangen muss.
Auch kann es für andere nur Ok sein wenn jemand mal dieses anspricht und Tipps gibt.
ja Moment mal du sprichst erstmal vom ersten Import in die Wawi da stimme ich @3po zu das machst du einmal und dann nie wieder.
Schau dir mal in Shopware Subshops an macht ggf. mehr Sinn!

Leute ob ich nun <=> oder => oder <= mache.
Es geht um die optimierung des Übertragungsprozesses und nicht ob x oder y bei der Übertragung geht.
Doch das ist wichtig denn einmal gibt es mehr Schreibzugriffe auf MySQL und weniger aus MSSQL bzw. umgekehrt. Dann brauchst du einmal Upload und das andere mal Downoadspeed.

Wie schnell ist dein realer Down bzw. Upload?
 

csaeum

Sehr aktives Mitglied
23. Juli 2011
1.295
141
Küps
Auf Shubshops aufbauend will ich nicht. Weil wenn es zu Fehlern kommt dann alle Shops weg sind. Besser sind hier eigene Installationen pro Shop.

Der Download und Upload ist schnell genug. Laut JTL-Support soll es am MySQL liegen. Aber einen guten Hinweis was JTL selbst angepasst hat am MySQL um eine Übertragungsrate von 24.000 Artikeln zu bekommen. Sagen diese leider nicht.

Daher mal die Nachfrage hier im Forum.
 

gre000

Sehr aktives Mitglied
28. Juli 2015
911
92
Auf Shubshops aufbauend will ich nicht. Weil wenn es zu Fehlern kommt dann alle Shops weg sind. Besser sind hier eigene Installationen pro Shop.
Darüber könnten wir jetzt lange diskutieren aber deine Entscheidung.

Ich kann dir jetzt nicht genau sagen wie schnell der Abgleich bei mir ist ich fahr heute Nachmittag mal mein Testsystem hoch und mach einen Komplettabgleich.
Sind die 250k Artikel einzelne Artikel oder Var.Kombis?
 

gre000

Sehr aktives Mitglied
28. Juli 2015
911
92
Es sind ca 1750 Vater und der Rest sind Kinder also VarKombis
Sind die Kindartikel ungefähr gleichverteilt also immer um die 140 Kinder oder gibt es da Ausreißer nach oben bzw. unten?


Laut JTL Support sind aber bis zu 24.000 Artikel pro Stunden möglich und auch umgesetzt worden.
Das ist dann aber mit ganz normalen Artikel erreicht worden oder was hat der Support dazu gesagt?
 
Ähnliche Themen
Titel Forum Antworten Datum
Onlineshop fehlt im Abgleich JTL-Wawi 1.6 1
Neu Abgleich Onlineshop PrestaShop-Connector 1
Neu Plattformen Onlineshop Shopkunden Kundenregistrierung User helfen Usern - Fragen zu JTL-Wawi 0
Neu Onlineshop ist offline Allgemeine Fragen zu JTL-Shop 3
JTL Worker Manueller Abgleich nicht möglich trotz deaktivierem Worker 2.0 JTL-Wawi 1.8 4
Worker 2.0 Abgleich dauert sehr lange JTL-Wawi 1.7 7
Fehler beim Rendering der Attribute bei SCX Abgleich kaufland.de - Anbindung (SCX) 1
Neu Kommentar verschwindet nach Wawi-Abgleich JTL-Shop - Fehler und Bugs 3
Kein Abgleich zum Shop, ich komme nicht in Plattformen/Verkaufskanäle rein JTL-Wawi 1.8 3
Problem ebay Abgleich JTL-Wawi 1.8 4
In Diskussion Abgleich Wawi->Pos Allgemeine Fragen zu JTL-POS 7
Bug? Worker 2.0 - Shop Abgleich "Quicksync" ist kein Quicksync mehr - Paketgröße wird ignoriert JTL-Wawi 1.8 10
Neu Kurzbeschreibung wird nach dem letztem Shop-Abgleich nicht im Frontend angezeigt User helfen Usern - Fragen zu JTL-Wawi 0
Neu Shopify Connector Abgleich endet nicht Shopify-Connector 6
RLIMIT_NPROC is exceeded & fehler 503 beim Abgleich und beim Bestellabschluss Einrichtung JTL-Shop5 0
Abbruch bei Abgleich Shopware 6 mit JTL Wawi Shopware-Connector 0
Neu Zahlungsmodul - AmazonPay Abgleich schlägt fehl JTL-Wawi - Fehler und Bugs 2
Neu Kein Abgleich möglich-PW in den Online Einstellungen falsch WooCommerce-Connector 0
Neu Kein Abgleich mit Shopware 5.7.7 mehr Shopware-Connector 0
Neu Abgleich bucht bestellte Artikel als Wareneingang Shopware-Connector 10
Neu Bestellstatus Abgleich "Refund" "Gutschrift" WooCommerce-Connector 3

Ähnliche Themen