Neu Shopware 6 langsamer Abgleich

[Paule28]

Hallo zusammen,

der Abgleich dauert jetzt schon mehrere Tage. Er läuft fehlerfrei bei 1 Paket bis 10 Pakete, danach gibt es ein Timeout

Im Connector werden andere Shop Server-Info angegeben. Kann mir jemand erklären wie diese zu Stande kommen.

Folgende Werte werden in der Wawi angezeigt:

Memory limit: 512MB
Execution time: 300sec
Post max. size: 64MB
Upload max filesize: 64MB

Unsere sind aber andere Werte. z.B. ist das Memory limit bei uns: 4096MB.

Danke
Paule

 

[Immanuel]

Hallo @Paule28,

bitte formuliere etwas präziser was genau so lange dauert. Weitere Informationen über die Gesamtmenge der zu übertragenen Daten sowie wieviel Daten davon schon im- und/oder exportiert wurden wären auch interessant.

Die in JTL-Wawi angezeigten Werte sind die verfügbaren Ressourcen des Connector Servers und nicht die von eurem Shop Server.

 

[Paule28]

Hallo @Immanuel,

Wawi-Version: 1.5.40.0
Connector-Version: 0.15.0

1. Schritt
Es wurden alle Daten aus dem SW6 in die Wawi importiert. 111.111 Artikel in ca. 16Stunden davon ca. 2400 Elternprodukte ca. 109.000 Varianten

2. Im Connector wurden die Einstellungen angepasst (Artikel komplett ohne Bilder) für den Abgleich. Zwischen Wawi und SW6.
Diese Änderungen wurde letzte Woche Mi. durchgeführt. Es standen ca. 79.000 Artikel für den Abgleich bereit.
Davon wurden von letzte Woche Fr. bis heute ca. 14.000 Artikel abgeglichen.

Sobald die Paketgröße 11 oder größer eingestellt ist erfolgt nach einer bestimmten Zeit ein Timeout und bricht den Abgleich sowohl über "Shopabgleich" oder mit dem Worker ab.

Nachfolgend ein Auszug mit der Fehlermeldung:
JTL-Wawi: End sync
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.MK3rCQCuyAD(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )

Nachtrag:
Update auf:
Wawi-Version: 1.5.42.0
Connector-Version: 0.15.1
Paketmenge: 50

Abgleich ist ca. 11min gelaufen.

Wiederabbruch:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.c4WcpsWvf6k(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )

Vielen Dank im Voraus
Paule

 

[Immanuel]

Danke für die Infos. Meine Vermutung ist, dass eine bestimmte Anfrage vom Connector an die API eures Shopware Shops sehr lange dauert. Bei 111.111 Artikeln im Shop ist das nicht verwunderlich, zumal in der Shopware 6 Datenbank uuid's als Primärschlüssel verwendet werden, was sich ab einer bestimmten Menge an Daten mit Sicherheit in der Performance bemerkbar macht. Prüf bitte mal die Serverauslastung sowie die Auslastung der Shop Datenbank während der (langsame) Abgleich läuft.

 

[Paule28]

Moin,

wir sind sehr weit von einer Serverauslastung entfernt. Seit Tagen sind wir mit dem Support quasi im 30min Takt in Verbindung. Der Ursache bin ich auf der Spur. Wir kommen von einem sehr komplexen Magento zu SW6 und konnten fast alles mit den vorhandenen Möglichkeiten umsetzen. Allerdings hatten wir eine Sache nicht auf dem Schirm: Unser Shop (Variationsartikel) hat in der Summe 528.000 Attribute. Das wird wohl dann die Ursache sein. Im Moment läuft die Ameise mit der Löschung aller Atrribute. Sollte danach der Abgleich ebenfalls solange dauern, würde wir gerne eure Hilfe in Anspruch nehmen. Damit wir den Abgleich schnell durchführen können. Wir verlieren seit letzten Freitag sehr viel Umsatz pro Tag.

Gerne auch per PN.

Ich danke dir für deine Hilfe.

Grüße Paule

 

[Immanuel]

Schick mir doch mal eure Kontaktdaten per PM.

 

[Paule28]

Daten sind raus. Durch das entfernen der Attribute läuft er um einiges schneller. Eine zwei Verständnisfragen hätte ich noch.

Bei den Übertragungsparamenter ist die Grundeinstellung 50 Pakete pro Upload. Was bedeutet das genau? Im Moment läuft unser Upload mit 1 Paket

2. Frage:
In welcher Reihenfolge arbeitet der Connector die zu aktualisierten Produkte ab? Nach den Logs zu urteilen erst die Elternartikel danach die Varianten. Immer entsprechend des internen Schlüssels. Ist das in etwa so.

danke im Voraus

Grüße Paule

 

[dotnetpower]

Ist bei uns auch so, nur wenn man die Paketgröße auf 1 stellt läuft er sauber durch ohne sich aufzuhängen. Aber dennoch ist das im Vergleich zu Shopware 5 was bei uns der weitaus größere Shop ist und auf dem gleichen Server läuft ein himmelweiter unterschied. Das Wort Quick kann man da nicht wirklich mit in Verbindung bringen....

 

[SwMatic]

Hallo @Immanuel . Ich kann das ebenfalls bestätigen. Wir versuchen gerade 6000 Produkte nach Shopware 6 zu übertragen und werden leicht wahnsinnig. Die Paketgröße musste wie bei anderen auf 1 gestellt werden, damit es nicht zum Timeout kommt. Jetzt brauchen wir für die Übertragung von einem Produkt aber im Schnitt ein bis zwei Minuten, also geschätzt etwa 100 bis 200 Stunden bis alle Produkte einmal übermittelt wurden. Ist das normal? Es handelt häufig um Produkte mit ~20 Varianten, evtl. hat es auch damit zu tun.

Unser Shop selbst sollte auch bei weitem nicht an die Leistungsgrenze kommen. Ich denke das Bottleneck ist eher die Connector-Url.


Eine Beispiel-Meldung für einen Timeout:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.dpvNGdeSEwU(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.FEsNGnXT1AX(String , Object , Boolean , NetworkCredential )

 

[dj0815]

Gibt es hier ein Update / Besserungen? Wir verzweifeln ebenfalls. Zu Shopware 5 übertragen wir locker 50 Pakete, zu SW 6 nicht einmal 3.

Darüber hinaus verwundert mich auch die " Shop-Serverinfo" im Connector unter "Übertragungsparameter"....
Diese Daten weichen DEUTLICH von meiner Serverleistung ab, die u.a. auch bei meinem SW5 Connector angezeigt werden.

Da die Daten für SW6 exakt den Angaben vom ersten Post von @Paule28 entsprechen, gehe ich mal davon aus, dass es sich dabei um eure Server Leistung handelt, also der des Connectors.

Da ich nicht der Einzige bin mit dem Problem:
Bitte gebt für den Connector mehr Power frei! Diese wird von SW6 offensichtlich für einen ordentlich Betrieb mit mehr als 3 Testprodukten einfach benötigt!

Es kann doch nicht sein, dass der Connector 3 Tage einen Abgleich macht und somit auch 3 Tage keine Bestellungen importiert....

LG Dominik

 

[pmart]

Ich möchte mich dem Problem hier anschließen! Wir haben das selbe Phänomen.

@dj0815 Ich dachte auch immer das wäre unsere Serverleistung. Aber ja, da es der SaaS Connector ist kann es auch deren Leistung sein. Wenn die Ursache des Timeouts dann aber tatsächlich darin liegt, fehlen mir die Worte. Das darf nicht passieren.

 

[Immanuel]

@dj0815, @pmart

Die Übertragungsgeschwindigkeit hängt tatsächlich in den Meisten Fällen von der Shopware Admin API (bzw. vom Shop System) ab. Der Connector selbst trägt höchstens indirekt dazu bei, indem er nicht effiziente Anfragen an die Shopware Admin API stellt. Um connectorseitig etwas zu verbessern, müssen wir daher erstmal herausfinden welche Anfragen das sind. Hauptproblem dabei ist, dass jedes Shop System unterschiedlich ist. Damit meine ich nicht nur die zu verfügung stehenden Ressourcen, sondern auch die Konfiguration des Shop Systems, die verwendeten Komponenten (DBMS, Redis, Elastic Search,...) und natürlich die Anzahl verschiedenster Datensätze in der Shop Datenbank. Was für das eine Shop System ein Klacks ist, kann ein anderes Shop System in die Knie zwingen.

 

[pmart]

Hallo @Immanuel ,

und wie lösen wir die Problematik nun? Es ist ja nun kein Einzelfall.

 

[Immanuel]

Wie schon geschrieben ist es unklar weshalb der Abgleich bei euch so langsam ist. Uns würde es sehr helfen zu wissen welche Anfragen vom Connector an die Shopware API auf eurem System solange dauern. Dann könnten wir prüfen ob man die Anfragen effizienter gestalten kann.

 

[dj0815]

In meinem Fall kommt dieses Problem überwiegend bei Artikeln mit 2 Variationen vor, z.B. mit Farbe und Größe.
Sprich Artikel Xy gibt es z.B: in 5 Größen und jede Größe jeweils in 20 Farben.

Wir haben schon überlegt die Artikel aufzusplitten, aber dann wird die Kategorie plötzlich 5x so groß und auf den ersten Blick sieht der Kunde dann jeden Artikel 5x.
Was aus Kundensicht eher negativ ist.

LG

Edit: An der Anzahl an Varianten kann es aber nicht liegen, denn wir haben auch Artikel, die es in 120 Farben gibt. Dieses laufen meistens problemlos durch, wenn nicht plötzlich mal ein Bild fehlt und er deshalb abbricht...

 

[pmart]

Ich habe den Abgleich jetzt noch mal gestartet mit einer kleineren Paketgröße von 10 . Bislang läuft er sauber durch und ist gefühlt auch zügiger. In zwei Stunden wurden jetzt 1050 Artikel gesendet (also etwa 12 Stunden für unsere > 6000 Artikel). Debug-Modus ist an. Sollte er wieder abbrechen, stelle ich euch das Logfile gerne mal zur Verfügung @Immanuel 12 Stunden für 6000 Artikel ist definitiv zu lange. Oder sind meine Erwartungen vielleicht zu hoch?

Dennoch: Die Zuverlässigkeit ist nicht gegeben. In der Regel läuft bei uns der Worker. Wenn hier ein Abgleich fehlerhaft ist, bekommen wir das nicht mit. Erst heute haben wir wieder durch Zufall Artikel in der Wawi bemerkt, die aus unerfindlichen Gründen nicht übertragen wurden (allerdings anderer Shop unter SW5). Und niemand weiß wieso. Wir können dann die Artikel für den Shop nur deaktivieren und wieder aktivieren, wenn wir wissen welche es betrifft und es nicht zu viele sind. Ansonsten hilft auch hier nur ein Komplettabgleich, auf den man sich aber nicht blind verlassen kann.

 

[arcronis]

Ich klinke mich mal ein, ich habe das Gleiche problem und kann es derzeit nicht wirklich Lokalisieren, der Quciksync läuft mit "2" , ein Abgleich von 4700 Datensätzen dauert ccm 4-6 stunden. Manchmal bricht er ab mit einem Fehler. Serverseitig könnte ich mir vorstellen aber eigentlich sollte ein Server 2 Anfragen doch ab können ?

Die Settings sind so eingestellt wie vorgegeben.
Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?

was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?

Beim Worker entstehen ja die gleichen Probleme, der bricht irgendwann mit dem Selben Fehler ab und fängt auch wieder neu an....

 

[dj0815]

@arcronis

was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?

Das habe ich mich auch schon gefragt. Er wiederholt immer wieder den SELBEN Vorgang.

Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?

Daran dürfte es nicht liegen.
12 vCores
32 GB vRAM
500 GB SSD Speicherplatz

Ich versuche mich gerade mit einem Abgleich von 5 Paketen Aber Variantenartikel machen immer wieder Probleme...

@pmart
Mit SW5 habe ich keinerlei Probleme. Läuft vom ersten Moment an wie Butter.

 

[arcronis]

Ok also ähnliche HW wie ich auch. Interessant ist das bspw. (wie jetzt gerade) 140 sauber durch gingen in 4 Minuten, und jetzt wird's langsam und zäh ...
nur mal ein kurzer zwischen stand, jetzt bin ich bei 188 und es sind bereits 45 Minuten vergangen ...

 

[dj0815]

@Immanuel welche Daten wollt / benötigt ihr denn?

Wir können auch gerne anders herum an die Sache gehen:
Wie sollte denn unser System aussehen, sodass es nicht zu Problemen kommt?
Ausschließlich Einzelartikel ohne Varianten? Mit max. 1 Attribut? . . .