Neu Shopware 6 langsamer Abgleich

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Hallo zusammen,

der Abgleich dauert jetzt schon mehrere Tage. Er läuft fehlerfrei bei 1 Paket bis 10 Pakete, danach gibt es ein Timeout

Im Connector werden andere Shop Server-Info angegeben. Kann mir jemand erklären wie diese zu Stande kommen.

Folgende Werte werden in der Wawi angezeigt:

Memory limit: 512MB
Execution time: 300sec
Post max. size: 64MB
Upload max filesize: 64MB

Unsere sind aber andere Werte. z.B. ist das Memory limit bei uns: 4096MB.

Danke
Paule
 

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
Hallo @Paule28,

bitte formuliere etwas präziser was genau so lange dauert. Weitere Informationen über die Gesamtmenge der zu übertragenen Daten sowie wieviel Daten davon schon im- und/oder exportiert wurden wären auch interessant.

Die in JTL-Wawi angezeigten Werte sind die verfügbaren Ressourcen des Connector Servers und nicht die von eurem Shop Server.
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Hallo @Immanuel,

Wawi-Version: 1.5.40.0
Connector-Version: 0.15.0

1. Schritt
Es wurden alle Daten aus dem SW6 in die Wawi importiert. 111.111 Artikel in ca. 16Stunden davon ca. 2400 Elternprodukte ca. 109.000 Varianten

2. Im Connector wurden die Einstellungen angepasst (Artikel komplett ohne Bilder) für den Abgleich. Zwischen Wawi und SW6.
Diese Änderungen wurde letzte Woche Mi. durchgeführt. Es standen ca. 79.000 Artikel für den Abgleich bereit.
Davon wurden von letzte Woche Fr. bis heute ca. 14.000 Artikel abgeglichen.

Sobald die Paketgröße 11 oder größer eingestellt ist erfolgt nach einer bestimmten Zeit ein Timeout und bricht den Abgleich sowohl über "Shopabgleich" oder mit dem Worker ab.

Nachfolgend ein Auszug mit der Fehlermeldung:
JTL-Wawi: End sync
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.MK3rCQCuyAD(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )

Nachtrag:
Update auf:

Wawi-Version: 1.5.42.0
Connector-Version: 0.15.1
Paketmenge: 50

Abgleich ist ca. 11min gelaufen.

Wiederabbruch:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.c4WcpsWvf6k(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )

Vielen Dank im Voraus
Paule
 
Zuletzt bearbeitet:

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
Danke für die Infos. Meine Vermutung ist, dass eine bestimmte Anfrage vom Connector an die API eures Shopware Shops sehr lange dauert. Bei 111.111 Artikeln im Shop ist das nicht verwunderlich, zumal in der Shopware 6 Datenbank uuid's als Primärschlüssel verwendet werden, was sich ab einer bestimmten Menge an Daten mit Sicherheit in der Performance bemerkbar macht. Prüf bitte mal die Serverauslastung sowie die Auslastung der Shop Datenbank während der (langsame) Abgleich läuft.
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Moin,

wir sind sehr weit von einer Serverauslastung entfernt. Seit Tagen sind wir mit dem Support quasi im 30min Takt in Verbindung. Der Ursache bin ich auf der Spur. Wir kommen von einem sehr komplexen Magento zu SW6 und konnten fast alles mit den vorhandenen Möglichkeiten umsetzen. Allerdings hatten wir eine Sache nicht auf dem Schirm: Unser Shop (Variationsartikel) hat in der Summe 528.000 Attribute. Das wird wohl dann die Ursache sein. Im Moment läuft die Ameise mit der Löschung aller Atrribute. Sollte danach der Abgleich ebenfalls solange dauern, würde wir gerne eure Hilfe in Anspruch nehmen. Damit wir den Abgleich schnell durchführen können. Wir verlieren seit letzten Freitag sehr viel Umsatz pro Tag.

Gerne auch per PN.

Ich danke dir für deine Hilfe.

Grüße Paule
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Daten sind raus. Durch das entfernen der Attribute läuft er um einiges schneller. Eine zwei Verständnisfragen hätte ich noch.

Bei den Übertragungsparamenter ist die Grundeinstellung 50 Pakete pro Upload. Was bedeutet das genau? Im Moment läuft unser Upload mit 1 Paket

2. Frage:
In welcher Reihenfolge arbeitet der Connector die zu aktualisierten Produkte ab? Nach den Logs zu urteilen erst die Elternartikel danach die Varianten. Immer entsprechend des internen Schlüssels. Ist das in etwa so.

danke im Voraus

Grüße Paule
 

dotnetpower

Gut bekanntes Mitglied
22. Dezember 2006
216
23
Ist bei uns auch so, nur wenn man die Paketgröße auf 1 stellt läuft er sauber durch ohne sich aufzuhängen. Aber dennoch ist das im Vergleich zu Shopware 5 was bei uns der weitaus größere Shop ist und auf dem gleichen Server läuft ein himmelweiter unterschied. Das Wort Quick kann man da nicht wirklich mit in Verbindung bringen....
 

SwMatic

Neues Mitglied
15. Juli 2021
1
0
Hallo @Immanuel . Ich kann das ebenfalls bestätigen. Wir versuchen gerade 6000 Produkte nach Shopware 6 zu übertragen und werden leicht wahnsinnig. Die Paketgröße musste wie bei anderen auf 1 gestellt werden, damit es nicht zum Timeout kommt. Jetzt brauchen wir für die Übertragung von einem Produkt aber im Schnitt ein bis zwei Minuten, also geschätzt etwa 100 bis 200 Stunden bis alle Produkte einmal übermittelt wurden. Ist das normal? Es handelt häufig um Produkte mit ~20 Varianten, evtl. hat es auch damit zu tun.

Unser Shop selbst sollte auch bei weitem nicht an die Leistungsgrenze kommen. Ich denke das Bottleneck ist eher die Connector-Url.


Eine Beispiel-Meldung für einen Timeout:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.dpvNGdeSEwU(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.FEsNGnXT1AX(String , Object , Boolean , NetworkCredential )
 
Zuletzt bearbeitet:

dj0815

Gut bekanntes Mitglied
20. Juli 2020
100
18
Gibt es hier ein Update / Besserungen? Wir verzweifeln ebenfalls. Zu Shopware 5 übertragen wir locker 50 Pakete, zu SW 6 nicht einmal 3.

Darüber hinaus verwundert mich auch die " Shop-Serverinfo" im Connector unter "Übertragungsparameter"....
Diese Daten weichen DEUTLICH von meiner Serverleistung ab, die u.a. auch bei meinem SW5 Connector angezeigt werden.

Da die Daten für SW6 exakt den Angaben vom ersten Post von @Paule28 entsprechen, gehe ich mal davon aus, dass es sich dabei um eure Server Leistung handelt, also der des Connectors.

Da ich nicht der Einzige bin mit dem Problem:
Bitte gebt für den Connector mehr Power frei! Diese wird von SW6 offensichtlich für einen ordentlich Betrieb mit mehr als 3 Testprodukten einfach benötigt!

Es kann doch nicht sein, dass der Connector 3 Tage einen Abgleich macht und somit auch 3 Tage keine Bestellungen importiert....

LG Dominik
 

pmart

Aktives Mitglied
7. Juni 2021
66
16
Ich möchte mich dem Problem hier anschließen! Wir haben das selbe Phänomen.

@dj0815 Ich dachte auch immer das wäre unsere Serverleistung. Aber ja, da es der SaaS Connector ist kann es auch deren Leistung sein. Wenn die Ursache des Timeouts dann aber tatsächlich darin liegt, fehlen mir die Worte. Das darf nicht passieren.
 

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
@dj0815, @pmart

Die Übertragungsgeschwindigkeit hängt tatsächlich in den Meisten Fällen von der Shopware Admin API (bzw. vom Shop System) ab. Der Connector selbst trägt höchstens indirekt dazu bei, indem er nicht effiziente Anfragen an die Shopware Admin API stellt. Um connectorseitig etwas zu verbessern, müssen wir daher erstmal herausfinden welche Anfragen das sind. Hauptproblem dabei ist, dass jedes Shop System unterschiedlich ist. Damit meine ich nicht nur die zu verfügung stehenden Ressourcen, sondern auch die Konfiguration des Shop Systems, die verwendeten Komponenten (DBMS, Redis, Elastic Search,...) und natürlich die Anzahl verschiedenster Datensätze in der Shop Datenbank. Was für das eine Shop System ein Klacks ist, kann ein anderes Shop System in die Knie zwingen.
 

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
Wie schon geschrieben ist es unklar weshalb der Abgleich bei euch so langsam ist. Uns würde es sehr helfen zu wissen welche Anfragen vom Connector an die Shopware API auf eurem System solange dauern. Dann könnten wir prüfen ob man die Anfragen effizienter gestalten kann.
 

dj0815

Gut bekanntes Mitglied
20. Juli 2020
100
18
In meinem Fall kommt dieses Problem überwiegend bei Artikeln mit 2 Variationen vor, z.B. mit Farbe und Größe.
Sprich Artikel Xy gibt es z.B: in 5 Größen und jede Größe jeweils in 20 Farben.

Wir haben schon überlegt die Artikel aufzusplitten, aber dann wird die Kategorie plötzlich 5x so groß und auf den ersten Blick sieht der Kunde dann jeden Artikel 5x.
Was aus Kundensicht eher negativ ist.

LG

Edit: An der Anzahl an Varianten kann es aber nicht liegen, denn wir haben auch Artikel, die es in 120 Farben gibt. Dieses laufen meistens problemlos durch, wenn nicht plötzlich mal ein Bild fehlt und er deshalb abbricht...
 

pmart

Aktives Mitglied
7. Juni 2021
66
16
Ich habe den Abgleich jetzt noch mal gestartet mit einer kleineren Paketgröße von 10 . Bislang läuft er sauber durch und ist gefühlt auch zügiger. In zwei Stunden wurden jetzt 1050 Artikel gesendet (also etwa 12 Stunden für unsere > 6000 Artikel). Debug-Modus ist an. Sollte er wieder abbrechen, stelle ich euch das Logfile gerne mal zur Verfügung @Immanuel 12 Stunden für 6000 Artikel ist definitiv zu lange. Oder sind meine Erwartungen vielleicht zu hoch?

Dennoch: Die Zuverlässigkeit ist nicht gegeben. In der Regel läuft bei uns der Worker. Wenn hier ein Abgleich fehlerhaft ist, bekommen wir das nicht mit. Erst heute haben wir wieder durch Zufall Artikel in der Wawi bemerkt, die aus unerfindlichen Gründen nicht übertragen wurden (allerdings anderer Shop unter SW5). Und niemand weiß wieso. Wir können dann die Artikel für den Shop nur deaktivieren und wieder aktivieren, wenn wir wissen welche es betrifft und es nicht zu viele sind. Ansonsten hilft auch hier nur ein Komplettabgleich, auf den man sich aber nicht blind verlassen kann.
 

arcronis

Neues Mitglied
11. Juni 2021
11
0
Ich klinke mich mal ein, ich habe das Gleiche problem und kann es derzeit nicht wirklich Lokalisieren, der Quciksync läuft mit "2" , ein Abgleich von 4700 Datensätzen dauert ccm 4-6 stunden. Manchmal bricht er ab mit einem Fehler. Serverseitig könnte ich mir vorstellen aber eigentlich sollte ein Server 2 Anfragen doch ab können ?

Die Settings sind so eingestellt wie vorgegeben.
Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?

was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?

Beim Worker entstehen ja die gleichen Probleme, der bricht irgendwann mit dem Selben Fehler ab und fängt auch wieder neu an....
 

dj0815

Gut bekanntes Mitglied
20. Juli 2020
100
18
@arcronis
was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?
Das habe ich mich auch schon gefragt. Er wiederholt immer wieder den SELBEN Vorgang.

Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?
Daran dürfte es nicht liegen.
12 vCores
32 GB vRAM
500 GB SSD Speicherplatz

Ich versuche mich gerade mit einem Abgleich von 5 Paketen :( Aber Variantenartikel machen immer wieder Probleme...

@pmart
Mit SW5 habe ich keinerlei Probleme. Läuft vom ersten Moment an wie Butter.
 

arcronis

Neues Mitglied
11. Juni 2021
11
0
Ok also ähnliche HW wie ich auch. Interessant ist das bspw. (wie jetzt gerade) 140 sauber durch gingen in 4 Minuten, und jetzt wird's langsam und zäh ...
nur mal ein kurzer zwischen stand, jetzt bin ich bei 188 und es sind bereits 45 Minuten vergangen ...
 
Zuletzt bearbeitet:

dj0815

Gut bekanntes Mitglied
20. Juli 2020
100
18
@Immanuel welche Daten wollt / benötigt ihr denn?

Wir können auch gerne anders herum an die Sache gehen:
Wie sollte denn unser System aussehen, sodass es nicht zu Problemen kommt?
Ausschließlich Einzelartikel ohne Varianten? Mit max. 1 Attribut? . . .
 
  • Gefällt mir
Reaktionen: dotnetpower und pmart
Ähnliche Themen
Titel Forum Antworten Datum
Neu Umzug von Pickware in Shopware 6 zu JTL User helfen Usern - Fragen zu JTL-Wawi 2
Neu Shopware 6.6.6.1 lässt sicht nicht mit der JTL Wawi verbinden Shopware-Connector 1
Neu Frage an Shopware User Shopware-Connector 1
Neu Geht Shopware 6.6.6.0? Shopware-Connector 0
Neu Atrribut in Wawi gelöscht - Keine Auswirkung auf Shopware Shopware-Connector 0
Neu Dringende Hilfe benötigt: JTL-Connector Fehler beim Shopware-Abgleich Shopware-Connector 15
Neu Kinderartikel bei Shopware 6 listen User helfen Usern 0
Neu Migration von Shopware 6, Kundendaten Allgemeine Fragen zu JTL-Shop 4
Neu /admin/cache lädt 20s für leere/defekte Statistik UND der Shop ist 0.3s langsamer - Zusammenhang? JTL-Shop - Fehler und Bugs 4
Neu Fehler bei Abgleich JTl Wawi mit JTL Shop User helfen Usern - Fragen zu JTL-Wawi 2
Bestehender eBay-Shop -- JTL Shop neu -- Abgleich -- wie vorgehen? JTL-Wawi 1.9 1
Neu JTL Connector - Shopify Abgleich. Bestellbestätigungsemails werden die ganze Zeit dem Kunden gemailt. Shopware-Connector 0
Neu JTL WaWI abgleich mit Amazon für Deal Day & Black Friday User helfen Usern - Fragen zu JTL-Wawi 1
Neu Fehler: "Abgleich soll nicht durchgeführt werden" Amazon-Anbindung - Fehler und Bugs 3
shop-abgleich JTL-Wawi 1.9 1
Neu Amazon Abgleich Fehler: Der Objektverweis wurde nicht auf eine Objektinstanz festgelegt Amazon-Anbindung - Fehler und Bugs 18
Neu Amazon Abgleich Fehler Gelöste Themen in diesem Bereich 6
Neu Abgleich mit JTL Shop läuft nach zahlreichen erfolgreichen Durchläufen nicht mehr weiter JTL-Shop - Fehler und Bugs 11
Neu Problem mit Shopify abgleich Shopify-Connector 2
Neu Kein Abgleich möglich: Serverproblem ??? Gelöste Themen in diesem Bereich 6
Neu JTL-POS - Worker Abgleich - [Server] Customer-Call found customer: 0 + Kategorienbilder JTL-POS - Fehler und Bugs 3
Neu Fehlerhafter Abgleich Arbeitsabläufe in JTL-Wawi 0
Neu Automatischer Abgleich von Artikel Daten Schnittstellen Import / Export 5
eBay Abgleich Artikel beendet, Logbuch kein Eintrag JTL-Wawi 1.9 1
Neu Amazon Abgleich Fehler - Hotfix für Version 1.5.55.8 funktioniert nicht JTL-Wawi - Fehler und Bugs 7
Neu Dringende Hilfe benötigt: JTL-Connector Fehler beim Shopify-Abgleich trotz "200 OK" - Hat jemand eine Lösung? Shopify-Connector 1
Neu Fehler bei Abgleich von Kategorien zu Shopify Shopify-Connector 0
Neu Nach Update von 5.0.x auf 5.3.3 bricht Abgleich mit Wawi ab Installation / Updates von JTL-Shop 3
Abgleich per Worker 2.0 UND manuell nicht mehr möglich JTL-Wawi 1.8 3
BUG | Verkaufskanäle für Abgleich deaktivieren löscht Artikelname und Beschreibung JTL-Wawi 1.9 4
Kategorien Abgleich mit dem JTL Shop JTL-Wawi 1.9 4
Neu Fehlende Bestellungen nach Amazon-Abgleich User helfen Usern - Fragen zu JTL-Wawi 2

Ähnliche Themen