Neu Shopware 6 langsamer Abgleich

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Hallo zusammen,

der Abgleich dauert jetzt schon mehrere Tage. Er läuft fehlerfrei bei 1 Paket bis 10 Pakete, danach gibt es ein Timeout

Im Connector werden andere Shop Server-Info angegeben. Kann mir jemand erklären wie diese zu Stande kommen.

Folgende Werte werden in der Wawi angezeigt:

Memory limit: 512MB
Execution time: 300sec
Post max. size: 64MB
Upload max filesize: 64MB

Unsere sind aber andere Werte. z.B. ist das Memory limit bei uns: 4096MB.

Danke
Paule
 

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
Hallo @Paule28,

bitte formuliere etwas präziser was genau so lange dauert. Weitere Informationen über die Gesamtmenge der zu übertragenen Daten sowie wieviel Daten davon schon im- und/oder exportiert wurden wären auch interessant.

Die in JTL-Wawi angezeigten Werte sind die verfügbaren Ressourcen des Connector Servers und nicht die von eurem Shop Server.
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Hallo @Immanuel,

Wawi-Version: 1.5.40.0
Connector-Version: 0.15.0

1. Schritt
Es wurden alle Daten aus dem SW6 in die Wawi importiert. 111.111 Artikel in ca. 16Stunden davon ca. 2400 Elternprodukte ca. 109.000 Varianten

2. Im Connector wurden die Einstellungen angepasst (Artikel komplett ohne Bilder) für den Abgleich. Zwischen Wawi und SW6.
Diese Änderungen wurde letzte Woche Mi. durchgeführt. Es standen ca. 79.000 Artikel für den Abgleich bereit.
Davon wurden von letzte Woche Fr. bis heute ca. 14.000 Artikel abgeglichen.

Sobald die Paketgröße 11 oder größer eingestellt ist erfolgt nach einer bestimmten Zeit ein Timeout und bricht den Abgleich sowohl über "Shopabgleich" oder mit dem Worker ab.

Nachfolgend ein Auszug mit der Fehlermeldung:
JTL-Wawi: End sync
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.MK3rCQCuyAD(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )

Nachtrag:
Update auf:

Wawi-Version: 1.5.42.0
Connector-Version: 0.15.1
Paketmenge: 50

Abgleich ist ca. 11min gelaufen.

Wiederabbruch:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.c4WcpsWvf6k(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )

Vielen Dank im Voraus
Paule
 
Zuletzt bearbeitet:

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
Danke für die Infos. Meine Vermutung ist, dass eine bestimmte Anfrage vom Connector an die API eures Shopware Shops sehr lange dauert. Bei 111.111 Artikeln im Shop ist das nicht verwunderlich, zumal in der Shopware 6 Datenbank uuid's als Primärschlüssel verwendet werden, was sich ab einer bestimmten Menge an Daten mit Sicherheit in der Performance bemerkbar macht. Prüf bitte mal die Serverauslastung sowie die Auslastung der Shop Datenbank während der (langsame) Abgleich läuft.
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Moin,

wir sind sehr weit von einer Serverauslastung entfernt. Seit Tagen sind wir mit dem Support quasi im 30min Takt in Verbindung. Der Ursache bin ich auf der Spur. Wir kommen von einem sehr komplexen Magento zu SW6 und konnten fast alles mit den vorhandenen Möglichkeiten umsetzen. Allerdings hatten wir eine Sache nicht auf dem Schirm: Unser Shop (Variationsartikel) hat in der Summe 528.000 Attribute. Das wird wohl dann die Ursache sein. Im Moment läuft die Ameise mit der Löschung aller Atrribute. Sollte danach der Abgleich ebenfalls solange dauern, würde wir gerne eure Hilfe in Anspruch nehmen. Damit wir den Abgleich schnell durchführen können. Wir verlieren seit letzten Freitag sehr viel Umsatz pro Tag.

Gerne auch per PN.

Ich danke dir für deine Hilfe.

Grüße Paule
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Daten sind raus. Durch das entfernen der Attribute läuft er um einiges schneller. Eine zwei Verständnisfragen hätte ich noch.

Bei den Übertragungsparamenter ist die Grundeinstellung 50 Pakete pro Upload. Was bedeutet das genau? Im Moment läuft unser Upload mit 1 Paket

2. Frage:
In welcher Reihenfolge arbeitet der Connector die zu aktualisierten Produkte ab? Nach den Logs zu urteilen erst die Elternartikel danach die Varianten. Immer entsprechend des internen Schlüssels. Ist das in etwa so.

danke im Voraus

Grüße Paule
 

dotnetpower

Gut bekanntes Mitglied
22. Dezember 2006
210
14
Ist bei uns auch so, nur wenn man die Paketgröße auf 1 stellt läuft er sauber durch ohne sich aufzuhängen. Aber dennoch ist das im Vergleich zu Shopware 5 was bei uns der weitaus größere Shop ist und auf dem gleichen Server läuft ein himmelweiter unterschied. Das Wort Quick kann man da nicht wirklich mit in Verbindung bringen....
 

SwMatic

Neues Mitglied
15. Juli 2021
1
0
Hallo @Immanuel . Ich kann das ebenfalls bestätigen. Wir versuchen gerade 6000 Produkte nach Shopware 6 zu übertragen und werden leicht wahnsinnig. Die Paketgröße musste wie bei anderen auf 1 gestellt werden, damit es nicht zum Timeout kommt. Jetzt brauchen wir für die Übertragung von einem Produkt aber im Schnitt ein bis zwei Minuten, also geschätzt etwa 100 bis 200 Stunden bis alle Produkte einmal übermittelt wurden. Ist das normal? Es handelt häufig um Produkte mit ~20 Varianten, evtl. hat es auch damit zu tun.

Unser Shop selbst sollte auch bei weitem nicht an die Leistungsgrenze kommen. Ich denke das Bottleneck ist eher die Connector-Url.


Eine Beispiel-Meldung für einen Timeout:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.dpvNGdeSEwU(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.FEsNGnXT1AX(String , Object , Boolean , NetworkCredential )
 
Zuletzt bearbeitet:

dj0815

Aktives Mitglied
20. Juli 2020
98
18
Gibt es hier ein Update / Besserungen? Wir verzweifeln ebenfalls. Zu Shopware 5 übertragen wir locker 50 Pakete, zu SW 6 nicht einmal 3.

Darüber hinaus verwundert mich auch die " Shop-Serverinfo" im Connector unter "Übertragungsparameter"....
Diese Daten weichen DEUTLICH von meiner Serverleistung ab, die u.a. auch bei meinem SW5 Connector angezeigt werden.

Da die Daten für SW6 exakt den Angaben vom ersten Post von @Paule28 entsprechen, gehe ich mal davon aus, dass es sich dabei um eure Server Leistung handelt, also der des Connectors.

Da ich nicht der Einzige bin mit dem Problem:
Bitte gebt für den Connector mehr Power frei! Diese wird von SW6 offensichtlich für einen ordentlich Betrieb mit mehr als 3 Testprodukten einfach benötigt!

Es kann doch nicht sein, dass der Connector 3 Tage einen Abgleich macht und somit auch 3 Tage keine Bestellungen importiert....

LG Dominik
 

pmart

Aktives Mitglied
7. Juni 2021
66
16
Ich möchte mich dem Problem hier anschließen! Wir haben das selbe Phänomen.

@dj0815 Ich dachte auch immer das wäre unsere Serverleistung. Aber ja, da es der SaaS Connector ist kann es auch deren Leistung sein. Wenn die Ursache des Timeouts dann aber tatsächlich darin liegt, fehlen mir die Worte. Das darf nicht passieren.
 

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
@dj0815, @pmart

Die Übertragungsgeschwindigkeit hängt tatsächlich in den Meisten Fällen von der Shopware Admin API (bzw. vom Shop System) ab. Der Connector selbst trägt höchstens indirekt dazu bei, indem er nicht effiziente Anfragen an die Shopware Admin API stellt. Um connectorseitig etwas zu verbessern, müssen wir daher erstmal herausfinden welche Anfragen das sind. Hauptproblem dabei ist, dass jedes Shop System unterschiedlich ist. Damit meine ich nicht nur die zu verfügung stehenden Ressourcen, sondern auch die Konfiguration des Shop Systems, die verwendeten Komponenten (DBMS, Redis, Elastic Search,...) und natürlich die Anzahl verschiedenster Datensätze in der Shop Datenbank. Was für das eine Shop System ein Klacks ist, kann ein anderes Shop System in die Knie zwingen.
 

Immanuel

Gesperrter Benutzer
24. August 2016
1.542
329
Wie schon geschrieben ist es unklar weshalb der Abgleich bei euch so langsam ist. Uns würde es sehr helfen zu wissen welche Anfragen vom Connector an die Shopware API auf eurem System solange dauern. Dann könnten wir prüfen ob man die Anfragen effizienter gestalten kann.
 

dj0815

Aktives Mitglied
20. Juli 2020
98
18
In meinem Fall kommt dieses Problem überwiegend bei Artikeln mit 2 Variationen vor, z.B. mit Farbe und Größe.
Sprich Artikel Xy gibt es z.B: in 5 Größen und jede Größe jeweils in 20 Farben.

Wir haben schon überlegt die Artikel aufzusplitten, aber dann wird die Kategorie plötzlich 5x so groß und auf den ersten Blick sieht der Kunde dann jeden Artikel 5x.
Was aus Kundensicht eher negativ ist.

LG

Edit: An der Anzahl an Varianten kann es aber nicht liegen, denn wir haben auch Artikel, die es in 120 Farben gibt. Dieses laufen meistens problemlos durch, wenn nicht plötzlich mal ein Bild fehlt und er deshalb abbricht...
 

pmart

Aktives Mitglied
7. Juni 2021
66
16
Ich habe den Abgleich jetzt noch mal gestartet mit einer kleineren Paketgröße von 10 . Bislang läuft er sauber durch und ist gefühlt auch zügiger. In zwei Stunden wurden jetzt 1050 Artikel gesendet (also etwa 12 Stunden für unsere > 6000 Artikel). Debug-Modus ist an. Sollte er wieder abbrechen, stelle ich euch das Logfile gerne mal zur Verfügung @Immanuel 12 Stunden für 6000 Artikel ist definitiv zu lange. Oder sind meine Erwartungen vielleicht zu hoch?

Dennoch: Die Zuverlässigkeit ist nicht gegeben. In der Regel läuft bei uns der Worker. Wenn hier ein Abgleich fehlerhaft ist, bekommen wir das nicht mit. Erst heute haben wir wieder durch Zufall Artikel in der Wawi bemerkt, die aus unerfindlichen Gründen nicht übertragen wurden (allerdings anderer Shop unter SW5). Und niemand weiß wieso. Wir können dann die Artikel für den Shop nur deaktivieren und wieder aktivieren, wenn wir wissen welche es betrifft und es nicht zu viele sind. Ansonsten hilft auch hier nur ein Komplettabgleich, auf den man sich aber nicht blind verlassen kann.
 

arcronis

Neues Mitglied
11. Juni 2021
11
0
Ich klinke mich mal ein, ich habe das Gleiche problem und kann es derzeit nicht wirklich Lokalisieren, der Quciksync läuft mit "2" , ein Abgleich von 4700 Datensätzen dauert ccm 4-6 stunden. Manchmal bricht er ab mit einem Fehler. Serverseitig könnte ich mir vorstellen aber eigentlich sollte ein Server 2 Anfragen doch ab können ?

Die Settings sind so eingestellt wie vorgegeben.
Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?

was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?

Beim Worker entstehen ja die gleichen Probleme, der bricht irgendwann mit dem Selben Fehler ab und fängt auch wieder neu an....
 

dj0815

Aktives Mitglied
20. Juli 2020
98
18
@arcronis
was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?
Das habe ich mich auch schon gefragt. Er wiederholt immer wieder den SELBEN Vorgang.

Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?
Daran dürfte es nicht liegen.
12 vCores
32 GB vRAM
500 GB SSD Speicherplatz

Ich versuche mich gerade mit einem Abgleich von 5 Paketen :( Aber Variantenartikel machen immer wieder Probleme...

@pmart
Mit SW5 habe ich keinerlei Probleme. Läuft vom ersten Moment an wie Butter.
 

arcronis

Neues Mitglied
11. Juni 2021
11
0
Ok also ähnliche HW wie ich auch. Interessant ist das bspw. (wie jetzt gerade) 140 sauber durch gingen in 4 Minuten, und jetzt wird's langsam und zäh ...
nur mal ein kurzer zwischen stand, jetzt bin ich bei 188 und es sind bereits 45 Minuten vergangen ...
 
Zuletzt bearbeitet:

dj0815

Aktives Mitglied
20. Juli 2020
98
18
@Immanuel welche Daten wollt / benötigt ihr denn?

Wir können auch gerne anders herum an die Sache gehen:
Wie sollte denn unser System aussehen, sodass es nicht zu Problemen kommt?
Ausschließlich Einzelartikel ohne Varianten? Mit max. 1 Attribut? . . .
 
  • Gefällt mir
Reaktionen: dotnetpower und pmart
Ähnliche Themen
Titel Forum Antworten Datum
Neu Best Pratices Shopware - JTL - Buchhaltung User helfen Usern - Fragen zu JTL-Wawi 2
Blowfishkey Shopware 5 Einrichtung JTL-Shop5 3
Neu SEO URL der Kategorien wird nicht an Shopware 6 übertragen Shopware-Connector 0
Neu Umstieg von Shopware 5 zu JTL Shop 5 - Ranking behalten Allgemeine Fragen zu JTL-Shop 2
Neu JTL-Wawi mit Shopware/Magnalister User helfen Usern - Fragen zu JTL-Wawi 3
JTL WAWI 1.8.11.1 / JTL CONNECTOR / Shopware 6 JTL-Wawi 1.8 4
Neu Einstellung: "Bilder des Vaterartikels un der folgenden Variationswerte übernehmen" und der Shopware Server "explodiert" Shopware-Connector 10
Neu Label mit Anrede "Keine Angabe", Shopware JTL-ShippingLabels - Fehler und Bugs 1
Neu Shopware 6 Connector = Mangelhaftes Produkt! Shopware-Connector 0
Neu Nutzt jemand Ratepay mit Shopware 6? Shopware-Connector 2
Abbruch bei Abgleich Shopware 6 mit JTL Wawi Shopware-Connector 0
Wichtig 👉 Wichtiger Hinweis: Abkündigungsfristen JTL-Wawi 1.5 / MSQL-Server 2014 / JTL-POS für Android 7 / JTL-Connector für Shopware 5 News, Events und Umfragen 2
Neu Kein Abgleich mit Shopware 5.7.7 mehr Shopware-Connector 0
Neu Shopabgleich Shopware 6 - bedingte Daten senden - Webhook? Shopware-Connector 1
Neu Kein Datenabgleich zu Shopware 5.5.4 Shopware-Connector 3
Neu Wie importiere ich die Zahlungs-ID für meine eigene benutzerdefinierte Zahlung, wie es andere Anbieter wie Paypal und Molli Payments in Shopware 6? Onlineshop-Anbindung 0
JTL Worker Manueller Abgleich nicht möglich trotz deaktivierem Worker 2.0 JTL-Wawi 1.8 4
Worker 2.0 Abgleich dauert sehr lange JTL-Wawi 1.7 7
Fehler beim Rendering der Attribute bei SCX Abgleich kaufland.de - Anbindung (SCX) 1
Neu Kommentar verschwindet nach Wawi-Abgleich JTL-Shop - Fehler und Bugs 3
Onlineshop fehlt im Abgleich JTL-Wawi 1.6 1
Kein Abgleich zum Shop, ich komme nicht in Plattformen/Verkaufskanäle rein JTL-Wawi 1.8 3
Problem ebay Abgleich JTL-Wawi 1.8 4
In Diskussion Abgleich Wawi->Pos Allgemeine Fragen zu JTL-POS 7
Bug? Worker 2.0 - Shop Abgleich "Quicksync" ist kein Quicksync mehr - Paketgröße wird ignoriert JTL-Wawi 1.8 10
Neu Kurzbeschreibung wird nach dem letztem Shop-Abgleich nicht im Frontend angezeigt User helfen Usern - Fragen zu JTL-Wawi 0
Neu Shopify Connector Abgleich endet nicht Shopify-Connector 6
RLIMIT_NPROC is exceeded & fehler 503 beim Abgleich und beim Bestellabschluss Einrichtung JTL-Shop5 0
Neu Abgleich Onlineshop PrestaShop-Connector 1
Neu Zahlungsmodul - AmazonPay Abgleich schlägt fehl JTL-Wawi - Fehler und Bugs 2
Neu Kein Abgleich möglich-PW in den Online Einstellungen falsch WooCommerce-Connector 0
Neu Abgleich bucht bestellte Artikel als Wareneingang Shopware-Connector 10
Neu Bestellstatus Abgleich "Refund" "Gutschrift" WooCommerce-Connector 3

Ähnliche Themen