Neu Shopware 6 langsamer Abgleich

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Hallo zusammen,

der Abgleich dauert jetzt schon mehrere Tage. Er läuft fehlerfrei bei 1 Paket bis 10 Pakete, danach gibt es ein Timeout

Im Connector werden andere Shop Server-Info angegeben. Kann mir jemand erklären wie diese zu Stande kommen.

Folgende Werte werden in der Wawi angezeigt:

Memory limit: 512MB
Execution time: 300sec
Post max. size: 64MB
Upload max filesize: 64MB

Unsere sind aber andere Werte. z.B. ist das Memory limit bei uns: 4096MB.

Danke
Paule
 

Immanuel

Moderator
Mitarbeiter
24. August 2016
1.434
299
Hallo @Paule28,

bitte formuliere etwas präziser was genau so lange dauert. Weitere Informationen über die Gesamtmenge der zu übertragenen Daten sowie wieviel Daten davon schon im- und/oder exportiert wurden wären auch interessant.

Die in JTL-Wawi angezeigten Werte sind die verfügbaren Ressourcen des Connector Servers und nicht die von eurem Shop Server.
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Hallo @Immanuel,

Wawi-Version: 1.5.40.0
Connector-Version: 0.15.0

1. Schritt
Es wurden alle Daten aus dem SW6 in die Wawi importiert. 111.111 Artikel in ca. 16Stunden davon ca. 2400 Elternprodukte ca. 109.000 Varianten

2. Im Connector wurden die Einstellungen angepasst (Artikel komplett ohne Bilder) für den Abgleich. Zwischen Wawi und SW6.
Diese Änderungen wurde letzte Woche Mi. durchgeführt. Es standen ca. 79.000 Artikel für den Abgleich bereit.
Davon wurden von letzte Woche Fr. bis heute ca. 14.000 Artikel abgeglichen.

Sobald die Paketgröße 11 oder größer eingestellt ist erfolgt nach einer bestimmten Zeit ein Timeout und bricht den Abgleich sowohl über "Shopabgleich" oder mit dem Worker ab.

Nachfolgend ein Auszug mit der Fehlermeldung:
JTL-Wawi: End sync
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.MK3rCQCuyAD(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.tghrCRWHefA(String , Object , Boolean , NetworkCredential )

Nachtrag:
Update auf:

Wawi-Version: 1.5.42.0
Connector-Version: 0.15.1
Paketmenge: 50

Abgleich ist ca. 11min gelaufen.

Wiederabbruch:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.c4WcpsWvf6k(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.JjBcpY291ir(String , Object , Boolean , NetworkCredential )

Vielen Dank im Voraus
Paule
 
Zuletzt bearbeitet:

Immanuel

Moderator
Mitarbeiter
24. August 2016
1.434
299
Danke für die Infos. Meine Vermutung ist, dass eine bestimmte Anfrage vom Connector an die API eures Shopware Shops sehr lange dauert. Bei 111.111 Artikeln im Shop ist das nicht verwunderlich, zumal in der Shopware 6 Datenbank uuid's als Primärschlüssel verwendet werden, was sich ab einer bestimmten Menge an Daten mit Sicherheit in der Performance bemerkbar macht. Prüf bitte mal die Serverauslastung sowie die Auslastung der Shop Datenbank während der (langsame) Abgleich läuft.
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Moin,

wir sind sehr weit von einer Serverauslastung entfernt. Seit Tagen sind wir mit dem Support quasi im 30min Takt in Verbindung. Der Ursache bin ich auf der Spur. Wir kommen von einem sehr komplexen Magento zu SW6 und konnten fast alles mit den vorhandenen Möglichkeiten umsetzen. Allerdings hatten wir eine Sache nicht auf dem Schirm: Unser Shop (Variationsartikel) hat in der Summe 528.000 Attribute. Das wird wohl dann die Ursache sein. Im Moment läuft die Ameise mit der Löschung aller Atrribute. Sollte danach der Abgleich ebenfalls solange dauern, würde wir gerne eure Hilfe in Anspruch nehmen. Damit wir den Abgleich schnell durchführen können. Wir verlieren seit letzten Freitag sehr viel Umsatz pro Tag.

Gerne auch per PN.

Ich danke dir für deine Hilfe.

Grüße Paule
 

Paule28

Aktives Mitglied
23. Dezember 2008
20
0
Daten sind raus. Durch das entfernen der Attribute läuft er um einiges schneller. Eine zwei Verständnisfragen hätte ich noch.

Bei den Übertragungsparamenter ist die Grundeinstellung 50 Pakete pro Upload. Was bedeutet das genau? Im Moment läuft unser Upload mit 1 Paket

2. Frage:
In welcher Reihenfolge arbeitet der Connector die zu aktualisierten Produkte ab? Nach den Logs zu urteilen erst die Elternartikel danach die Varianten. Immer entsprechend des internen Schlüssels. Ist das in etwa so.

danke im Voraus

Grüße Paule
 

dotnetpower

Gut bekanntes Mitglied
22. Dezember 2006
202
11
Ist bei uns auch so, nur wenn man die Paketgröße auf 1 stellt läuft er sauber durch ohne sich aufzuhängen. Aber dennoch ist das im Vergleich zu Shopware 5 was bei uns der weitaus größere Shop ist und auf dem gleichen Server läuft ein himmelweiter unterschied. Das Wort Quick kann man da nicht wirklich mit in Verbindung bringen....
 

SwMatic

Neues Mitglied
15. Juli 2021
1
0
Hallo @Immanuel . Ich kann das ebenfalls bestätigen. Wir versuchen gerade 6000 Produkte nach Shopware 6 zu übertragen und werden leicht wahnsinnig. Die Paketgröße musste wie bei anderen auf 1 gestellt werden, damit es nicht zum Timeout kommt. Jetzt brauchen wir für die Übertragung von einem Produkt aber im Schnitt ein bis zwei Minuten, also geschätzt etwa 100 bis 200 Stunden bis alle Produkte einmal übermittelt wurden. Ist das normal? Es handelt häufig um Produkte mit ~20 Varianten, evtl. hat es auch damit zu tun.

Unser Shop selbst sollte auch bei weitem nicht an die Leistungsgrenze kommen. Ich denke das Bottleneck ist eher die Connector-Url.


Eine Beispiel-Meldung für einen Timeout:

Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
Exception bei product.push: Timeout für Vorgang überschritten

Timeout für Vorgang überschritten

Response: <Empty>
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.dpvNGdeSEwU(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.FEsNGnXT1AX(String , Object , Boolean , NetworkCredential )
 
Zuletzt bearbeitet:

dj0815

Mitglied
20. Juli 2020
68
14
Gibt es hier ein Update / Besserungen? Wir verzweifeln ebenfalls. Zu Shopware 5 übertragen wir locker 50 Pakete, zu SW 6 nicht einmal 3.

Darüber hinaus verwundert mich auch die " Shop-Serverinfo" im Connector unter "Übertragungsparameter"....
Diese Daten weichen DEUTLICH von meiner Serverleistung ab, die u.a. auch bei meinem SW5 Connector angezeigt werden.

Da die Daten für SW6 exakt den Angaben vom ersten Post von @Paule28 entsprechen, gehe ich mal davon aus, dass es sich dabei um eure Server Leistung handelt, also der des Connectors.

Da ich nicht der Einzige bin mit dem Problem:
Bitte gebt für den Connector mehr Power frei! Diese wird von SW6 offensichtlich für einen ordentlich Betrieb mit mehr als 3 Testprodukten einfach benötigt!

Es kann doch nicht sein, dass der Connector 3 Tage einen Abgleich macht und somit auch 3 Tage keine Bestellungen importiert....

LG Dominik
 

pmart

Neues Mitglied
7. Juni 2021
19
3
Ich möchte mich dem Problem hier anschließen! Wir haben das selbe Phänomen.

@dj0815 Ich dachte auch immer das wäre unsere Serverleistung. Aber ja, da es der SaaS Connector ist kann es auch deren Leistung sein. Wenn die Ursache des Timeouts dann aber tatsächlich darin liegt, fehlen mir die Worte. Das darf nicht passieren.
 

Immanuel

Moderator
Mitarbeiter
24. August 2016
1.434
299
@dj0815, @pmart

Die Übertragungsgeschwindigkeit hängt tatsächlich in den Meisten Fällen von der Shopware Admin API (bzw. vom Shop System) ab. Der Connector selbst trägt höchstens indirekt dazu bei, indem er nicht effiziente Anfragen an die Shopware Admin API stellt. Um connectorseitig etwas zu verbessern, müssen wir daher erstmal herausfinden welche Anfragen das sind. Hauptproblem dabei ist, dass jedes Shop System unterschiedlich ist. Damit meine ich nicht nur die zu verfügung stehenden Ressourcen, sondern auch die Konfiguration des Shop Systems, die verwendeten Komponenten (DBMS, Redis, Elastic Search,...) und natürlich die Anzahl verschiedenster Datensätze in der Shop Datenbank. Was für das eine Shop System ein Klacks ist, kann ein anderes Shop System in die Knie zwingen.
 

Immanuel

Moderator
Mitarbeiter
24. August 2016
1.434
299
Wie schon geschrieben ist es unklar weshalb der Abgleich bei euch so langsam ist. Uns würde es sehr helfen zu wissen welche Anfragen vom Connector an die Shopware API auf eurem System solange dauern. Dann könnten wir prüfen ob man die Anfragen effizienter gestalten kann.
 

dj0815

Mitglied
20. Juli 2020
68
14
In meinem Fall kommt dieses Problem überwiegend bei Artikeln mit 2 Variationen vor, z.B. mit Farbe und Größe.
Sprich Artikel Xy gibt es z.B: in 5 Größen und jede Größe jeweils in 20 Farben.

Wir haben schon überlegt die Artikel aufzusplitten, aber dann wird die Kategorie plötzlich 5x so groß und auf den ersten Blick sieht der Kunde dann jeden Artikel 5x.
Was aus Kundensicht eher negativ ist.

LG

Edit: An der Anzahl an Varianten kann es aber nicht liegen, denn wir haben auch Artikel, die es in 120 Farben gibt. Dieses laufen meistens problemlos durch, wenn nicht plötzlich mal ein Bild fehlt und er deshalb abbricht...
 

pmart

Neues Mitglied
7. Juni 2021
19
3
Ich habe den Abgleich jetzt noch mal gestartet mit einer kleineren Paketgröße von 10 . Bislang läuft er sauber durch und ist gefühlt auch zügiger. In zwei Stunden wurden jetzt 1050 Artikel gesendet (also etwa 12 Stunden für unsere > 6000 Artikel). Debug-Modus ist an. Sollte er wieder abbrechen, stelle ich euch das Logfile gerne mal zur Verfügung @Immanuel 12 Stunden für 6000 Artikel ist definitiv zu lange. Oder sind meine Erwartungen vielleicht zu hoch?

Dennoch: Die Zuverlässigkeit ist nicht gegeben. In der Regel läuft bei uns der Worker. Wenn hier ein Abgleich fehlerhaft ist, bekommen wir das nicht mit. Erst heute haben wir wieder durch Zufall Artikel in der Wawi bemerkt, die aus unerfindlichen Gründen nicht übertragen wurden (allerdings anderer Shop unter SW5). Und niemand weiß wieso. Wir können dann die Artikel für den Shop nur deaktivieren und wieder aktivieren, wenn wir wissen welche es betrifft und es nicht zu viele sind. Ansonsten hilft auch hier nur ein Komplettabgleich, auf den man sich aber nicht blind verlassen kann.
 

arcronis

Neues Mitglied
11. Juni 2021
11
0
Ich klinke mich mal ein, ich habe das Gleiche problem und kann es derzeit nicht wirklich Lokalisieren, der Quciksync läuft mit "2" , ein Abgleich von 4700 Datensätzen dauert ccm 4-6 stunden. Manchmal bricht er ab mit einem Fehler. Serverseitig könnte ich mir vorstellen aber eigentlich sollte ein Server 2 Anfragen doch ab können ?

Die Settings sind so eingestellt wie vorgegeben.
Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?

was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?

Beim Worker entstehen ja die gleichen Probleme, der bricht irgendwann mit dem Selben Fehler ab und fängt auch wieder neu an....
 

dj0815

Mitglied
20. Juli 2020
68
14
@arcronis
was mich auch stutzig macht, ich mache einen Quicksync nun überträgt er meinetwegen 100 Daten und bricht ab. Wenn ich neu starte fängt er wieder bei 0 an und nicht bei bspw. 4600... woran liegt das ?
Das habe ich mich auch schon gefragt. Er wiederholt immer wieder den SELBEN Vorgang.

Was nutzt ihr so für Hardware ? Vielleicht kann man so nochmal etwas eingrenzen ?
Daran dürfte es nicht liegen.
12 vCores
32 GB vRAM
500 GB SSD Speicherplatz

Ich versuche mich gerade mit einem Abgleich von 5 Paketen :( Aber Variantenartikel machen immer wieder Probleme...

@pmart
Mit SW5 habe ich keinerlei Probleme. Läuft vom ersten Moment an wie Butter.
 

arcronis

Neues Mitglied
11. Juni 2021
11
0
Ok also ähnliche HW wie ich auch. Interessant ist das bspw. (wie jetzt gerade) 140 sauber durch gingen in 4 Minuten, und jetzt wird's langsam und zäh ...
nur mal ein kurzer zwischen stand, jetzt bin ich bei 188 und es sind bereits 45 Minuten vergangen ...
 
Zuletzt bearbeitet:

dj0815

Mitglied
20. Juli 2020
68
14
@Immanuel welche Daten wollt / benötigt ihr denn?

Wir können auch gerne anders herum an die Sache gehen:
Wie sollte denn unser System aussehen, sodass es nicht zu Problemen kommt?
Ausschließlich Einzelartikel ohne Varianten? Mit max. 1 Attribut? . . .
 
  • Gefällt mir
Reaktionen: dotnetpower und pmart
Ähnliche Themen
Titel Forum Antworten Datum
Neu Keine Artikeldaten an Shopware übermitteln? Nur Bestellungen und Bestände Shopware-Connector 0
Neu Hilfe bei Shopware Update 5.5 auf 5.6.10 gesucht (inkl. Plugins) User helfen Usern 0
Verwiesen an Support Händlerpreise werden nicht an Shopware übergeben Shopware-Connector 2
Beantwortet JTL an Shopware 6 angebunden - EAN, Artikelnummer nicht übermittelt zu JTL Shopware-Connector 4
Neu Fehler bei der Synchronisierung mit Shopware Starten mit JTL: Projektabwicklung & Migration 2
Neu Problem beim Shopware Abgleich/Artikel werden nicht übertragen Shopware-Connector 0
Neu Shopware 6 / Artikelbilder Upload Probleme Shopware-Connector 1
Neu Shopware 6 - Erweiterte Preise Shopware-Connector 1
Neu Shopware und JTL - Agentur - Betreuung gesucht User helfen Usern 2
Neu [Shopware 6] Kein Clean-Up von Attritbuten Shopware-Connector 0
Neu Shopware 6 Connector User helfen Usern 0
Neu Shopware 6 - Abgleich von Belegen zur Bestellung Shopware-Connector 0
Neu Shopware 6 - Priorität im Rule Builder bei Sonderpreisen Shopware-Connector 0
Neu Kunde möchte Sicherheitsupdate Shopware durchführen Shopware-Connector 2
Neu Zulauf von Artikel (Menge und Datum) in Shopware übertragen Shopware-Connector 6
Neu Shopware 6 Connector - API error .. "Dieser Wert sollte nicht leer sein" Shopware-Connector 3
Neu Web Developer / Webentwickler JTL Shopware - freiberuflich (m/w/d) gesucht Dienstleistung, Jobs und Ähnliches 0
Neu Shopware 5 URL-Pfad passt sich nicht dem Sub-Shop an Shopware-Connector 0
Neu Shopware 6 Connector schmeißt ständig Fehlermeldung Shopware-Connector 4
Neu Shopware 6 - Probleme bei Produktbildern Shopware-Connector 1
Neu Shopware 5 Connector anmeldung nicht möglich nach Update Shopware-Connector 2
Neu Übernahme von Produktnamen aus Shopware 6 Shopware-Connector 0
Neu Shopware 6: HTML-Tags in Attributen werden nicht übertragen? Shopware-Connector 2
Neu Shopware 6 - Connector Error: Malformed UTF-8 characters Shopware-Connector 3
Gelöst Auslandsversand und Shopware Shop JTL-ShippingLabels - Fehler und Bugs 1
Neu Shopware & JTL-Wawi - Welche Aufgaben übernimmt wer? User helfen Usern - Fragen zu JTL-Wawi 3
Neu Hilfe! WAWI abgleich mit Shopware 6 geht nicht. Shopware-Connector 1
Neu Datenbank Hosting wirklich so viel langsamer? User helfen Usern 7
Gelöst nur leere Seiten nach Abgleich Allgemeine Fragen zu JTL-Shop 5
Neu 26.08.2021 16:30 Uhr - ABGLEICH FEHLER eBay-Anbindung - Fehler und Bugs 2
Neu Abgleich von Kategoriebeschreibungen JTL-Wawi - Fehler und Bugs 0
Neu Fehler beim Onlineshop-Abgleich (Bilder Synchronisation) Onlineshop-Anbindung 0
Neu Ständig amazon worker Abgleich Fehler JTL-Wawi - Fehler und Bugs 4
Neu Amazon-Abgleich "Remoteerverfehler... Amazon-Anbindung - Fehler und Bugs 2
Neu Aufträge Bestätigen nach Shop Abgleich Arbeitsabläufe in JTL-Wawi 0
Neu Abgleich bricht ab: "Timeout für Vorgang überschritten" User helfen Usern - Fragen zu JTL-Wawi 0
Neu Abgleich schlägt fehler - wp_jtl_connector_link_tax_class existiert nicht WooCommerce-Connector 0
Neu ALLE Artikel werden bei jedem Abgleich nochmals an den Shop geschickt Arbeitsabläufe in JTL-Wawi 0
Neu Probleme beim Import / Abgleich von Amazon Bestellungen (Fehler / Das angegebene Argument liegt außerhalb des gültigen Wertebereichs ) User helfen Usern - Fragen zu JTL-Wawi 1
Neu Fehlermeldung beim Webshop-Abgleich JTL-Wawi - Fehler und Bugs 9
Neu Wie lange dauert ein Abgleich? User helfen Usern - Fragen zu JTL-Wawi 13
Neu Worker Probleme Amazon Abgleich - Keine Hintergrunddienst aktiven Mandanten gefunden JTL-Wawi - Fehler und Bugs 0
Neu Bilder werden beim Abgleich gelöscht seit 6 Tagen WooCommerce-Connector 0
Neu HILFE Abgleich funktioniert nicht mehr. WooCommerce-Connector 0
Php.ini im Rootverzeichnis wird beim Wawi Abgleich überschrieben Upgrade JTL-Shop4 auf JTL-Shop5 1
Neu Wawi überträgt bei jedem Abgleich alle Artikel. JTL-Shop - Fehler und Bugs 5
Neu Onlineshop-Abgleich automatisiert starten/stoppen Shopware-Connector 3
Gelöst ebay Abgleich funktioniert nicht mehr eBay-Anbindung - Ideen, Lob und Kritik 5
Neu Fehlerhafter Ebay-Abgleich eBay-Anbindung - Fehler und Bugs 0
Neu Fehlende Bestellungen eBay-Abgleich eBay-Anbindung - Fehler und Bugs 8

Ähnliche Themen