Neu Abgleich dauert auf einmal viel zu lang

[Good Life Trader]

Die Eckdaten:

Wir betreiben einen Dropshipshop und beziehen unsere Bestände über eine Schnittstelle einer Drittfirma. Die Artikel wurden vor einigen Woche erfolgreich und problemfrei in die Wawi geladen.
Danach hatte ich mit dem ersten großen Abgleich zwischen der Wawi und Shopify Probleme bei denen mir aber hier geholfen werden konnte.
Inzwischen läuft der Shop und es wurden auch bereits Artikel verkauft.
Die Abgleich zwischen der Wawi und Shopify liefen immer sehr schnell (unter 2 Minuten)

Nun ist uns letzte Woche aufgefallen, dass wir durch die Schnittstelle der Drittfirma nach der Initialisierung der Shops nicht weiter mit Daten versorgt worden sind...wir hatten also die Bestände gar nicht aktualisiert.

Das Problem ist inzwischen behoben und wir werden nachweislich mehrfalls am Tag mit aktuellen Zahlen und Änderungen versorgt.

Leider dauert der Abgleich zwischen der Wawi und Shopify den ich nach Aktivierung der regelmäßigen Schnittstellenupdates gestartet habe....immernoch an.
Inzwischen läuft der Abgleich seit über 70 Stunden. Im Vergleich zu dem ersten Abgleich mit Shopify, bei dem alle Produkte ja neu erstellt werden mussten, sieht es so aus:

1. Abgleich mit Shopify
Dauer: ca. 10 Std
Produkte: ca. 7000
Log-Größe: 120 000 KB

Aktueller Abgleich
Dauer: jetzt 70 Std, keine Ende in Sicht weil der Fortschrittsbalken seit Artikel 129 klemmt
Produkte: ca. 7000
Log-Größe: inzwischen über 700 000 KB

Die Einstellungen im Connector sollten für beide Abgleiche die selben gewesen sein, ich kann mich zumindest nicht daran erinnern irgendwie an den Paketgrößen rumgeschraubt zu haben.


Mir fällt auf, dass in der Log-Datei für einzelne Artikel bereits mehrfach Einträge gemacht wurden.
Ein Artikel mit Vaterartikel - 2 Var. Kombis ...den ich also im Logfile bestenfalls 3 mal erwarten würde....finde ich über die Suchfunktion inzwischen deutlich über 6 mal.
Und damit meine ich nicht den Namen der Artikels an sich...sondern den kompletten Kladderadatsch der dort über mehrere 100 Zeilen steht. Der scheint sich zu wiederholen.
Ob da nun exakt der gleiche Text steht, konnte/wollte ich noch nicht Silbe für Silbe auseinanderdröseln


Ich habe mal eine grobe Rechnung vorgenommen...bei der ich für einen Artikel geguckt habe wie viele Zeilen sein Eintrag im Log hat, bis der nächste Artikel anfängt...es waren grob 600.
Bei der Aktuellen Gesamtlänge würde das bedeuten, dass in meinem Log schon 30 000 Einträge vorhanden sind.

Soweit das Problem....hier nun meine Fragen:

-Kann ich irgendwo erkennen (außer mit der Prozessanzeigen in der Wawi die ja scheinbar eh nicht funktioniert) wie weit der Abgleich ist? Gibt es eine bestimmte Reihenfolge in welcher die Wawi die Produkte abgleicht? Aus der Log-File geht hervor, dass der Abgleich weder alphabetisch noch in Product-ID Reihenfolge geschieht.

- Macht es Sinn den Abglech abzubrechen und ein wenig an den Paketgrößen rumzuschrauben?

- Ist es normal, dass ich die einzelnen Produkte mehrfach im Logfile finde?

- Wie kriege ich meine Abgleichzeiten wieder runtergeschraubt?


Ich habe oft gelesen, dass die Abgleichzeiten in der Regel mit Anzahl und Größe der Bilder schwanken.
Ich kann mir aber nicht vorstellen, dass unser Dropship-Partner in den vergangenen Wochen 90% seiner Artikel so massiv geändert hat.
Außerdem sollen aktuell laut der Connectoranzeige in der Wawi eh gar keine Bilder abgeglichen werden, sondern wirklich Artikel.

Hat hier irgendwer Ideen?

1. Nachtrag:
Wenn ich das im LogFile richtig lese, dann ist er jetzt mit product.push durch. Anschließend wurde ein wenig price.push gemacht und jetzt befindet sich der Abgleich bei Produkt 4000 im stocklevel.push.
Ich bin also zuversichtlich, dass wir jetzt bald durch sind.

2. Nachtrag:
Er hat nach stocklevel.push jetzt doch mit product.push wieder losgelegt

 

[Immanuel]

Hallo Nils,

dass der Abgleich langsamer ist kann unterschiedliche Gründe haben. Dass ein Artikel gleich mehrfach übertragen wird klingt für mich unlogisch, kann aber durchaus möglich sein. Kontaktiere im Zweifelsfalle den Support, die können dir wahrscheinlich besser helfen als ich.

 

[Good Life Trader]

Vielen Dank für deine Antwort

Kleines Update:

Ich habe den Fall zu einem Ticket gemacht, konnte dort aber leider das 800mb-Logfile nicht anhängen. Ich warte noch auf eine Antwort.

Heute morgen wurde der Abgleich dann endlich beendet...allerdings mit folgender Fehlermeldung:



Fehler:
Exception: Session is invalid
Der Remoteserver hat einen Fehler zurückgegeben: (500) Interner Serverfehler.
Artikel-Senden-Fehler: Bitte beachten Sie, dass zur Fehler-Diagnose ebenfalls die Log-Datei des Servers und das Abgleich-Log der JTL-Wawi notwendig sind!
Exception bei product.push: Session is invalid

Der Remoteserver hat einen Fehler zurückgegeben: (500) Interner Serverfehler.

Response: {"result":null,"error":{"code":-32000,"message":"Session is invalid","data":"Exception 'jtl\\ Connector\\Core\\Exception\\SessionException' (Code: -32000) with message 'Session is invalid' in \/var\/www\/ shopify.jtl-connector.de\/source\/vendor\/jtl\/connector\/src\/Core\/Session\/Handler.php:62"},"jtlrpc":"2.0","id":"unknown"}
Exception bei product.push: Session is invalid

Der Remoteserver hat einen Fehler zurückgegeben: (500) Interner Serverfehler.

Response: {"result":null,"error":{"code":-32000,"message":"Session is invalid","data":"Exception 'jtl\\Connector\\Core\\Exception\\SessionException' (Code: -32000) with message 'Session is invalid' in \/var\/www\/shopify.jtl-connector.de\/source\/vendor\/jtl\/connector\/src\/Core\/Session\/Handler.php:62"},"jtlrpc":"2.0","id":"unknown"}
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.lXpxRDy6isj(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.wdgxRQ28X06(String , Object , Boolean , NetworkCredential )
bei jtlCore.ControllerClasses.Connector.Abgleich.Connector.lXpxRDy6isj(String , Object , Boolean , NetworkCredential )

 

[Immanuel]

Hallo Nils,

das hat vermutlich mit der Länge des Abgleichs zu tun, solange der Abgleich fertig geworden ist, sollte alles in Ordnung sein.

 

[Good Life Trader]

Kleines Update:

Obwohl der Abgleich durchgelaufen war, war nicht alles in Ordnung

Ich habe dann den Support von JTL kontaktiert.
Dieser hat mich eine Woche warten lassen und mich dann mit einem Zweizeiler abgespeist.

Ob du mir schon hättest helfen können und das normalerweise eine Connector-Reset das Problem beheben würde.

Also habe ich einen Reset gemacht.

Beim anschließenden Abgleich wurden alle Produkte aus dem Shopify-Backend in meinen WaWi importiert. Diese waren hier allerdings bereits vorhanden. Ich hatte nun alle Produkte doppelt in der Wawi.

Der folgenden Abgleich wurde abgebrochen mit der Fehlermeldung "Produkt xy ist bereits vorhanden"...relativ selbsterklärend.

Ich habe dann die Duplikate in der WaWi gelöscht und habe über Nacht einen weiteren Abgleich gefahren.
Der ist durchgelaufen....hat mir scheinbar aber alle Bilder aus Shopify gelöscht.
Keine Ahnung was hier los ist.

Seit mehreren Wochen funktioniert der Abgleich nicht...dafür kostet mich die Verwendung aber ab dem 1.7 Geld. Ich weiss nicht ob ich da Lust drauf habe ^^

Ich habe mal zwei Bilder angehängt mit meinen Einstellungen im Connector. Vllt kann dort irgendwer einen dummen Fehler finden

 

[Good Life Trader]

Weiteres Update:

Ich habe all' meine Produkte erneut zu Shopify hochgeladen und alles hat geklappt.
Sobald ich aber der Schnittstelle zwischen dem Großhändler und der Wawi erlaube neue Artikeleinzupflegen/Bestände zu aktualisieren....will der Connector diese Informationen natürlich an Shopify weitergeben.

Leider dauern diese Abgleich immernoch mehrere Tage.
Ich bin also nicht in der Lage in meinem Shop den aktuellen Warenbestand meines Großhändlers abzubilden.
Und das ist natürlich ziemlich ungünstig.

Der Connector-Support sagt mir zu dem Problem, dass der Flaschenhals wahrscheinlich Shopify ist, weil ich dort nur eine Bestimmte Anzahl von Zugriffen/Zeit zur Verfügung habe und dadurch der Abgleich verlangsamt wird.

Ich bin mit meinem Latein am Ende.

Meine letzte Idee wäre es jetzt, den Kontakt zu anderen Nutzern von Großhändler-Schnittstelle-JTL-Connector-Shopify zu suchen und mich mit denen auszutauschen.
Dafür würd ich aber einen neuen Thread aufmachen, weil er mit diesem hier nicht mehr viel zu tun hat.

Dieser kann folglich geschlossen werden.

Vielen Dank trotzdem für die Hilfe Immanuel. Auch der Connector-Support war nett, freundlich und hilfreich.