Neu Shopware 6 langsamer Abgleich

[arcronis]

@Immanuel welche Daten wollt / benötigt ihr denn?

Wir können auch gerne anders herum an die Sache gehen:
Wie sollte denn unser System aussehen, sodass es nicht zu Problemen kommt?
Ausschließlich Einzelartikel ohne Varianten? Mit max. 1 Attribut? . . .

ich bin mir nicht sicher aber ich würde auch behaupten wollen das es vor einer Woche ca aus irgendeinem Grund noch besser lief ?
Allgemein die letzten tage, und heute ist es ganz übel.

 

[dj0815]

Hör mir auf.... ich habe gestern Abend noch ein paar neue Produkte für den Shop freigeschaltet.
Diese wurden aber dann keiner Kategorie mehr zugeordnet....

Dann dacht ich, ok, machst nen Kategorie Komplettabgleich..... Sch*** meine Herzchen, jetzt hab ich alle Kategorien doppelt im Shop und finde immer mehr Artikel ganz ohne Kategorien...
Jetzt hab ich erst mal nen Komplettabgleich aller Artikel und Kategorien gestartet.... Das Ergebnis sehe ich aber (sofern er durchläuft) wohl erst morgen...

Hab aber schon gar keine Lust mehr einen neuen Post deswegen zu machen.
Hab ne Deadline für den 01.09. da wir in SW6 ein neues Feature haben. Am 10.06. gibt es eine Fernsehveranstaltung und da wird dieses Feature dringend benötigt. Wir testen SW6 seit nun einem Jahr (haben also wirklich nichts übereilt), aber da die SW5 Schnittstelle so wie geschmiert lief, hatte ich nie die Befürchtung, dass es nun mit JTL solche Probleme gibt...

---

Nachtrag: Das "Kategoriepoblem" war selbstverschuldet, lag nicht am Connector

 

[dj0815]

@arcronis könntest gar nicht so unrecht haben, seit dem 18.08 um ca. 10 Uhr gabs wohl ein Update auf Connector version: 0.19.11, davor stand in den Logs die ganze Zeit
Endpoint version: 0.19.10

 

[Immanuel]

@dj0815
Wir werden etwas in unseren Shopware 6 API Client bauen um Informationen über die Anfragezeiten zu sammeln. Tut mir leid, dass du so unzufrieden mit dem Connector bist. Wir arbeiten stetig daran den Connector zu verbessern. Allerdings haben wir was die Performance angeht nur begrenzte Möglichkeiten. Da spielen zuviele externe Faktoren eine Rolle, auf die wir keinen Einfluss haben (siehe mein gestriges Post https://forum.jtl-software.de/threads/shopware-6-langsamer-abgleich.154789/post-896104).

@arcronis, @dj0815
Es gab diese Woche ein Connector Update. Das dürfte aber weder Einfluss auf den Preis- noch auf den Bestands-Quicksync gehabt haben.

 

[arcronis]

@lmmanuel es war nur eine Vermutung die ich habe, weil es mir heute extrem aufgefallen ist.

Meine Übertragung mit 4700 Quick Sync Artikeln ist jetzt nach 7 STUNDEN! fertig. Und jetzt kommt eigentlich der Knackpunkt, ich habe im JTL keinerlei Änderungen gemacht, wenn ich jetzt wieder einen abgleich starte will er wieder 4700 Artikel senden. also wieder 6 Stunden warten, wie soll man denn da seine Bestellungen zeitnah über den Worker oä. abrufen ? Die einzige Lösung ist jetzt den Shop zu sperren was den QuickSync angeht. Das kann nicht sinn der Sache sein ?!?

Ich habe aber mal eine allgemeine Frage, warum wird der Connector erst über euren Server geschlüsselt und dann an die SW API Gesendet ? Könnte man das ganze nicht direkt über den Connector laufen lassen ?

 

[dj0815]

Also ich habe übers Wochende mal bissel "rumgespielt":

Szenario 1:
Leerer Shop: Schalte ich jeden Variantenartikel (egal wie viele Varianten) schön brav nach einander frei, gibt es keine Probleme und er läuft auch recht zügig durch (10 Pakete, höher nicht getestet).

Szenario 2:
Leerer Shop: Schalte ich nun allerdings alle Variantenartikel (die die ich zuvor einzeln aktiviert habe) gleichzeitig für den Shop frei (die die zuvor einzeln problemlos funktioniert haben), kommt es früher oder später wieder zu nem Timeout.

Szenario 3:
Etwa 1000 Artikel sind bereits im Shop. Ich aktualisiere die Lieferantenbestände (wodurch die Artikel im Shop auch aktualisiert werden müssen). Rate mal was jetzt relativ zügig kommt -> Timeout bei Variantenartikeln (die bereits im Shop sind und nur aktualisiert werden müssen)

Ich bin jetzt kein Programmierer, aber mir scheint, als würde der Connector bei zu vielen gleichzeitig zu aktualisierenden Artikeln "heiß laufen"...

Hoffe die Infos können weiterhelfen.

LG

 

[Paule28]

Moin,

um es auf den Punkt zu bringen. Es liegt an den Ressourcen des Connectors. Wir haben mehr als 4 Wochen investiert und haben serverseitig- und shopseitig alles versucht. Hauptprobleme sind hohe Mengen an Varianten in Verbindung mit Attributen. Bei hohen Mengen spreche ich von 200 - 500 Varianten pro Elternelement. Dazu kamen nochmals 5 Attribute pro Variante. Das war der Stand von damals.

Wir haben in Verbindung mit Shopware 6 später einen anderen Connector genutzt, wo diese Probleme nicht aufgetreten sind. Damit waren wir mehr als zufrieden. Da Shopware 6 zumindest in der Community Edition eine reine Katastrophe ist. sind wir zu JTL gewechselt.

Grüße Paule

 

[arcronis]

Kann man denn keinen Hotfix rausbringen welcher wenigstens erstmal den Fehler behebt das immer ALLE Daten übertragen werden egal ob Änderungen drin sind oder nicht ? Das würde ja teilweise schon arg helfen. Macht ja einen Unterschied ob ich 100 Datensätze übertrage oder 5000

 

[arcronis]

Es macht derzeit wirklich keinen Spaß, heute wollte ich nochmal einen Abgleich starten, ich bin jetzt beim 4. Versuch ....

 

[Immanuel]

Es macht derzeit wirklich keinen Spaß, heute wollte ich nochmal einen Abgleich starten, ich bin jetzt beim 4. Versuch ....

Da scheint irgendwas bei falsch zu laufen. Es sollten nicht immer alle Artikel gesendet werden. Bitte erstelle ein Support Ticket über das JTL-Kundencenter. Dann meldet sich jemand vom Support bei dir.

 

[dj0815]

Da scheint irgendwas bei falsch zu laufen. Es sollten nicht immer alle Artikel gesendet werden. Bitte erstelle ein Support Ticket über das JTL-Kundencenter. Dann meldet sich jemand vom Support bei dir.

Nicht immer, aber regelmäßig.... Wir aktualisieren 1x täglich unsere Lieferantendaten / Bestände über die Ameise. Nach Auskunft von JTL führt dies automatisch dazu, dass die Artikel als geändert gekennzeichnet und somit auch im Shop aktualisiert werden.

 

[Immanuel]

@acronis, @dj0815

Ein findiger Kollege ist über folgendes Ticket gestolpert: https://issues.shopware.com/issues/NEXT-16727 - Das könnte einer der Gründe sein weshalb der Abgleich langsamer wird, sobald viele Varianten im Shop existieren.

 

[dj0815]

@Immanuel Ok, das lässt ja grundsätzlich mal zu hoffen übrig, allerdings.
Da aber nirgends genannt wird, wie schnell dies von statten gehen wird, schaut euch doch bitte auch mal die (vorübergehende) Lösung an, welche jedoch von euch umgesetzt werden müsste:

For now, however, this can be controlled manually via the client. Currently there is only the possibility to disable the indexing completely when using the sync api:
https://shopware.stoplight.io/docs/admin-api/adminapi.json/paths/~1_action~1sync/post

Da ich ja nicht allein mit diesem Problem kämpfe bitte ich euch inständig diese Option zumindest mal zu prüfen!

 

[Immanuel]

@Immanuel Ok, das lässt ja grundsätzlich mal zu hoffen übrig, allerdings.
Da aber nirgends genannt wird, wie schnell dies von statten gehen wird, schaut euch doch bitte auch mal die (vorübergehende) Lösung an, welche jedoch von euch umgesetzt werden müsste:

Da ich ja nicht allein mit diesem Problem kämpfe bitte ich euch inständig diese Option zumindest mal zu prüfen!

Da sind wir gerade dran. Wir werden die Indexierung bei den Artikel Quicksyncs (Bestand + Preis) testweise deaktivieren.

PS: Mit Connector Version 0.19.2 sollte die Indexierung bei den Artikel Quicksyncs nun deaktiviert sein.

 

[dj0815]

Hi, also ich konnte das jetzt mal testen und bei mir tritt der Fehler weiterhin auf.
Wie kann ich denn feststellen, ob ein Quicksync durchgeführt wurde oder ein "normales" Sync?

In folgendem Ticket https://issues.jtl-software.de/issues/WAWI-50748 wird geschrieben, dass
beim Einpflegen der Lieferantenbestände per Ameise, automatisch der komplette Abgleich des Artikels angestoßen wird?

Das wäre ja total sinnfrei und würde eure (vorübergehende) Connector Lösung aushebeln.

Geht in dem Ticket zwar um einen JTL Shop aber im Bezug auf die Synchronisierung, die ja von JTL Wawi gesteuert wird, dürfte es ja keinen Unterschied geben?

LG

 

[danielbic]

Hallo zusammen,
ich übertrage gerade 6.700 Produkte und das dauert 7,5 Stunden. Am Server kann es nicht liegen, da läuft nichts drauf ( Shop noch nicht live und sonst ist nichts drauf und es ist kein vServer o.ä.) - zugleich gibt es nur ein paar Attribute, also an der Datenmenge kann es auch nicht liegen.
Bemerkenswert ist übrigens, dass es von Woche zu Woche langsamer wird. Im August war ich irgendwo bei 4-5 Stunden ... mit 1:1 denselben Daten.
Wie kann ich den Abgleich beschleunigen?

 

[mmarsching]

Moinsen,

ich bin ein bisschen entsetzt, dass dieses Problem anscheinend immer noch nicht gelöst ist und einfach alle "damit leben". Ich habe eine Änderung in den Beschreibungstexten von 7060 Artikeln machen müssen und den Abgleich gestartet. Paketgröße 5, Attribute vorher gesäubert, Leitungen sind frei etc. Schließlich betreibe ich schon einen Shop mit 1200 Artikeln auf SW6 und kenne mich aus.

Nach 30 Minuten sind 405 Artikel übertragen. Rechne ich das hoch, braucht er 6 Stunden für den Abgleich - und wir haben einen Rechtschreibfehler entdeckt, der noch korrigiert werden muss.........

Hat hier irgendjemand eine Lösung für das Problem gefunden? Auf Immanuel brauch ich ja nicht mehr hoffen, der ist inzwischen "gesperrter Benutzer"!

 

[dotnetpower]

Wir haben genau das gleiche Problem und jetzt soll der Connector auch noch kostenpflichtig werden... Das Problem ist, das wir nicht ohne weiteres von dem Connector weg kommen. Der Support ist zwar fähig und hilft wo er kann aber das ist ein Management Problem! Ich kann jedem nur raten die Finger vom SW6 Connector zu lassen und sich nach anderen Lösungen umzuschauen solange das Problem nicht gelöst ist!

 

[mxmax]

Hi, wir haben auch das Problem mit einem viel zu langsamen Onlineshop-Abgleich von JTL zu Shopware 6.
20.000 Artikel benötigen bei uns aktuell so ca. 40-45 Stunden. Das ist kein Zustand.
Da sind +- 4000 Artikel dabei, welche +- 40 Merkmale/Eigenschaften haben. Alle sind normale Variationskombinations-Artikel. Wir haben weder übertrieben viele Kategorien noch haben die Artikel mehr als 10 Varianten.

Laut JTL liegt das Problem bei Shopware..bzw ist grundsätzlich die Datenbank des Shops das Bottleneck für die Performance.


Jemand eine Idee, was bei Shopware 6 umgestellt werden kann, damit der Abgleich wieder flutscht?

 

[ELW-Fahrzeugteile]

Der Connector ist die reine Katastrophe. Extrem langsam. 100 Artikel senden (ohne Bilder) über 4 Minuten.
Für diesen Connector auch noch Geld zu verlangen ist schon fast eine Frechheit, weil es aber nicht reicht ab der 100. Transaktion auch noch was zusätzlich.
Geht gar nicht. Super schlecht und super langsam für viel zu viel Geld.