Verwiesen an Support Webshopabgleich optimieren per Feeds

[maydo]

Hi,

ein kleiner Verbesserungsvorschlag zum Webshopabgleich.

Man könnte Amazon als Vorbild nehmen. Und Feeds hochladen, welche in einer Warteschlange im Webshop landen.
Jeder Feed bekommt eine ID, wenn der Webshop fertig ist gibt er Rückmeldung an die Wawi.

Die derzeitige Lösung, dass "bröckchenweise" hochladen und jeden einzelnen Feed bzgl. Rückmeldung abwarten ist sehr zeitaufwändig.
Wir haben ziemlich viel automatisiert. d.h. es läuft ein Webshopabgleich mit ca. 16k Artikeln. Bis dieser fertig ist, hat in der Zwischenzeit wieder eine Änderung der betroffenen Artikel stattgefunden, diese neue Änderung wird jedoch nicht mehr übertragen, da er ja bereits in der WAWI Warteschlange sitzt.

Ich denke die Lösung a la Amazon mit den Feeds und IDs ist mehr als eine saubere Lösung. Die Abgleichzeit könnte man sehr stark minimieren unabhängig der Artikelanzahl. Und man hätte obig genannte Problematik nicht.
Mit der neuen WAWI + neuer Webshop ist es doch eine Überlegung wert ?

 

[Janusch]

AW: Webshopabgleich optimieren per Feeds

Hallo,
Feeds sind hier ungeeignet. Es gibt sehr viele Gründe, z.B. Amazon arbeitet nicht mit undendlich vielen Attributen, Kundengruppen, Preisen, Stücklisten, Keundenpreisen, Sprachen usw. Das was an Amazon übergeben wird sind die Daten die an Shop bei Quicksync gesendet werden.
Man bekommt neue Probleme - Ausführungszeit, Speicherlimits, Crons usw. die nicht jedes Hosting erfüllen kann. Feeds werden auch nicht im ganzen versendet, bei großer Anzahl werden diese aufgeteilt (paging). Es ist unperformant große Textdateien zu verarbeiten.

Zeitlich gesehen würde es keine Verbesserung geben. Der Performanceverlust um aus Feeds Shopobjekte zu bauen würde das noch deutlich verschlechtern.

 

[maydo]

AW: Webshopabgleich optimieren per Feeds

Hi,

grosse Dateien kann man ja splitten.
Die Optimierung würde darin bestehen, dass die WAWI nicht auf Antwort vom Webshop für jeden einzelnen Feed warten muss.
Wawi würde praktisch nur senden, der Webshop müsste abarbeiten.
Der Webshop würde dann später wenn er den/die Feed(s) abgearbeitet hat Rückmeldung geben, (Feeds per ID versehen).
Dies würde die "Wartezeit" der WAWI enorm minimieren, und würde das obig genannte Problem vermeiden.
(Dass Artikel bereits im Webshopabgleich "warten" und wenn Änderungen an diesen Artikeln vorgenommen werden, diese nicht mehr übertragen werden).

Der "Import" im Webshop an sich würde nicht viel schneller werden.

 

[maydo]

AW: Webshopabgleich optimieren per Feeds

Und es hätte noch einen Vorteil.

Die "Rücksendeberichte" des Webshops könnte man loggen, und für die Fehlersuche einsetzen.
Derzeit sieht man nicht viel, was die Wawi senden will, was im Webshop ankommt, was evtl. wegen irgendwelchen Fehlern nicht ankommt, und was die WAWI letzendlich importiert.

Man könnte z.b. Webshopleichen einfacher entfernen, per Löschfeed und müsste nicht einen kompletten Reset und Neuabgleich durchführen.
Ich sehe eigentlich nur Vorteile.

 

[boaa-group]

AW: Webshopabgleich optimieren per Feeds

Im Gegenteil der Import im Shop würde deutlich langsamer werden. Und dein Problem dadurch nicht behoben. Du änderst Artikel -> 16k Feed wird hochgeladen.
In der Wawi ist der Abgleich durch im Shop aber noch nicht. Nun machst du weitere Änderungen -> nächster Feed wird hochegeladen.

Die Bearbeitung durch den Shop dauert dann aber länger, da via Cron eben die ganzen Textdateien abgearbeitet werden müssen. Am Ende ist der einzige unterschied, dass du die Wawi direkt nach dem Feedupload weiterverwenden kannst, der Abgleich an sich dauert dann aber deutlich länger.

-> Aktuell kannst du auch einfach die Wawi ein zweites Mal starten oder einfach den Worker für den Abgleich nutzen.

 

[maydo]

AW: Webshopabgleich optimieren per Feeds

Der Webshop arbeitet mit der Queue. Und arbeitet diese ab.
Ist ja derzeit auch nicht anders, warum soll der Webshop dann langsamer importieren ?
Es geht nur darum, dass die WAWI nicht auf die Rückmeldung jedes einzelnen "bröckchen" Feed warten muss, wie es derzeit ist.

 

[Janusch]

AW: Webshopabgleich optimieren per Feeds

Hallo,

verstehe ich nicht. wenn ich 10k Artikel habe und 1000 zum Shop sende in einem Feed, dann muss ich warten um die nächsten 1000 zu senden.
Zudem kein std. Server würde es schaffen einen Feed mit 1000 Artikeln zu importieren. Es sind keine Fleetfeiles die an Amazon oder Preisportale mit 5-20 Spalten exportiert werden.


Fleetfiles sind dafür nicht zu gebrauchen, da man die Strukturen mit allen Abhängigkeiten nicht nachbilden kann.

 

[Janusch]

AW: Webshopabgleich optimieren per Feeds

Ist ja derzeit auch nicht anders, warum soll der Webshop dann langsamer importieren ?

Der Performanceverlust um aus Feeds Shopobjekte zu bauen würde das noch deutlich verschlechtern.

Feeds kann man nutzen wenn die Daten keine Abhängigkeiten haben und die Menge an Spalten überschaubar ist. Für alles andere gibt es deutlich bessere und performantere Lösungen.

 

[boaa-group]

AW: Webshopabgleich optimieren per Feeds

Der Webshop arbeitet mit der Queue. Und arbeitet diese ab.
Ist ja derzeit auch nicht anders, warum soll der Webshop dann langsamer importieren ?
Es geht nur darum, dass die WAWI nicht auf die Rückmeldung jedes einzelnen "bröckchen" Feed warten muss, wie es derzeit ist.

Weil aktuell direkt ein Skript angesprochen wird welches die Daten in DB einträgt, bei deiner Lösung aber der Server erstmal die Dateien einlesen muss. Abgesehen davon gab es von Janusch nun ja noch weitere Gründe, warum dies nicht sinnvoll/möglich ist.

Verstehe mich nicht falsch ich und mit Sicherheit auch alle Damen und Herren bei JTL sind für sämtliche Vorschläge dankbar, da auch dort nicht immer an alles gedacht werden kann, man muss aber auch akzeptieren wenn es seitens JTL dann Mal ein "Nein" gibt.

 

[maydo]

AW: Webshopabgleich optimieren per Feeds

Verstehe nicht, warum der Webshop bei Feeds langsamer arbeiten soll ?
Wir lesen in unserem Repricer, TAB sep. Textdateien mit ca, 20 spalten und bis zu 30k zeilen.

Desweiteren lesen wir die SQS Notifications von Amazon "AnyOfferChanged".
Das sind ca. 5-10k per Stunde für jede Amazon Plattform DE/UK/IT/FR/ES.
50k total.
Die Berichte sind umfangreiche XML Feeds, und das Einlesen dauert nur wenige sec. in eine MYSQL Datenbank.

Man könnte xml Feeds bauen, was ja derzeit schon der Fall ist, die Anzahl an Informationen wäre unwichtig.
Wichtig wäre, dass die WAWI nicht auf Antwort jedes einzelnen wartet, und erst dann den nächsten verschickt.

Man sollte versuchen für den jetzigen Zustand, dass Artikel die bereits in WAWI Warteschlange sind, wenn bei denen Änderungen durchgeführt werden, diese "neuen" Änderungen nicht mehr übertragen werden, eine Lösung finden.

 

[Janusch]

AW: Webshopabgleich optimieren per Feeds

Man sollte versuchen für den jetzigen Zustand, dass Artikel die bereits in WAWI Warteschlange sind, wenn bei denen Änderungen durchgeführt werden, diese "neuen" Änderungen nicht mehr übertragen werden, eine Lösung finden.

Sobald ein Artikel übertragen wird, sind es die Daten die aktuell in der DB vorhanden sind. Es wird nichts zwischengespeichert.

Die Daten die ihr importiert sind einfache Strukturen ohne Abhängigkeiten. Ein Artikel in der Wawi besteht aus ca. 30 Datenbanktabellen und sehr vielen 1:n Abhängigkeiten. Wären es auch nur 20 Spalten pro Artikel dann wäre der Abgleich binen Sek. fertig.

 

[maydo]

AW: Webshopabgleich optimieren per Feeds

Die Daten die ihr importiert sind einfache Strukturen ohne Abhängigkeiten. Ein Artikel in der Wawi besteht aus ca. 30 Datenbanktabellen und sehr vielen 1:n Abhängigkeiten. Wären es auch nur 20 Spalten pro Artikel dann wäre der Abgleich binen Sek. fertig.

Das ist mir nachvollziehbar.

folgendes Beispiel.

Es wurden per Automeise ca. 14000 Artikel aktualisiert.
Der Worker startet mit dem Abgleich "14xxx Artikel werden an den Webshop übertragen" im Statusbalken.
Das dauert ca. gefühlt 40min.
Wenn jetzt bei einem von den 14000 Artikeln eine Änderung durchgeführt wird. Während der Worker nocht überträgt.
Wird die neue Änderung nicht mehr übertragen.
Und das ist kein seltenes Problem, wir haben tagtäglich damit zu kämpfen.

Es sollte für das Problem eine Lösung gefunden werden.

 

[Janusch]

AW: Webshopabgleich optimieren per Feeds

Es gibt keine Lösung für dieses Problem.

Auch wenn Du mit Feeds arbeitest und Dein Artikel bei den ersten 1000 Artikel dabei ist muss gewartet werden bis alle anderen abgegelichen wurden bevor neue Änerungen des gleichen Artikels an Shop gesendet werden. FiFo Prinzip.
Hier hilft nur sich Gedanken zu machen warum soviele Artikeldatenänderungen 2 x nacheiandner erfolgen müssen.

Bestand + Preise werden bevorzugt per Quicksync übertragen.

 

[maydo]

AW: Webshopabgleich optimieren per Feeds

Quicksync funktioniert auch ziemlich gut und schnell.

Es gibt keine Lösung für dieses Problem.

Warum gibt es keine Lösung für das Problem Es gibt kein unlösbares Problem, es gibt immer Lösungen, man muss sie nur finden

 

[Janusch]

AW: Webshopabgleich optimieren per Feeds

Ich habe gerade eine Lösung für diesen Thread gefunden...