Neu Worker 2.0 - je Marktplatz eigenen Worker-Client bitte

[DITH-Shop]

Moin,
Sorry wenn es im falschen Bereich sein sollte, ich habe nichs gefunden wo man Worker / Plattformen Fragen schreiben könnte. Bitte ggf verschieben


=>
So nach und nach nutze ich (vermutlich auch andere User) immer mehr per SCX angebundene Plattformen.
Leider arbeitet der Worker aktuell nur einen Task/eine PLattform ab, und startet erst nach Ablauf den nächsten Task für eine andere Plattform.
Bei mir ist das bspw. Kaufland.de zuerst, danach erst Kaufland.cz, danach Kaufland.sk, dann hood.de (pilotphase)

Da ein Durchlauf je Plattform schon mal mehrere Stunden dauern kann, kann es also passieren das der letzte in der Reihe einen ganzen Tag warten muss bis die anderen "durch" sind.
Das ist aber definitiv viel zu spät, insbesondere wenn da mal ein Artikel bei ist der schnell dreht.

Ich wünsche mir das es je Plattform einen eigenen Worker-Client gibt.

 

[John]

Allerdings.
Das ist ein massive Problem und wird mit zunehmend Marktplätzen zusehends schlechter.
Wir haben "nur" Kaufland, cDiscount und 2x Amazon und es ist schon sehr zäh.

 

[chefsalat]

Das Problem mit parallelität sehe ich ggf. im gegenseitigen blockieren, wenn eine DB-Tabelle wegen einer Transaktion gesperrt ist. Da ist die Kunst, es so zu gestalten, daß es eben nicht zu deadlocks kommt. Also einfach nur das ganze in Threads auszulagern ist nicht ausreichend, aber auch kein Hexenwerk.