Geschwindigkeit beim Webshopabgleich

[guenter68]

Hallo liebe Forengemeinde, ich hätte da mal eine (mehrere) Frage(n)....
Wir arbeiten mit der neuesten JTL-Wawi Version 099675, Ameise 0939 und zwei JTL2 Shops 2,19. Als wir uns entschlossen hatten, die JTL-Wawi einzusetzen, haben wir diese gleich um das Multishopmodul erweitert.
Nun haben wir zu Testzwecken mal zusätzlich einem Gambio GX Shop hinzugenommen. In diesen sollen über die Wawi ca. 120.000 Artikel mit ca. 30.000 Kategorien eingepflegt werden. Die Artikel werden noch erweitert mittels den Merkmalen:
- Meta Title
- Meta Keywords
- Meta Description

Dass der Abgleich recht lange dauern würde, war uns vorher schon klar, es werden ca. 2.500 Artikel pro Stunde aus der wawi in den Shop geladen. Das heisst, mehrere Tage dauert der erste Abgleich, macht aber nix, haben ja Flatrate (VDSL 50 von der T-Com)

Nun stellen sich uns aber doch die folgenden Fragen:
Dauert nur der erste Webshopabgleich länger, da ja jede einzelne Information (Beschreibung, Artikelbezeichnung usw.) übetragen werden muss?

Geht dann später ein Preisupdate schneller oder dauert ein Abgleich (auch wenn Informationen schon vorhanden sind) immer (ungefähr) gleich lange?

Werden also immer auch schon vorhandene Informationen mit geupdatet oder nur die Informationen, die sich geändert haben?

Fragen über Fragen....

Viele Grüße
Günter

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Korrektur: Webshopabgleich macht nicht nur 2500 Artikel je Stunde sondern ca. 5000 je Stunde ... (ist doch ein kleiner Unterschied )

 

[msm]

AW: Geschwindigkeit beim Webshopabgleich

Nun stellen sich uns aber doch die folgenden Fragen:
Dauert nur der erste Webshopabgleich länger, da ja jede einzelne Information (Beschreibung, Artikelbezeichnung usw.) übetragen werden muss?

Geht dann später ein Preisupdate schneller oder dauert ein Abgleich (auch wenn Informationen schon vorhanden sind) immer (ungefähr) gleich lange?

Werden also immer auch schon vorhandene Informationen mit geupdatet oder nur die Informationen, die sich geändert haben?

Fragen über Fragen....

Viele Grüße
Günter

Hallo Günter,

Falls beim ersten Upload auch Bilder übertragen werden, kannst du bei dieser Artikelanzahl erst mal in den Urlaub gehen. Den Upload solltest du dennoch ständig überwachen, um die zahlreichen Fehlermeldungen über die Tage aufgrund von Verbindungsabbrüchen oder Timeouts wegzuklicken, ansonsten wird der Upload komplett blockiert.

Kurz gesagt: Es wird nicht einfach, meiner Meinung nach ist der Upload für große Artikelmengen eine ziemliche Katastrophe Allerdings interessiert oder stört das die Meisten hier nicht, da die Mehrzahl Shops mit vergleichsweise kleinen Sortimenten betreibt.

Wenn du die Artikel über die Ameise in die Wawi importierst, kannst du aber zumindest wählen, ob du z.B. nur neue Artikel importieren möchtest, oder auch bereits vorhandene Artikel aktualisieren möchtest (z.B. wegen einem Preis-Update).
D.h. dann aber auch, dass du jedes Mal 130000 Artikel aktualisierst, wobei jeder aktualisierte Artikel in der Wawi-Datenbank ein Update erhält, sodass er bei einem Webshopabgleich wieder komplett (bis auf die Bilder) hochgeladen werden muss. Es ist nicht möglich, nur Änderungen zu übertragen.
Du wirst also für jeden Upload Stunden bis Tage benötigen.
Das zweite (noch größere) Problem ist dabei, dass Up-und Download auf "einer Leitung" sind. D.h. wenn du z.B. 16 Stunden für den Upload der Artikel benötigst, wirst du in dieser Zeit auch keine Bestellungen downloaden und damit verarbeiten können.
Das Handling mit einer großen Menge an Artikeln ist also eigentlich fast nur machbar, wenn man keine häufigen Preis-und Sortimentswechsel hat (bei der Menge eigentlich fast unvorstellbar, bei uns ändern sich die Lieferantenlisten täglich um tausende bis sogar zehntausende Artikel) und am besten auch wenig Bestellungen

Wie gesagt, alles sehr schwierig und an eine Optimierung solcher Vorgänge mag ich aufgrund der Entwicklungsgeschwindigkeit in den letzten 3 Jahren bei JTL nicht mehr so recht glauben, zumal sich größere Händler mit größeren Sortimenten (aber wenig Technik-Kentnissen) aufgrund dieser Probleme wohl eher selten an einen produktiven Einsatz der Wawi+ Shop wagen und sich somit die Forderungen nach einer Verbesserung auch in Grenzen halten werden.

Viele Grüße
Stefan

P.S.: Unsere Wawi-DB beinhaltet über 560000 Artikel, wovon ca. 450000 Artikel aktiv sind und täglich zum Shop (Shop2) übertragen werden - übrigens in ca. 15 Minuten. Ich weiss also wovon ich rede, auch hinsichtlich der Optimierungsmöglichkeiten

 

[Thomas Lisson]

AW: Geschwindigkeit beim Webshopabgleich

Hi,

die Connectoren nutzen eine ältere Schnittstelle zum Übertragen, daher dauert es so lange.

zumal sich größere Händler mit größeren Sortimenten (aber wenig Technik-Kentnissen) aufgrund dieser Probleme wohl eher selten an einen produktiven Einsatz der Wawi+Shop wagen und sich somit die Forderungen nach einer Verbesserung auch in Grenzen halten werden.

Die Verbesserung wurde doch mit der JTL-Shop2 Schnitstelle geschaffen. Sie ist ca. 10-20x schneller als die Connectoren (natürlcih bis auf Bildübertragungen). Mir ist kein Händler bekannt, der aufgrund seiner großen Artikelmenge Abstand von Wawi + Shop genommen hat. Im Gegenteil, es ist weitaus einfacher, die Wawi bei solchen Datenmengen aktuell zu halten, als jeden einzelnen Shop, der bedient werden will.

 

[msm]

AW: Geschwindigkeit beim Webshopabgleich

Hi Thomas,

Also ich habe auch nur von dem Upload zwischen Wawi und JTL- Shop 2 gesprochen. Mit den Connectoren habe ich keine Erfahrung, wenn es da aber auch noch einmal 10-20 mal länger dauert, kann ich mir nicht so recht vorstellen, wie das dann bei der Artikelanzahl reibungslos funktionieren sollte.
Was mich interessieren würde: Habt ihr schon einmal Tests mit 300000 oder 400000 Artikeln gemacht? Und wenn ja, wie lange dauerte der Upload? Habt Ihr da Zahlen? Vll liegt es ja auch an unserer Wawi.

Mir ist kein Händler bekannt, der aufgrund seiner großen Artikelmenge Abstand von Wawi + Shop genommen hat.

War ja auch nur eine Vermutung meinerseits, weshalb so wenige im Forum das Problem überhaupt mal angesprochen haben. Allerdings: Wenn ein größerer Händler, der auch von Datenbanken und Technik nichts wissen will, hört, dass sein Upload jeden Tag einen Tag lang dauert, er in der Zeit nicht auf Knopfdruck an seine Bestellungen aus dem Shop kommt und zusätzlich ständig den Upload überprüfen muss, um Fehlermeldungen und Timeouts und ähnlichen Kram wegzuklicken, hält sich die Begeisterung für einen Wechsel zur Wawi+Shop wohl in Grenzen.
Zumal das nicht die einzige Stelle ist, an dem Wawi+ EA+Shop z.B. für Powerseller nicht ohne selbstprogrammierte Lösungen nutzbar ist.


Viele Grüße
Stefan

 

[info@e-products.ch]

AW: Geschwindigkeit beim Webshopabgleich

Ich importier rund 58`000 Artikel, 3x Täglich....die bilder liegen im .jpg format vor und sind durchschnittlich 640x480px gross.

Hatte auch das problem mit dem Worker bzgl. Time-outs usw.
lass nun den worker jeweils 55min. laufen, dann per .batch killen, 5min. später wieder per .batch datei inkl. login starten.

das ganze läuft über den taskplaner wunderbar.

seitdem verrichtet der worker seine arbet ohne überwachung tadellos.

Man muss sich halt zu helfen wissen

Gruss

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Erst mal herzlichen Dank für eure Antworten.
Das hört sich ja nicht gut an.... wenn das immer so lange dauert ist das ja ein absolutes K.O-Kriterium. Ich hatte gehofft, dass wenigstens nur die Änderungen bei einem Update übetragen werden (z. B. Preis), was ja dann erheblich schneller von Statten gehen sollte.

@Stefan:
Bei euch dauert eine Übertragung von ca. 450.000 Artikel aus der Wawi in den JTL2 Shop nur 15 Minuten??? Das ist ja Lichtgeschwindigkeit! Wir haben ja auch noch zwei JTL2 Shops mit ca. 120.000 Artikel. Aber selbst hier dauert die Übertragung eines Preisupdates mehrere Stunden... und unsere Artikel machen nur ca. 25-30% Deiner Artikelanzahl aus... Die müssten ja eigentlich innerhalb 5 Minuten übertragen sein. Mir stellt sich die Frage, weshalb das bei uns dann so viel länger dauert.

@Thomas:
Die Verbesserung wurde sicherlich mit der JTL2 Schnittstelle geschaffen aber leider lässt diese sich nicht an den Gambio anbinden. Ich kann ja verstehen, dass es in eurem Interesse ist ein gesamtpaket Wawi+JTL2 Shop anzubieten und nicht für Fremdhersteller wie Gambio und dazu noch kostenfrei eine Schnittstelle zu pflegen.

Leider kenne ich mich jetzt nicht gut mit PHP und Schnittstellen aus aber könnte man den XT Gambio Connector nicht schneller machen? Wie gesagt, ich kenne mich damit leider nicht aus, daher entschuldigt meine laienhafte Fragestellung

Also kann mal als Fazit feststellen, dass eine Übertragung (bis auf die Bilder) bei jedem Update neu stattfindet. Zumindest die Übertragung eines jeden geupdateten Artikels mit Beschreibung und allen Texten, auch wenn sich nur der Preis geändert hat?

Muss schauen, was ich dann mache....

Viele Grüße
Günter

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Hallo, was genau macht denn der " Worker" ???

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Mit Timeouts und Fehlermeldungen hatte ich bisher keine Probleme, der Abgleich läuft langsam aber sauber. Zumindest seitdem ich die Bildverknüpfung herausgenommen habe und nun alle Bilder zu jedem Artikel speichern lasse, auch wenn ein Bild dann 1000x hochgeladen wird. Platz genug haben wir ja in der Datenbank

 

[info@e-products.ch]

AW: Geschwindigkeit beim Webshopabgleich

@guenter68

mit dem Worker kannst du den shop-abgleich als hintergrunddienst laufen lassen. - findest bestimmt was im wiki.

 

[Thomas Lisson]

AW: Geschwindigkeit beim Webshopabgleich

hi,

zwei JTL2 Shops mit ca. 120.000 Artikel. Aber selbst hier dauert die Übertragung eines Preisupdates mehrere Stunden...

2x (da zwei Shops) 120.000 Artikel per JTL-Shop2 Schnittstelle sollte nicht länger als eine Std. dauern. Evtl. schcikst du Bilder mit?

Der Flaschenhals bei der Übertragung ist in erster Linie der Upload von ADSL, das die meisten auch in der Firma haben.
Die nächste Bremse ist ein langsamer Server. Er bekommt einige Hundert Artikel auf einmal, die er verarbeiten muss. Hier ist die DB gefragt, aber auch die PHP Ausführungsgeschwindigkeit zu einem gewissen Maße, da hier viel mit XML hantiert wird.

Eine Verdoppelung der Uploadgeschwindigkeit bringt ca 40% Geschwindigkeitszuwachs. Natürlich geht das nur bis zu einem gewissen Punkt, irgendwann ist die Hardware vom Server und danach irgendwann die Hardware der Wawi-DB / Wawi-Cleints ein immer gewichtigerer Faktor.

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Hi Thomas,
dass die langsame Geschwindigkeit am Server liegt, kann zu 99,9% nicht sein, denn der ist richtig flott

Aber der VDSL Upload kann bremsen...ich weiß adhoc gar nicht, was T-Com für eine Uploadgeschwindigkeit bei VDSL 50 hat..

Bei einem Preisudate werden nur die neuen Preise per Amseise eingelesen und die entsprechenden Artikel dann geuploadet..ich denke nicht, dass da die Bilder mitgeschickt werden.

Bezüglich dem Upload in den Gambio Shop mittels des XT Connectors warte ich jetzt einfach mal ab, bis alle Artikel in den Shop geladen wurden. Dann aktualisiere ich einfach mal ein paar Preise und schaue, wie lange der Upload dann benötigt. Jetzt werden ja auch Bilder mitgeschickt und das kann natürlich auch der Grund sein, weshalb einem das soooop lanmgsam vorkommt

 

[msm]

AW: Geschwindigkeit beim Webshopabgleich

Erst mal herzlichen Dank für eure Antworten.
@Stefan:
Bei euch dauert eine Übertragung von ca. 450.000 Artikel aus der Wawi in den JTL2 Shop nur 15 Minuten??? Das ist ja Lichtgeschwindigkeit! Wir haben ja auch noch zwei JTL2 Shops mit ca. 120.000 Artikel. Aber selbst hier dauert die Übertragung eines Preisupdates mehrere Stunden... und unsere Artikel machen nur ca. 25-30% Deiner Artikelanzahl aus... Die müssten ja eigentlich innerhalb 5 Minuten übertragen sein. Mir stellt sich die Frage, weshalb das bei uns dann so viel länger dauert.

Ja, ca. 15 min, aber wie gesagt nur deshalb, weil ich mir einen eigenen Upload gebaut habe.
In Kurzform: Ich deaktiviere nach einem Artikel-Import in der Wawi-DB den Upload für die Artikel zum Shop. Die Shop-DB habe ich an die Wawi-DB angebunden. Damit nutze ich den Webshopabgleich/ Worker nur noch für die Übertragung von Bestellungen. Das ganze läuft natürlich vollautomatisch (auch der Import über die Ameise, obwohl hier bisher auch eine zeitgesteuerte Importmöglichkeit fehlt).

2x (da zwei Shops) 120.000 Artikel per JTL-Shop2 Schnittstelle sollte nicht länger als eine Std. dauern. Evtl. schcikst du Bilder mit?

Günters Uploadzeiten decken sich mit meinen - wie gesagt 450000 Artikel dauern hier mit dem Wawi-Upload bis zu einem Tag - ohne Bilder!
Bei deinen Werten dürfte das aber für einen JTL-Shop nicht länger als 2 Stunden dauern, da frage ich mich was hier bei den Wawis von Günter und mir falsch laufen könnte.

Der Flaschenhals bei der Übertragung ist in erster Linie der Upload von ADSL, das die meisten auch in der Firma haben.
Die nächste Bremse ist ein langsamer Server. Er bekommt einige Hundert Artikel auf einmal, die er verarbeiten muss. Hier ist die DB gefragt, aber auch die PHP Ausführungsgeschwindigkeit zu einem gewissen Maße, da hier viel mit XML hantiert wird.

Wir haben kein ADSL, sondern DOCSIS. Der Upload beträgt hier im Normaltarif konstant 2,5 MBit/s, was zumindest 3x schneller ist, als ein üblicher ADSL Anschluss.
Günter hat VDSL, je nach Tarif also bis zu 10 MBit/s Upload. Daran sollte es also keinesfalls liegen, zum ich es ja bei meiner Alternative in 15 min schaffe.
Auch konnte ich bisher keine Qualitätsmängel auf dem Online-Server bemerken.

Eine Verdoppelung der Uploadgeschwindigkeit bringt ca 40% Geschwindigkeitszuwachs. Natürlich geht das nur bis zu einem gewissen Punkt, irgendwann ist die Hardware vom Server und danach irgendwann die Hardware der Wawi-DB / Wawi-Cleints ein immer gewichtigerer Faktor.

Die Wawi läuft auf Windows 2008 Enterprise, 4Gb Ram und SQL Server 2005 Enterprise, also keine Express-Version.

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Ja, ca. 15 min, aber wie gesagt nur deshalb, weil ich mir einen eigenen Upload gebaut habe.
In Kurzform: Ich deaktiviere nach einem Artikel-Import in der Wawi-DB den Upload für die Artikel zum Shop. Die Shop-DB habe ich an die Wawi-DB angebunden. Damit nutze ich den Webshopabgleich/ Worker nur noch für die Übertragung von Bestellungen.

Komisch...bei mir funktionieren keine Zitate...

Das ist sehr interessant, ich muss jetzt mal laut denken Man kann also sagen, Du aktualisierst die Shopdaten an wawi vorbei, quasi über einen direkten Upload. Indem Du dann in der wawi den Upload nach einem Artikelimport deaktivierst, wird auch verhindert, dass sich die Wawi ggf. aktuellere Daten aus dem Shop importiert. Nun nutzt Du die wawi nur noch um Bestellungen entgegenzunehmen und Rechnungen zu schreiben.

Also um die Sache um einiges zu beschleunigen, könnte - sollte - ich den ersten Artikelimport über die Wawi in den Shop übertragen. Dann bei allen Updates (Preis etc). direkt die Artikel an Wawi vorbei in die MySL Datenbank des Shop übertragen und die können ja zusätzlich auch in die Wawi importiert werden.
Wenn dann neue Artikel eingebunden werden müssen, so könnte ich die ja wieder über die wawi in den Shop laden...

Wie aber deaktiviere ich bei der wawi dann den Artikel-Upload / Artikel-Import?

 

[msm]

AW: Geschwindigkeit beim Webshopabgleich

Bei dem quote am Ende hat ein / gefehlt, deshalb gings nicht: [/quote]

Das ist sehr interessant, ich muss jetzt mal laut denken Man kann also sagen, Du aktualisierst die Shopdaten an wawi vorbei, quasi über einen direkten Upload. Indem Du dann in der wawi den Upload nach einem Artikelimport deaktivierst, wird auch verhindert, dass sich die Wawi ggf. aktuellere Daten aus dem Shop importiert. Nun nutzt Du die wawi nur noch um Bestellungen entgegenzunehmen und Rechnungen zu schreiben.

(Fast) Genau so ist es. Allerdings holt sich die Wawi beim Abgleich mit JTL- Shop nie Artikel-Daten aus dem Shop, sondern lädt sie immer nur hoch. Ist auch nicht notwendig sie herunterzuladen, da der JTL-Shop keinerlei Möglichkeiten hat, Artikeldaten online im Backend zu verändern und damit auch keine neuere Version online existieren kann.
Deshalb braucht man nur den Upload in der Wawi-DB zu verhindern.

Also um die Sache um einiges zu beschleunigen, könnte - sollte - ich den ersten Artikelimport über die Wawi in den Shop übertragen. Dann bei allen Updates (Preis etc). direkt die Artikel an Wawi vorbei in die MySL Datenbank des Shop übertragen und die können ja zusätzlich auch in die Wawi importiert werden.
Wenn dann neue Artikel eingebunden werden müssen, so könnte ich die ja wieder über die wawi in den Shop laden...

Also der Weg sollte so aussehen: CSV->Wawi-DB(durch Ameise)->Upload in DB verhindern->Anbindung von Wawi-DB an Shop DB.
Der Import von Artikeln aus Shop in Wawi geht glaub ich bei den Connectoren nur das erste Mal. Und zudem kann ich dir nicht sagen, welche Datenbankstruktur der Gambio-Shop hat. Mit den Connectoren und Gambio habe ich keine Erfahrung, mein Weg passt eben hier für JTL-Shop 2.

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Also der Weg sollte so aussehen: CSV-> Wawi-DB(durch Ameise)->Upload in DB verhindern->Anbindung von Wawi-DB an Shop DB.
Der Import von Artikeln aus Shop in Wawi geht glaub ich bei den Connectoren nur das erste Mal. Und zudem kann ich dir nicht sagen, welche Datenbankstruktur der Gambio-Shop hat. Mit den Connectoren und Gambio habe ich keine Erfahrung, mein Weg passt eben hier für JTL-Shop 2.

Jetzt klappts auch mit dem Zitieren

Danke Stefan, das mit der Shopanbindung werde ich mal prüfen.
Mein Admin ist jetzt noch die Woche in Urlaub aber wennd er wieder da ist, bespreche ich das mal.

Viele Grüße
Günter

 

[msm]

AW: Geschwindigkeit beim Webshopabgleich

Alles klar, sprich mal mit ihm. Was ich dir noch empfehlen kann - falls du es nicht schon kennst: Navicat. Mit diesem Programm kannst du exzellent z.B. deine MySQL Datenbanken verwalten, Daten in verschiedenen Formaten importieren und exportieren. Das Programm ermöglicht es z.B. auch Daten über ODBC aus dem SQL Server zu holen, z.B. also auch aus der Wawi-DB. Damit kannst du dann unter Umständen einen direkten Upload zwischen Wawi und Shop hinbekommen. Das Ganze natürlich als Task geplant und vollautomatisch
Navicat ist das beste Programm, was ich in dieser Richtung je gesehen habe und sogar bezahlbar.
Aber das soll sich am besten mal dein Fachmann anschauen.
Kannst ja nochmal schreiben, wenn du ne Lösung gefunden hast.

Bis dann und viele Grüße
Stefan

 

[guenter68]

AW: Geschwindigkeit beim Webshopabgleich

Hallo Stefan,
hatte dir gestern eine PM gesendet.
Kannst Du mir kurz mitteilen, wie das geht, dass ich der WAWI den Upload in die DB verhindere?

Viele Grüße
Günter

 

[msm]

AW: Geschwindigkeit beim Webshopabgleich

Hi,
hast eine PM.

Gruss Stefan

 

[sm-startup2008]

AW: Geschwindigkeit beim Webshopabgleich

Hallo, auch ich bin mit großem Interesse auf diesen Artikel gestoßen.

Habe einen Shop basierend auf XT Commerce.
Die Verbindungen zu Navicat habe ich schon getestet, diese funktionieren sowohl für die ODBC Quelle (WAW) als auch den Shop (SQL DB).

Kann ich denn mit Navicat mehrere TAbellen gleichzeitig aktualisieren oder sind das unterschiedliche Importvorgänge, welche ich ja dann evtl. auch mit Exporten durch die Ameise in der für Navicat notwendigen Struktur bekommen könnte.

Schön wärs natürlich, wenn ich direkt alles per ODBC ohne Umweg Ameise machen könnte.
Wie geht ihr denn mit Feldern um, welche nicht aus ODBC kommen, z.B. Nummerierungen, welche die Shop DB selbst macht.

Ich bin noch ziemlich am Anfang meiner Überlegungen aber vielleicht findet sich ja hier jemand, der mich beim Denken unterstützt

Grüße
Marcel