Offen Geschwindigkeit beim Webshopabgleich

[Gabbahead]

Mach gerade den ersten Datenabgleich und bin etwas demotiviert. ^^
Aktuell hab ich ca. 15.000 Kategorien und der Connector benötigt gerade ca. 4 Sekunden für 10 Kategorien. Das macht pro Sekunde 2,5 Kategorien.
Geht da noch was, oder ist das das Maß aller Dinge ?
Denn 15983*0,4 Sekunden (Soviel wird für eine Kategorie benötigt) macht mal locker schlappe 6392,8 Sekunden = 106 Minuten = 1,7 Stunden

Wenn ich das auf die Artikel hochrechne...

2.066953*0,4 Sekunden = 826781,2 Sekunden = 13779,68 Minunten = 229 Stunden = 9,56 Tage

Würde ich die Daten als CSV exportieren und dann in die MySQL Datenbank importieren, würde das vielleicht gerade mal ne Stunde dauern. ^^
Warum ist denn der Abgleich bei JTL immer soooooo sähflüssig.

 

[Gabbahead]

AW: Geschwindigkeit beim Webshopabgleich

Falls sich jemand nen Bild von der Datenmenge machen möchte.

 

[cspoo]

AW: Geschwindigkeit beim Webshopabgleich

Das Problem liegt leider an der Initialisierung der Magento-API. Auf meinem Testsystem dauert alleine das schon über 500ms. Da ist zwar nicht viel optimiert und es laufen auch noch andere Dinge darauf, aber man kann sich eine grobe Vorstellung von dem Overhead machen.

Solange Magento nach wie vor auf Zend Framework 1 und seine EAV-Datenbankstrukturen setzt und sich da nicht einige Entwickler bei der Magento Inc. etwas einfallen lassen, um das beim Schreiben zu beschleunigen, wird sich da leider nicht viel ändern können. Wenn man im Backend einen Artikel ändert und speichert, bekommt man ja ungefähr eine Vorstellung davon, wie lange das dauert, weil etliche Prozesse dabei angestoßen werden.

 

[cspoo]

AW: Geschwindigkeit beim Webshopabgleich

Erwähnen sollte man vllt. noch, dass wir hier natürlich über den initialen Abgleich reden, bei dem erstmalig der Wawi-Datenbestand in den Shop geschrieben wird (inkl. aller benötigten Magento-Produktattribute, etc.). Preis- und Bestandsupdates laufen über eine "Abkürzung", das geht hinterher deutlich schneller.

 

[Gabbahead]

AW: Geschwindigkeit beim Webshopabgleich

Ich hoffe, denn selbst beim Preisupdate hatte es beim JTL- Shop 3 schon erheblich gedauert. Darum hatte ich eigentlich alle Artikel die kein Preis haben deaktiviert.
Damit nur die Artikel zum Shop übertragen werden die einen Preis haben.
Trotzdem wurden irgendwie immer alle Artikel übertragen, was dann meist von Freitag bis Montag gedauert hat. ^^
Ich denke mal der Abgleich wird nun auch ca. bis Montag dauern, wenn ich es jetzt durchlaufen lasse.

Danke dir aber trotzdem für eine Ausführliche Rückinfo.

PS.: Spinnt die Serverzeit etwas ? Hier steht, das der letzte Beitrag um 11:32 Uhr gepostet wurde. Da hatte ich den Thread nicht mal erstellt.

 

[cspoo]

AW: Geschwindigkeit beim Webshopabgleich

Nein, alles gut. Ich tippe eher auf eine falsche Zeitzone in deinem Forenaccount. Bei mir steht 13:32 Uhr.

 

[Gabbahead]

AW: Geschwindigkeit beim Webshopabgleich

Jup, du hast recht, auf die Idee da nach zu schauen bin ich auch gerade gekommen.
Nun passt es auch bei mir. War irgendwie Standartmäßig Lissabon oder so eingetragen.

 

[Gabbahead]

AW: Geschwindigkeit beim Webshopabgleich

Wie sieht es eigentlich auf dem anderen Weg aus ?
Der Grund warum wir Testweise vom JTL Shop 3 auf Magento wechseln ist, wir bekommen ein gut gefüllten Magento Shop, von dem wir die Daten dann zu JTL übertragen werden.
Ich hoffe hier werden weniger Prozesse gestartete, denn das sind mehr als 2 Millionen Artikel.

 

[cspoo]

AW: Geschwindigkeit beim Webshopabgleich

Pull geht schneller. Magento lädt dann die Daten nicht aus den EAV-Tabellen, sondern aus den Flat-Tables, zumindest, wenn der Flat Table Cache aktiv ist. Das geht schonmal deutlich schneller. Außerdem muss beim Neuanlegen von Artikeln auch jedes Mal ein passendes Attributset gesucht werden. In Richtung zur Wawi entfällt auch das.