Offen Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

[tekfreak]

Hallo zusammen,

ist das wirklich Normal, das ein Import via Ameise von 10.000 Artikeln mit je 2 Bilden (jedes hat 160kb) ca. 30 Minuten dauert und der Abgleich in den Webshop dann über 2 Stunden?

Zu Beginn dachte ich das liegt am xtc ( gambio gx2) connector und habe EXTRA einen JTL-Shop3 Testshop angefordert, was leider keine Verbesserung brachte.
Hardwarepower ist genug vorhanden: i7-2600K, 16GB DDR3, 256GB SSD, Windows 8.1, VDSL 50.000....
Laut Windows Taskmanager ist der Rechner bzw. die Leitung fast zu 0 ausgelastet während des Imports/Abgleichs.

Die 10.000 Datensätze habe ich nur mal zu Testzwecken genommen.
Eigentlich haben wir ca 50.000 Datensätze, die wir Stündlich in die WaWi importieren und dann zum Webshop synchronisieren wollen.
Mit den o. g. Zeiten würde der Import in die WaWi jedoch 2,5-3 Stunden dauern und der Abgleich zum Webshop weitere 12-15 Stunden.

Könnt ihr bitte ein wenig Feedback geben, ob das bei Euch genausolange dauert?!

Danke sehr

 

[tekfreak]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Oops fast vergessen:

JTL-WaWi Version: 099898
JTL-Shop 3 Version: 3.18 (Build: 2)

 

[Thomas Lisson]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Hi,

der Gambio Connector nutzt noch eine Uralt-Technik. Die ist nicht sonderlich effizient.

10.000 Artikeln mit je 2 Bilden (jedes hat 160kb)

Alleine die Bilder brauchen 2*160kb*10000 = 3,2GB. Das kommt ja noch hinzu - das musst du mit deiner Leitung hochladen.

 

[tekfreak]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Hi Thomas, Entschuldige, ich meinte je Bild 80kb, zusammen 160 kb, also 1,6 gb bei 10k Artikeln. Bei einer VDSL 50 Leitung ~ 30-40 min. Kann mir schwer vorstellen das die reinen datensätze in den jtl- Shop zu übertragen dann 1-1,5 Stunden dauern soll. Dann wäre ja kein Vorteil gegenüber dem gambio connector vorhanden.

 

[Janusch]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Das ist viel zu lang. Da muss etwas anderes nicht stimmen.

Schaue ob Dein sqlserv.exe Prozess im Taskamangeer an 1GB RAM kommt. Ab da wird es sehr sehr langsam.

10.000 Aritkel dauern in den Shop bei VDSL 50 MBit. ca. 30 Min. ohne Bilder (ca. 5-6 Artikel / Sek. je nach Webspace Auslastung). Falls nur Bestand und Preise aktualisiert werden, wird Quicksynch beim Shop3 verwendet wo es dann ca. 10 Min. dauert.

Der Webserver muss die empfangenen Daten verarbeiten, in die Datenbank speichern. Die Artikelinfos sind sehr umfangreich, so das hier meist der Flaschenhals liegt. Shop3 empfängt Pakete mit bis zu 100 Artikeln die komprimiert sind. Beim Connector ist es deutlich langsamer da hier viel mehr einzelne POSTs pro Artikel abgesetzt werden.

 

[tekfreak]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Hallo Janusch,

die RAM Auslastung des o. g. Prozesses beim WaWi Import liegt bei ca. 3,8 GB.
Ich könnte mir vorstellen, das liegt an der Ausführlichen CNET Artikelbeschreibung, welche HTML Formatierungen enthält.
Wie soll das erst werden wenn wir 50K Artikel in die WaWi importieren wollen.... oje

OK von diesen 50K Artikeln sind evtl. nur 10K unique, die anderen 40K sind Duplikateinträge von verschiedenen Lieferanten, mit Abweichenden Preisen & Beständen.
Wir haben bereits alle Lieferantenlisten in einem einheitlichen Format in eine MSSQL Datenbank importiert, und können von dort Listen generieren in jedem Format das wir möchten.

Gibt es irgendeine empfohlene Vorgabe bzw. Konzept, wie man man sowas am besten importiert, ohne das man immer die komplette Beschreibung/Kategoriestruktur bei jedem Datensatz etc. mit reinballern muss?
Habe leider nix passendes im WiKi bzw. Forum gefunden und das auf biegen und brechen zu testen, wo vielleicht schon jemand eine Lösung parat hat, möchte ich ganz gerne vermeiden wenn möglich.

Ich bin Dankbar für jeden möglichen Denkanstoß bzw. Erfahrungswert

Danke & Gruß Tekfreak

 

[Janusch]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Ist das die Vollversion von SQl - Server?
Falls ja, die Beschränkung betrifft nur die kostenlose Express Version.

Der Import sollte in 2 Stufen erfolgen:

1. Mit der Kompletten Liste - aber nur mit der Einstellung das nur neue Artikel importiert werden sollen.

2. Eine abgespeckte CSV die nur Preise und Bestände pro Artikel aktualisiert, damit Quicksynch für alle Artikel greift

 

[tekfreak]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Ist ne SQL 2012 Express Version. Das Ding ist auch recht performant. Den besagten Import aller Lieferantenlisten in unsere unabhängige Datenbank machen wir mit ca 380K Datensätzen in unter 2 Minuten.
Eine Datei wird via "Bulkcopy" als ganzes in eine Temp-Tabelle geschoben und dann von dort SQL-Intern in die richtigen Tabellen importiert/updated. Vielleicht würde diese Methode euren Import revolutionieren?

----

Bei deiner o. g. Vorgehensweise gibt es jedoch ein kleines Problem. Hier muss man beachten, das der günstigste Preis pro Artikel zuletzt importiert wird, korrekt?
Die Wawi sucht sich nicht automatisch den günstigsten preis eines Lieferanten für die Kalkulation und die anschließende Übertragung in den Webshop raus.

 

[Janusch]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Die Express Versionen sind auf 1GB RAM beschränkt. Wie könnt Ihr da 3,8 GB nutzen?
Sobald 1GB erreicht wurde, ist die Arbeit mit dem SQL-Server eine Qual : » Einschränkungen des MS SQL Server Express - Hotline Blog: Office Manager DMS


Nein, man muss dem Artikel den VK- Preis vorgeben unabhängig vom Lieferanten. Bei Lieferanten werden keine VKs importiert sondern die EK's die in der Wawi als Preiskalkulationsgrundlage dienen können.

 

[tekfreak]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Wir haben eine SQL 2012 Express Version wie auf einer Eurer Seiten beschrieben von der MS Website geladen (1,4 GB) und die besagten 3,8 GB waren wirklich nur auf diesem Prozess bezogen.
Ich war selbst ein wenig erstaunt, da mir die besagte Einschränkung bekannt ist, aber es war nun mal so. Vllt. hat es was mit der Win 8.1 Umgebung zu tun, keine Ahnung?!

----

Ich glaube ich habe ihre Vorgehensweise noch nicht so ganz verstanden. Also Bspw ich habe einen Artikel, der bei 5 Lieferanten vorhanden ist.
Lieferant 1 = 105 Euro EK - 20 stk
Lieferant 2 = 106 Euro EK - 13 stk
Lieferant 3 = 110 Euro EK - 1 stk
Lieferant 4 = 103 Euro EK - 88 stk
Lieferant 5 = 101 Euro EK - 11 stk

Schritt 1: Für den Master Import & die Kalkulation des VKs filtere ich mir quasi die jeweiligen Datensätze mit dem Günstigsten EKs, incl Beschreibung Bildern etc. und importiere diese dann
Schritt 2: Für den Einkauf nutze ich den Quicksync mit allen Lieferanten, mit Beständen und EKs, ohne Bilder etc.

Schritt zwei wird die VKs von Schritt eins nicht beeinträchtigen? Das muss ich wohl doch mal ausführlich testen.

 

[tekfreak]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

Soooo, hab mir das ganze nochmal genau angeschaut und meinen Import in die WaWi entsprechend aufgeteilt
Dank Quicksync geht alles deutlich schneller. Genaue zeiten werde ich mal posten wenn ich nen Fullimport hinter mir habe.

Aber von den 3,8 GB Ram kommt mein SQL Server nicht runter, die hat er auch im Leerlauf :/

 

[DITH-Shop]

AW: Wie lang dauer ein Import/Abgleich bei Euch? Bei mir dauert es EEEWIG!

...
Eigentlich haben wir ca 50.000 Datensätze, die wir Stündlich in die WaWi importieren und dann zum Webshop synchronisieren wollen.

Diese Werte kannst Du getrost vergessen.
Meine Server stehen lokal, sind mit GBit-Karten direkt verbunden.
35.000 Datensätze (Webshopabgleich) benötigen dennoch fast 1,5 Stunden.
Hier bilden Apache,PHP und MySQL den Flaschenhals.
QuickSync für 35.000 Artikel benötigt fast 20 Minuten.

Du brauchst für solche Datenmengen eine optimierte Logik in den Abgleich-Vorgängen.

Ich glaube kaum dass Du tatsächlich jede Stunden 50tsd neue Artikel hast.
Ändere nur das was tatsächlich geändert werden muss. Dann klappt das auch im 5Minuten-Takt wie bei mir.

Außerdem:
eine 50er VDSL Leitung hat im Idealfall - wenn Du also gaaaanz allein auf der Leitung bist (also die letzten 500Meter) - maximal 10MBit Upstream, vermutlich hast Du tagsüber nur 2-3MBit. VDSL hat nicht einmal eine garantierte Mindestleistung. Mit viel Pech hast Du gar nur 500KBit.

Ich rate für geschäftliche Anwendungen ausschließlich SDSL zu verwenden und einen Anbieter der dir eine Mindestleistung garantiert.