Neu Ameise Langsam? - Wie beschleunigen?

gccm.ch

Aktives Mitglied
28. Mai 2018
66
1
Hallo Zusammen

Wir bekommen von unserem Lieferanten täglich eine neue Artikel Liste. Diese ist mit ca. 130-140'000 Artikeln gefüllt.
Import mit der Ameise funktioniert Grundsätzlich sehr gut. Jedoch dauert dies ca. 8h.
Zudem bekommen wir Stündlich aktualisierte Lagerstände zu natürlich der selben Anzahl Artikel. Dies dauert im Schnitt 8-9h.
Nun unsere Frage:
Wie kann man den Import beschleunigen? Wir hatten eigentlich mit ca. 1-2h bei Artikel Import gerechnet und ca. 30 Minuten beim Lagerbestand.

Hinweis: Die Ameise wurde auf dem Server direkt sowie von einem Client ausprobiert jedoch selbes Zeit Ergebnis.
Die Import Datei war auch auf der Entsprechenden Maschine --> beim Physischen Client auf dem Client, beim Virtuellen Server auf dem Virtuellen Server.

Die Kenndaten vom Server:
Virtueller Client - Windows 10 Pro
Intel Xeon E5645 (8 Kerne Zugewiesen, auslastung ca. 30% während import)
8 GB vRAM (4.7GB benutzt während Import sonst etwas weniger)
50GB HDD (10'000 U/min) im RAID 5 - Jedoch auch mit SSD RAID selbes Ergebnis
Virtualisierung über Hyper-V auf einem Windows Server 2016 Datacenter Gerät

Was man im höchsten dem Server zuweisen könnte:
noch ca. 35 GB RAM
noch 16 Kerne
noch ca. 900 GB HDD

Ist die Variante über CMD evtl. schneller?
Dies haben wir aktuell noch nicht getestet, da wir die erhaltenen Listen aktuell noch von Hand anpassen müssen (Artikel Nr. etc.) wird jedoch in den nächsten Wochen auch automatisiert.

Wir sind für jeden Tipp Dankbar!

Vielen Dank und liebe Grüsse
 

gccm.ch

Aktives Mitglied
28. Mai 2018
66
1
Vielen Dank, nach dem import werde ich diese Variante nochmal Testen und entsprechend Rückmeldung geben.
 

gccm.ch

Aktives Mitglied
28. Mai 2018
66
1
Hi

Habe jetzt über die CMD versucht. Aber es scheint nicht wirklich schneller zu gehen.. :-/

Nachtrag:
Im "test" mode gehts ratzfatz.. ca. 15-20 Minuten und die Artikel "würden" aktualisiert.
im "production" mode geht es optisch genau so langsam voran wie in der Ameise selbst.. ok vielleicht etwas schneller bzw. es stockt nicht mehr aber läuft immer noch sehr langsam durch.

CPU Auslastung in CMD: 15-20%
RAM: 4 GB
Datenträger: 1% Antwortzeit 3ms und ca. 500 KB/s schreibrate..
Erscheint mir etwas sehr niedrig..
 
Zuletzt bearbeitet:

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.532
221
Köln
Hi,

wir haben die Ameise in Bezug auf die Artikelaktualisierung enorm beschleunigt - diese Version wird in einigen Wochen veröffentlicht. Evtl. kommst du als Tester dieser Optimierung in Frage - kontaktier uns bitte per Supportticket mit Hinweis auf diesen Forenthread - die Kollegen leiten das dann an die Wawi Entwicklung in Hückelhoven weiter und dort wird entschieden.
 

forumjtlolshopag

Gut bekanntes Mitglied
6. Juni 2018
273
50
Ändern sich auch stetig die Daten? Ich würde versuchen den Import nur noch auf Daten zu reduzieren, die sich geändert haben. Dann sparst du sicher einiges an Zeit. Wenn sich alles ändert, wird es natürlich nicht viel bringen. In der Ameise selbst gibt es noch die Option "nur geänderte Daten vearbeiten" oder so ähnlich, das bringt meistens auch noch was.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
4.017
488
Das Thema ist mehr als ein Jahr alt. Da hat sich einiges getan. Wenn du konkrete Probleme oder Fragen hast, dann würde ich dich bitten, dass du die benennst oder stellst.
 

CHESSBASE

Mitglied
28. Februar 2020
42
3
Ich importiere gerade rund 16.000 Kategorien und habe eine 100.000er Inet-Verbindung.
Dauer ca. 46 Minuten. Was mir auffiel ist, dass die ersten 4000 Datensätze sehr schnell importiert wurden,
und dann später alles langsamer wird. Die hier vorgemachten Vorschläge werden wir sicher auch testen.
Aber ich wollte allgemein mal fragen, ob für die genannte Anzahl 45 Minuten üblich sind oder aus Eurer Sicht doch zu langsam.
Viele Grüße
CHESSBASE
 

SebiW

Sehr aktives Mitglied
2. September 2015
1.162
267
Wahrscheinlich hast Du in Deiner DB eine zu kleine Startgröße eingestellt. Wenn diese überschritten wird vergrößert der SQL Server diese in den von Dir voreingestellten Schritten. Das frisst einiges an Performance.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
4.017
488
Ich fürchte, dass 16.000 Kategorien schon bei einem lokalen Import nicht in wenigen Sekunden durchlaufen.
Wenn das zusätzlich über das Internet gemacht wird, wirst Du wahrscheinlich mit entsprechenden Wartezeiten rechnen müssen.

Wenn Du magst kannst Du mir Deine CSV und die Importvorlage mal zukommen lassen, dann prüfe ich den Import lokal bei mir, damit ihr einen Vergleichswert habt.
 

CHESSBASE

Mitglied
28. Februar 2020
42
3
Danke für das Angebot. Das war aber jetzt der erste Durchlauf vom Onlineshop-Abgleich, als noch ohne Vorlage.
Ich komm aber auf das Angebot zurück, sobald wieder was größeres in dieser Sache ansteht.
Derzeit übe ich ja noch.