Neu Ameise Langsam? - Wie beschleunigen?

[gccm.ch]

Hallo Zusammen

Wir bekommen von unserem Lieferanten täglich eine neue Artikel Liste. Diese ist mit ca. 130-140'000 Artikeln gefüllt.
Import mit der Ameise funktioniert Grundsätzlich sehr gut. Jedoch dauert dies ca. 8h.
Zudem bekommen wir Stündlich aktualisierte Lagerstände zu natürlich der selben Anzahl Artikel. Dies dauert im Schnitt 8-9h.
Nun unsere Frage:
Wie kann man den Import beschleunigen? Wir hatten eigentlich mit ca. 1-2h bei Artikel Import gerechnet und ca. 30 Minuten beim Lagerbestand.

Hinweis: Die Ameise wurde auf dem Server direkt sowie von einem Client ausprobiert jedoch selbes Zeit Ergebnis.
Die Import Datei war auch auf der Entsprechenden Maschine --> beim Physischen Client auf dem Client, beim Virtuellen Server auf dem Virtuellen Server.

Die Kenndaten vom Server:
Virtueller Client - Windows 10 Pro
Intel Xeon E5645 (8 Kerne Zugewiesen, auslastung ca. 30% während import)
8 GB vRAM (4.7GB benutzt während Import sonst etwas weniger)
50GB HDD (10'000 U/min) im RAID 5 - Jedoch auch mit SSD RAID selbes Ergebnis
Virtualisierung über Hyper-V auf einem Windows Server 2016 Datacenter Gerät

Was man im höchsten dem Server zuweisen könnte:
noch ca. 35 GB RAM
noch 16 Kerne
noch ca. 900 GB HDD

Ist die Variante über CMD evtl. schneller?
Dies haben wir aktuell noch nicht getestet, da wir die erhaltenen Listen aktuell noch von Hand anpassen müssen (Artikel Nr. etc.) wird jedoch in den nächsten Wochen auch automatisiert.

Wir sind für jeden Tipp Dankbar!

Vielen Dank und liebe Grüsse

 

[Pinkman]

Ist die Variante über CMD evtl. schneller?

Wir nutzen für einige Importe auch das CMD und da rennt es wie irre

 

[gccm.ch]

Vielen Dank, nach dem import werde ich diese Variante nochmal Testen und entsprechend Rückmeldung geben.

 

[gccm.ch]

Hi

Habe jetzt über die CMD versucht. Aber es scheint nicht wirklich schneller zu gehen.. :-/

Nachtrag:
Im "test" mode gehts ratzfatz.. ca. 15-20 Minuten und die Artikel "würden" aktualisiert.
im "production" mode geht es optisch genau so langsam voran wie in der Ameise selbst.. ok vielleicht etwas schneller bzw. es stockt nicht mehr aber läuft immer noch sehr langsam durch.

CPU Auslastung in CMD: 15-20%
RAM: 4 GB
Datenträger: 1% Antwortzeit 3ms und ca. 500 KB/s schreibrate..
Erscheint mir etwas sehr niedrig..

 

[Thomas Lisson]

Hi,

wir haben die Ameise in Bezug auf die Artikelaktualisierung enorm beschleunigt - diese Version wird in einigen Wochen veröffentlicht. Evtl. kommst du als Tester dieser Optimierung in Frage - kontaktier uns bitte per Supportticket mit Hinweis auf diesen Forenthread - die Kollegen leiten das dann an die Wawi Entwicklung in Hückelhoven weiter und dort wird entschieden.

 

[forumjtlolshopag]

Ändern sich auch stetig die Daten? Ich würde versuchen den Import nur noch auf Daten zu reduzieren, die sich geändert haben. Dann sparst du sicher einiges an Zeit. Wenn sich alles ändert, wird es natürlich nicht viel bringen. In der Ameise selbst gibt es noch die Option "nur geänderte Daten vearbeiten" oder so ähnlich, das bringt meistens auch noch was.

 

[neo43]

Hat sich hier etwas getan?

 

[Enrico W.]

Das Thema ist mehr als ein Jahr alt. Da hat sich einiges getan. Wenn du konkrete Probleme oder Fragen hast, dann würde ich dich bitten, dass du die benennst oder stellst.

 

[CHESSBASE]

Ich importiere gerade rund 16.000 Kategorien und habe eine 100.000er Inet-Verbindung.
Dauer ca. 46 Minuten. Was mir auffiel ist, dass die ersten 4000 Datensätze sehr schnell importiert wurden,
und dann später alles langsamer wird. Die hier vorgemachten Vorschläge werden wir sicher auch testen.
Aber ich wollte allgemein mal fragen, ob für die genannte Anzahl 45 Minuten üblich sind oder aus Eurer Sicht doch zu langsam.
Viele Grüße
CHESSBASE

 

[SebiW]

Wahrscheinlich hast Du in Deiner DB eine zu kleine Startgröße eingestellt. Wenn diese überschritten wird vergrößert der SQL Server diese in den von Dir voreingestellten Schritten. Das frisst einiges an Performance.

 

[CHESSBASE]

Danke! Wird auch geprüft!

 

[Enrico W.]

Ich fürchte, dass 16.000 Kategorien schon bei einem lokalen Import nicht in wenigen Sekunden durchlaufen.
Wenn das zusätzlich über das Internet gemacht wird, wirst Du wahrscheinlich mit entsprechenden Wartezeiten rechnen müssen.

Wenn Du magst kannst Du mir Deine CSV und die Importvorlage mal zukommen lassen, dann prüfe ich den Import lokal bei mir, damit ihr einen Vergleichswert habt.

 

[CHESSBASE]

Danke für das Angebot. Das war aber jetzt der erste Durchlauf vom Onlineshop-Abgleich, als noch ohne Vorlage.
Ich komm aber auf das Angebot zurück, sobald wieder was größeres in dieser Sache ansteht.
Derzeit übe ich ja noch.