Neu Ameise Langsam? - Wie beschleunigen?

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

gccm.ch

Aktives Mitglied
28. Mai 2018
77
1
Hallo Zusammen

Wir bekommen von unserem Lieferanten täglich eine neue Artikel Liste. Diese ist mit ca. 130-140'000 Artikeln gefüllt.
Import mit der Ameise funktioniert Grundsätzlich sehr gut. Jedoch dauert dies ca. 8h.
Zudem bekommen wir Stündlich aktualisierte Lagerstände zu natürlich der selben Anzahl Artikel. Dies dauert im Schnitt 8-9h.
Nun unsere Frage:
Wie kann man den Import beschleunigen? Wir hatten eigentlich mit ca. 1-2h bei Artikel Import gerechnet und ca. 30 Minuten beim Lagerbestand.

Hinweis: Die Ameise wurde auf dem Server direkt sowie von einem Client ausprobiert jedoch selbes Zeit Ergebnis.
Die Import Datei war auch auf der Entsprechenden Maschine --> beim Physischen Client auf dem Client, beim Virtuellen Server auf dem Virtuellen Server.

Die Kenndaten vom Server:
Virtueller Client - Windows 10 Pro
Intel Xeon E5645 (8 Kerne Zugewiesen, auslastung ca. 30% während import)
8 GB vRAM (4.7GB benutzt während Import sonst etwas weniger)
50GB HDD (10'000 U/min) im RAID 5 - Jedoch auch mit SSD RAID selbes Ergebnis
Virtualisierung über Hyper-V auf einem Windows Server 2016 Datacenter Gerät

Was man im höchsten dem Server zuweisen könnte:
noch ca. 35 GB RAM
noch 16 Kerne
noch ca. 900 GB HDD

Ist die Variante über CMD evtl. schneller?
Dies haben wir aktuell noch nicht getestet, da wir die erhaltenen Listen aktuell noch von Hand anpassen müssen (Artikel Nr. etc.) wird jedoch in den nächsten Wochen auch automatisiert.

Wir sind für jeden Tipp Dankbar!

Vielen Dank und liebe Grüsse
 

gccm.ch

Aktives Mitglied
28. Mai 2018
77
1
Vielen Dank, nach dem import werde ich diese Variante nochmal Testen und entsprechend Rückmeldung geben.
 

gccm.ch

Aktives Mitglied
28. Mai 2018
77
1
Hi

Habe jetzt über die CMD versucht. Aber es scheint nicht wirklich schneller zu gehen.. :-/

Nachtrag:
Im "test" mode gehts ratzfatz.. ca. 15-20 Minuten und die Artikel "würden" aktualisiert.
im "production" mode geht es optisch genau so langsam voran wie in der Ameise selbst.. ok vielleicht etwas schneller bzw. es stockt nicht mehr aber läuft immer noch sehr langsam durch.

CPU Auslastung in CMD: 15-20%
RAM: 4 GB
Datenträger: 1% Antwortzeit 3ms und ca. 500 KB/s schreibrate..
Erscheint mir etwas sehr niedrig..
 
Zuletzt bearbeitet:

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.535
231
Köln
Hi,

wir haben die Ameise in Bezug auf die Artikelaktualisierung enorm beschleunigt - diese Version wird in einigen Wochen veröffentlicht. Evtl. kommst du als Tester dieser Optimierung in Frage - kontaktier uns bitte per Supportticket mit Hinweis auf diesen Forenthread - die Kollegen leiten das dann an die Wawi Entwicklung in Hückelhoven weiter und dort wird entschieden.
 

forumjtlolshopag

Sehr aktives Mitglied
6. Juni 2018
282
64
Ändern sich auch stetig die Daten? Ich würde versuchen den Import nur noch auf Daten zu reduzieren, die sich geändert haben. Dann sparst du sicher einiges an Zeit. Wenn sich alles ändert, wird es natürlich nicht viel bringen. In der Ameise selbst gibt es noch die Option "nur geänderte Daten vearbeiten" oder so ähnlich, das bringt meistens auch noch was.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
4.152
541
Das Thema ist mehr als ein Jahr alt. Da hat sich einiges getan. Wenn du konkrete Probleme oder Fragen hast, dann würde ich dich bitten, dass du die benennst oder stellst.
 

CHESSBASE

Mitglied
28. Februar 2020
44
3
Ich importiere gerade rund 16.000 Kategorien und habe eine 100.000er Inet-Verbindung.
Dauer ca. 46 Minuten. Was mir auffiel ist, dass die ersten 4000 Datensätze sehr schnell importiert wurden,
und dann später alles langsamer wird. Die hier vorgemachten Vorschläge werden wir sicher auch testen.
Aber ich wollte allgemein mal fragen, ob für die genannte Anzahl 45 Minuten üblich sind oder aus Eurer Sicht doch zu langsam.
Viele Grüße
CHESSBASE
 

SebiW

Sehr aktives Mitglied
2. September 2015
1.203
303
Wahrscheinlich hast Du in Deiner DB eine zu kleine Startgröße eingestellt. Wenn diese überschritten wird vergrößert der SQL Server diese in den von Dir voreingestellten Schritten. Das frisst einiges an Performance.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
4.152
541
Ich fürchte, dass 16.000 Kategorien schon bei einem lokalen Import nicht in wenigen Sekunden durchlaufen.
Wenn das zusätzlich über das Internet gemacht wird, wirst Du wahrscheinlich mit entsprechenden Wartezeiten rechnen müssen.

Wenn Du magst kannst Du mir Deine CSV und die Importvorlage mal zukommen lassen, dann prüfe ich den Import lokal bei mir, damit ihr einen Vergleichswert habt.
 

CHESSBASE

Mitglied
28. Februar 2020
44
3
Danke für das Angebot. Das war aber jetzt der erste Durchlauf vom Onlineshop-Abgleich, als noch ohne Vorlage.
Ich komm aber auf das Angebot zurück, sobald wieder was größeres in dieser Sache ansteht.
Derzeit übe ich ja noch.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu Ameise übernimmt keine Kategorie-Attribute aus der Globalen E-Bay Vorlage, JTL WaWi 1.15.24 JTL-Ameise - Fehler und Bugs 0
Neu Meine Artikel samt eigener Attribute mit Ameise importieren Starten mit JTL: Projektabwicklung & Migration 1
Neu PROBLEM: Import durch Ameise Indiv. VK-Brutto User helfen Usern - Fragen zu JTL-Wawi 1
Neu Kundendaten Eigene Felder Ameise User helfen Usern - Fragen zu JTL-Wawi 2
Neu Aktivieren/deaktivieren von Sonderpreisen mit der Ameise User helfen Usern - Fragen zu JTL-Wawi 1
Neu eBay-Shop-Kategorie 1 in der Ameise per CSV funktioniert nicht JTL-Ameise - Fehler und Bugs 1
Neu Ausgangsrechnung Liste erstellen JTL Ameise User helfen Usern - Fragen zu JTL-Wawi 9
Neu Ameise: Staffelpreise aus Registerkarte JTL verwenden User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie lösche ich alle Attribute mit "keine preissuchmaschinen" bei allen Artikeln mit Ameise ? Schnittstellen Import / Export 0
Neu Kategorientitel & -Beschreibungen in englisch per Ameise importieren!? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Regelmäßige Betstandskorrektur über Workflow mit Ameise möglich? User helfen Usern - Fragen zu JTL-Wawi 17
In Bearbeitung Ameise Auftrags-Import (Beta) JTL-Ameise - Fehler und Bugs 2
In Bearbeitung Ameise - Artikelimport - Bricht mit Fehler sporadisch ab JTL-Wawi - Fehler und Bugs 5
Neu JTL Ameise Erscheinungsdatum Arbeitsabläufe in JTL-Wawi 1
Neu Unterkategorien bei Import per Ameise in Masse JTL-Ameise - Ideen, Lob und Kritik 1
Neu Export des aktuellen Artikelpreises im Shop per Ameise unter Berücksichtigung eventueller Sonderpreise JTL-Ameise - Ideen, Lob und Kritik 1
In Bearbeitung Bilderimport via Ameise in POS JTL-POS - Fehler und Bugs 2
Neu Export von Buchungsdaten mit Ameise so korrekt? JTL-Ameise - Fehler und Bugs 0
Gelöst Regalplatz-Typ von Regalplatz zu Klärplatz ändern via Ameise Arbeitsabläufe in JTL-WMS 6
Neu Angebote per Ameise bei eBay einstellen JTL-Ameise - Ideen, Lob und Kritik 9
Neu JTL Ameise Artikel ohne Bilder importieren JTL-Ameise - Fehler und Bugs 7
Neu Import englischsprachiger Kategorie-Metadaten per Ameise? Arbeitsabläufe in JTL-Wawi 2
Neu JTL Ameise: Kundenbewertungen aus CSV mit importieren? Benötige Hilfe JTL-Ameise - Fehler und Bugs 2
Neu Zahlungs CSV import über die Ameise User helfen Usern - Fragen zu JTL-Wawi 3
Neu nach Ameise Stückliste import - Bestand Artikel falsch - Haken Stückliste ausgeraut JTL-Wawi - Fehler und Bugs 0
Gelöst JTL-WMS Bestände hinzubuchen per Ameise JTL-WMS - Ideen, Lob und Kritik 8
Neu Ameise Import - Workflows deaktivieren JTL-Ameise - Ideen, Lob und Kritik 6
Neu Stückliste via Ameise Arbeitsabläufe in JTL-Wawi 3
Neu Ameise Import von eigenen Feldern User helfen Usern - Fragen zu JTL-Wawi 6
Neu FBA Bestand Export mit Ameise User helfen Usern - Fragen zu JTL-Wawi 1
Neu Artikelimport via Ameise Arbeitsabläufe in JTL-Wawi 4
Neu Feature: Einfache Funktionen in der Ameise beim Import sollten möglich sein! JTL-Ameise - Ideen, Lob und Kritik 6
Neu Ameise Datenimport wird nicht geändert Gelöste Themen in diesem Bereich 2
Neu Ameise mit bestimmten Benutzer starten - nun möglich? JTL-Ameise - Fehler und Bugs 6
In Bearbeitung Amazon Mehrfachlistings über JTL Ameise importieren JTL-Ameise - Ideen, Lob und Kritik 9
Offen WK CSV (ArtNr.csv) schreiben => danach direkt Ameise wieder einlesen JTL-Workflows - Ideen, Lob und Kritik 6
Neu Lagerbestände mit der JTL-Ameise importieren User helfen Usern - Fragen zu JTL-Wawi 6
Neu Unterschied Korrekturbuchung - Import mit Ameise User helfen Usern - Fragen zu JTL-Wawi 2
Neu Lagerbestand mit Ameise nur anteilig (z.B. 10% von verfügbar) exportieren JTL-Ameise - Ideen, Lob und Kritik 5
Neu Artikelanzeige in WAWI artikelimport per ameise JTL-Ameise - Ideen, Lob und Kritik 4
Neu Import Variationskombinationen über Ameise bricht ständig ab JTL-Ameise - Fehler und Bugs 1
Neu Auftragsimport Ameise - bereits vorhandene Kundennr. wird automatisch übernommen User helfen Usern 0
In Bearbeitung [WAWI-45567] Verständnisfrage Zuordnung Zubehör über Ameise JTL-Ameise - Ideen, Lob und Kritik 6
Neu Jtl ameise - alle beschreibungen von global verlinkungen entfernen JTL-Ameise - Ideen, Lob und Kritik 4
Neu Cross Selling Einstellungen bei der Ameise JTL-Ameise - Ideen, Lob und Kritik 5
Neu Kategorienamen per Ameise ändern Arbeitsabläufe in JTL-Wawi 6
Neu JTL Ameise - Kategorien importieren JTL-Ameise - Ideen, Lob und Kritik 3
Neu Frage zu Ablauf / Formular Anfragen -> Ameise Wawi Arbeitsabläufe in JTL-Wawi 0
Neu Fehlerhafte Kategorien bei CSV-Import über die Ameise JTL-Ameise - Ideen, Lob und Kritik 11
Neu Fehlermeldung beim Testlauf Artikelimport via JTL Ameise JTL-Ameise - Fehler und Bugs 1
Ähnliche Themen