Neu Ameise Langsam? - Wie beschleunigen?

gccm.ch

Aktives Mitglied
28. Mai 2018
79
1
Hallo Zusammen

Wir bekommen von unserem Lieferanten täglich eine neue Artikel Liste. Diese ist mit ca. 130-140'000 Artikeln gefüllt.
Import mit der Ameise funktioniert Grundsätzlich sehr gut. Jedoch dauert dies ca. 8h.
Zudem bekommen wir Stündlich aktualisierte Lagerstände zu natürlich der selben Anzahl Artikel. Dies dauert im Schnitt 8-9h.
Nun unsere Frage:
Wie kann man den Import beschleunigen? Wir hatten eigentlich mit ca. 1-2h bei Artikel Import gerechnet und ca. 30 Minuten beim Lagerbestand.

Hinweis: Die Ameise wurde auf dem Server direkt sowie von einem Client ausprobiert jedoch selbes Zeit Ergebnis.
Die Import Datei war auch auf der Entsprechenden Maschine --> beim Physischen Client auf dem Client, beim Virtuellen Server auf dem Virtuellen Server.

Die Kenndaten vom Server:
Virtueller Client - Windows 10 Pro
Intel Xeon E5645 (8 Kerne Zugewiesen, auslastung ca. 30% während import)
8 GB vRAM (4.7GB benutzt während Import sonst etwas weniger)
50GB HDD (10'000 U/min) im RAID 5 - Jedoch auch mit SSD RAID selbes Ergebnis
Virtualisierung über Hyper-V auf einem Windows Server 2016 Datacenter Gerät

Was man im höchsten dem Server zuweisen könnte:
noch ca. 35 GB RAM
noch 16 Kerne
noch ca. 900 GB HDD

Ist die Variante über CMD evtl. schneller?
Dies haben wir aktuell noch nicht getestet, da wir die erhaltenen Listen aktuell noch von Hand anpassen müssen (Artikel Nr. etc.) wird jedoch in den nächsten Wochen auch automatisiert.

Wir sind für jeden Tipp Dankbar!

Vielen Dank und liebe Grüsse
 

gccm.ch

Aktives Mitglied
28. Mai 2018
79
1
Vielen Dank, nach dem import werde ich diese Variante nochmal Testen und entsprechend Rückmeldung geben.
 

gccm.ch

Aktives Mitglied
28. Mai 2018
79
1
Hi

Habe jetzt über die CMD versucht. Aber es scheint nicht wirklich schneller zu gehen.. :-/

Nachtrag:
Im "test" mode gehts ratzfatz.. ca. 15-20 Minuten und die Artikel "würden" aktualisiert.
im "production" mode geht es optisch genau so langsam voran wie in der Ameise selbst.. ok vielleicht etwas schneller bzw. es stockt nicht mehr aber läuft immer noch sehr langsam durch.

CPU Auslastung in CMD: 15-20%
RAM: 4 GB
Datenträger: 1% Antwortzeit 3ms und ca. 500 KB/s schreibrate..
Erscheint mir etwas sehr niedrig..
 
Zuletzt bearbeitet:

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.574
299
Köln
Hi,

wir haben die Ameise in Bezug auf die Artikelaktualisierung enorm beschleunigt - diese Version wird in einigen Wochen veröffentlicht. Evtl. kommst du als Tester dieser Optimierung in Frage - kontaktier uns bitte per Supportticket mit Hinweis auf diesen Forenthread - die Kollegen leiten das dann an die Wawi Entwicklung in Hückelhoven weiter und dort wird entschieden.
 

forumjtlolshopag

Sehr aktives Mitglied
6. Juni 2018
614
163
Ändern sich auch stetig die Daten? Ich würde versuchen den Import nur noch auf Daten zu reduzieren, die sich geändert haben. Dann sparst du sicher einiges an Zeit. Wenn sich alles ändert, wird es natürlich nicht viel bringen. In der Ameise selbst gibt es noch die Option "nur geänderte Daten vearbeiten" oder so ähnlich, das bringt meistens auch noch was.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
8.215
1.608
Das Thema ist mehr als ein Jahr alt. Da hat sich einiges getan. Wenn du konkrete Probleme oder Fragen hast, dann würde ich dich bitten, dass du die benennst oder stellst.
 

CHESSBASE

Aktives Mitglied
28. Februar 2020
101
10
Ich importiere gerade rund 16.000 Kategorien und habe eine 100.000er Inet-Verbindung.
Dauer ca. 46 Minuten. Was mir auffiel ist, dass die ersten 4000 Datensätze sehr schnell importiert wurden,
und dann später alles langsamer wird. Die hier vorgemachten Vorschläge werden wir sicher auch testen.
Aber ich wollte allgemein mal fragen, ob für die genannte Anzahl 45 Minuten üblich sind oder aus Eurer Sicht doch zu langsam.
Viele Grüße
CHESSBASE
 

SebiW

Sehr aktives Mitglied
2. September 2015
2.406
1.002
Wahrscheinlich hast Du in Deiner DB eine zu kleine Startgröße eingestellt. Wenn diese überschritten wird vergrößert der SQL Server diese in den von Dir voreingestellten Schritten. Das frisst einiges an Performance.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
8.215
1.608
Ich fürchte, dass 16.000 Kategorien schon bei einem lokalen Import nicht in wenigen Sekunden durchlaufen.
Wenn das zusätzlich über das Internet gemacht wird, wirst Du wahrscheinlich mit entsprechenden Wartezeiten rechnen müssen.

Wenn Du magst kannst Du mir Deine CSV und die Importvorlage mal zukommen lassen, dann prüfe ich den Import lokal bei mir, damit ihr einen Vergleichswert habt.
 

CHESSBASE

Aktives Mitglied
28. Februar 2020
101
10
Danke für das Angebot. Das war aber jetzt der erste Durchlauf vom Onlineshop-Abgleich, als noch ohne Vorlage.
Ich komm aber auf das Angebot zurück, sobald wieder was größeres in dieser Sache ansteht.
Derzeit übe ich ja noch.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu JTL Ameise Extrem Langsam im Export JTL-Ameise - Fehler und Bugs 7
Neu Nach Umstellung auf WMS Probleme mit der JTL Ameise Installation von JTL-WMS / JTL-Packtisch+ 0
Neu Ameise - Attribute importieren/aktualisieren - Mehrere Sprachen JTL-Ameise - Ideen, Lob und Kritik 1
Neu eBay Plus Angebote per Ameise steuerbar ? Eigene Übersichten in der JTL-Wawi 6
Neu Ameise - Variationskombinationen - UVP pflegen User helfen Usern - Fragen zu JTL-Wawi 0
Ameise - Auftragsimport mit mehreren Artikelpositionen JTL-Wawi 1.8 1
Neu Ameise Export Header JTL-Ameise - Fehler und Bugs 2
Neu Ameise eigener export User helfen Usern 8
Neu JTL-Ameise Kontaktdaten-Export und in Greyhound importieren plus Zuweisen User helfen Usern 1
Ameise - Export Zahlungdaten ohne Minuszahlungen ? Version 1.9.1.0 JTL-Wawi 1.8 2
Variationen per Ameise umbenennen JTL-Wawi 1.8 1
Neu Ameise Rechnungsexport nicht möglich Ungültige Steuereinstellungen JTL-Ameise - Fehler und Bugs 9
Neu Ist es möglich per Ameise Kunden zu löschen? Arbeitsabläufe in JTL-Wawi 2
Neu Sortiernummer Merkmalwert wird nicht richtig übernommen (Ameise) JTL-Wawi - Fehler und Bugs 0
Neu Geschwindigkeit der JTL Ameise JTL-Ameise - Ideen, Lob und Kritik 7
Ameise auf Client nicht erreichbar - Wawi hat zugriff auf Datenbank JTL-Wawi 1.7 2
Neu Ameise - Logikfrage zum Import von Artikeln mit und ohne Varkombis gemäß Guide User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL Ameise Import von Meta-Descriptions Schnittstellen Import / Export 6
Neu Kinderartikel per Ameise vom Vater lösen Arbeitsabläufe in JTL-Wawi 6
Neu JTL Ameise > Kaufland Attribute User helfen Usern 0
Neu Mindestabnahme / Abnahmeintervall Import mittels Ameise User helfen Usern - Fragen zu JTL-Wawi 1
SQL Abfrage via Ameise: Seriennummer u. weitere Daten JTL-Wawi 1.8 0
Neu Vaterartikel den günstigsten Preis der Kindervererben mittels Ameise und 0 ausschließen User helfen Usern - Fragen zu JTL-Wawi 0
Neu Variantenartikel mit Ameise exportieren, ändern und wieder importieren? JTL Ameise - Eigene Exporte 14
Neu JTL Ameise Bestandsabgleich pro Kategorie oder Lieferant möglich? User helfen Usern - Fragen zu JTL-Wawi 6
Neu Verkaufte Stückzahl pro Artikel über Ameise ausgeben JTL Ameise - Eigene Exporte 1
AMEISE EXPORT DATEV Schnittstelle Fehlerhaft JTL-Wawi 1.8 4
Neu Artikelname für WMS über Ameise importieren JTL-Ameise - Fehler und Bugs 6
Neu Ameise Import manuell ausgeführt funktioniert, der gleiche Import über Batch Planung gestartet hat Fehler JTL-Ameise - Fehler und Bugs 2
Neu Shop extrem langsam Betrieb / Pflege von JTL-Shop 8
Neu MS SQL 14 Express wird langsam voll. Welche Lienzen benötigen wir? Bitte um Hilfe Eigene Übersichten in der JTL-Wawi 27
Dashboard aktualisiert sich sehr langsam JTL-Wawi 1.8 7
Workflow Manuell HTML Request wie Server Antwort verarbeiten JTL-Wawi 1.7 0
Trackinglink enthält Hashtag - wie eingeben? JTL-Wawi 1.8 0
Neu Wie setzt Ihr eure Dev/Staging Umgebungen auf? Betrieb / Pflege von JTL-Shop 0
Neu Fehler: Sonderpreis falsch formatiert, wird nicht importiert; obwohl importiert genau wie exportiert User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie erstelle ich das richtige Layout für handy, Desktop etc Allgemeine Fragen zu JTL-Shop 0
Neu Wie gut ist die Datenbanksynchronisation? JTL-Wawi - Ideen, Lob und Kritik 4
Neu Wie kann ich im JTL-Shop einen Abwesenheitshinweis einstellen? Allgemeine Fragen zu JTL-Shop 1
Neu Artikelpreise Verknüpfen (ähnlich wie Stücklisten) User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie kann ich eine Inventurliste als Excel- oder csv-Datei erstellen? Gelöste Themen in diesem Bereich 3
Wie kann ich eine Benachrichtigung bei einem Wareneingang auslösen mit einer Mail über die Artikel die eingebucht wurden JTL-Wawi 1.8 2
Neu Conrad anbindung an JTL / eazy auction, aber wie? User helfen Usern - Fragen zu JTL-Wawi 4
[JTL-WAWI API] Wie funktioniert die Item-Image API? JTL-Wawi 1.8 0
Neu Wie kann ich die vergebene Coupons sehen. Welche Kunde welchen Copoun Allgemeine Fragen zu JTL-Shop 0
Neu Wie kann ich Alt-Texte für Bilder an Shopify senden? Shopify-Connector 2
Neu Wawi Artikelattribut = externer Link wie am besten darstellen beim Artikel? Allgemeine Fragen zu JTL-Shop 0
Neu Expressbearbeitung-Gebühr. Wie realisieren? Allgemeine Fragen zu JTL-Shop 1
Zusatzkosten wie Zölle JTL-Wawi 1.7 2
Neu Wie Wawi (Kundendaten) zurücksetzen User helfen Usern - Fragen zu JTL-Wawi 10

Ähnliche Themen