Neu Ameise Langsam? - Wie beschleunigen?

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

gccm.ch

Aktives Mitglied
28. Mai 2018
77
1
Hallo Zusammen

Wir bekommen von unserem Lieferanten täglich eine neue Artikel Liste. Diese ist mit ca. 130-140'000 Artikeln gefüllt.
Import mit der Ameise funktioniert Grundsätzlich sehr gut. Jedoch dauert dies ca. 8h.
Zudem bekommen wir Stündlich aktualisierte Lagerstände zu natürlich der selben Anzahl Artikel. Dies dauert im Schnitt 8-9h.
Nun unsere Frage:
Wie kann man den Import beschleunigen? Wir hatten eigentlich mit ca. 1-2h bei Artikel Import gerechnet und ca. 30 Minuten beim Lagerbestand.

Hinweis: Die Ameise wurde auf dem Server direkt sowie von einem Client ausprobiert jedoch selbes Zeit Ergebnis.
Die Import Datei war auch auf der Entsprechenden Maschine --> beim Physischen Client auf dem Client, beim Virtuellen Server auf dem Virtuellen Server.

Die Kenndaten vom Server:
Virtueller Client - Windows 10 Pro
Intel Xeon E5645 (8 Kerne Zugewiesen, auslastung ca. 30% während import)
8 GB vRAM (4.7GB benutzt während Import sonst etwas weniger)
50GB HDD (10'000 U/min) im RAID 5 - Jedoch auch mit SSD RAID selbes Ergebnis
Virtualisierung über Hyper-V auf einem Windows Server 2016 Datacenter Gerät

Was man im höchsten dem Server zuweisen könnte:
noch ca. 35 GB RAM
noch 16 Kerne
noch ca. 900 GB HDD

Ist die Variante über CMD evtl. schneller?
Dies haben wir aktuell noch nicht getestet, da wir die erhaltenen Listen aktuell noch von Hand anpassen müssen (Artikel Nr. etc.) wird jedoch in den nächsten Wochen auch automatisiert.

Wir sind für jeden Tipp Dankbar!

Vielen Dank und liebe Grüsse
 

gccm.ch

Aktives Mitglied
28. Mai 2018
77
1
Vielen Dank, nach dem import werde ich diese Variante nochmal Testen und entsprechend Rückmeldung geben.
 

gccm.ch

Aktives Mitglied
28. Mai 2018
77
1
Hi

Habe jetzt über die CMD versucht. Aber es scheint nicht wirklich schneller zu gehen.. :-/

Nachtrag:
Im "test" mode gehts ratzfatz.. ca. 15-20 Minuten und die Artikel "würden" aktualisiert.
im "production" mode geht es optisch genau so langsam voran wie in der Ameise selbst.. ok vielleicht etwas schneller bzw. es stockt nicht mehr aber läuft immer noch sehr langsam durch.

CPU Auslastung in CMD: 15-20%
RAM: 4 GB
Datenträger: 1% Antwortzeit 3ms und ca. 500 KB/s schreibrate..
Erscheint mir etwas sehr niedrig..
 
Zuletzt bearbeitet:

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.551
253
Köln
Hi,

wir haben die Ameise in Bezug auf die Artikelaktualisierung enorm beschleunigt - diese Version wird in einigen Wochen veröffentlicht. Evtl. kommst du als Tester dieser Optimierung in Frage - kontaktier uns bitte per Supportticket mit Hinweis auf diesen Forenthread - die Kollegen leiten das dann an die Wawi Entwicklung in Hückelhoven weiter und dort wird entschieden.
 

forumjtlolshopag

Sehr aktives Mitglied
6. Juni 2018
308
70
Ändern sich auch stetig die Daten? Ich würde versuchen den Import nur noch auf Daten zu reduzieren, die sich geändert haben. Dann sparst du sicher einiges an Zeit. Wenn sich alles ändert, wird es natürlich nicht viel bringen. In der Ameise selbst gibt es noch die Option "nur geänderte Daten vearbeiten" oder so ähnlich, das bringt meistens auch noch was.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
4.543
633
Das Thema ist mehr als ein Jahr alt. Da hat sich einiges getan. Wenn du konkrete Probleme oder Fragen hast, dann würde ich dich bitten, dass du die benennst oder stellst.
 

CHESSBASE

Mitglied
28. Februar 2020
94
7
Ich importiere gerade rund 16.000 Kategorien und habe eine 100.000er Inet-Verbindung.
Dauer ca. 46 Minuten. Was mir auffiel ist, dass die ersten 4000 Datensätze sehr schnell importiert wurden,
und dann später alles langsamer wird. Die hier vorgemachten Vorschläge werden wir sicher auch testen.
Aber ich wollte allgemein mal fragen, ob für die genannte Anzahl 45 Minuten üblich sind oder aus Eurer Sicht doch zu langsam.
Viele Grüße
CHESSBASE
 

SebiW

Sehr aktives Mitglied
2. September 2015
1.244
334
Wahrscheinlich hast Du in Deiner DB eine zu kleine Startgröße eingestellt. Wenn diese überschritten wird vergrößert der SQL Server diese in den von Dir voreingestellten Schritten. Das frisst einiges an Performance.
 

Enrico W.

Administrator
Mitarbeiter
27. November 2014
4.543
633
Ich fürchte, dass 16.000 Kategorien schon bei einem lokalen Import nicht in wenigen Sekunden durchlaufen.
Wenn das zusätzlich über das Internet gemacht wird, wirst Du wahrscheinlich mit entsprechenden Wartezeiten rechnen müssen.

Wenn Du magst kannst Du mir Deine CSV und die Importvorlage mal zukommen lassen, dann prüfe ich den Import lokal bei mir, damit ihr einen Vergleichswert habt.
 

CHESSBASE

Mitglied
28. Februar 2020
94
7
Danke für das Angebot. Das war aber jetzt der erste Durchlauf vom Onlineshop-Abgleich, als noch ohne Vorlage.
Ich komm aber auf das Angebot zurück, sobald wieder was größeres in dieser Sache ansteht.
Derzeit übe ich ja noch.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu Versandlager beim Rechnungsdatenexport mit JTL Ameise User helfen Usern - Fragen zu JTL-Wawi 1
Neu Ameise Import Aufträge - Firma nicht gefunden #Übergehe Datensatz# User helfen Usern - Fragen zu JTL-Wawi 2
Neu JTL Ameise Import/Export User helfen Usern - Fragen zu JTL-Wawi 4
In Bearbeitung Produkt unter weiterer Asin listen per Ameise Amazon-Anbindung - Ideen, Lob und Kritik 1
Neu Amazon-Angeboten erstellen mit der Ameise: JTL-Ameise - Ideen, Lob und Kritik 2
Neu Bildname und Alternativtext per Ameise importieren WooCommerce-Connector 2
Neu Aufstellung Verkäufe nach Bezahldatum und Lieferant - Ameise/SQL Schnittstellen Import / Export 2
Neu Feature Request: Statistiken per CMD-Ameise Exportieren JTL-Wawi - Ideen, Lob und Kritik 0
Neu JTL-Wawi 1.6 - Mit der Ameise Alles (!) exportieren... News, Events und Umfragen 4
Neu Staffelpreise mit Ameise löschen. Schnittstellen Import / Export 1
Neu Geschwindigkeit des Imports der Ameise JTL-Ameise - Ideen, Lob und Kritik 29
Neu Import Ameise Attribute Excel Tabelle User helfen Usern 0
Neu Automatisierter Vorlagen Export mit Ameise Gelöste Themen in diesem Bereich 4
Neu Wie mehrere Kategorien für 1 Produkt mit der Ameise verarbeiten Gelöste Themen in diesem Bereich 15
Neu Ameise Vorschlag JTL-Ameise - Fehler und Bugs 6
Neu Ameise - Kategorien - Texte weitere Plattformen fehlt? JTL-Ameise - Fehler und Bugs 9
Neu JTL Ameise Auswertung von JTL-POS User helfen Usern - Fragen zu JTL-Wawi 5
Neu Ameise Import Variation Gewichtsdifferenz löscht Globalen Aufpreis? JTL-Ameise - Fehler und Bugs 1
Neu Artikel mit AMEISE von einem auf den anderen Lagerplatz umlagern User helfen Usern - Fragen zu JTL-Wawi 4
Neu Ameise Export "im Zulauf" User helfen Usern - Fragen zu JTL-Wawi 5
Neu Ameise Fehler bei Hersteller Import über "Import Artikeldaten" JTL-Ameise - Fehler und Bugs 7
Neu MHD bei Lagerbestand über die Ameise nachträglich hinzufügen User helfen Usern - Fragen zu JTL-Wawi 3
Neu Datev Export Ameise: Ungültige Steuerkonfiguration bei Rechnungsnummer JTL-Wawi - Fehler und Bugs 3
Neu JTL Ameise Import Kundengruppenpreise nur teilweise JTL-Ameise - Fehler und Bugs 8
Neu Anpassung der Preise per Ameise | Indiv. VK-Brutto fehlt User helfen Usern - Fragen zu JTL-Wawi 3
Neu Ameise Warnungen - falsche Formatierung JTL-Ameise - Fehler und Bugs 1
Neu Preisimport Ameise für hood, rakuten und real User helfen Usern - Fragen zu JTL-Wawi 0
Neu Bestandsliste per Ameise importieren - Bestände enthalten 4 Bedingungen User helfen Usern - Fragen zu JTL-Wawi 1
In Bearbeitung Ameise aktualisiert nicht alle Artikel JTL-Ameise - Fehler und Bugs 1
Neu Automatisierung der JTL-Ameise Umfragen rund um JTL 23
Neu Grundsätzliches Problem mit der JTL Ameise JTL-Ameise - Fehler und Bugs 29
Neu JTL Worker stoppen für AMEISE Import (oder für DB Backup, etc) JTL-Ameise - Ideen, Lob und Kritik 4
Neu Staffelpreise per Ameise ändern / importieren User helfen Usern - Fragen zu JTL-Wawi 12
Neu Merkmal Import Ameise - Automatisch in Online Shop sichtbar User helfen Usern - Fragen zu JTL-Wawi 1
Neu JTL WAWI 1.5.25.0 Ameise zeigt nicht kompletten Artikeldaten bereich unten beim Import JTL-Ameise - Fehler und Bugs 17
Neu Ameise übernimmt keine Kategorie-Attribute aus der Globalen E-Bay Vorlage, JTL WaWi 1.15.24 JTL-Ameise - Fehler und Bugs 0
Neu Meine Artikel samt eigener Attribute mit Ameise importieren Starten mit JTL: Projektabwicklung & Migration 1
Neu PROBLEM: Import durch Ameise Indiv. VK-Brutto User helfen Usern - Fragen zu JTL-Wawi 1
Neu Kundendaten Eigene Felder Ameise User helfen Usern - Fragen zu JTL-Wawi 2
Neu Aktivieren/deaktivieren von Sonderpreisen mit der Ameise User helfen Usern - Fragen zu JTL-Wawi 3
Neu eBay-Shop-Kategorie 1 in der Ameise per CSV funktioniert nicht JTL-Ameise - Fehler und Bugs 7
Neu Ausgangsrechnung Liste erstellen JTL Ameise User helfen Usern - Fragen zu JTL-Wawi 9
Neu Ameise: Staffelpreise aus Registerkarte JTL verwenden User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie lösche ich alle Attribute mit "keine preissuchmaschinen" bei allen Artikeln mit Ameise ? JTL-Ameise - Fehler und Bugs 1
Neu DB-Zugriffe langsam User helfen Usern - Fragen zu JTL-Wawi 14
Neu WAWI DB Server langsam? Installation von JTL-Wawi 5
In Diskussion Shopabgleich - Connector Geschwindigkeit langsam? Modified eCommerce-Connector 1
Neu Artikelbilder Übertragung sehr langsam Shopware-Connector 3
Neu Email für Rechnung, wie umstetzen ? Arbeitsabläufe in JTL-Wawi 1
Neu Wie kann man eine Kundenregistrierung feststellen Arbeitsabläufe in JTL-Wawi 1
Ähnliche Themen