Neu JTL Ameise Import "langsam"

[Matthias M.]

Hallo Liebes JTL Team,

wir befinden uns gerade in einem Test mit der JTL WaWi und möchten unsere Artikel und Bestände über die Ameise importieren, damit diese nach Amazon synchronisiert werden können.

Leider ist der Import "langsam". Aktuell befinden wir uns bei den "initial" Import. Beim Bestandsimport haben wir ca. ~420k Datensätze, die über die Ameise eingelesen werden sollen. Der Artikelstammdatenimport
ist bereits über die Windows Aufgabenplanung (Batch Aufruf) automatisiert und braucht ca. 2:30. Wenn jedoch ein anderer Import parallel läuft, hat diese Laufzeiten von über 6h.
Die Bestände und Preise habe ich nach 15h Laufzeit abgebrochen, es wurden ca. 125k von 420k Datensätze verarbeitet. Das Loglevel ist auf Warnungen und nur Fehler gestellt. Den Import hatte ich in der Ameisen UI gestartet.

Im zweiten Schritt werden wir nur noch neuere "Änderungen" der Artikelstammdaten und Bestände aus unserem ERP / Kassensystem nach JTL synchronisieren. Die Datenmengen sollten sich dann reduzieren.
Wir testen gerade den Umzug in ein MSSQL Enterprise Produktivsystem, damit die Datenbank nicht der limitierende Faktor ist.

Gibt es sonst noch "Stellschrauben", die man konfigurieren kann, damit der Import ein wenig "flotter" vonstatten geht.

Unser (aktuelles) System ist wie folgt aufgebaut:

* Windows 2012 R2 Server
* Server 4 CPU / 32 GB RAM / SSD...
* MS SQL Express 2016
* JTL Installation nach Anleitung
* JTL Version 1.5.32.1

Unsere Maßnahmen
* Umzug von SQLExpress zu SQLEnterprise
* Datenmengen Reduktion nach Initialimport
* keine Paralellimporte, alle Importe in einem Batch sequenziell

Danke für die Hilfe,
Matthias

 

[Karalanta]

Nur eine kleine vorab zwischenfrage

Importiert ihr beim Initial oder auch anderen Importen Daten aus extern Quellen? Oder Bilder mit Zuordnungen etc.
Arbeit ihr mit Var-Kombis und "Hakt" es eher beim erstellen des Basis oder Vaterartikels oder der Kinder? Bei letzterem hat man ja gerne mal von Einbrüchen in der Geschwindigkeit gelesen.
AMD CPU mag wohl manchmal auch nicht. Konnte ich allerdings bisher nicht reproduzieren.
Ich hatte tatsächlich immer nur Einbrüche mit nicht so gut vorbereitetem Importmaterial. Aber bei mir war es einfach ein Lernprozess und die Quelle waren zig verschiedene und nicht ein vorhandenes ERP.
Mittlerweile habe ich Blanko Sheets und kopier mir so die Daten von den ganzen Unternehmen zusammen da jeder anders abliefert. Von nix bis sehr gut ist da alles an Daten dabei 😀

Nach Migration zu einem "vollem" SQL gibt es klar ein paar Optionen die man kontrollieren kann/sollte.
Zuordnung Kerne/Threads, Optimierung der Tempfiles auf Threads, Überprüfung RAM Zuweisung etc.
Da sollte der IT'ler aber bescheid wissen oder aber einen Servicepartner ins Boot holen der auch die Verantwortung in einem Produktivsystem übernehmen kann. Ich im Forum möchte das besser nicht.

 

[Matthias M.]

Danke für die schnelle Antwort

Importiert ihr beim Initial oder auch anderen Importen Daten aus extern Quellen? Oder Bilder mit Zuordnungen etc.
Wir erzeugen aus unserem Quellsystem CSV Dateien. Bilder etc. werden aktuell noch nicht importier. Kann aber sicherlich noch mit dazukommen.

Arbeit ihr mit Var-Kombis und "Hakt" es eher beim erstellen des Basis oder Vaterartikels oder der Kinder? Bei letzterem hat man ja gerne mal von Einbrüchen in der Geschwindigkeit gelesen.
ja, wir arbeiten mit Var-Kombis, das sind bei uns die Kinder. Und beim Kinder-Import hakt es. Jedoch ist die Bestandsaktualisierung im Augenblick bei uns im Fokus.

AMD CPU mag wohl manchmal auch nicht. Konnte ich allerdings bisher nicht reproduzieren.
Ich hatte tatsächlich immer nur Einbrüche mit nicht so gut vorbereitetem Importmaterial. Aber bei mir war es einfach ein Lernprozess und die Quelle waren zig verschiedene und nicht ein vorhandenes ERP.
Die Importdaten liegen in einem "mundgerechten" Format vor, wir sind bei der Erzeugung flexibel da wir diese selber programmieren können. Wir befüllen nur Felder die JTL mindestens braucht und die für unsere Prozesse notwendig sind.

Mittlerweile habe ich Blanko Sheets und kopier mir so die Daten von den ganzen Unternehmen zusammen da jeder anders abliefert. Von nix bis sehr gut ist da alles an Daten dabei 😀

Nach Migration zu einem "vollem" SQL gibt es klar ein paar Optionen die man kontrollieren kann/sollte.
Zuordnung Kerne/Threads, Optimierung der Tempfiles auf Threads, Überprüfung RAM Zuweisung etc.
Da sollte der IT'ler aber bescheid wissen oder aber einen Servicepartner ins Boot holen der auch die Verantwortung in einem Produktivsystem übernehmen kann. Ich im Forum möchte das besser nicht.
Unser Admin arbeitet gerade an dem Import auf das MSSQL Enterprise. Wir betreiben unsere Datenbank Inhouse für diverse Anwendungen inkl. ERP / WaWi. Leider sind die Versionen inkompatibel. Wir testen hier ggf. mit einer DB in der Azure. (in Klärung)

 

[Pinkman]

Die Bestände und Preise habe ich nach 15h Laufzeit abgebrochen, es wurden ca. 125k von 420k Datensätze verarbeitet.

das hört sich echt langsam an. Wir haben einen Server der nicht mal annähernd die Leistung hat wie Du. Wir aktualisieren auch täglich Preise, Bestände etc.
Gerade lief z.B. ein Import von ca. 140.000 Variationen, pro Vater kommen 4 Kinder dazu. In 2 Sekunde sind 4 Kinder angelegt.