Neu JTL Ameise Import "langsam"

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

Matthias M.

Neues Mitglied
12. November 2020
2
0
Hallo Liebes JTL Team,

wir befinden uns gerade in einem Test mit der JTL WaWi und möchten unsere Artikel und Bestände über die Ameise importieren, damit diese nach Amazon synchronisiert werden können.

Leider ist der Import "langsam". Aktuell befinden wir uns bei den "initial" Import. Beim Bestandsimport haben wir ca. ~420k Datensätze, die über die Ameise eingelesen werden sollen. Der Artikelstammdatenimport
ist bereits über die Windows Aufgabenplanung (Batch Aufruf) automatisiert und braucht ca. 2:30. Wenn jedoch ein anderer Import parallel läuft, hat diese Laufzeiten von über 6h.
Die Bestände und Preise habe ich nach 15h Laufzeit abgebrochen, es wurden ca. 125k von 420k Datensätze verarbeitet. Das Loglevel ist auf Warnungen und nur Fehler gestellt. Den Import hatte ich in der Ameisen UI gestartet.

Im zweiten Schritt werden wir nur noch neuere "Änderungen" der Artikelstammdaten und Bestände aus unserem ERP / Kassensystem nach JTL synchronisieren. Die Datenmengen sollten sich dann reduzieren.
Wir testen gerade den Umzug in ein MSSQL Enterprise Produktivsystem, damit die Datenbank nicht der limitierende Faktor ist.

Gibt es sonst noch "Stellschrauben", die man konfigurieren kann, damit der Import ein wenig "flotter" vonstatten geht.

Unser (aktuelles) System ist wie folgt aufgebaut:

* Windows 2012 R2 Server
* Server 4 CPU / 32 GB RAM / SSD...
* MS SQL Express 2016
* JTL Installation nach Anleitung
* JTL Version 1.5.32.1

Unsere Maßnahmen
* Umzug von SQLExpress zu SQLEnterprise
* Datenmengen Reduktion nach Initialimport
* keine Paralellimporte, alle Importe in einem Batch sequenziell

Danke für die Hilfe,
Matthias
 

Karalanta

Aktives Mitglied
18. April 2020
159
44
Nur eine kleine vorab zwischenfrage

Importiert ihr beim Initial oder auch anderen Importen Daten aus extern Quellen? Oder Bilder mit Zuordnungen etc.
Arbeit ihr mit Var-Kombis und "Hakt" es eher beim erstellen des Basis oder Vaterartikels oder der Kinder? Bei letzterem hat man ja gerne mal von Einbrüchen in der Geschwindigkeit gelesen.
AMD CPU mag wohl manchmal auch nicht. Konnte ich allerdings bisher nicht reproduzieren.
Ich hatte tatsächlich immer nur Einbrüche mit nicht so gut vorbereitetem Importmaterial. Aber bei mir war es einfach ein Lernprozess und die Quelle waren zig verschiedene und nicht ein vorhandenes ERP.
Mittlerweile habe ich Blanko Sheets und kopier mir so die Daten von den ganzen Unternehmen zusammen da jeder anders abliefert. Von nix bis sehr gut ist da alles an Daten dabei :D

Nach Migration zu einem "vollem" SQL gibt es klar ein paar Optionen die man kontrollieren kann/sollte.
Zuordnung Kerne/Threads, Optimierung der Tempfiles auf Threads, Überprüfung RAM Zuweisung etc.
Da sollte der IT'ler aber bescheid wissen oder aber einen Servicepartner ins Boot holen der auch die Verantwortung in einem Produktivsystem übernehmen kann. Ich im Forum möchte das besser nicht.
 

Matthias M.

Neues Mitglied
12. November 2020
2
0
Danke für die schnelle Antwort

Importiert ihr beim Initial oder auch anderen Importen Daten aus extern Quellen? Oder Bilder mit Zuordnungen etc.
Wir erzeugen aus unserem Quellsystem CSV Dateien. Bilder etc. werden aktuell noch nicht importier. Kann aber sicherlich noch mit dazukommen.

Arbeit ihr mit Var-Kombis und "Hakt" es eher beim erstellen des Basis oder Vaterartikels oder der Kinder? Bei letzterem hat man ja gerne mal von Einbrüchen in der Geschwindigkeit gelesen.
ja, wir arbeiten mit Var-Kombis, das sind bei uns die Kinder. Und beim Kinder-Import hakt es. Jedoch ist die Bestandsaktualisierung im Augenblick bei uns im Fokus.

AMD CPU mag wohl manchmal auch nicht. Konnte ich allerdings bisher nicht reproduzieren.
Ich hatte tatsächlich immer nur Einbrüche mit nicht so gut vorbereitetem Importmaterial. Aber bei mir war es einfach ein Lernprozess und die Quelle waren zig verschiedene und nicht ein vorhandenes ERP.

Die Importdaten liegen in einem "mundgerechten" Format vor, wir sind bei der Erzeugung flexibel da wir diese selber programmieren können. Wir befüllen nur Felder die JTL mindestens braucht und die für unsere Prozesse notwendig sind.

Mittlerweile habe ich Blanko Sheets und kopier mir so die Daten von den ganzen Unternehmen zusammen da jeder anders abliefert. Von nix bis sehr gut ist da alles an Daten dabei :D

Nach Migration zu einem "vollem" SQL gibt es klar ein paar Optionen die man kontrollieren kann/sollte.
Zuordnung Kerne/Threads, Optimierung der Tempfiles auf Threads, Überprüfung RAM Zuweisung etc.
Da sollte der IT'ler aber bescheid wissen oder aber einen Servicepartner ins Boot holen der auch die Verantwortung in einem Produktivsystem übernehmen kann. Ich im Forum möchte das besser nicht.

Unser Admin arbeitet gerade an dem Import auf das MSSQL Enterprise. Wir betreiben unsere Datenbank Inhouse für diverse Anwendungen inkl. ERP / WaWi. Leider sind die Versionen inkompatibel. Wir testen hier ggf. mit einer DB in der Azure. (in Klärung)
 

Pinkman

Sehr aktives Mitglied
14. April 2016
571
73
Die Bestände und Preise habe ich nach 15h Laufzeit abgebrochen, es wurden ca. 125k von 420k Datensätze verarbeitet.
das hört sich echt langsam an. Wir haben einen Server der nicht mal annähernd die Leistung hat wie Du. Wir aktualisieren auch täglich Preise, Bestände etc.
Gerade lief z.B. ein Import von ca. 140.000 Variationen, pro Vater kommen 4 Kinder dazu. In 2 Sekunde sind 4 Kinder angelegt.
 
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu JTL-Ameise Import "verfügbar" JTL-Ameise - Ideen, Lob und Kritik 9
Issue angelegt JTL-Ameise Konfiguration lässt sich nicht dauerhaft speichern - Absicht? JTL-Ameise - Fehler und Bugs 2
Neu JTL Ameise sehr langsam JTL-Ameise - Fehler und Bugs 2
Issue angelegt Kundendaten Kunde von Firma xy JTL Ameise User helfen Usern - Fragen zu JTL-Wawi 3
Neu Kundenimport durch JTL-Ameise und Anbindung an Shopware Shopware-Connector 2
Gelöst JTL Ameise Artikelnummer is not imported Gelöste Themen in diesem Bereich 2
Neu Newsletter Versand funktioniert nicht JTL Shop 5.0 JTL-Shop - Fehler und Bugs 1
Neu Initialer Auftragsimport eBay - kann ich sehen welche Aufträge schon verschickt wurden (ohne JTL) Einrichtung und Installation von JTL-eazyAuction 0
In Bearbeitung Sunmi Hardware nur von JTL? JTL-POS - Fragen zu Hardware 4
Neu JTL WAWI Lokaler Rechner Installation von JTL-Wawi 1
Neu Artiklezuweisung JTL -> Shopify Kategorien Shopify-Connector 9
Offen User-Unterstützung durch AR-Datenbrillen in JTL-Workbench JTL-Workbench - Ideen, Lob und Kritik 8
Neu OnPage Composer "Not found" - JTL Shop 5 Installation / Updates von JTL-Shop 3
Neu JTL shop 5 PLugin Fehlerhaft Installation / Updates von JTL-Shop 1
Neu JTL Workflow: Attribute in eine Beschreibung einsetzen Arbeitsabläufe in JTL-Wawi 2
Neu Freshdesk Widget in JTL Shop Plugins für JTL-Shop 0
Neu Shopware Syncronisiert nicht mit JTL Shopware-Connector 1
Neu JTL-Shop5 Bugs JTL-Shop - Fehler und Bugs 2
Neu Kundendatenimport in den JTL-Shop 5 Allgemeine Fragen zu JTL-Shop 1
Neu JTL Shop5 bei JTL gehostet. Nova-Template ist nicht mit Smartphone zu nutzen . welche Einstellung muss da noch gemacht werden Templates für JTL-Shop 1
Neu Firmenübernahme JTL Datenbank aus csv Dateien richtig aufsetzen Installation / Updates von JTL-Shop 0
Neu JTL Search funktioniert im 5er Shop nicht Plugins für JTL-Shop 1
Neu JTL Shop 5 - Demos? Allgemeine Fragen zu JTL-Shop 9
Neu Nach JTL Shop 5 Update nicht mehr in google zu finden ? Allgemeine Fragen zu JTL-Shop 24
Neu Verbindung von JTL-Plan&Produce mit Webshops JTL-Plan&Produce - Ideen, Lob und Kritik 2
Neu JTL-WaWi auf neuen Laptop einstellen User helfen Usern - Fragen zu JTL-Wawi 4
Neu Aufträge: zugehörige Shopware Subshop-Namen in JTL-Wawi vorhanden? Shopware-Connector 2
In Diskussion Frage wegen Umstieg zu JTL-POS Allgemeine Fragen zu JTL-POS 9
Neu Einloggen bei JTL WAWI funktioniert nicht Installation von JTL-Wawi 7
Neu JTL Shop Schriftgröße und Hintergrundfarbe User helfen Usern - Fragen zu JTL-Wawi 0
Gelöst "Artikel existiert nicht" wird in JTL-POS und JTL-WMS Mobile angezeigt Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 23
Neu Google Pagespeed motzt über die OPC Gallerie im JTL Shop 5 Allgemeine Fragen zu JTL-Shop 0
Neu JTL-Wawi löscht Produktfotos bei Varianten Artikel Shopware-Connector 0
Neu JTL-Shop 4 Variablen Newsletter Allgemeine Fragen zu JTL-Shop 0
Neu JTL-Wawi 1.5.35.2 - Erstellen von komplexen Passwörtern inkl. Sonderzeichen, wie? User helfen Usern - Fragen zu JTL-Wawi 0
Neu Mitlaufendes Header Menü in JTL Shop 5 (NOVA) Templates für JTL-Shop 2
Neu Kunden Daten Sync JTL-Wawi --> JTL Shop Allgemeine Fragen zu JTL-Shop 1
Neu Bezahlanbieter für JTL Shop 5??? Umstieg auf JTL-Shop 1
Neu JTL Shop Update 4.06 zu 5.0 Front End Internal Server Error Installation / Updates von JTL-Shop 7
Neu Einrichten Selbstabholung + kein Paypal + JTL POS Einrichtung von JTL-Shop4 1
Neu Rundungsfehler Woocommerce - JTL Wawi WooCommerce-Connector 1
Neu JTL Shop 5: JTL Google reCaptcha v2 JTL-Shop - Fehler und Bugs 0
Neu JTL Artikelübersicht Spalte: "Bestand in Amazon Angeboten" JTL-Wawi - Fehler und Bugs 0
Neu WICHTIG: Problem mit JTL-Wawi Version 1.5.37.0Problem mit JTL-Wawi Version 1.5.37.0 JTL-Wawi - Fehler und Bugs 8
Neu JTL Shop 5: Checkbox cannot link to link ID 67 JTL-Shop - Fehler und Bugs 0
Neu 16.01.2021 16:54:27 Originalmeldung Meldung: Fehler beim Erstellen der HTTP-Anforderung für https://api.jtl-shipping.de/dhl/JtlWebApi.svc. JTL-ShippingLabels - Fehler und Bugs 0
Neu Nova Template / JTL Header Plugin / Check-Out Templates für JTL-Shop 2
In Bearbeitung funktioniert Epson TM-T88IV Bon Drucker mit Łan mit JTL POS? JTL-POS - Fragen zu Hardware 1
Neu Version 1.5.37.0 von JTL-Wawi Problemen mit externen Anbindungen geführt. Die Kompatibilität ihrer Software von Drittanbieterseite ist womöglich davon User helfen Usern - Fragen zu JTL-Wawi 3
Neu JTL Exportformat Google Shopping Plugin exportiert nicht alle Produkte Plugins für JTL-Shop 2
Ähnliche Themen