Gelöst Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artikel)

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok scheine es wohl selber rausbekommen zu haben. Läuft jetzt. ^^

Code:
FOR %I IN (G:\Users\Benutzer\Desktop\JTLCSV\*.csv) DO "JTL-wawi-ameise.exe" -s (local)\JTLWAWI -d eazybusiness -u sa -p sa04jT14 -t IMP3 -i %I --log=bericht_%db_%y-%m-%d-%H%i%s.txt --log_errors=lerrors.txt --log_warnings=lwarnings.txt --log_imported=limported.txt --log_updated=lupdated.txt --log_other=lother.txt --csv_errors=errors.csv --csv_warnings=warnings.csv

zu früh gefreut, nach ein paar 1000 Artikel ist der Import mit der Meldung:

Process is terminated due to StackOverflowException.

abgebrochen.

Leider wurde lerrors.txt nicht erstellt
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Er springt dann zwar sofort zur nächsten .csv aber auch die bricht den Import irgendwann ab. Es lässt sich zumindest ein Muster erkennen. Immer nach ca. 15800 Zeilen stürzt die Ameise ab und es wird mit der nächsten .csv begonnen.
Hat jemand vielleicht eine Idee woran das liegen könnte ?
 

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.574
300
Köln
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Wäre gut, wenn du uns eine soclhe Datei zur Verfügung stellen könntest. Ich denke, die CSV Syntax ist kaputt
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Immer an der selben Stelle ? Die Datei habe ich mit dem CSV Splitter gesplittet und ist immer 200.000 Zeilen lang. Ab Zeile 15.800 gibt es ein StackOverflow. Ich hab mit die Zeilen angeschaut, da ist alles ok soweit. Und die Dateien lassen sich auch ohne Fehler über Excel oder Open bzw. LibreOffice öffnen. An den Zeilen wo sich die Ameise verabschiedet hat, werden alle Spalten korrent dargestellt. Als Trenner werden Tabs verwendet.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich hab das ganze mal Spaßeshalber nun in 15.000 Zeilen große .csv Dateien gesplittet, natürlich aus der selben Quelldatei. Dort läuft der Import ohne Probleme durch. Nur am Ende will er die warnings.csv in der Schleife durchlaufen, die muss ich wohl irgendwie außerhalb der schleife am Ende des durchlaufs erstellen lassen.
 

Björn Berger

Moderator
Mitarbeiter
30. Dezember 2013
1.098
16
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich vermute der Abbruch liegt an der CMD Version der Ameise. Morgen früh hab ich hoffentlich nähere Infos.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok, danke für die Info. Ich denke auch das es hier ein Limit gibt, die 15.000 laufen ohne Probleme durch, ab 15.700 Zeilen gibt es ein Abbruch. Über Nacht sind nun knap 250 15.000er Dateien eingespielt worden. Bei der aktuellen Geschwindigkeit wird es wohl 7,5 Tage dauern bis alle Dateien eingespielt wurden. Und dann kommt das böse Erwachen, die Suche wird nicht funktionieren. :D Kann ich die Ameise parallel starten also eine zweite CMD öffnen um den Import Parallel zu machen ?
 

Björn Berger

Moderator
Mitarbeiter
30. Dezember 2013
1.098
16
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hi
Die Ameise ist leider nicht darauf ausgelegt parallel zu arbeiten.
Der Abbruch nach 15000 Artikeln ist auch auf die Cmd Version der Ameise zurückzuführen, der Bug wird so schnell wie möglich behoben.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Danke für die schnelle Rückinfo. Und ja, die CMD Version der Ameise läuft ohne Probleme parallel. Leider habe ich Local keine schnelle Festplatte im Raid, dadurch verringert sich pro Ameisenimport (aktuell 3 schleifen am laufen) die Schreibgeschwindigkeit um ca. 25%. Dadurch habe ich leider nicht wirklich sehr viel gewonnen . Auf dem Server in MySQL hatte ich dadurch die Importzeit um über 50-75% reduzieren können. Es bleibt also dabei das ich wohl ca. 5-7 Tage benötigen werde um den kompletten Artikelstamm aufzubauen....
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Man mag es kaum glauben. Der Import läuft immer noch. Aktuell befinden sich 1,2 Millionen Artikel in der Wawi. Durch die Vercrossung werden es wohl nicht ganz so viele wie Gedacht, da viele Artikel einfach in mehrere Kategorien geschrieben. Das ist natürlich gut, da es dann wohl keine 30 Millionen werden, aber die Dauer des Imports ist natürlich schon ne ordentliche Hausnummer. :D 1500 Dateien a 15.000 Zeilen sind nun drin, und ca. 1000 Dateien a 15.000 Zeilen liegen noch vor mir... *schnauf*.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hmm aktuell befinden sich 1.3 Millionen Artikel in der Wawi und was soll ich sagen, nach ner EAN suchen hat sage und schreibe 6min gedauert. Dabei ist der SQL Prozess auf satte 1700Mb angestiegen. Hier gibt es ganz klar noch optimierungsbedarf. ^^
Ich hab den Import nun kurzzeitig gestoppt um die aktuelle Performance zu testen. Ich denke es werden so um die 2.5 Millionen Artikel sein die am Ende importiert sein. Ich hoffe ihr könnte da noch ein wenig an der Performance Schraube drehen oder uns noch ein paar Optimierungs Tips geben. Denn wir haben in JTL inzwischen ne ganze Menge Zeit und Geld investiert und können leider nicht so einfach auf ein anderes System umsteigen. Allein die Shop Lizens und kostenpflichtige Module sowie spezielle Anpassungen sind schon getätigt worden. Also Plz habt erbarmen und helft uns da ein wenig. ;)

PS.: Ich rüste mein PC gerade auf SSD Raid bzw. M.2 SSD Module um und hoffe dadurch noch etwas Performance dazu zu gewinnen.

Gruß Gabbahead
 

Dealux-GmbH

Sehr aktives Mitglied
5. März 2007
8.676
7
Düsseldorf
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Was für einen MSSQL-Server benutzt du? Das konnte ich irgendwie hier noch nicht raus lesen.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Aktuell MSSQL Server 2014 unter Windows 7 Home Premium
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Express / Vollversion?

Dabei ist der SQL Prozess auf satte 1700Mb
Da haben wir keinen Einfluß drauf, das Regelt der SQL-Server selbst für Caching usw. Bei Express ist das der Hinweis das es sehr langsam wird, wegen der Obergrenze.

Bist Du mit der Beta dran? oder der 23 Wawi?

Allein die Shop Lizens und kostenpflichtige Module sowie spezielle Anpassungen sind schon getätigt worden.
Was soll ich dazu sagen, Du hast glatt alle Hinweise auf unseren HP, Wiki und im Forum ignoriert.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Aktuell noch die Express Version. Vollversion ist/war aber in Planung, wenn das eine Performance Verbesserung bringt.
Aktuell nutze ich noch die Beta 099939 da ich die Kategoriatribute benötige.
Welche Hinweise meinst du ? Die Hinweise in diesem Thread kamen leider zu Spät, da ich da ja schon am Importieren war und alle Anpassungen schon gemacht waren.
Ansonsten hatte ich mich bei der Datenbankgröße auf den Servicepartner von euch verlassen, der uns gesagt hatte das JTL in Bezug auf die Datenbank bis zu 4TB unterstützt.
Das es hier eine Maximale Grenze von max 500.000 Artikel gibt, konnte ich bisher nirgens lesen. Hast du da vielleicht einen Link für mich ?

PS.: Nein noch kein Produktiver Einsatz, ich bereite nur schon alles vor, bin auf ein paar Funktionen der Beta wie zb. die Kategorieatribute angewiesen, da wir die in Zusammenspiel mit einem Modul eines Servicepartners von euch benötigen.
 

Dealux-GmbH

Sehr aktives Mitglied
5. März 2007
8.676
7
Düsseldorf
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Die Expressversion geht bis Maximal 10GB Datenbank-Größe. Ich würde mal die Vollversion vom SQL-Server benutzten, dann sieht das alle schon ganz anders aus. Und natürlich muss der Server dann ordentlich RAM haben und eine Leistungsstarke CPU haben. Die Express-Version ist auf jeden Fall ein großer Flaschenhals in deinem Fall.
 

Gabbahead

Aktives Mitglied
18. Februar 2015
167
1
Berlin
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok, das habe ich dann wirklich überlesen... :(
Hatte mich hier auf die Infos meines Kollegen und dem Servicepartner verlassen welcher meinte das DB´s bei JTL bis zu 4TB kein Problem sind.

Welche Lizens könntest du denn da empfehlen (Standart/Web) ? Bin da mit dem Lizenssystem von MSSQL leider noch nicht so vertraut.
Gibt es hier die Möglichkeit Artikel die keine Preise enthalten aus der Suche auszuschliessen ?
Damit könnte ich ggf. die Artikelsuche auf die max. 500.000 drücken.
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich weiß nicht ob jmd. im Forum Dich darüber beraten kann.
Dafür sind die Investitionen zu kostspielig. Es kann an vielen Faktoren scheitern.
Es erfordert genaue Planung, da sollte jmd. mit im Boot sein der Erfahrung mit solchen großen Projekten/Datenmengen hat.

Zudem sind noch andere Faktoren zu berücksichtigen wie z.B. Aktualisierung der Preise. Es wäre fatal wenn man 1 Woche benötigt um die Preise zu aktualiseren. Da könnten sich dies bereits 2,3 mal ändern usw.
Diese müssen auch zum Webshop usw.

Gibt es hier die Möglichkeit Artikel die keine Preise enthalten aus der Suche auszuschliessen ?
Man kann da nichts auschließen. Die Artikel sind in der Datenbank die müssen durchsucht werden. Wonach gesucht wird, ist dann der Filter z.B. EAN.
 
Ähnliche Themen
Titel Forum Antworten Datum
Import Fehler! Der Vorgang wurde abgebrochen! JTL-Wawi 1.10 24
Neu {{ Vorgang.Kunde.EigeneFelderAlsText }} keine Array Ausgabe Rechnungsvorlage Export XML Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 1
Neu Kommentar / Notiz einblenden lassen bei Retoure am WMS? Oder Workflow bei Retoure mit kommentiertem Auftrag? Arbeitsabläufe in JTL-WMS / JTL-Packtisch+ 0
Neu Betreff: CMD-Import überspringt Artikel bei Bestandsüberschreibung - Über den GUI-Import keine Probleme JTL-Ameise - Fehler und Bugs 2
Neu Exception bei core.connector.auth: Invalid shop url. https://XYZ.de does not point to a shopware 6 instance. Please check the Shop URL. Shopware-Connector 0
Neu Umsatzsteuer Versandkosten bei Mischwarenkorb (7% und 19% Artikel) JTL-Wawi - Fehler und Bugs 5
Probleme mit Lagerbestandsübertragung bei Otto nach Artikelnummernänderung Otto.de - Anbindung (SCX) 0
Neu Amazon Rechnung ändern bei VCS-Lite - Fehlermeldung beim Stornieren (Auftrag fehlt) Arbeitsabläufe in JTL-Wawi 4
Neu Fehler bei Abgleich WooCommerce-Connector 1
500 Internal Server Error bei Statistiken/Einstiegsseiten Einrichtung JTL-Shop5 1
Neu Nach Auftragsimport falsche Versandoption bei "Ausländern" JTL-Wawi - Fehler und Bugs 1
Keine Anmeldung möglich bei JTL WAWI JTL-Wawi 1.9 0
GLS-Retourenlabel – Fehler bei Feld 'Name1', obwohl DPD funktioniert JTL-Wawi 1.9 0
Neu Shopify Lagerbestandsabgleich einrichten (bei neuem Shop) Shopify-Connector 3
Neu Wie kann man einen Artikel auf einen bestehenden Artikel bei Amazon aufschalten? Amazon-Lister - Ideen, Lob und Kritik 2
Neu SW6: Timeout bei Artikelabfruf Einrichtung und Installation von JTL-eazyAuction 0
Neu Gutscheinzahlungen bei Retouren immer auf Gutschein zurückbuchen JTL-POS - Ideen, Lob und Kritik 0
Neu Bug - Grundpreis bei Preis mit Rabatt ist falsch JTL-Shop - Fehler und Bugs 0
Seit Update 1.10.12.0 – Keine Rechnungserstellung per Workflow bei FBA-Aufträgen JTL-Wawi 1.10 0
Neu Fehlermeldung bei Rechnungserstellung "Sie haben keinen Kunden ausgewählt" JTL-POS - Fehler und Bugs 0
Frage zu Variationsartikeln im Onlineshop ( Bei einem Kauf ) JTL-Wawi 1.9 7
Neu Auftrag: Keine E-Mail-Adresse bei Lieferadresse JTL-Wawi - Fehler und Bugs 0
Auftrag: Keine E-Mail-Adresse bei Lieferadresse JTL-Wawi 1.10 0
Neu Mehrere Bankverbindungen bei Nachnahme über DHL Versenden 3.0 User helfen Usern - Fragen zu JTL-Wawi 2
Neu Zahlungsart bei Auftragsbestätigung ausgeben User helfen Usern - Fragen zu JTL-Wawi 3
Neu Falsche Benutzerzuordnung am WMS-Packplatz bei Mitarbeiterwechsel (Remote Server) JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 0
Bei Bestellungen Lieferung an Lager ändern JTL-Wawi 1.10 2
Neu JTL Shop 5.5.1 Lieferland kann bei abweichender Lieferadresse nicht ausgewählt werden JTL-Shop - Fehler und Bugs 9
Bei Installation Exitcode 1638 - abbruch JTL-Wawi 1.10 1
Neu Falscher Lagerbestand bei Amazon Amazon-Anbindung - Fehler und Bugs 0
Neu JTL Shopify Anbindung - Falscher Bruttopreis bei 7% Artikel, Grundpreise werden nicht übermittelt Shopify-Connector 3
Neu Kundenkonto bei 2-FA Auth wiederherstellen Betrieb / Pflege von JTL-Shop 0
Neu 5.5.2: OPC Akkordeon scrollt bei Wechsel der Gruppe ganz nach oben JTL-Shop - Fehler und Bugs 0
Neu Frage zu BLINDKOPIE bei Versand User helfen Usern - Fragen zu JTL-Wawi 2
Neu unterschiedliche Versandkosten bei unterschiedlichen Umsätzen Arbeitsabläufe in JTL-Wawi 0
Neu HILFÄÄÄÄ - Gibt es hier jemand der uns helfen kann Schlussrechnungen mit ausgewiesener MwSt bei den Anzahlungen User helfen Usern - Fragen zu JTL-Wawi 32
Neu Workflow lößt bei Track & Trace nicht aus User helfen Usern - Fragen zu JTL-Wawi 1
Neu Verkauf bei Netto-Online User helfen Usern - Fragen zu JTL-Wawi 0
Neu Variantenartikel bei Ebay erweitern User helfen Usern - Fragen zu JTL-Wawi 8
Neu Probleme bei der Indexierung bei Google (Search Console) JTL-Shop - Fehler und Bugs 2
Neu Versand via Spring XBS - Eigentliche Versandart bei Auslieferung nicht bekannt, wie mit Amazon umgehen Amazon-Anbindung - Ideen, Lob und Kritik 0
Neu Keine Verbindung zur DB - Störung bei JTL? JTL-Wawi - Fehler und Bugs 12
Neu Hinweistext bei Registrierung hinzufügen Allgemeine Fragen zu JTL-Shop 4
Zahlungsabgleich weiterhin schlecht - fehlende Zuordnung bei minimal abweichendem Präfix JTL-Wawi 1.10 1
DHL Versenden 3.0 – Nachnahme bei zwei Paketen: Betrag wird nicht aufgeteilt JTL-Wawi 1.9 1
Neu Shop 5.5.1: Lieferadresse - Lieferland - bei mir leer? JTL-Shop - Fehler und Bugs 4
Neu Nach Update 5.5.0: Überall zu viele Nullen bei den Mengenangaben (1 wird als 1,0000 angezeigt) JTL-Shop - Fehler und Bugs 8
Neu JTL Shop 5.5.1 : Lieferzeit wird mit "0 Werktagen" ausgegeben, obwohl Lieferzeiten bei Versandarten hinterlegt sind JTL-Shop - Fehler und Bugs 3
Statusänderung bei Selbstabholung JTL-Wawi 1.10 2
Neu Rechnungen erstellen bei Amazon Bestellungen nicht mehr möglich Amazon-Anbindung - Fehler und Bugs 2

Ähnliche Themen