Gelöst Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artikel)

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok scheine es wohl selber rausbekommen zu haben. Läuft jetzt. ^^

FOR %I IN (G:\Users\Benutzer\Desktop\JTLCSV\*.csv) DO "JTL-wawi-ameise.exe" -s (local)\JTLWAWI -d eazybusiness -u sa -p sa04jT14 -t IMP3 -i %I --log=bericht_%db_%y-%m-%d-%H%i%s.txt --log_errors=lerrors.txt --log_warnings=lwarnings.txt --log_imported=limported.txt --log_updated=lupdated.txt --log_other=lother.txt --csv_errors=errors.csv --csv_warnings=warnings.csv

zu früh gefreut, nach ein paar 1000 Artikel ist der Import mit der Meldung:

Process is terminated due to StackOverflowException.

abgebrochen.

Leider wurde lerrors.txt nicht erstellt

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Er springt dann zwar sofort zur nächsten .csv aber auch die bricht den Import irgendwann ab. Es lässt sich zumindest ein Muster erkennen. Immer nach ca. 15800 Zeilen stürzt die Ameise ab und es wird mit der nächsten .csv begonnen.
Hat jemand vielleicht eine Idee woran das liegen könnte ?

 

[Thomas Lisson]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Wäre gut, wenn du uns eine soclhe Datei zur Verfügung stellen könntest. Ich denke, die CSV Syntax ist kaputt

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Immer an der selben Stelle ? Die Datei habe ich mit dem CSV Splitter gesplittet und ist immer 200.000 Zeilen lang. Ab Zeile 15.800 gibt es ein StackOverflow. Ich hab mit die Zeilen angeschaut, da ist alles ok soweit. Und die Dateien lassen sich auch ohne Fehler über Excel oder Open bzw. LibreOffice öffnen. An den Zeilen wo sich die Ameise verabschiedet hat, werden alle Spalten korrent dargestellt. Als Trenner werden Tabs verwendet.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich hab das ganze mal Spaßeshalber nun in 15.000 Zeilen große .csv Dateien gesplittet, natürlich aus der selben Quelldatei. Dort läuft der Import ohne Probleme durch. Nur am Ende will er die warnings.csv in der Schleife durchlaufen, die muss ich wohl irgendwie außerhalb der schleife am Ende des durchlaufs erstellen lassen.

 

[Björn Berger]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich vermute der Abbruch liegt an der CMD Version der Ameise. Morgen früh hab ich hoffentlich nähere Infos.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok, danke für die Info. Ich denke auch das es hier ein Limit gibt, die 15.000 laufen ohne Probleme durch, ab 15.700 Zeilen gibt es ein Abbruch. Über Nacht sind nun knap 250 15.000er Dateien eingespielt worden. Bei der aktuellen Geschwindigkeit wird es wohl 7,5 Tage dauern bis alle Dateien eingespielt wurden. Und dann kommt das böse Erwachen, die Suche wird nicht funktionieren. Kann ich die Ameise parallel starten also eine zweite CMD öffnen um den Import Parallel zu machen ?

 

[Björn Berger]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hi
Die Ameise ist leider nicht darauf ausgelegt parallel zu arbeiten.
Der Abbruch nach 15000 Artikeln ist auch auf die Cmd Version der Ameise zurückzuführen, der Bug wird so schnell wie möglich behoben.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Danke für die schnelle Rückinfo. Und ja, die CMD Version der Ameise läuft ohne Probleme parallel. Leider habe ich Local keine schnelle Festplatte im Raid, dadurch verringert sich pro Ameisenimport (aktuell 3 schleifen am laufen) die Schreibgeschwindigkeit um ca. 25%. Dadurch habe ich leider nicht wirklich sehr viel gewonnen . Auf dem Server in MySQL hatte ich dadurch die Importzeit um über 50-75% reduzieren können. Es bleibt also dabei das ich wohl ca. 5-7 Tage benötigen werde um den kompletten Artikelstamm aufzubauen....

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Man mag es kaum glauben. Der Import läuft immer noch. Aktuell befinden sich 1,2 Millionen Artikel in der Wawi. Durch die Vercrossung werden es wohl nicht ganz so viele wie Gedacht, da viele Artikel einfach in mehrere Kategorien geschrieben. Das ist natürlich gut, da es dann wohl keine 30 Millionen werden, aber die Dauer des Imports ist natürlich schon ne ordentliche Hausnummer. 1500 Dateien a 15.000 Zeilen sind nun drin, und ca. 1000 Dateien a 15.000 Zeilen liegen noch vor mir... *schnauf*.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hmm aktuell befinden sich 1.3 Millionen Artikel in der Wawi und was soll ich sagen, nach ner EAN suchen hat sage und schreibe 6min gedauert. Dabei ist der SQL Prozess auf satte 1700Mb angestiegen. Hier gibt es ganz klar noch optimierungsbedarf. ^^
Ich hab den Import nun kurzzeitig gestoppt um die aktuelle Performance zu testen. Ich denke es werden so um die 2.5 Millionen Artikel sein die am Ende importiert sein. Ich hoffe ihr könnte da noch ein wenig an der Performance Schraube drehen oder uns noch ein paar Optimierungs Tips geben. Denn wir haben in JTL inzwischen ne ganze Menge Zeit und Geld investiert und können leider nicht so einfach auf ein anderes System umsteigen. Allein die Shop Lizens und kostenpflichtige Module sowie spezielle Anpassungen sind schon getätigt worden. Also Plz habt erbarmen und helft uns da ein wenig.

PS.: Ich rüste mein PC gerade auf SSD Raid bzw. M.2 SSD Module um und hoffe dadurch noch etwas Performance dazu zu gewinnen.

Gruß Gabbahead

 

[Dealux-GmbH]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Was für einen MSSQL-Server benutzt du? Das konnte ich irgendwie hier noch nicht raus lesen.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Aktuell MSSQL Server 2014 unter Windows 7 Home Premium

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Express / Vollversion?

Dabei ist der SQL Prozess auf satte 1700Mb

Da haben wir keinen Einfluß drauf, das Regelt der SQL-Server selbst für Caching usw. Bei Express ist das der Hinweis das es sehr langsam wird, wegen der Obergrenze.

Bist Du mit der Beta dran? oder der 23 Wawi?

Allein die Shop Lizens und kostenpflichtige Module sowie spezielle Anpassungen sind schon getätigt worden.

Was soll ich dazu sagen, Du hast glatt alle Hinweise auf unseren HP, Wiki und im Forum ignoriert.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Aktuell noch die Express Version. Vollversion ist/war aber in Planung, wenn das eine Performance Verbesserung bringt.
Aktuell nutze ich noch die Beta 099939 da ich die Kategoriatribute benötige.
Welche Hinweise meinst du ? Die Hinweise in diesem Thread kamen leider zu Spät, da ich da ja schon am Importieren war und alle Anpassungen schon gemacht waren.
Ansonsten hatte ich mich bei der Datenbankgröße auf den Servicepartner von euch verlassen, der uns gesagt hatte das JTL in Bezug auf die Datenbank bis zu 4TB unterstützt.
Das es hier eine Maximale Grenze von max 500.000 Artikel gibt, konnte ich bisher nirgens lesen. Hast du da vielleicht einen Link für mich ?

PS.: Nein noch kein Produktiver Einsatz, ich bereite nur schon alles vor, bin auf ein paar Funktionen der Beta wie zb. die Kategorieatribute angewiesen, da wir die in Zusammenspiel mit einem Modul eines Servicepartners von euch benötigen.

 

[Dealux-GmbH]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Die Expressversion geht bis Maximal 10GB Datenbank-Größe. Ich würde mal die Vollversion vom SQL-Server benutzten, dann sieht das alle schon ganz anders aus. Und natürlich muss der Server dann ordentlich RAM haben und eine Leistungsstarke CPU haben. Die Express-Version ist auf jeden Fall ein großer Flaschenhals in deinem Fall.

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

z.B. das hier: Softwarebeschränkungen und Grenzen ? JTLWiki

Die Express ist für diese Menge nicht ausgelegt. SQL Server 2014 Express hat max. Größe von 10GB. Und nutzt nur 1GB RAM!

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok, das habe ich dann wirklich überlesen...
Hatte mich hier auf die Infos meines Kollegen und dem Servicepartner verlassen welcher meinte das DB´s bei JTL bis zu 4TB kein Problem sind.

Welche Lizens könntest du denn da empfehlen (Standart/Web) ? Bin da mit dem Lizenssystem von MSSQL leider noch nicht so vertraut.
Gibt es hier die Möglichkeit Artikel die keine Preise enthalten aus der Suche auszuschliessen ?
Damit könnte ich ggf. die Artikelsuche auf die max. 500.000 drücken.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Reicht hier auch ggf. zum testen die Testlizens ? Sind dort die Beschränkungen entfernt ?

https://technet.microsoft.com/de-de/evalcenter/dn205290.aspx

Irgendwie sieht man bei Microsoft den Wald vor lauter Bäumen nicht. ^^

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich weiß nicht ob jmd. im Forum Dich darüber beraten kann.
Dafür sind die Investitionen zu kostspielig. Es kann an vielen Faktoren scheitern.
Es erfordert genaue Planung, da sollte jmd. mit im Boot sein der Erfahrung mit solchen großen Projekten/Datenmengen hat.

Zudem sind noch andere Faktoren zu berücksichtigen wie z.B. Aktualisierung der Preise. Es wäre fatal wenn man 1 Woche benötigt um die Preise zu aktualiseren. Da könnten sich dies bereits 2,3 mal ändern usw.
Diese müssen auch zum Webshop usw.

Gibt es hier die Möglichkeit Artikel die keine Preise enthalten aus der Suche auszuschliessen ?

Man kann da nichts auschließen. Die Artikel sind in der Datenbank die müssen durchsucht werden. Wonach gesucht wird, ist dann der Filter z.B. EAN.