Gelöst Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artikel)

[Gabbahead]

Hi, wie sollte ich am besten Vorgehen wenn ich eine sehrgroße .csv Datei einspielen möchte.

Ich habe eine 33GB große .csv Datei mit einer Artikelanzahl von ca. 32 Millonen Artikel.
Kann die Wawi überhaupt mit so einer großen Artikelanzahl umgehen und wie geht die Ameise damit um.
Oder ist es hier eher Sinnvoll das ganze direkt in die SQL Datenbank zu importieren.
Wenn ja, gibt es hierfür ggf. schon ein fertiges Script ?

Wenn ich aktuell versuche die Datei einzuspielen, bleibt die Ameise hängen, weder der Testlauf, noch der Import selber funktionieren korrekt.

 

[Thomas Lisson]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hi,

die Artikelsuche ist für so große Mengen derzeit nicht ausgelegt. Es würde zu lange dauern, in der Artikelverwaltung nach einem Artikel zu suchen. Ändert sich jedoch in diesem Jahr.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Öhm..wie jetzt....? Also kann ich mir den Import sparen ?
Selbst dann nicht wenn die Artikel in unterschiedlichen Kategorien liegen ?
Es handelt sich hierbei um Autoteile und das sind nun mal so viele.
Auf wieviel Artikel ist die Wawi denn derzeit begrenzt bzw. ohne Probleme nutzbar ?
Ich hatte eigentlich die Info das die Wawi mit solch großen Daten umgehen kann.

 

[Thomas Lisson]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hi,

ja, du kannst dir den Import sparen. Bis 0,5mio Artikel sollte alles noch gut laufen.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Also wir hatten auf jeden Fall schon mehr als 500.000 Artikel drin. Woran hapert es denn ? MSSQL kann doch locker mit über nen TB Daten umgehen.
Aktuell hängt die Ameise aber sogar schon bei einem Import von 200.000 Artikel. Dh. es kommt keine Rückmeldung, hier sollte die Speicherverwaltung definitiv überarbeitet werden. Auch hier liegt ein andere Wawi (möchte hier natürlich keine Fremdwerbung machen) leider noch vorn. Artikelimport läuft immer sauber durch, ohne hängen zu bleiben. Auch wenn der Import mal eine Stunde dauert, geht der Vortschrittsbalken ohne Probleme weiter.

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ich hatte eigentlich die Info das die Wawi mit solch großen Daten umgehen kann.

Es gibt keine Begrenzung nach oben. Jedoch sollte klar sein das man dafür geeignete Hardware benötigt.
Ob man da mit einem 4/8-CPU Enterprise Server und einer SQL Server Enterprise Version hinkommt oder es ein Cluster sein muss, sei dahin gestellt.
So etwas kann man nicht pauschal sagen.

Bei den Kosten stehen dann aber auch andere Systeme die dafür ausgelegt sind zur Auswahl.


Der andere Punkt ist, mit dieser Menge wird kein Onlineshop laufen. Externe Marktplätze fraglich.

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Also wir hatten auf jeden Fall schon mehr als 500.000 Artikel drin. Woran hapert es denn ? MSSQL kann doch locker mit über nen TB Daten umgehen.
Aktuell hängt die Ameise aber sogar schon bei einem Import von 200.000 Artikel. Dh. es kommt keine Rückmeldung, hier sollte die Speicherverwaltung definitiv überarbeitet werden. Auch hier liegt ein andere Wawi (möchte hier natürlich keine Fremdwerbung machen) leider noch vorn. Artikelimport läuft immer sauber durch, ohne hängen zu bleiben. Auch wenn der Import mal eine Stunde dauert, geht der Vortschrittsbalken ohne Probleme weiter.

Es hängt von der Komplexität der Objekte. Ein Artikel besteht aus zig Tabellen. Es muss viel (ge)join(t) werden. Hier kommt es dann auch Rechenpower.
Wenn keine Rückmeldung kommt, heißt der Hauptthread ist beschäftigt. Einfach laufen lassen.
Wenn kein Speicher etc. dann wird entspr. Meldung angzeigt.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Also die Hardware ist auf jeden Fall kein Problem. Sowohl auf dem Client bzw. der MSSQL Datenbank Seite, als auch später die MySQL Datenbank für den Shop die im Cluster laufen wird. Es werden auch nie alle 32 Millionen Artikel im Shop gelistet sein, sondern nur die für die es Lieferanten und Preise gibt. Wir bauen aber eine Autoteile Suche auf, die auch eine KBA Suche enthält. Vergleichbar mit www.kfzteile24.de. Daher wird erstmal ein gewisser Artikelstamm benötigt, welchen wir gerade aufbauen.

Das ich auf den Import bei 200.000 Zeilen nicht reagieren kann ist aber trotzdem etwas schade. Denn so kann ich weder sehen bei welcher Zeile er gerade ist, noch ob es irgendwelche Probleme beim Import gibt, auf die ich reagieren müsste. Da ich die 33GB nun in 200.000 Zeilen große .csv Dateien gesplittet habe (197 Dateien) würde das natürlich ein erheblicher Aufwand sein, wenn ich das umsonst machen würde. Ich würde mich natürlich freuen wenn es da in der Zukunft eine Überarbeitung in diesem Bereich geben würde.

Ansonsten auf jeden Fall Danke für die ganzen Info.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

So sieht das im mom aus.....

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Das mit der Ameise schauen wir uns an. Das sollte funktionieren.

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

So sieht das im mom aus.....
Den Anhang 13020 betrachten

Ja, da ist diese am arbeiten. Es ist aber noch nicht der Import, evtl. liegt es am parsen der CSV.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Na doch, sie importiert schon, da die Daten ja schon in JTL selber vorhanden sind. Leider weiß ich nun nicht wie lange der Import noch ca. dauern wird. Den Test hab ich gleich übersprungen, da es dort das selbe Problem gab. Wollte erstmal sehen wie die Daten in JTL ankommen.

 

[Janusch]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok. Schauen wir uns an. Es gibt viele Änderungen in der Bata.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ok und danke. Der Import der ersten .csv Datei ist immer noch am laufen. ^^

 

[Björn Berger]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Und das Fenster der Ameise zeigt immer noch "Keine Rückmeldung" an?

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Ja leider, und der Import läuft immer noch. Ich denke so ab 100.000 Artikel/Zeilen fängt dieses Problem an. Erinnert mich nen bissel an das alte Excel oder OpenOffice. ^^ Das kann mit solchen großen CSV Dateien auch schwer umgehen. Erst im neusten Excel ist die Speicherverwaltung besser geworden, so das es nun richtig flutscht und Änderungen fast in Echtzeit gemacht werden.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Aber noch kleiner kann ich die Dateien eigentlich nicht mehr machen, denn sonst sitze ich nen halbes Jahr dran. Wenn ich für eine Datei schon einen ganzen Tag brauche, bin ich knap 200 Tage mit dem Import beschäftigt. Darum war auch meine Frage nach einem fertigen Importscript um die Daten direkt in die MSSQL Datenbank zu importieren. Da stosse ich dann den Import einmal an und lasse es ne Woche durchlaufen. Später wird dann die Preisliste der Liferanten hinterher geworfen und alle Artile die keine Preise haben auf Inaktiv gesetzt, so sollten sie zumindest in der Artikelsuche keine Relevance mehr spielen.

 

[Thomas Lisson]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Hi,

zerstückel die Datei zur Not per Script und importier die dinger dann automatisch mit der CMD Line Ameise: CMD-Line Version von JTL-Ameise ? JTLWiki

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

@Thomas, zerstückelt habe ich sie ja schon, knapp 200 Dateien sind daraus geworden.

Aber danke für den Wink mit dem Zaunpfahl. An die CMD von der Ameise hatte ich garnicht mehr gedacht. Das erleichtert mir das ganze natürlich etwas. Hoffentlich ist darüber die Performance auch etwas besser. Werde ich mich morgen mal mit befassen, nun ist Feierabend angesagt. Danke euch für die Tips, ich halte euch auf jedenfall auf dem laufenden und berichte morgen wieder.

 

[Gabbahead]

AW: Vorgang bei sehr großer Artikelanzahl / großer CSV Datei (33GB/32 Millionen Artik

Kann mir das ggf. mal jemand anpassen ? Ich kenne die Windows syntax nicht so genau...und kann es gerade nicht testen, da die Ameis noch am laufen ist. ^^

for i in G:\Users\Benutzer\Desktop\CSV-Ordner\*.csv do(
    JTL-wawi-ameise.exe -s (local)\JTLWAWI -d eazybusiness -u sa -p sa04jT14 -t IMP3 -i "$1"
    --log=bericht_%db_%y-%m-%d-%H%i%s.txt 
    --log_errors=lerrors.txt 
    --log_warnings=lwarnings.txt 
    --log_imported=limported.txt 
    --log_updated=lupdated.txt 
    --log_other=lother.txt 
    --csv_errors=errors.csv 
    --csv_warnings=warnings.csv
)

Danke.....