Neu Probleme beim Bilderimport per Ameise

[Dennis103]

Moinsen leute,

ich habe knapp 20.000 Artikel per Ameise Importiert, mit Beschreibungen u.s.w. Das dauerte knapp 1 Stunde.

Soweit sogut. Lieferantennummer ist Gepflegt.

Nun möchte ich die Bilder passend einfügen. Habe eine Datei mit Lieferantennummer;Bild1;Bild2 u.s.w.

Also sehr einfach vom Aufbau. Die Ameise legt los, braucht aber sehr sehr lange. Nach 4-5 Stunden kommt dann bei Datensatz 2.000 irgendwann nen Error und nichts geht mehr.

Hat jemand eine Idee wie ich diese Bildmenge reinkriege oder Tips um den Import zu beschleunigen anstatt das ding 3 Tage laufen zu lassen?

Auf welche Einstellungen sollte man vielleicht Verzichten um die schneller laufen zu lassen?

mfg Dennis

 

[Dennis103]

Anbei der Errorlog. Sagt mir rein 0.

 

[Enrico W.]

Kommt der Fehler immer beim gleichen Datensatz? Wenn ja, dann kürz deine CSV bitte einmal entsprechend und wende Dich vertrauensvoll an unseren technischen Support. Sende die gekürzte CSV-Datei und die Importvorlage in der Supportanfrage bitte mit.

 

[Dennis103]

Kommt der Fehler immer beim gleichen Datensatz? Wenn ja, dann kürz deine CSV bitte einmal entsprechend und wende Dich vertrauensvoll an unseren technischen Support. Sende die gekürzte CSV-Datei und die Importvorlage in der Supportanfrage bitte mit.

Nein mal kommt er bei Datensatz 100, dann bei 2500 usw. also absolut unberechenbar.

Deshalb dachte ich, ich hab einfach nur was falsch eingestellt.

Mfg Dennis

 

[tum]

Den Fehler hatte ich gestern auch, bei exakt der gleichen Aktion. Deutlich über 40.000 Artikel in der Datenbank, dann Bilder (mit bis zu 34 Bildern je Artikel in der CSV) dazu importiert.

Ich habe dann die Datenbank erstmal gesichert, dann bereinigt, dann repapriert und die Performanceoptimierung laufen lassen.

Ergebnis: der Bildimport lief durch, die Ameise war über 8 Stunden beschäftigt. Es gab nur Warnungen wenn z.B. Bild 1 bei einem Artikel schon vorhanden war.

Gruß Tom

 

[Dennis103]

Sehr komisch das ganze. Diesmal blieb er nach 4,5 Stunden stehen. Lief diesmal bis Datensatz 3347. Also jedesmal ein bisschen mehr.

Diesmal gibt es nen längeren Error Log.

 

[Dennis103]

Ich glaube ich weiß, wo die Probleme liegen.

Vor dem Bilderimport war meine Datenbank bei 500MB, jetzt, wo er abbricht, ist der Datebank bei 10,5GB also die Maximale Größe der Express Version.

Läd der JTL die Bilder in die Datenbank? Das sind doch nur Verlinkungen zum Lieferanten.

Kann da jemand mehr zu sagen ob ich damit richtig liege?

 

[Uwe Jaksties]

Ich glaube ich weiß, wo die Probleme liegen.

Vor dem Bilderimport war meine Datenbank bei 500MB, jetzt, wo er abbricht, ist der Datebank bei 10,5GB also die Maximale Größe der Express Version.

Läd der JTL die Bilder in die Datenbank? Das sind doch nur Verlinkungen zum Lieferanten.

Kann da jemand mehr zu sagen ob ich damit richtig liege?

Die Bilder werden in Deiner Datenbank gespeichert.

 

[Dennis103]

OK, dann hab ich dann schon as Problem gefunden. Der ballert die hochauflösenden Fotos vom Lieferanten alle in die Datenbank anstatt nur zu Verlinken und dadurch sind die 10GB bei 3000 Artikel schon erreicht. Dann erklärt sich mir einiges.

 

[Uwe Jaksties]

Es wäre natürlich gut, wenn der Lieferant auch kleinere Bilder anbieten würde. Du kannst die Bilder im Nachgang in der Wawi verkleinern. Das macht aber nur Sinn, wenn die Ameise auf dem Weg dahin nicht andauernd die Segel streichen muss, weil die DB-Größe überschritten wurde.

 

[Dennis103]

Der Lieferant stellt diese in 60px; 100px; 250px; 350px; und High Resolution zur Verfügung. Mit 350x350 kann ich bei eBay etc. wenig Anfangen.

 

[gnarx]

Du kannst im Modul "Artikel" die Bilder über den TAB Artikel runterrechnen lassen, dann haste genug Platz wieder. Musst halt im nächsten Import drauf achten das er bestehende nicht überschreibt.

 

[Uwe Jaksties]

Die Dateigröße ist nicht zwangsweise von der Auflösung abhängig, sondern eher davon, um welches Bildformat es sich handelt. Ich habe schon Bilddateien gesehen die über ein Gigabyte groß waren. Die lassen sich problemlos auf weniger als ein Megabyte verkleinen ohne Verlust bei der Auflösung.

 

[wortek]

Ist es dir möglich die Bilder vorher zu Bearbeiten? Dann könntest du die alle vorher durch ein Programm jagen, damit die Bilder auf eine kleinere Auflösung verkleinert und in JPG gewandelt werden, falls noch nicht der Fall. Je nach deinen Ansprüchen sollte es so möglich sein die Bilder auf grob 0,3MB zu bekommen.

 

[Dennis103]

Es sind über 20.000 Bilder, die DIREKT vom Server vom Lieferanten geholt werden. Dort lässt sich Händisch garnichts machen.

 

[wortek]

Hm das ist blöd. Ist die Frage ob sich für euch der Aufwand lohnt das runterzuladen und anzupassen. Ich denke mal eher nicht bei der menge.
Alternativ, wenn auch immer noch nicht optimal, die CSV in mehrere aufsplitten, damit ein Teil geladen wird, die Bilder dann von der Wawi verkleinert werden, und dann eben eine Liste nach der anderen importieren.
Die letzte alternative, von Express auf Standard Server zu gehen fällt wahrscheinlich raus, da recht teuer.

 

[Dennis103]

Wir werden wahrscheinlich wechseln müssen, den auf dauert kommen da noch mehr Artikel rein. Ich finde es halt Systemtechnisch blöd diese in der Datenbank zu Speichern, aber naja das ist eine Grundsatzfrage.

Heißt im Endeffekt, ich binde 2 Lieferanten an, Importiere deren Artikeldaten und Bilder und schon spuckt die WaWi, obwohl nicht ein einziger Auftrag drüber läuft.

 

[Uwe Jaksties]

Naja, nimm es mir bitte nicht übel, aber die Einschränkung liegt bei der kostenlosen(!) SQL-Express Version. Es hält Dich nichts davon ab, auf die kostenpflichtige Version zu wechseln. Dann fällt die Größenbeschränkung weg.
Und ich finde es systemtechnisch nicht blöd, dass die Bilder in der Datenbank gespeichert werden. Externe Verlinkungen fände ich nämlich ziemlich blöd.

 

[Dennis103]

Naja, die Kostenlose Express Version ist dafür gedacht zu Starten und dann Geld in die Hand zu nehmen, aber so kriege ich ja noch nichtmal das Grundsystem zum Laufen.

Ich kenne viele Verschiedene Hersteller von Warenwirtschaften, dort gibt es Bilder Ordner etc. das ist Technisch ja keine Schlechte Lösung. Extern muss nicht sein, kann ja auch nen Lokaler Ordner sein, auf ner SSD, wo ist da Technisch das Problem?

 

[tum]

Ich kenne viele Verschiedene Hersteller von Warenwirtschaften, dort gibt es Bilder Ordner etc. das ist Technisch ja keine Schlechte Lösung. Extern muss nicht sein, kann ja auch nen Lokaler Ordner sein, auf ner SSD, wo ist da Technisch das Problem?

Wie Du selbst schon geschrieben hast ist das eine Grundsatzfrage und hier ist es nun mal mit dem Import so gelöst. Auch ich kenne WaWi´s mit externen Bilddateien. Habe selbst so eine professionelle WaWi (Topk......) mit fast 100.000 Bildern (Elektro v. Großhandel). Das ist auch nicht immer einfach und selbst auf einer SSD nicht immer wirklich performat; und erst recht nicht auf virtuellen Servern.

Du kannst aber Deine Bilder (die Links hast Du ja) in eine HTML-Seite einbinden (mache ich mit Filemaker), dann die HTML-Seite im Browser öffenen und dann "Seite speichern unter..." ausführen. Dann kriegst Du die Bilder erstmal auf die Festplatte und kannst die Bilder dann ggf. manipulieren und dann in der WaWi einlesen...

...so habe ich bei aktuell über 40.000 Artikeln gesamt für über 30.000 Artikel mindestens 2 und bis zu 20 Bilder importiert. DIe Bilder sind 720 x 600 und 1000 x 1000 Pixel, alles JPG und PNG, meine WaWi Datenbank hat gerade 3,1 GB und läuft auf einem virtuellen Server 2012 durchaus performant. Der Server selbst läuft unter Hyper-V, hat 32 GB RAM und die Images liegen auf SSD-Platten mit RAID6.

Die Bilder habe ich teilweise einfach mal im Batchjob mit einer Grafiksoftware neu schreiben und dabei optimieren lassen. So konnte ich z.B. ca. 13.000 Bilder mit einem Gesamtgröße von 2 GB auf 400 MB reduzieren und im Shop selbst bei Vollbild ist das eine m.E. vollkommen ausreichende Qualität.