Neu Wie Ebay-Abgleich beschleunigen

[TDS2018]

@gnarx
Die Optimierung durch das CfgTool brachte nichts. Die Anzeige der Prozesse ist zwar aufschlußreicht, sagt mir aber (noch) nichts aus. Was ich sehe, daß dort an mehreren Stellen mehrere Sekunden Pause ist

nach
#################### Call execution beginnt jtlCore.Classes.plattformen.calls.ebay.CallEbayBilderVersenden
3 Sekunden Pause

und hier
#################### Call execution beginnt jtlCore.Classes.plattformen.calls.ebay.CallEbayReviseItem
mit 5 Sekunden Pause

- siehe Bilder

 

[gnarx]

Okay das interpretieren kann ich auch nicht komisch dieses Bilder entpacken. Hast du mal deine Bilder in JTL (Artikel-TAB -> Bildergrößen runterrechnen lassen?
Ich gebe bei suche immer 300 ein markiere alle und lasse die denn runter rechnen (Konvertieren).

 

[gnarx]

Du hast aber schon nach dem Optimizing Tool den SQL Server neu gestartet bzw. einfach die ganze Kiste neustarten.

 

[TDS2018]

@gnarx
Ich habe den Rechner neu gestartet. Das Ergebnis ist aber wie berichtet.
Um das Umrechnen der Bildergrößen habe ich mich bislang nicht gekümmert. Ich nehme alles mit meiner Canon 70D in Large auf, da haben die 5472x3648 großen Bilder zwischen 2 und 3 GB. Ich werde mich da einarbeiten. Weißt Du noch auf die Schnelle, welche Größe ich für Ebay nehmen soll? Wenn das Proggi nämlich nicht gerade schlau in diesem Punkt ist, könnte es in der Tat jedesmal jedes dieser Bilder (und das sind bei uns bis zu 12 pro Artikel) zuerst umrechnen, bis es diese dann hochlädt...

***Edit - habe einen Post gefunden

https://forum.jtl-software.de/threads/optimale-bildgroessen-fuer-die-wawi-jtl-shop-und-ebay.113937/

Ich lasse jetzt mal alle Bilder über 200KB auf 1600x1200 herunterrechnen und komprimieren. Dann mache ich nochmal den Test und melde mich. Danke erstmal!!!

 

[TDS2018]

Wie ich schon befürchtet habe... Die Bilder waren groß, aber ich dachte, daß JTL so intelligent war, die Bilder 1x und zwar beim ersten Hochladen herunterzurechnen und zu komprimieren. Weit gefehlt, es macht es jedesmal
Die manuelle Bildkonvertierung - danke an @gnarx hat 1. dazu geführt, daß die Datenbank von 8 GB auf unter 1 GB geschrumpft ist und 2. der Abgleiche nun pro Artikel nicht 14/15 Sec. sondern nur 5 Sec. dauert. Der negative Beigeschmack ist, da JTL so clever ist, werden jetzt alle Artikel upgedatet, da ich alle Bilder habe herunterrechnen lassen. Was sich der Programmierer dabei gedacht hat, als es diese Software an die Benutzer verteilte, entzieht sich meiner Vorstellungskraft. Nehmen wir mal an, jemand hat beliebig große Bilder benutzt, für diese dann Artikel auf Ebay eingestellt und nun - wie ich - festgestellt, daß es dazu eine verstckte Funktion gibt, auf die man erst dank eines anderen Benutzers aufmerksam wird, und diese dann aktiviert, dann werden alle Artikel upgedatet also obwohl die Bilder schon 1x heruntergerechnet und in der kleineren Größe auf Ebay eingestellt wurden, werden sie nun noch einmal hochgeladen. Der Programmierer kann von Glück reden, daß er nicht im Mittelalter gelebt hat, da hat man solche Menschen an den Pranger gestellt. Ich weiß, ich werde dafür bestimmt wieder Prügel bekommen und ich bin ja selbst schuld, ich hätte Programmierer werden sollen, um es besse zu machen...

*** Edit
Nach Abgleich aller Artikel sieht es so aus: 8 Sekunden pro Artikel, heißt bei geplantem Aufkommen von 30.000 Artikeln eine Abgleichzeit von 3 Tagen. Und das gleiche Spiel, wenn irgendetwas an der Designvorlage geändert wird. Ich frage mich, ob das normal ist und wie es aussieht, wenn man den Server ins RZ stellt. Damit verabschiede ich mich in den Feiertag und wünsche allen Mitstreitern ein schönes, verlängertes Wochenende!

 

[gnarx]

Also du kannst durch Einstellung unter Admin -> Worker den Hacken bei "Abgleich Bilder und Beschreibung" raus nehmen. Wenn du nun eine Designvorlage bearbeitest kannst du selber entscheiden wie die hochgeladen wird. Beim speichern der geänderten Designvorlage sagt er dir wieviele Artikel damit Online sind und ob du die Updaten willst.
Das wird zwar seine Zeit dauern aber da er das in 200er Blöcken macht gibt es keine großen Probs und er ist halt an einem Wochenende durch. Hier ist eher der Flaschenhals ebay.

Was man aber mal feststellen muss ist das JTL die beste Software ist die es in diesem Segment gibt. Wer das nicht findet macht was falsch. Natürlich habe ich auch einiges was verbessert werden sollte aber was solls meine Kunden können mit JTL sehr viel besser und schneller, als mit anderen Softwareprodukten, arbeiten.

 

[ple]

Wie ich schon befürchtet habe... Die Bilder waren groß, aber ich dachte, daß JTL so intelligent war, die Bilder 1x und zwar beim ersten Hochladen herunterzurechnen und zu komprimieren. Weit gefehlt, es macht es jedesmal
Die manuelle Bildkonvertierung - danke an @gnarx hat 1. dazu geführt, daß die Datenbank von 8 GB auf unter 1 GB geschrumpft ist und 2. der Abgleiche nun pro Artikel nicht 14/15 Sec. sondern nur 5 Sec. dauert. Der negative Beigeschmack ist, da JTL so clever ist, werden jetzt alle Artikel upgedatet, da ich alle Bilder habe herunterrechnen lassen. Was sich der Programmierer dabei gedacht hat, als es diese Software an die Benutzer verteilte, entzieht sich meiner Vorstellungskraft. Nehmen wir mal an, jemand hat beliebig große Bilder benutzt, für diese dann Artikel auf Ebay eingestellt und nun - wie ich - festgestellt, daß es dazu eine verstckte Funktion gibt, auf die man erst dank eines anderen Benutzers aufmerksam wird, und diese dann aktiviert, dann werden alle Artikel upgedatet also obwohl die Bilder schon 1x heruntergerechnet und in der kleineren Größe auf Ebay eingestellt wurden, werden sie nun noch einmal hochgeladen. Der Programmierer kann von Glück reden, daß er nicht im Mittelalter gelebt hat, da hat man solche Menschen an den Pranger gestellt. Ich weiß, ich werde dafür bestimmt wieder Prügel bekommen und ich bin ja selbst schuld, ich hätte Programmierer werden sollen, um es besse zu machen...

*** Edit
Nach Abgleich aller Artikel sieht es so aus: 8 Sekunden pro Artikel, heißt bei geplantem Aufkommen von 30.000 Artikeln eine Abgleichzeit von 3 Tagen. Und das gleiche Spiel, wenn irgendetwas an der Designvorlage geändert wird. Ich frage mich, ob das normal ist und wie es aussieht, wenn man den Server ins RZ stellt. Damit verabschiede ich mich in den Feiertag und wünsche allen Mitstreitern ein schönes, verlängertes Wochenende!

Ich sehe, du bist immer noch bei JTL 😜
Dann kann’s ja nicht so schlecht sein.
Mal ne Frage, dein Backup ist jetzt unter 1gb? Wieviele Artikel hast du ?
Wir sind jetzt bei 700 Artikel und 250 Aufträgen und liegen bei 1,4gb beim backup. Find ich schon happig und die Bilder sind schon konvertiert auf Standard.
Ich habe irgendwie das Gefühl, das da was zumüllt.
Ansonsten dauert der Abgleich bei 700 Artikel bei Templateänderung und massenupdate ca. 30-40 min.

die 3 Tools würden mich auch mal interessieren

 

[gnarx]

Im SQL Managment Studio links auf Datenbanken -> eazybusiness rechter Mausklick auf Berichte -> Standardberichte -> Datenträgerverwendung durch oberste Tabellen kannst du genau sehen was wie viel Speicher nutzt.

 

[ple]

Besten Dank, das kannte ich noch nicht.
1,38 gb bei 874 Artikel mit jeweils 3 Bilder.
Wie groß sind eure denn so?

 

[TDS2018]

@ple
Freut mich wieder von Dir zu hören D.h. Dein Vorhaben ist geglückt, das ist gut.

JTL ist vielseitig und der Support im Forum durch Mitglieder wirklich gut. Störend finde ich, daß gewisse Vorgänge erst manuell die optimiert werden müssen, durch Optionen irgendwo im Menü versteckt, nicht sofort als solche erkennbar bzw. daß sie eine ungeheure Auswirkung auf die Wartezeit haben, was insbesondere für neue Anwender mühsam ist, herauszufinden.

Ein Hinweis im Menü Abgleich z.B. "Sie verwenden zu große Bilder, diese können Sie komprimieren" oder wie @gnarx schreibt "diese können Sie abwählen" sinnvoller, statt wie bei jedem Beenden des Programms nochmal bestätigen zu müssen, daß man das Programm auch tatsächlich beenden will.

 

[ple]

@TDS2018
Ja, unser Vorhaben wächst und wächst mit neuen Aufgaben, macht Spaß und so langsam kommt da auch was bei rum.
Ich muss auch sagen, bisher ist JTL das beste was ich testen konnte, auch was Preisleistung betrifft. Einige Macken oder nicht sinnvolle Einstellungen gibt es, aber da kann ich getrost drüber wegsehen, da auch das Forum hier mit all den Mitglieder/Moderatoren spitze ist, wenn man mal Fragen hat. Gestern noch was getestet, wie ich einen Workflow 2 Sekunden verzögert auslösen kann, weil die Daten noch nicht bereitstanden. Die Workflows und der SQL sind wirklich mächtige Werkzeuge, ohne gleich tausende € ausgeben zu müssen, weil dann wären wir erst gar nicht online gegangen.


Wie weit ist dein Projekt überhaupt? Vielleicht sollten wir mal wieder telefonieren und ein paar Ideen austauschen

Meine Frage hast du aber noch nicht beantwortet, Wieviele Artikel hast du bei dir drin bei knapp 1gb.

 

[TDS2018]

@TDS2018
Meine Frage hast du aber noch nicht beantwortet, Wieviele Artikel hast du bei dir drin bei knapp 1gb.

Habe ich auch gemerkt: ich habe 1000 Aritkel. Jeder hat zwischen 4-10 Bildern. Bis gestern waren die Originalbilder drin, da war die DB knapp 9 GB groß, jetzt nach Verkleinerung der Bilder 1 GB. Ich rufe Dich bei Gelegenheit an

 

[gnarx]

14 GB bei 158.000 Artikeln.

 

[ple]

Ok, dann hoffe ich mal, dass es bei mir nicht linear ansteigt mit mehr Artikeln.

 

[TDS2018]

Ok, dann hoffe ich mal, dass es bei mir nicht linear ansteigt mit mehr Artikeln.

Da musst Du uns verraten, wie Du den linearen Anstieg der Datenbankgröße aufgrund der Bilder verhinderst. Durch weniger Bilder, kleinere Bilder, größere Komprimierung? ))

 

[ple]

Bisher hatte ich das Gefühl, dass die Datenbank sich aufbläht mit nur ein paar Artikeln mehr. Hoffe aber noch, das die Grundinstallation schon bereits eine Größe von 0,7gb hat oder so.
Ich beobachte das mal weiter.

 

[gnarx]

Meist sind es die Bilder die die DB groß macht. Eigentlich ist auch schon 300 kb zu gross, jedenfalls auf dem Handy. Ich bin noch nicht dazu gekommen mal an Hand eines Artikels das durch zuspielen. Auch stellt sich die Frage ob man die Größe von 1600 x 1200 lässt.
Wenn ich am Wochenende dazu komme teste ich das mal durch.

 

[TDS2018]

@gnarx
Ich denke, daß Du Dir die Mühe fast sparen kannst. Es sind die Bilder. Bei mir ist die DB um das 10-fache geschrumpft und ich hatte zu dem Zeitpunkt nur 1000 Artikel. Wie groß erst muß Deine Datenbank mit 130k an Artikeln groß sein...

Was uns helfen würde, wäre die optimale größe für Ebay-Bilder zu erfahren. Ebay empfiehlt 1600x1200. Aber was ist optimal. Dann kommt noch, daß das Seitenverhältnis von 1600x1200 4:3 ist, viele profesionelle Kameras jedoch 3:2 machen, was dann z.B. 1600x1067 entspricht. An anderer Stelle im Web lese ich:

Zu den technischen Anforderungen bei eBay Produktbildern gehören:

Die Mindestgröße für Bilder bei eBay beträgt 500x500 Pixel;
Die maximale Bildgröße beträgt 9.000 x 9.000 Pixel;
Die maximale Dateigröße beträgt 12 MB.

Wird Ebay tatsächlich das Bild einer A7RIII von 7.952 × 5.304 so groß abbilden, wenn man es zuvor auf 12 MB komprimiert hat? Damit könnte man bestimmte Details besser darstellen, als mit den empfohlenen 1600...

***Edit: Ich habe gerade einen Artikel eingestellt, wo ich neben den Bildern aus einer Canon 7D Bilder einer Sony A7RIII eingefügt habe. Obwohl die Bilder aus der Sony rund doppelt so groß sind, sieht das Ergebnis auf Ebay nicht anders aus. Man könnte sich also die Mühe machen, etwas Quadratisches mit vielen Details zu fotografieren und es dann in mehreren Größen und unterschiedlichen Seitenverhältnissen einzustellen und betrachten, was Ebay daraus macht. Dann das für jeden optimale Ergebnis notieren und ab dann die Bilder in der Wawi in der richtigen Größe einfügen bzw. in der Wawi skalieren. Insofern bringen die von mir im Internet oben aufgeschnappten 9000 Pixel gar nichts.

 

[gnarx]

Wenn die Bilder zu groß (Pixel) sind heißt das auch die die Dateigröße sehr groß ist. Wenn man nun bedenkt das über 60% der Leute per Handy einkaufen und die so ein großes Bild gar nicht zu sehen bekommen, da der Download zu lange dauert und u.U. ganz abbricht (Timeout).
Ich würde mal ausprobieren ab welcher Pixelgröße man überhaupt beim Zoom einen Unterschied sieht. Im Photoshop kann ich schnell sehen ab welcher Komprimierung das Bild pixelig wird. Meist sind Bilder bei so 60% jpg Komprimierung in Ordnung.
Aber wie gesagt die Dateigöße ist auch abhängig von der Pixelanzahl. Ich denke im Normalfall kommt man mit 800 x 600 aus.

 

[TDS2018]

Das ist vom der Theorie her klar. Problem ist ein anderes. Man erstellt (aufwendig) gute Produktbilder her. Diese sollen ja nicht nur für die eine oder andere Auktion auf Ebay verwendet werden. Also beläßt man sie in Originalgröße. Idealerweise speichert man die benötigten Bilder unter dem jeweiligen Artikel in der Wawi. Daß damit die Datenbankgröße groß wird ist selbstverständlich. Nun will man den Artikel auf Ebay einstellen. Muß sich zwangsläufig entscheiden, will ich die Originalbilder behalten, dann brauche ich 3-4x längeren Upload, will ich Mickymausgröße (für Ebay ausreichend), dann skaliere ich sie runter. Beim letzteren Schritt verliere ich die Originalgröße. Will ich das nicht, muß ich sie parallel in einer zweiten Bilderdatenbank speichern. Habe somit größeren Speicherbedarf und Verwaltungsaufwand.

Hier wäre wünschenswert, daß Wawi die Bilder in der Originalgröße einstellt und im jeweiligen Artikel ausgewählt wird, wie die Bilder auf den jeweiligen Plattformen Ebay, Amazon, JTL- Shop behandelt werden: im Original hochlanden oder vorher skalieren. Ohne die Originalbilder zu verlieren, ohne den doppelten Verwaltungsaufwand der Bilder in der Wawi und anderswo. Wobei ich mir nicht sicher bin, ob das die Wawi nicht längst integriert hat und es nur nicht kommuniziert wurde.