Gelöst Shopabgleich

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
Hallo Leute,
mal nachgefragt.
Gestern war ich wegen dem Update gezwungen einen Komplettabgleich mit dem Shop zu machen, da ich ansonsten immer eine Fehlermeldung bezogen auf den Upload von Bildern erhalten habe. Nach dem Shopabgleich war das Problem beseitigt.
Was mir aber sauer aufstößt, ist die Extrem lange Abgleichszeit. 13 Stunden für 11.000 Artikel und 20.000 Bildern, ist einfach zu lange.
Was sind da die Faktoren, wie man das, vorallendingen bei den Bildern, denn die brauche 3/4 der Zeit, ändern kann?
Besteht von meiner Seite irgendeine Möglichkeit den Abgleich zu beschleunigen?
Hat da das Hosting und ggf. die Datenbank irgendeinen Einfluss drauf?
Im Moment liegt der Shop auf einem Testserver mit wenig Kapazität, bezogen auf Arbeitsspeicher und so weiter.
Gibt es dazu irgendwelche Erfahrungswerte?
Ich bitte um eine Info.
Gruß Joachim
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Hallo Leute,
kaum zu glauben, dass da niemand was zu zu sagen hat.
Es muss doch dazu Erfahrungswerte geben.
Woran kann es liegen, dass das so lange dauert?
Mit meinem bisherigen Shopsystem, ein sog. Starres System, das nicht SQL basiert arbeitet, brauche ich für den selben Vorgang, also einen kompletten Abgleich, gerade mal 3 1/2 Stunden.
Von einem SQL basiertem System hatte ich mir mehr erwartet, vorallendingen in Bezug auf bessere Performance.
Würde mich freuen, wenn hier sowas wie ein Erfahrungsaustausch möglich wäre.
Gruß Joachim
 

reddwarf

Sehr aktives Mitglied
1. Oktober 2009
1.561
5
AW: Shopabgleich

Bei uns hat der erste Abgleich mit 8200 Artikeln mehr als 4 Tage gedauert....ohne Bilder....
Das war aber noch der 1.0.6 Connector zu Shopware.
Ob das jetzt schneller geworden ist, kann ich nicht sagen. Hab dem Connector verboten, was im Shop zu ändern.
Der hat da zuviel Unfug angestellt.
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Ich habe Deine anderen Threats bezüglich des Themas gelesen. Habe das aber in einem etwas anderen Zusammenhang in Erinnerung.
Die Grundsätzlich Frage ist doch, woran liegt das? und was kann man selber ggf. ändern, damit das schneller geht?

An meiner Upload Geschwindigkeit kann es nicht liegen habe VDSL 50 mit 10 mb/s Upload. Meine bisherigen Shops gehen da ab wie Schmitz Katze.
4 Tage sind auf alle Fälle undiskutabel. Selbst 13 Std. sind nicht das was ich mir vorstelle.
was ich mir vorstellen könnte, wäre, dass es was mit dem Hosting Paket zu tun hat.

Sobald meine Testphase vorbei ist und ich soweit bin, dass ich das scharf schalten kann, ziehe ich auf einen anderen Server um, der mehr Power hat.
Fragt sich dann aber auch, was für Power man braucht?

Stellt sich eine weitere Frage, wie es denn bisher mit dem JTL Shop gelaufen ist, Also wenn dieser, statt eines Connectors mit Shopware, am abgleichen ist.
Dauert es da genauso lange?

Der Neue JTL Shop soll ja einen Performance schub erhalten, was darauf schließen lässt, dass das bisher schon relativ lahm war.
Kann das jemand bestätigen?
Gruß Joachim
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Ist doch schnurz. Tatsache ist, meine alten Shops mit gleichem Inhalt 3 1/2 Stunden für einen komplettabgleich und mit JTL und Connector 13 Stunden.
das ist undiskutabel.
Um das ggf. besser zu verdeutlichen. das erstellen dauert bei mir ca. 2:40 Stunden. Der Upload selber ca. 20 minuten (ca. 1.3 GB an Daten gezippt zu ca. 450mb) Der Rest sind kleine Nacharbeiten.
Wenn wir nun davon ausgehen, dass das nichts mit der Geschwindigkeit zu tun hat, bleibt immer noch die Frage, was kann man selber tun, was kann JTL tun.
Gruß Joachim
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Shopabgleich

Schnurz?

Wenn es mit 10MBit ~ 2 Std dauert, dann läuft es mit 2Mbit eben 10 Std!
Es hängt von der Netzauslastung.

Und was sind hier "alten Shops"?
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Alte Shops, anderer Hersteller.

Vielleicht müsste man das mal auch lesen, was ich schreibe.
Ich habe geschrieben, das die meiste Zeit, also 3/4 der 13 Std. für den Upload der Bilder draufgehen. Da wird das größte Problem drin liegen.
Und weiter habe ich geschrieben, dass der Upload meiner alten Shops gezipt für 450 mb inkl. entzippen 20 min. dauert.

Ich könnte mir vorstellen, dass es Sinn machen würde, Bilder per FTP hochzuladen und für den Abgleich dann einen Link zu dem Ordner wo die liegen.
Ist nur die Frage, wie man das imsetzen könnte, wenn doch JTL die Bilder selbst in der Datenbank ablegt.
Da ich meine Daten per Ameise einlese, könnte ich hier einen link anfertigen und diesen in die WaWi einlesen.
Nur wie würde das dann weitergehen und würde das auch den erhofften Performance Gewinn bringen?
Gruß Joachim
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Shopabgleich

Bitte ausführlicher die Sachen beschreiben. Ohne Nachfragen kann man nichts damit anfangen, da sind die Vergleiche auch für die Katz wenn man nicht weiß worum es sich dabei handelt.

Es gibt keinen Unterscheid ob die Bilder per FTP oder die Schnittstelle gehen. Es wird eine andere Ursache haben.

Ist das eine Vollversion oder Express vom SQL - Server die benutzt wird?
Wie ist die Speicherauslastung des SQL-Servers im Task Manager?
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Ja in der Regel beschreibe ich recht ausführlich. Leider führt das nicht immer zu dem gewünschten Ergebnis, weil gemeinhin nur das gelesen wird was man lesen will, bzw. nicht richtig liest. Ist realität.

Aber egal, halten wir uns nicht mit Nebensächlichkeiten auf.
Ich hatte geschrieben, das ich im Moment Shopware auf einen Test Server laufen habe. Der Arbeitsspeicher ist entsprechend mickrig. Also ist das Teil auch immer etwas mit sich selber beschäftigt.
Mir also schon klar, dass darunter die Performance leidet.
Deshalb hatte ich auch gefragt, wie der neue Dedicated Server ausgestattet sein muss um dass gegenenfalls schneller zu gestalten und ob das ggf. einen positiven Einfluss auf die Performance hat.

Sobald nämlich alles soweit ist, dass ich das scharf schalten kann, werde ich auf einen anderern Server umziehen (müssen).
Reicht schon, dass beim Aufruf des Shops das so lange rummnudelt, bis mal was angezeigt wird. Was natürlich ein Hinweis auf die schwäche vom Server ist.

Deshalb die Frage, was kann man selber tun um das Ganze zu beschleunigen.
Gruß Joachim

Nachtrag:
das ist einw MySQl Datenbank. Ich denke, das übliche, was man so in einem Hostigpaket hat. Da fehlen mir etwas die Erfahrungswerte.
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Shopabgleich

Ja in der Regel beschreibe ich recht ausführlich. Leider führt das nicht immer zu dem gewünschten Ergebnis, weil gemeinhin nur das gelesen wird was man lesen will, bzw. nicht richtig liest. Ist realität.
Das kann ich nur zurück geben!

Es bringt nichts am Webserver zu schrauben wenn der Flaschenhals die SQL-Express ist.
Deshalb auch meine Fragen oben.
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Shopabgleich

Nein, es geht um die Wawi.

Welche SQL-Server Version wird da benutzt und wie ist die Speicherauslastung wenn der Abgleich läuft.
SQL Express wird sehr langsam wenn es an die 1GB RAM Grenze kommt.
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Ah jetzt!
Die SQL Version, die mitgeliefert wird, also Express.
habe gerade mal schnell einen Abgelich gestartet.
Vielleicht hilft ja der Anhang was weiter.
Gruß Joachim
 

Anhänge

  • task manager.jpg
    task manager.jpg
    56,7 KB · Aufrufe: 27
  • task manager-2.jpg
    task manager-2.jpg
    80,5 KB · Aufrufe: 21

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Shopabgleich

Ok, dann dort auf den Reiter "Prozesse" unten "Für alle Benutzer anzeigen" aktivieren.
Danach nach sqlserv.exe suchen. Da steht der RAM Verbrauch.

Falls SQL Server Management Studio vorhanden ist, nach dem Login per Rechtsklick auf den Server klicken im Objekt-Explorer. Danach die Position "Arbeitsspeicher" und dort diesen auf 1024 MB unter "Maximaler Serverarbeitsspeicher in MB" begrenzen.
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

So sieht es aus. Einstellen musste ich da nix. Oder ich habs nicht verstanden.
Gruß Joachim
 

Anhänge

  • task manager-3.jpg
    task manager-3.jpg
    47,1 KB · Aufrufe: 25
  • task manager-4.jpg
    task manager-4.jpg
    51 KB · Aufrufe: 24

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
264
AW: Shopabgleich

Ok, das sieht gut aus.

Nachdem ein Bild übertragen wurde, berechnet der Shop die versch. Vorschaugrößen.
Ob dies so ausbremst, lässt sich nur sagen wenn man die Webserver Ressourcen kennt.

Falls alles übertragen wurde, schalte unter "Globale Einstellungen" unter "DEBUG" den Webshop- Log ein und einen Ordner mit Schriebrehcten wählen.
Danach paar Artikel mit Bildern neu übertragen. Bitte den Log dann an uns senden, dort kann man erkennen wie lange es dauert.
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Habe mal den Abgleich rüde unterbrochen. Bei dieser Gelegenheit möchte ich noch mal darauf hinweisen, dass hier beim Abgleichfenster ein Button fehlt, mit dem man einen Abgleich ggf. anhalten, stoppen, oder auch beenden kann.
Habe das dann neu gestartet und das sollte dann schon ausreichend sein um das File mit Inhalt zu generieren?
Gruß Joachim
 

Anhänge

  • Connector-Abgleich-Debug 24082015 14-23-16.zip
    43,9 KB · Aufrufe: 8

Daniel B.

Moderator
17. Juni 2009
1.430
40
AW: Shopabgleich

Alsooo,

du sagst du hast 20.000 Bilder und die sind in Summe 1,3 GB groß. Dann ist im Schnitt jedes Bild 68,16 KB groß (klein). Sind die nicht etwas klein? In welcher Auflösung liegen die Bilder vor?
Egal, du kannst einen gezippten Filetransfer von einer Datei nicht mit 20.000 HTTP Request vergleichen. Alleine der Overhead vom HTTP Protokoll, ist schon enorm.

Dann kommt hinzu, dass es durch den Webserver, hin zum Shopware muss, dann durch das komplette Routing vom Shopware, durch den Core, hin zur Pluginschnittstelle, bis der Connector endlich mal das Paket bekommt.
Dann wird es kurz verarbeitet und an die Shopwareklasse zum Speichern übergeben. Die Shopware Leute erzeugen dann noch X-fache Kopien vom Bild (Thumbnails etc.) in verschiedenen Auflösungen, speichern das auf die Platte
und schreiben dann die Infos in die Datenbank. Die komplette Info geht dann wieder zurück an die Wawi. Das dauert nunmal alles Zeit.

Wir prüfen aber gerade, ob wir nicht mehr Bilder pro Paket versenden, um somit schneller zu werden. Wenn deine erlaubte Upload Größe und Execution Time groß genug sind, könnte das so den Upload von Bildern enorm beschleunigen.
 

utuz

Gut bekanntes Mitglied
26. Juni 2008
491
15
AW: Shopabgleich

Nein, dass habe ich nicht so gesagt.
1,3 GB ist die komplette Shopgröße.
Darin sind dann neben den Artikeltexten auch die Vorschau und Detailbilder enthalten.
Wenn sich jemand die Mühe macht zu lesen, was ich mit Eröffnung dieses Threats geschrieben haben, dem erklärt sich auch den Unterschied.

Aber gut hier noch mal kurz.
Mein altes Shopsystem ist ein sogenanntes Starres Shopsystem, das nicht sql basiert arbeitet und ähnlich der Produktion eines kataloges entspricht.
Das heißt, das hier die Shopseiten, Seite für Seite Offline erstellt werden (Staging) für diesen Shop wären das ca. 43.000 Seiten die mit meinem relativ schnellen System in der Herstellung 2:40 Stunden braucht und nach Fertigstellung ins Internet transportiert wird.
Hierzu werden dann die Daten aus dem Staging Ordner in dem die 43.000 Seiten/Dateien liegen, geziped und per FTP, bzw. durch das Programm auf den Host geschoben und anschließen automatisch entziped.
Dieses Zipen, transportieren und endzippen dauert ca, 20 min.
Der Shop hat entpackt eine Größe von 1,3 GB. Geziped ca. 450 MB, was in etwa ein drittel ist.
Das wiederum bedeutet, würde der Shop ungeziped uploaded, würde das statt 20 min. eben eine Stunde dauern.
Also gemessen zu jetzt, immer noch eine ganze ecke schneller.

Die Bilder Größe im alten Shop Thumb 130 px x 130 px, Detail 300 x 300 px. in jpg.
Ob das nun als groß oder klein zu bezeichnen ist, ist für mich sekundär, denn entscheidend ist das Ausgangsmaterial an Bildern, aus denen ich beide Größen generiere.
Auch wenn ich hier Äpfel mit Birnen vergleiche, so gehören beide Systeme zur Gattung Obst.
Wenn der Vergleich zwichen Alten System und Neuem System auch hinkt, so soll damit lediglich verdeutlicht werden, dass ich mir mit dem Einsatz eines SQL basierten System erhofft habe, mehr flexibilität, schnellere Reaktionsmöglichkeit, interaktion, direkte Anbindung an einen Shop, bzw. der bidirektionale Austausch zwischen wawi und Shop zu ermöglichen, was bisher nur eingeschränkt möglich war/ist.
Davon merke ich bisher nichts.
So das mal zu alt. Alt ist bis zur Scharfschaltung des neuen Shops aktuell.


Wir sind jetzt aber bei Neu.
Neue WaWi JTL und Neuer Shop Shopware 5.
Also gilt es sich den neuen Dingen zu stellen und das alte beiseite zu legen.
Da das bisher nicht so optimal läuft, wie ich mir das vorstelle, bohre ich in dieser Wunde solange, bis die richtige Arznei gefunden wurde.
Alles geht heutzutage rasant von statten, nur die Datenbanken nicht????
Oder die Shopsoftware steht sich selber im weg?
Das kann jedenfalls nicht das optimum sein.
Was nutzen einem schnelle Internetverbindungen, schnelle Kisten, schnelle Server, wenn man als Shopbetreiber mit einem Lahmen Gaul unterwegs ist, der alles ausbremst.

Seltsamerweise wird hier mitgelesen, aber sonst nichts weiter zu gesagt.
Entweder sind die Nutzer bereits soweit abgestumpft und indoktriniert, dass Ihnen diese langen Zeiten normal erscheinen, oder in der Mehrheit Neulinge, nicht nicht wissen, wie es auch besser gehen kann.
Ich hatte mir eigentlich erhoft, das sich hier mehr beteiligt wird.
Das da Uploadzeiten Mengen von Artikeln, Warengruppen, und so weiter gepostet werden um zu sehen, wo genau der Schuh drückt.
Vielleicht ist das Shopsystem auch nicht optimal.
Das kann man nur rausfinden, wenn man parallelen ziehen kann.


Zu deiner Frage.

Hier habe ich die Bildergröße auf Thumb 200 x 200 und Detail 400 x 400px angefertigt.
Ich hatte sowas gelesen bei Shopware, wie die Bildergrößen sein sollen.
So lese ich das über die Ameise in die JTL WaWi ein.

Ist nur irgendwie schwachsinnig, wenn ich Bildergrößen vorgebe und diese dann neu skaliert werden.
Vielleich würde es ja Sinn machen, wenn man die statt px gleich in rem ausgibt.
Weis jetzt aber nicht ob das überhaupt geht.
Wenn ich das richtig verstehe wird das ja wegen dem Responsiv wohl entsprechend umgerechnet.
Bin mir da aber nicht sicher.

Shopware ist für mich totales Neuland und bin gerade dabei mich in den Urschleim dieser Software voranzutasten.
Wird eine Ganze weile brauchen, bis ich da einigermaßen durchblicke wie das Teil tickt.
Aber anderes Thema.

Abschießend stellt sich für mich immer noch die Frage, was ich tun kann um diesen Prozess zu beschleunigen.
Da ich weder die Abläufe in der waWi, noch die Abläufe in der Shopsoftware verändern kann, muss ich von meiner Seite versuchen die Beste mögliche Performance zu erreichen.
Sei es durch entsprechende Hardware, oder andere Schrauben wo man drehen kann.
Ich muss nur wissen wo.
Gruß Joachim