Gelöst Shopabgleich

[Shopworker.de]

AW: Shopabgleich

Hallo Joachim,

ich habe jetzt nicht alles in diesem Thread gelesen; wie du selber schreibst überfliegt man viel und versucht für sich die Essenz zu finden

Ich vermute du hast bisher einen alten Smartstore 5 oder 6 - Shop genutzt oder halt ein ähnlich "starres" System.
Da musst du jedesmal, wenn du Kleinigkeiten geändert hast jede Menge statische Seiten neu erzeugen und diese danch hochladen.

Hier bei der JTL-Wawi reden wir von einer Warenwirtschaft, in der alle Daten, Bilder etc. in einer Datei, in einer MSSQL-Datenbank gespeichert sind.
Das kann, wie Janusch schon schreibt, das eine Ende des Flaschenhalses sein, nämlich der SQL-Server Express von 2005 ... wenn du die Standardinstallation von der JTL-Seite genommen hast.
Da gibt es z.B. mit der 2012er Express oder sogar der Vollversion einen ordentlichen Performanceschub.
Das andere Ende des Flaschenhalses kann bzw. wird der Server mit der Shopware-Version sein, da hat Janusch auch einiges zu geschrieben.

Da ist es dann fast egal, wie schnell deine Internetverbindung ist; wenn auf beiden Seiten Flaschenhälse sind bekommst du nur schwer einen Tanker dadurch

... aber ... im Gegensatz zu deinem bisherigen System brauchst du hier die Daten im Idealfall nur 1 einziges Mal hochladen und danach dann nur noch Änderungen, ohne den Shop ganz oder in Teilen neu erstellen zu müssen.


Ich hoffe ich habe den Kern deines Problemes einigermaßen auf den Punkt gebracht und konnte vielleicht etwas Licht ins Dunkel bringen ...

 

[utuz]

AW: Shopabgleich

Richtig, SnartStore 5. Du warst ja da auch eine Zeitlang vertreten.
Ein Neuer Server ist gerade in Arbeit, von daher könnte ich von dieser Seite dieses Problem wohl lösen.
Na ja, ich hatte ja geschrieben, wenn alles soweit läuft, werde ich mit dem Shop eh umziehen auf einen schnelleren Server. Fragt sich nur, wrauf ich da schauen muss.
Die Datenbank wird dann wohl auch wieder MySQL sein, ist glaube ich Standard bei Ubuntu Systemen.

Die Vorteile von SQL Basierten Systemen sind mir durchaus bewusst.
Wollte ich immer haben, weshalb ich auch so lange bei SM geblieben bin.
Leider habe ich da sinnlos Zeit verplempert, denn das Ergebins haut mich nicht vom Hocker.

Ist mir auch klar, das man nicht dauernd komplettabgleiche macht.
Aber wenn ich bereits jetzt einen normalen Abgleich mache dauert es eben selbst bei 10 oder 20 Bildern gefühlt unerträglich lange.
Ich fühle mich da zurückgebommt in Zeiten mit Modem, bzw. ISDN.
Auf alle Fälle sehe ich da nun schon was klarer.
Zunächst mal werde ich den Server in Position bringen, als ersten Schritt und dann sehen wir mal weiter.
Gruß Joachim

 

[Handel24]

AW: Shopabgleich

Na ja, der Ton macht halt auch immer mit die Musik. Daher hatte ich bislang keine Lust, hier etwas zu schreiben...

Aber grundsätzlich kann ich den Unmut schon verstehen. Geht mir gerade auch so. Ich hänge augenblicklich an einem Erstimport und das schon seit 72 Stunden!!! und habe von 15.000 Artikeln, 100.000 Bestellungen und 22.000 Bildern gerade erst 12.500 Artikel geschafft. Also knapp 10% vom Gesamtimport - das ist wirklich ein Problem! Hinzu kommt, dass mir keine Kategorien und keine Kunden (ca. 40.000) importiert werden und aus unbekannten Gründen rund 3.000 Artikel und 18.000 Bestellungen zu wenig empfangen werden. Da bin ich jetzt etwas unruhig...

Es handelt sich hier nur um einen 2012 Express Datenbankserver (gehostet bei HostEurope), der Shop liegt auf einem Managed Server bei All inkl. Die Datenbank liegt aktuell bei 1 RAM Arbeitsspeicher, also Maximum vom Express.
Shop 5.0.2, Wawi 099972, Connector 1.08

Beste Grüße
Lars

 

[Janusch]

AW: Shopabgleich

...nur um einen 2012 Express Datenbankserver (gehostet bei HostEurope)...

Hallo,

das solltet ihr bei dem Abgleich vermeiden, das ist eine sehr starke Bremse.
Wenn möglich die DB lokal holen, Importieren/Exportieren erst dann auslagern. Oder per Remotedesktop die Wawi für den Import betreiben.

 

[Handel24]

AW: Shopabgleich

Ok, das ist mir klar und wir sind schon dabei, einen inhouse-Server zu installieren. Für den Moment zum weiteren Test wäre es halt schön, wenn wir den HostEurope-Server schon nutzen könnten.

Eine Idee, warum da die Kategorien, Kunden und viele Bestellungen und Artikel nicht empfangen werden? Wie kann ich die doch noch nachimportieren?

 

[Thomas Lisson]

AW: Shopabgleich

hi,

Eine Idee, warum da die Kategorien, Kunden und viele Bestellungen und Artikel nicht empfangen werden? Wie kann ich die doch noch nachimportieren?

Da meldet sich einer von uns noch bei Dir.

 

[Daniel B.]

AW: Shopabgleich

@Handel24: Mit "Import" meinst du das senden der Daten zur Wawi oder umgekehrt? Kommt denn ein Fehler beim Abgleich?

Lg,
Daniel

 

[Handel24]

AW: Shopabgleich

Hi Daniel,

ja wir sind noch beim intialen Erstimport vom Shop zur Wawi. Der Import dürfte in wenigen Minutendurch sein, dann kann ich ggf. nach einem Fehlerprotokoll schauen. Aktuell gibt es nur Warnungen, keine Fehler.

Kurzer Zwischenstand:
Jetzt nach 100 Stunden wurden importiert:
- Kategorien: 0/0 (obwohl es im Shop ca. 50 gibt)
- Artikel: 15.000/15.000 (obwohl im Shop 18.000)
- Kunden: 1/1 (obwohl im Shop 40.000)
- Bestellungen 0/99.000 (obwohl im Shop 117.000)
- Bilder 12.000/22.000 (läuft sehr zügig, dürfte gleich durch sein)

Ich freue mich daher auf Unterstützung, wie ich alles vom Shop in die Wawi bekomme.

Besten Dank
Lars

 

[Handel24]

AW: Shopabgleich

So, der Import ist durch. Werte wie oben schon geschrieben (sind allerdings 83.500 Kunden, die nicht importiert wurden).

Ich habe gerade gesehen, dass mein Mitarbeiter schon bei einem Demo-Mandanten mal testweise einen Import begonnen hatte und der wohl abgebrochen wurde. Hier sind alle Kategorien, aber nur anteilig Artikel (6.800), anteilig Kunden (18.000) und anteilig Bestellungen (18.000) enthalten - aber halt auch nur ein kleiner Bruchteil.

Gruß
Lars

 

[Handel24]

AW: Shopabgleich

Ich glaube tatsächlich das ist das Problem - der abgebrochene Abgleich in den Demo-Mandanten. Der Connector wurde beim richtigen Import nicht zurück gesetzt.

Somit muss also ein kompletter Neuabgleich passieren. Oh je, dass nach 100 Stunden Abgleich nun also nochmal mit noch mehr Artikeln, Bestellungen, Kategorien etc.

Na ja, nützt ja nichts. Ich werde das aber diesmal lokal einrichten, in der Hoffnung es geht schneller...

Beste Grüße
Lars

 

[Daniel B.]

AW: Shopabgleich

Mit solch großen Massen konnten wir die Synchronisierung noch nicht testen. Nicht das die Wawi in einen Timeout läuft und somit nicht alle Daten zieht.
Gerne würde ich mal den Abgleich Log und oder die Logs vom Connector sehen. Vielleicht knallen da auch SQLs.

Lg,
Daniel

 

[Handel24]

AW: Shopabgleich

Wir helfen gern mit unseren Daten. Den Connector- Log des 100-Stunden Abgleichs kann ich Dir gern senden. Es sind aber nur rund 350 Einträge drin nach folgendem Schema:

[2015-08-26 15:50:19] controller.WARNING: Order (20303) has no items [] []

Warum da im Shop sehr alte Bestellungen ohne Artikel sind, ist uns auch ein Rätsel. Das müssen vereinzelte Datenleichen sein. Mehr sagt der Log leider nicht aus. Wo finde ich den Abgleich-Log?

Ich habe eben kurz mal den Connector zurück gesetzt. Nun sollen zumindest laut Anzeige die korrekten vollständigen Werte empfangen werden:
- 2.150 Kategorien
- 18.000 Artikel
- 117.000 Bestellungen
- 85.000 Kunden
Ich habe es aber erstmal wieder abgebrochen, da ich das lieber lokal machen wollte. Das hatten wir aber auch schon getestet, leider ebenfalls nicht erfolgreich (Problem bei den Bestellungen und Kunden ==> http://forum.jtl-software.de/shopwa...n-shopware-jtl-wawi-auftraege.html#post447057)

Wie kann ich nun weiter vorgehen? Lokal den Connector zurück setzen und neu starten, trotz des in dem verlinkten Beitrag aufgetretenen Fehlers? Würde nur sehr ungern wieder Tage für den Initalen-Import zubringen.

Beste Grüße
Lars

 

[Handel24]

AW: Shopabgleich

Hab's dann jezt lokal gestartet und darf mich trotzdem wohl wieder auf ne Woche Abgleich-Laufzeit gefasst machen: Seit 4 Stunden läuft allein der Kategorie-Import und ist erst bei 1.500 - trotz lokaler Installation von Shop und Datenbank und diesmal einer MSSQL 2014 Standard (aktuell werden 2,8 GB RAM belegt)...

Hoffentlich sind dann diesmal alle Daten drin und nicht wieder lückenhaft oder doppelt - Daumen drücken...

Beste Grüße
Lars

 

[Daniel B.]

AW: Shopabgleich

Ah ok, der Fehler sagt schon mal was.

Wir haben in der aktuellen Version noch einen "Schleifenfehler" bei Bestellungen der aber in der zeitnah kommenden Version behoben wurde.

Wir holen immer Pakete ab, sagen wir mal 50 Bestellungen. Diese Bestellungen werden aus der Shopware Datenbank gezogen und dann nach und nach aufbereitet vor dem Versenden zur Wawi.
Nun haben genau diese 50 Bestellungen bei dir, keine Positionen mehr in der Shopware Datenbank (wieso auch immer). Die werden ignoriert und übersprungen. Leider werden genau 50 übersprungen und so
werden immer wieder und wieder die 50 "kaputten" Bestellungen versucht zu holen.

Mit der nächsten Version werden direkt beim rausholen der Datenbank die "kaputten" Bestellungen ignoriert, so dass es nicht mehr zu einem solchen Deadlock kommt.

 

[Janusch]

AW: Shopabgleich

Hab's dann jezt lokal gestartet und darf mich trotzdem wohl wieder auf ne Woche Abgleich-Laufzeit gefasst machen: Seit 4 Stunden läuft allein der Kategorie-Import und ist erst bei 1.500 - trotz lokaler Installation von Shop und Datenbank und diesmal einer MSSQL 2014 Standard (aktuell werden 2,8 GB RAM belegt)...

Hoffentlich sind dann diesmal alle Daten drin und nicht wieder lückenhaft oder doppelt - Daumen drücken...

Beste Grüße
Lars

Hallo,

da ist etwas faul. Es darf nicht so lange dauern.

Ich habe heute etwa vergleichbare Mengen an Kategorien / Artikeln gesendet dann war es eine Sache von 30 Min. lokal. Es waren noch 4000 Bilder dabei.
Wäre prima wenn wir uns das genauer anschauen könnten.

 

[Handel24]

AW: Shopabgleich

Hallo,

ja sehr gern. Bitte meldet Euch morgen bei mir, dann schauen wir uns das gemeinsam an.

Beste Grüße
Lars