Gelöst JTL Connector(Modified) synchronisiert alle Kunden (ca. 30000) neu?

[steve1804]

Hallo Zusammen,

ich hoffe Ihr könnt mir helfen.

Ich habe das JTL-Wawi Update auf 1.1.4.14 durchgeführt. Beim nächsten Webshop Abgleich mit unserem modified Shop 1 hat der JTL-Connector angefangen alle ca. 30000 Kundendaten abzugleichen. Dies in einer sehr langsamen Geschwindigkeit von ca. 30 Kunden pro Stunde.
Dadurch können wir die Bestellungen nicht bearbeiten da diese erst nach den Kundendaten abgeglichen werden.
Normalerweise werden ja nur Neukunden abgeholt aber scheinbar gleicht das System alle Kunden ab.
Wiso auch immer?
Was kann ich tun um das zu beschleunigen oder zu verhindern?
Bei der jetzigen Geschwindigkeit braucht der Abgleich bestimmt 6 Wochen.
Welche Informationen braucht Ihr damit Ihr mir helfen könnt.
Vielen Dank schonmal.

Die Shop Version ist 1.06 rev 4642 SP2

 

[steve1804]

Ergänzung:

In der Connector Log Datei "golbal" steht immer auszugsweise folgende Zeile:

global.ERROR: Exception: SessionException - File: phar:///www/htdocs/w010b974/volkskunst-vitrine.de/jtlconnector/index.php/vendor/jtl/connector/src/jtl/Connector/Core/Session/Handler.php - Line: 62 [] []

In der Connector Log Datei "controller" steht immer auszugsweise folgende Zeile:

controller.WARNING: Exception 'jtl\Connector\Core\Exception\DatabaseException' (Code: 1064) with message 'You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '' at line 1' in phar:///www/htdocs/w010b974/volkskunst-vitrine.de/jtlconnector/index.php/vendor/jtl/connector/src/jtl/Connector/Core/Database/Mysql.php:327 [] []

 

[steve1804]

 

[steve1804]

Kann denn keiner helfen oder einen Tip geben? Nach nun in zwischen 56 Stunden sind wir bei Kunde 1823 angekommen..

 

[daniel.jtl]

Normalerweise zieht der Connector nur Kunden die nicht zuvor schon mal gezogen wurden.
Wenn bei jedem Abgleich alle Kunden neu übertragen werden, ist dass ein Zeichen dafür dass das auch zuvor noch nie geklappt hat.
Bitte mal Log-Dateien erstellen und gucken was in der Link-Tabelle so steht.

 

[steve1804]

Hallo Daniel,

Es wurden ja beim ersten Befüllen der Wawi alle 34000 Kunden importiert und wir haben ja auch ein viertel Jahr gearbeitet. Inzwischen legen wir alle Kunden und Aufträge per Hand an da Onlineshop-Abgleich immer noch Kunden importiert. Mehrere tausend waren es schon.
Wie kann ich die benötigten Log-Dateien erstellen?

Vielen Dank schonmal.

 

[steve1804]

 

[steve1804]

Dies ist ein aktueller Zwischenstand. Seit ca. 14 Tagen mit syncronisiert das System nun Kunden. Ich breche den Sync manchmal ab um Artikelpfelge zu betreiben, schiebe es dann aber wieder an in der Hoffnung er ist irgendwann fertig damit. Was kann ich tun damit evtl. jemand vom JTL-Support hilft? Ein Ticket dazu hatte ich schon eröffnet, wurde aber mit Verweis auf diesen Chat wieder geschlossen. Macht es Sinn den Premium Support zu kaufen?

 

[daniel.jtl]

Wenn die Anzeige sagt dass mehr Datensätze gezogen wurden als eigentlich vorhanden, dann ist vermutlich deine Mapping-Tabelle defekt.
Prüfe mal bitte wie viele Kunden du im Shop hast, und wie viele Einträge du in der jtl_connector_link Tabelle mit der Spalte type = 2 hast.

 

[steve1804]

Hallo Daniel,

es sind in der JTL_Connector Link Tabelle habe ich 34699 Einträge mit type = 2 , in der JTL WAWI sind es 34149 Kunden(inkl. Ebay und Amazon Kunden)und im Shop sind es 21183 Kunden.

 

[steve1804]

Nun habe ich festgestellt das wir in der JTL_Connector Link Tabelle 22125 Einträge habe in der die EndpointID = 0 ist. Das sollte doch eigentlich nicht sein oder?

Davon haben 14439 den type 2 und 7686 type 16

Hilft das eventuell weiter?

 

[daniel.jtl]

Nun habe ich festgestellt das wir in der JTL_Connector Link Tabelle 22125 Einträge habe in der die EndpointID = 0 ist. Das sollte doch eigentlich nicht sein oder?

Nein, in der Tat, das sollte nicht sein. Das würde erklären warum der Connector immer weiter Daten zieht. Die Joins auf die Link-Tabelle schlagen aufgrund der 0er ID fehl, und der Connector geht dann davon aus dass er die Daten neu übertragen muss. Sofern dann auch wieder Link-Einträge gespeichert werden die 0 sind, hängt man quasi in einer Endlos-Schleife.

Lösche die 0er Einträge bitte mal und schalte das Developer-Logging ein (siehe https://guide.jtl-software.de/jtl/Kategorie:JTL-Connector:FAQ#).
Wenn der Fehler beim nächsten Abgleich dann wieder auftritt, guck mal ob im Log-Ordner des Connectors eine database... Datei liegt. Wenn ja, mir die mal bitte schicken.

 

[steve1804]

Hallo Daniel,
ich habe die 0 Einträge in der Spalte Endpoint ID gelöscht und den Abgleich wieder angeschoben Wieder fängt er an mehr Kunden zu sync als wahrscheinlich erforderlich. Die Connector Logdatei ist hier im Anhang.
Im Log Verzeichnis des Connectors ist keine Database. Momentan sind wir bei 15/3 Kunden. In die JTL_Connector_Link Tabelle in Spalte Endpoint schreibt er zumindest aber kein Wert 0.

 

[steve1804]

Wäre das noch notwendig gewesen?

3. (Optional) Endpoint-Logs erstellen lassen

• Stellen Sie dazu im Webserver folgendes ein: SetEnv APPLICATION_ENV development.

Wie mache ich das?

 

[daniel.jtl]

Richtig Steve, die Endpoint-Logs wären noch interessant gewesen.
Kann aber zumindest so schon mal sagen, dass bei diesem Abgleich der Kunde "Tobias Zimmer" das Problem ist.
Der hat offenbar aus irgendwelchen Gründen keine korrekte ID im Shop, weswegen der Connector keine korrekten Mappings anlegen kann, und diesen Kunden dann ununterbrochen neu zieht.

 

[steve1804]

Hallo Daniel,

DANKE für den Hinweis. Ich habe diesen Kunde nun in der Shop Datenbank in allen Tabellen gelöscht und auch in der JTL WAWI. Der Abgleich fuktioniert nun wieder.
Ich habe einiges dazu gelernt.

Damit ist dieses Problem gelöst und kann geschlossen werden.

Eventuell kannst du noch eine Frage beantworten? Der Abgleich mit dem Modified Shop dauert sehr lang. Bis die ersten Daten übertragen werden vergehen 5 min ohne das was passiert und dann braucht das Abholen von 5 Kunden ca. 10 min.

Liegt das an der Performance des Webservers/Webspace oder am Speicher für die Datenbank (256MB) oder gibt es eine Möglichkeit dies zu beschleunigen. Kann man im Connector Log noch andere Probleme erkennen.

Wir haben noch einen JTL-Shop angebunden, dort dauert der Abgleich nur Sekunden.

Danke dir schonmal.

 

[testjo]

Frage / TIP an Daniel.

Da nicht jeden die "alte Kunden und/oder Bestellungen von Webshop im wawi braucht.

Kan man im connector nicht ein Konfig einbauen für initial abgleich, wo man den Kundenid einstellen kan so auch Auftragid ab welcher man es im WAWI haben möchte.

Danach ( MIT WAWI anbindung) wen bestehende WebshopKunden bestellen erst dan dieser auch bestehen Kunde hinein holen.
So auch ( nur vielleicht) mit alte nicht mehr wirklich benutze Kategorien und oder Artikel.

Weil wen den SHOPDB ziemlich voll ist und man möchte aus welche grund dan auch dieser nicht aufraümen ist man das lange .... mit so ein workaround los.
Problem was dan zu beachten bleibt sind inkonsistenz die wo man also vorab auf testen soll, nicht dass später ein Alte shop Kunde neu besteld und dan doch etwas nicht in ordnung is mit zuweisung.

Lass die enstscheidung mit warning im Anleitung an den Webshopbetreiber, weil ist noch einiges Beta dan könnte man so etwas doch auch noch mitnehmen und real testen ob es brauchbar sein könnte ?????

 

[daniel.jtl]

Der Abgleich mit dem Modified Shop dauert sehr lang.

Das kann an sehr vielen Faktoren liegen. Was den meisten Einfluss hat ist eben definitiv die Anzahl an Daten im Shop. Bei jedem Abgleich muss der Connector sämtliche Datensätze mit der Link-Tabelle vergleichen, um festzustellen was er übertragen muss bzw. was neu ist. Das Kostet enorm viel Zeit und Ressourcen. Dazu kommt das modified jetzt ja auch leider nicht gerade für "modernen" Code und eine saubere Datenbank-Struktur steht.

Wir haben noch einen JTL-Shop angebunden, dort dauert der Abgleich nur Sekunden.

Klar, die komplette "Übersetzung" in eine andere Struktur entfällt ja da, weil der Shop exakt gleich und hundertprozentig kompatibel zur Wawi arbeitet. Es muss also absolut nichts konvertiert, umgerechnet oder verglichen werden.
Eine derartige Performance wird man technisch bedingt nie mit einem Drittanbieter-Shop hinbekommen.

Kan man im connector nicht ein Konfig einbauen für initial abgleich, wo man den Kundenid einstellen kan so auch Auftragid ab welcher man es im WAWI haben möchte.

Das würde die Sache nicht viel beschleunigen, da dann zwar prinzipiell ein kleinerer Datenbestand gegeben wäre, dafür jedoch ein zusätzliches Abfragekriterium. Dazu kommt das Problem dass die IDs auch nicht unbedingt in einem zeitlich korrekten und zuverlässigen Ablauf stehen.