Gelöst Abbruch Shopsync mit großem Artikelstamm

[chr1s4us]

Hallo,

ich arbeite gerade einen Modified Shop, welcher zugekauft wurde, um ihn mit der Wawi zu synchronisieren.
Hier einige Details:

Shopversion: Modified Shop 2.0.1.0 rev 10403
JTLConnector: v1.6 (UTF8-Konvertierung aktiv)
PHP Version: 5.6.25 (php-fpm)
Artikelbestand Webshop: ~16.000 Artikel im Shop

Wawi Version: 1.1.4.11
Shop Konfig: Daten aus Onlineshop importieren, Artikel und Kategorien + Aufträge und Kunden = aktiv

Der erste Sync lief bis ca ~6.000 Artikel, wobei die meisten davon schon in der Wawi sind. Dies ist mit einem Timeout abgebrochen.
Starte ich nun die Synchronisation bleibt das Onlineshop-Abgleich Fenster eingefroren, die Zahlen für den Sync werden NICHT mehr geliefert. Server seitig sehe ich einige Anfragen an den Connector; einige brauchen auch etwas länger sodass ich hier schon das timeout auf 300 sek. hoch gesetzt habe. Seither habe ich keine Timeout Warnings mehr im Apache.
Der JTLConnector vermeldet regelmäßig nur folgendes:

[2016-12-21 10:08:38] global.NOTICE: (E_NOTICE) File (hierliegteinwebshop/shoproot/lang/german/modules/shipping/ups.php, 32): Use of undefined constant MODULE_SHIPPING_UPS_FREEAMOUNT - assumed 'MODULE_SHIPPING_UPS_FREEAMOUNT' [] []
[2016-12-21 12:59:22] global.WARNING: (E_WARNING) File (phar://hierliegteinwebshop/shoproot/jtlconnector/index.php/src/jtl/Connector/Modified/Mapper/BaseMapper.php, 293): Invalid argument supplied for foreach() [] []
[2016-12-21 12:59:22] global.WARNING: (E_WARNING) File (phar://hierliegteinwebshop/shoproot/jtlconnector/index.php/src/jtl/Connector/Modified/Mapper/BaseMapper.php, 293): Invalid argument supplied for foreach() [] []

In der Datenbank fallen folgende Queries auf, die entsprechend lange laufen. z.B.

SELECT count(p.products_id) as count
          FROM products p
          LEFT JOIN jtl_connector_link l ON p.products_id = l.endpointId AND l.type = 64
          WHERE l.hostId IS NULL LIMIT 1

Solch ein Query (nicht dieser!) ist der letzte der ausgeführt wurde, bevor...

Seitens Wawi bekomme ich folgenden Timeout:

Abgleich-Protokoll:
Onlineshop-Abgleich beendet für 'XXXX'.


Fehler:
Exception: Timeout für Vorgang überschritten
Timeout für Vorgang überschritten
Der Objektverweis wurde nicht auf eine Objektinstanz festgelegt.

Wie kann ich das Problem weiter eingrenzen? Jemand eine Idee woran es liegen kann? Fehlt ein Index?

Danke,
Chris

 

[chr1s4us]

Ich habe das mir mal Datenbank-seitig genauer angeschaut.
Mir ist aufgefallen, dass jtl_connector_link.endpointId als varchar(64) angelegt wird - die Shop Artikel IDs sind aber int(11); hier wird dann eine teure type conversion durchgeführt - ändert man dies (testweise), so ist die Query is einigen Millisekunden fertig... ich teste mal ob der connector das nun noch mag.

 

[chr1s4us]

UPDATE: Damit bekomme ich die Wawi wieder dazu mit dem Shop zu synchronisieren.

Gibt es ein Bugtracking tool in dem ich den Fehler eintragen kann?

 

[daniel.jtl]

Also eine Type Conversion darf eigentlich keinen großen Einfluss auf die Performance haben.
Dass die Spalte ein Varchar ist, hat zudem auch seine Gründe: Die Link Tabelle ist ja für alle Datensätze. Einige IDs werden mit aus technischer Notwendigkeit mit Prefixen versehen. Ändert man nun den Spaltentyp ist das nicht mehr möglich und die Konsistenz der Datenbank ist zerstört. Das Linking wird dann nicht mehr ordnungsgemäß funktionieren.

 

[chr1s4us]

Danke. Werde es wieder zurückstellen. Ich teste gerade die andere Richtung - also Artikel von Wawi in einen (leeren) shop. Sobald ich da meine Erkentnisse habe teste ich es nochmal mit den ganzen Artikeln und schau nochmal was da hängt... hast Du vielleicht ne Idee worauf ich achten soll?

 

[daniel.jtl]

Also der Weg von der Wawi in den Shop sollte deutlich performanter laufen, da ja dann nicht bei jedem Abgleich irgendwelche alten Bestell- und Kunden-Daten geprüft werden müssen.
Sofern man denn die Möglichkeit hat einen neuen Shop aufzusetzen, sollte man nur ggf. auch mal über eine zeitgemäßere Lösung nachdenken...