Neu Connector 1. Abgleich von modified-Shop zu JTL-Wawi mit ~300.000 Artikeln

Kito123

Aktives Mitglied
17. März 2009
64
0
Hallo,
wir haben unsere Wawi von der Version 0.99923 auf 1.0 und dann auf 1.3.20.0 geupdatet. An der Wawi sind 3 modified-Shops angebunden. Prinzipiell funktioniert die neue Wawi und auch die Connectoren zu den Shops.
Unser Dienstleister hat aber die alten Connectoren gelöscht und neue erstellt. Dadurch ist die Zuordnung der Bestellungen/ Rechnungen zu den Shops auch gelöscht worden. Das ist nicht schön, aber damit kann man irgendwie leben.

Unser Problem ist jetzt, dass ein Shop mit ~300.000 Artikeln einen 1. Abgleich machen muss. Die Artikel sind sowohl im Shop als auch in der Wawi vorhanden, es gibt aber keine Verknüpfung der beiden. Das wiederherstellen der Verknüpfungen dauert extrem lange bzw. bricht immer wieder so ab ca. 30.000 Artikeln ab.
Als ersten Lösungsansatz haben wir jetzt lokal einen Webserver mit einer Kopie des Shops erstellt. Nun findet der Abgleich nicht zum Shop im Internet, sonderen bei uns lokal im Netzwerk statt. Wir sind gerade bei ca. 50.000 Artikeln und es wird immer langsamer. Nach unseren Hochrechnungen sind wir bereits bei ca. 11 Tagen. Allerdings wird die Zeit masiv länger, je mehr Artikel im Shop sind.

Dieser Query dauert bereits über. 8 Min. je 100 Artikel und ist soweit ich es verstehe das was am längsten dauert:

SELECT p.* FROM products p
LEFT JOIN jtl_connector_link_product l ON p.products_id = l.endpoint_id
WHERE l.host_id IS NULL LIMIT 100

Momentan verlängert sich die Ausführdauer des Query um ca. 1Min je 5.000 Artikel.

Gibt es hier irgend eine andere Möglichkeit den 1. Abgleich zu realisieren?

Unser Dienstleister ist hier wie es scheint mit seinem Latein leider am Ende...
 

Kito123

Aktives Mitglied
17. März 2009
64
0
Hallo Thomas,
vielen Dank für deine schnelle Antwort!

endpoint_id ist der primarykey
und host_id hat einen "normalen" Key.

Anbei ein Screenshot:
 

Anhänge

  • jtl_connector_link_product.JPG
    jtl_connector_link_product.JPG
    41,8 KB · Aufrufe: 9

Kito123

Aktives Mitglied
17. März 2009
64
0
Hier noch der Create Code:

SQL:
CREATE TABLE `jtl_connector_link_product` (
    `endpoint_id` VARCHAR(20) NOT NULL COLLATE 'utf8_unicode_ci',
    `host_id` INT(20) NOT NULL,
    PRIMARY KEY (`endpoint_id`),
    INDEX `host_id` (`host_id`)
)
COLLATE='utf8_unicode_ci'
ENGINE=InnoDB
;
 

z0mbi3

Aktives Mitglied
22. Oktober 2018
51
15
Wir sind damals über ein gleiches Problem gestoßen, das es immer langsamer geworden ist. Wenn du die JTL Tabellen vergleichst, wird dir auffallen, das VARCHAR hier eigtl. falsch ist. das muss auch ein INT sein, da die Produkt Id im Modified Shop auch nur INT ist. Bei VARCHAR muss Mysql immer umkonvertieren, was dann ewig dauert.

Das Problem müsste mal an den Connector Verantwortlichen geleitet werden, weil es erst ab bestimmen Mengen sich bemerkbar macht.
 

Kito123

Aktives Mitglied
17. März 2009
64
0
Aktueller Stand ist so:
- Je nach MYSQL (Shopseitig) wird der 1. Abgleich ab ca. 30.000 Artikel richtig langsam. Wir haben unseren Abgleich noch mal abgebrochen um die Performance des MYSQL Servers zu erhöhen. Der MYSQL hat jetzt 4 Kerne mit 32GB Ram und ist rein für MYSQL zuständig. Eine zweite Maschine ist für PHP/ Apache zuständig, hat 4GB RAM > 2GB für PHP. Auf der 3. Maschine läuft Windows 2012 und MSSQL 2014, 24GB RAM, davon 8GB für die Wawi DB.

Alle Maschinen laufen lokal bei uns im LAN. Dazu haben wir den Shop lokal kopiert. Der Shop läuft im Netz ohne Wawi. Sollte die Wawi Synchronisierung jemals klappen, kopieren wir die Connector-Tabellen in den Live-Shop und ändern die Connector-Einstellungen auf den Shop im Netz. - Das wäre der Plan... Dazu kommt noch, dass wir die beteiligten Tabellen von MyISAM nach INNODB geändert haben (die Connector Tabellen waren schon INNODB, aber die products usw. waren vorher MyISAM. Ob das was bringt weiß ich auch nicht...)

Nach meinen Erfahrungen gibt es in der MYSQL einen riesigen Flaschenhals in der Leistung jeder einzelnen CPU. MYSQL kann soweit ich es verstehe eine Anfrage nur auf einer CPU ausführen. Für diesen Anwendungsfall ist das ein Problem. In der Regel werden Datenbanken von verschiedenen Nutzern mit parallelen Anfragen genutzt. Hier kann die Last auf mehrere CPU's verteilt werden. Läuft aber nur eine Anfrage, die extrem lange läuft muss diese Anfrage von einer CPU abgearbeitet werden. Unser 4 Kern Linux MYSQL Server hat eine permanente Auslastung von ~ 25%.
- Für dieses Problem habe ich leider keine Lösung.

Performance erhöhen + Warten (ca. 14 Tage) kann man als User leider nicht.

- Ich vermute eine ungünstige Gestaltung der SQL-Querys auf der Seite des Connectors die sich eben ab ca. 30.000 Artikel bemerkbar macht. Hier gäbe es sicher cleverere Lösungen. Für mein laienhaftes Verständnis ist es so, dass die Wawi-Artikel-ID mit der Modified-Artikel-ID über die Artikelnummer gemappt wird. Dazu kommen zwar noch weitere Abfragen zwecks Bestand usw. aber das kann ja nicht so lange dauern...

Der JTL-Support hat sich freundlicherweise auch dazu gemeldet - erst mal vielen Dank dafür - aber leider sieht es so aus, dass es dafür aktuell - außer warten und mehr Leistung - keine Lösung gibt.
 

z0mbi3

Aktives Mitglied
22. Oktober 2018
51
15
@Kito123 Hast du das mit dem VARCHAR zu INT mal getestet? Glaub das wird deine Lösung sein. Nicht die Queries sind das Problem, eher wie die Tabellen vom Connector festgelegt werden und wie gesagt ist dort meiner Meinung nach ein Fehler drin, wenn für die Id, welche den Datentyp INT (Zahl) hat, der Datentyp VARCHAR (Zeichenkette) genutzt wird. Dann ist klar, warum das Query dann auch immer länger brauch je mehr Daten in den Tabellen sind. Wie gesagt, uns hat es geholfen es auf INT zustellen, so wie es eh auch schon bei den anderen jtl_* Tabellen gemacht wurde. Es ist nur die jtl_connector_link_product Tabelle vom Connector verkehrt.
 

Kito123

Aktives Mitglied
17. März 2009
64
0
Hallo z0mbi3,
super!!! das war die Lösung. Jetzt's geht'ts ab..
Das habe ich mir nicht vorstellen können, dass diese Konvertierung so lange dauert, aber das war definitiv der Flaschenhals!

Vielen herzlichen Dank!
 

z0mbi3

Aktives Mitglied
22. Oktober 2018
51
15
Hallo z0mbi3,
super!!! das war die Lösung. Jetzt's geht'ts ab..
Das habe ich mir nicht vorstellen können, dass diese Konvertierung so lange dauert, aber das war definitiv der Flaschenhals!

Vielen herzlichen Dank!

Cool das es bei euch auch klappt. Falls du ein offizielles Ticket bei JTL dazu hast, gib am besten die Info weiter an den Support von JTL, damit das im Connector korrigiert wird. :)
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Shopify Connector Abgleich endet nicht Shopify-Connector 6
Neu PrestaShop Connector für Prestashop 8 mit PHP 8.2 wird nicht unterstützt PrestaShop-Connector 0
Neu Passenden WooCommerce Connector zu meinem WordPress WooCommerce-Connector 7
Neu JTL Shopify Connector und Billbee frage Shopify-Connector 0
Neu JTL Connector zu SW6 auch als Testumgebung möglich ? Onlineshop-Anbindung 3
Neu Shopify Erhöhung der Varianten von 100 auf 2000 - Connector App Problem Shopify-Connector 1
Neu Greyhound JTL-Connector funktioniert nach Update auf 1.8.12 nicht mehr richtig Technische Fragen zu den JTL-Connectoren 5
Neu Connector anlegen in Verkaufskanälen nicht möglich, Verbindungstest schlägt fehl Shopware-Connector 2
Neu JTL Connector Woocomerce für PHP Version 7.4 WooCommerce-Connector 2
Fehler beim Datenbank - JTL WAWI Connector WooCommerce-Connector 1
Neu Woocommerce mit JTL Connector "Die Shop-URL verweist nicht auf einen gültigen Shop" WooCommerce-Connector 4
JTL WAWI 1.8.11.1 / JTL CONNECTOR / Shopware 6 JTL-Wawi 1.8 4
Neu Connector für php 8.3 / Prestashop 8.1.3 PrestaShop-Connector 3
Neu Migration von eCommerce-Integrator auf JTL Connector - Software 5 Shop Onlineshop-Anbindung 2
Neu JTL Connector WooCommerce überträgt keine Bestellungen mehr WooCommerce-Connector 3
Neu JTL Connector Woocommerce nicht möglich WooCommerce-Connector 9
Neu Woran kann es liegen, dass ein neu erstellter Connector-Verkaufskanal nicht in der Statusliste des Workers vorkommt? Shopify-Connector 2
Neu Connector überträgt keine Bilder Shopify-Connector 1
Neu JTL Connector Plugin Aktivierunf [Fehlermeldung] WooCommerce-Connector 1
Neu Shopware 6 Connector = Mangelhaftes Produkt! Shopware-Connector 0
Neu WooCommerce Connector - Keine Produkte in link_product Tabelle WooCommerce-Connector 0
Connector übernimmt nicht alle Bestellungen WooCommerce-Connector 0
Wichtig 👉 Wichtiger Hinweis: Abkündigungsfristen JTL-Wawi 1.5 / MSQL-Server 2014 / JTL-POS für Android 7 / JTL-Connector für Shopware 5 News, Events und Umfragen 2
Neu Keine Übertragung der Preise mehr seit Connector Update von 1.41.2 auf 1.42.0 WooCommerce-Connector 9
Neu JTL WooCommerce-Connector leert bei Artikelupdate Inhalte der Felder WooCommerce-Connector 3
Neu JTL-Connector übernimmt den Bestellstatus in Woocommerce nicht WooCommerce-Connector 2
Neu Update auf Connector 2.2.5.3 stürzt mich ins Chaos Shopware-Connector 4
Neu Probleme mit Connector und Shopify URL (Shop noch nicht online) Shopify-Connector 3
JTL Worker Manueller Abgleich nicht möglich trotz deaktivierem Worker 2.0 JTL-Wawi 1.8 4
Worker 2.0 Abgleich dauert sehr lange JTL-Wawi 1.7 7
Fehler beim Rendering der Attribute bei SCX Abgleich kaufland.de - Anbindung (SCX) 1
Neu Kommentar verschwindet nach Wawi-Abgleich JTL-Shop - Fehler und Bugs 3
Onlineshop fehlt im Abgleich JTL-Wawi 1.6 1
Kein Abgleich zum Shop, ich komme nicht in Plattformen/Verkaufskanäle rein JTL-Wawi 1.8 3
Problem ebay Abgleich JTL-Wawi 1.8 4
In Diskussion Abgleich Wawi->Pos Allgemeine Fragen zu JTL-POS 7
Bug? Worker 2.0 - Shop Abgleich "Quicksync" ist kein Quicksync mehr - Paketgröße wird ignoriert JTL-Wawi 1.8 10
Neu Kurzbeschreibung wird nach dem letztem Shop-Abgleich nicht im Frontend angezeigt User helfen Usern - Fragen zu JTL-Wawi 0
RLIMIT_NPROC is exceeded & fehler 503 beim Abgleich und beim Bestellabschluss Einrichtung JTL-Shop5 0
Abbruch bei Abgleich Shopware 6 mit JTL Wawi Shopware-Connector 0
Neu Abgleich Onlineshop PrestaShop-Connector 1
Neu Zahlungsmodul - AmazonPay Abgleich schlägt fehl JTL-Wawi - Fehler und Bugs 2
Neu Kein Abgleich möglich-PW in den Online Einstellungen falsch WooCommerce-Connector 0
Neu Kein Abgleich mit Shopware 5.7.7 mehr Shopware-Connector 0
Neu Abgleich bucht bestellte Artikel als Wareneingang Shopware-Connector 10
Neu Bestellstatus Abgleich "Refund" "Gutschrift" WooCommerce-Connector 3
Bestand von Kinderartikeln wird im Vaterartikel zusammenaddiert JTL-Wawi 1.8 1
Neu beim Umstieg von unicorn auf SCX Bilder aktivieren Otto.de - Anbindung (SCX) 0
Neu Filtereinstellungen: wenn Sonderpreis bei Vater- oder Kindartikeln, Anzeige von Vater- UND Kindartikeln User helfen Usern - Fragen zu JTL-Wawi 5
Neu gelöst: Update von 5.3.0 auf 5.3.1 - Dateien hochgeladen - immernoch alte Version Gelöste Themen in diesem Bereich 6

Ähnliche Themen