Neu Geschwindigkeit Importieren von Merkmalwerten

[nirico]

Hi Leute,

wir sind vor Kurzem auf den JTL Shop umgezogen und wollen nur die Merkmale in JTL pflegen. Da wir 60.000 Artikel (zukünftig 200.000 - 300.000) Artikel haben sind Merkmale zum Filtern im Shop essentiell. Bisher haben wir dafür auf Attribute gesetzt, diese kann man im Shop jedoch nur anzeigen und nicht zum Filtern benutzen.

Nun stoßen wir jedoch auf massive Importprobleme bei den Merkmalen. Es scheint je mehr Merkmalwerte ein Merkmal besitzt, geht die Importzeit exponentiell hoch.

Beispiele:

Merkmal 1
Anzahl Merkmalwerte: 10
Es wird immer genau 1 Merkmalwerte pro Artikel gesetzt
Zeit Import Merkmalwerte für 60.000 Artikel: 45 Minuten

Merkmale 2
Anzahl Merkmalwerte: 600
Es wird immer genau 1 Merkmalwerte pro Artikel gesetzt
Zeit Import Merkmalwerte für 60.000 Artikel: 144 Stunden
CPU Auslastung konstant bei ca 40%

Es dauert bei Merkmal 2 ca. 10 Sekunden einen einzelnen Merkmalwert zu importieren. Ich verstehe, dass hier eine Prüfung erfolgen muss, ob der Merkmalwert bereits existiert, aber kann man die Werte nicht zwischenspeichern, sodass normal schneller Import erfolgen kann? Wir arbeiten selber viel mit Datenbanken und aus technischer Sicht ergibt die Dauer der Abfrage keinen Sinn. Zumal wir die Werte extra alphabetisch sortiert haben in der CSV und immer mehrere 100 male hintereinander das gleiche Merkmal mit dem gleichen Wert importiert wird - eben nur bei einem anderen Artikel.

JTL gibt als Schwellwert für Merkmalwerte 250 an: https://guide.jtl-software.de/jtl-wawi/installation/softwarebeschraenkungen-und-grenzen/
Mit unseren 600 sind wir ja nicht allzu weit von dem Schwellwert entfernt, daher kann ich mir die Performanceprobleme nicht erklären.

Leider gibt es außer Merkmalen im JTL Shop soweit ich weiß keine Möglichkeit zu Filtern oder den Auswahlassistenten zu benutzen. Attribute funktionieren ja leider nicht als Filter.

Das gleiche Problem haben wir auch bei Merkmalen, die wir zu eBay schicken wollen. Z.B. der Teilenummern. Da existiert jeder Wert oftmals nur einmal (ist ja der Sinn einer Teilenummer) und muss extra angelegt werden. Aktuell haben wir ca. 4000 einzelne Teilenummern im System. Soweit ich weiß unterstützt JTL jedoch keine andere Möglichkeit diese Werte anders an eBay zu übermitteln. Einzige Idee, die mir hier kommt ist wieder einen weiteren Import mit der Ameise zu machen (das wäre dann Import Nr. 9 für jeden neuen Artikel), und den Import "eBay-Attribute" zu nutzen und dort die Teilenummer separat zu übermitteln.

Gibt es für diese Probleme eine gute Lösung?


Setup:
JTL Wawi 1.6.44.1
SQL Standard
12GB ECC RAM
4 Kerne
600 GB SSD
Gehostet bei ecomData

 

[Enrico W.]

Mit der 1.6.45.0 hatte sich da einiges getan. Ich empfehle Dir da ein Update.

 

[John]

Wenn Du mit solchen Mengen an Merkmalen und Merkmalwerten arbeitest, wird das evtl. auch im (JTL) Shop Probleme bereiten. Stichwort Merkmalfilter - sofern Du diese nutzt.
Da gabs in der Vergangenheit schon User, bei denen die Server unter der Last der SQL Abfragen es nicht im zeitlichen Rahmen geschafft haben.

Seitens JTL gibts auch eine Empfehlung, wie viele Merkmale/Werte man nicht überscheiten soll...

 

[Enrico W.]

Die empfohlenen Grenzen sind hier aufgeführt:
https://guide.jtl-software.de/jtl-wawi/installation/softwarebeschraenkungen-und-grenzen/
Das wären 50 Merkmale und 250 Merkmalwerte pro Merkmal. Das hatte @globalmotoparts ja auch bereits geschrieben

JTL gibt als Schwellwert für Merkmalwerte 250 an: https://guide.jtl-software.de/jtl-wawi/installation/softwarebeschraenkungen-und-grenzen/
Mit unseren 600 sind wir ja nicht allzu weit von dem Schwellwert entfernt, daher kann ich mir die Performanceprobleme nicht erklären.

Das hier beschriebene Problem hat aber nichts mit der Menge der Merkmalwerte wirklich zu tun. Wie gesagt - mit Update hat sich da bereits einiges getan.

 

[Star Piercing]

Es geht ja hier auch um ein Hosting, ist denn nur die Datenbank gehostet oder die WaWi in einer Cloud?
Das bremst natürlich auch, wenn du ein Cloud Server hast und es dort direkt machen kannst ist es X-mal schneller.

 

[nirico]

Danke für die ganzen Antworten. Habe gerade auf 1.6.47.0 upgedated und siehe da aus 144 Stunden wurden 8 Minuten.

Wie der JTL Shop Server nun performt müssen wir separat testen, aber hier kann man ja notfalls die Ressourcen (CPU, RAM, SSD etc.) upgraden oder die Anzahl der Filtermöglichkeiten einschränken (Mehrfachfilter etc.). Das Thema müssen wir uns dann separat anschauen.