Artikelabgleich verlangsamt sich automatisch von Wawi

[MarcV12]

Hallo,
wir probieren seit nun 4 Tagen Artikel in einem dev-Shop (kein Traffic) zu laden.
Die Parameter wurden schon erhöht und anfangs lief alles sauber und schnell -> 1000 Artikel in 30 Sek.
Wir konnten auch schonmal 2500 Artikel in 30 Sek. hochladen, dies wurde dann aber durch die Wawi auch auf 125 Artikel in 60 Sek. gedrosselt.

Mittlerweile sind wir bei 62 Artikel in 70 Sek. angekommen.
Die Wawi halbiert während des Abgleichs automatisch das Limit, obwohl andere Parameter eingetragen sind.
Wir haben insgesamt 1,4 Mio Artikel, jetzt sind es noch ca. 400.000 Artikel, danach sollen Bilder (2,6 Mio Bilder) abgeglichen werden.
Am Server soll es nicht liegen. Wir vermuten eine Einstellung an der Datenbank, jedoch kann es uns keiner sagen.
Aktuell haben sich schon 3 Leute das Problem (ecomdata, CIN, JTL) angeguckt, jedoch ohne Erfolg.

Kennt jemand die Problematik und hat jemand eine Lösung?

Neuerdings sind im Log auch Fehler zu erkennen (Bilder anbei).

Unsere aktuell eingestellten Parameter in der Wawi:
Anzahl Dateien: 500
Anzahl Artikel für Quicksync: 500
Anzahl Bilder: 125
Anzahl Bestellungen: 50
Archivgröße: 5012 KB
Bildarchivgröße: 1500 KB

Wawi Version: 1.8.12.0
Shop Version: 5.2.4
PHP Version: 8.1.27
MQL Version: 10.3.39 MariaDB

VG Marc

 

[John]

Wo ist denn Euer dev-Shop gehostet?

Ich hatte mal einen Kunde mit mehreren Shops bei All-Inkl.
Da war All-Inkl. die Anazhl der Zugriffe pro Zeitintervall (Minute, whatever) von einer bestimmten IP (der Wawi) auf die Shops zu viel und sie haben automatisch limitiert, indem Anfragen verzögert beantowrtet wurden.

Vielleicht bei Euch etwas ähnliches?

 

[css-umsetzung]

Da bist ja nur leicht über den Limits von JTL und hast hoffentlich einen richtig guten Server am Start
https://guide.jtl-software.com/jtl-...raenkungen-und-grenzen/#jtl-wawi-und-jtl-shop

Ich würde in jedem Fall den cache vom Shop deaktivieren, damit der sich damit nicht beschäftigen muss, diesen ständig zu löschen (Ich weiß nicht ob er den zum Teil neu erstellt beim Abgleich, wäre also eine Vorsichtsmaßnahme)
Dann ist die Frage, ob du den Abgleich manuell gestartet hast, wenn dann hast du hier eventuell das Problem, dass das tmp Verzeichnis im dbeS geflutet wird und nicht mehr gelöscht werden kann.
Dann kommt noch die eingestellte ma.x Scrip Laufzeit zum tragen, ich würde dem also nicht zu viel auf einmal zumuten

Zusätzlich ist die innodb Datenbank beim schreiben ja eh etwas langsamer, eventuell könnte man hier über die Datenbank ein wenig tunen.
Ist eben die Frage wo es wirklich hängt.


Und dann kommt noch das was @John geschrieben hat eventuell zum tragen, für mich sieht das auch fast so aus als ob der Server irgendwann sagt er hat keinen Bock mehr.
Ist echt schwierig bei dir und ohne direkten Serverzugriff vermutlich gar nicht genau zu prüfen.

Aber wenn du dann nachher deine 2.6Millionen importierst, dann hat der Sever ja die nächsten zwei Jahre damit zu tun, dafür die einzelnen Formate und Größen zu generieren da hätte ich jetzt direkt Panik.
Jedes Bild wird ja 4mal erstellt und wenn du die webP Funktion aktiviert hast dann das ganze mal zwei.