Neu Hilfe - Performanceproblem mit Shop durch Worker

  • Wichtiger Hinweis Liebe Kunden, solltet Ihr den DATEV Rechnungsdatenservice 2.0 nutzen, dann müsst Ihr bis zum 30.06.2024 JTL-Wawi 1.9 installieren. Danach wird die Schnittstelle für ältere Versionen nicht mehr unterstützt.

xadoX

Sehr aktives Mitglied
11. September 2012
599
46
Wir sind am 11.03. auf JTL Shop 5.2.4 umgestiegen. Wir nutzen die Wawi 1.8.11.1.
Immer wenn wir mit dem Worker Artikel abgleichen, egal ob Quick Sync oder Komplett kommt unser Server bei All-Inkl. damit nicht klar.
Im Folgenden Fenster sieht man schön, wann der Worker an war. Nämlich nachts bis 5 Uhr, dann mittags nochmal mit JTL zusammen und dann wieder abends.

downzeit.JPG

Das Problem tritt erst beim Artikelabgleich auf. Abholen von Aufträgen klappt.

All-Inkl. hat den Server auf den Kopf gestellt, findet aber keine Probleme

Details zum Shop:
PHP 8.2.16
MySQL 10.6.16 MariaDB
Redis aktiv
memory_limit 512M
max_execution_time 512
post_max_size 200M
upload_max_filesize 200M

256GB RAM
2 TB NVME SSD
2x Intel® Xeon®
2x12 Prozessorkerne
48 mit Hyper-Threading

Einträge in tartikel: 233.001
Einträge in tartikelMerkmal: 2.326.972
Einträge in tartikelAttribut: 2.004.992
Einträge in tbild: 420.600

Was wurde bisher erfolglos geprüft:

- Cloudflare ausgeschaltet
- Cache ausgeschaltet
- Übertragungsparameter angepasst
- Manuellen und Automatischen Abgleich durchgführt
- dbeS Pfad bei Cloudflare für die IP vom Server der JTL-Wawi gewhitelistet
- Wawi und Shop-Logs auf Fehler überprüft


JTL Ticket ist erstellt, da wird sich aber gerade die ganze Zeit der Ball zwischen dem Wawi-Team und Shop-Team hin und her geschoben: #202403113602865

Hat jemand ähnliche Probleme und ggf. Lösungsvorschläge?

-- Ergänzung: 19.03.24

Während des Abgleichs taucht folgender SQL recht häufig auf. Zwar laufen diese SQL's nicht lange, aber das ist noch etwas was nun aufgefallen ist.

SELECT tartikel.kArtikel FROM tkategorieartikel, tartikel LEFT JOIN tartikelsichtbarkeit ON tartikel.kArtikel = tartikelsichtbarkeit.kArtikel AND tartikelsichtbarkeit.kKundengruppe = 1 WHERE tartikelsichtbarkeit.kArtikel IS NULL AND tartikel.kArtikel = tkategorieartikel.kArtikel AND tkategorieartikel.kKategorie = 2713 LIMIT 1
 
Zuletzt bearbeitet:

gigi80

Sehr aktives Mitglied
3. Juni 2016
555
74
Wawi Update auf 1.8.12.2 machten. Hier wurde ein Woker Bug behoben. vllt hilft dir das schon.
 

John

Sehr aktives Mitglied
3. März 2012
2.701
525
Berlin
Wenn das Problem nicht gelöst wird - und danach siehts ja im Moment aus: Wieso wird da jede Nacht so viel abgeglichen?

Ich hatte mal einen ähnlichen Fall, in dem ein Kunde andauernd Daten zum Shop schickte. Das warem 100.000de Datensätze, die aber bei detailierter Betrachtung unnötig, weil unverändert waren. Wir haben das dann vorher auf tatsächlich notwendige Änderungen reduziert und gut wars.
 

xadoX

Sehr aktives Mitglied
11. September 2012
599
46
Wenn das Problem nicht gelöst wird - und danach siehts ja im Moment aus: Wieso wird da jede Nacht so viel abgeglichen?

Ich hatte mal einen ähnlichen Fall, in dem ein Kunde andauernd Daten zum Shop schickte. Das warem 100.000de Datensätze, die aber bei detailierter Betrachtung unnötig, weil unverändert waren. Wir haben das dann vorher auf tatsächlich notwendige Änderungen reduziert und gut wars.
Wir haben ein Shop-Update von 4 auf 5 hinter uns und da müssen leider alle Variationsbilder einmal neu zum Shop geschickt werden. Daher war/ist ein Komplettabgleich notwendig.
 

NoOne

Mitglied
16. März 2024
36
13
Falls das an den Artikelbildern liegt, dann ist *vielleicht* ImageMagick das Problem. Ich hab da mal von einem Problem gehört, dass ImageMagick beim Konvertieren unter Umständen die temporären Dateien extremst aufbläht, auf mehrere hundert MB bis zu mehreren GB. Man kann die Größe der temporären Dateien in der Konfiguration von ImageMagick beschränken. Je nachdem wie aktuell die Version bei all-inkl ist, ist das ggf. ein Problem. Man könnte das auch zum testen ggf. mal deaktivieren. Der Shop hat einen Fallback dafür, wenn ImageMagick nicht aktiv ist, wird GD benutzt. Ich glaube aber, die endgültigen Bilddateien, die GD generiert sind leicht größer als die, die ImageMagick generiert.
 

xadoX

Sehr aktives Mitglied
11. September 2012
599
46
Danke für den Input. Leider treten die Probleme nur beim Artikeldatenabgleich auf. Bilder laufen unglaublich schnell und ohne Probleme durch.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.734
1.621
Berlin
Du solltest mal das dbeS/tmp Verzeichnis über den ftp beobachten, ob die Dateien sich einfach nur anhäufen und abgearbeitete Dateien nicht gelöscht werden.
Gerade wenn der Abgleich manuell ausgeführt wird kann das in vereinzelten Versionen zu einem Problem werden (ich hab das in einer 1.8er nicht getestet)
 

xadoX

Sehr aktives Mitglied
11. September 2012
599
46
@css-umsetzung unser Komplettabgleich ist heute morgen endlich durchgelaufen. Der tmp-Ordner ist nun auch leer. Aber die Performanceprobleme im Shop treten weiterhin auf, wenn der Artikeldatenabgleich losläuft.
Auffällig bleibt allein der dann vermehrt auftretende SQL:

SQL:
 SELECT tartikel.kArtikel FROM tkategorieartikel, tartikel LEFT JOIN tartikelsichtbarkeit ON tartikel.kArtikel = tartikelsichtbarkeit.kArtikel AND tartikelsichtbarkeit.kKundengruppe = 1 WHERE tartikelsichtbarkeit.kArtikel IS NULL AND tartikel.kArtikel = tkategorieartikel.kArtikel AND tkategorieartikel.kKategorie = 2713 LIMIT 1

Dieser läuft zwar max 1-2 Sekunden, jedoch sind davon einige zu sehen. Ist der Abgleich beendet, dann taucht dieser SQL auch nicht mehr auf.
 

css-umsetzung

Offizieller Servicepartner
SPBanner
6. Juli 2011
6.734
1.621
Berlin
Dieser eine Query braucht 1-2 Sekunden?
Das würde ich ja mal direkt im phpmyadmin testen.

Das ist jetzt auch kein Query, den ich bei einem Abgleich erwarten würde, sondern nur, wenn ein Artikel im Shop aufgerufen wird und ja für jeden Artikel würde das mit eingeschaltetem cache nur einmal passieren.
 

xadoX

Sehr aktives Mitglied
11. September 2012
599
46
Dieser eine Query braucht 1-2 Sekunden?
Das würde ich ja mal direkt im phpmyadmin testen.

Das ist jetzt auch kein Query, den ich bei einem Abgleich erwarten würde, sondern nur, wenn ein Artikel im Shop aufgerufen wird und ja für jeden Artikel würde das mit eingeschaltetem cache nur einmal passieren.
Führe ich ihn jetzt aus, wo kein Abgleich läuft, dann ist er in 0.0429 Sekunden durchgelaufen. Während des Abgleichs haben ich davon aber dauerhaft ca. 15-20 parallel laufen.
Der SQL kommt in der includes/src/Helpers/Category.php und includes/src/Helpers/Product.php vor.
 

mvh

Sehr aktives Mitglied
26. Oktober 2011
647
216
Führe ich ihn jetzt aus, wo kein Abgleich läuft, dann ist er in 0.0429 Sekunden durchgelaufen. Während des Abgleichs haben ich davon aber dauerhaft ca. 15-20 parallel laufen.
Der SQL kommt in der includes/src/Helpers/Category.php und includes/src/Helpers/Product.php vor.
Moin.
Das Problem kenne ich in 5.2.
Ich habe dann EXTRA die Tabelle manuell geleert
(weil wir keine Artikel für bestimmte Kundengruppen sperren oder freigeben)
und festgestellt, dass der Shop danach bestens funktioniert.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu Hilfe benötigt: Nachträglicher Import von Rechnungsnummern aus Otto.de (Otto SCX schnittstelle) Otto.de - Anbindung (SCX) 0
Neu Hilfe bei der Templateanpassung / Migration Dienstleistung, Jobs und Ähnliches 4
Neu Der Remoteserver hat einen Fehler zurückgegeben: (500) Interner Serverfehler wir bitten Hilfe Gambio-Connector 6
Neu Hilfe bei Google Ads User helfen Usern 0
Neu HOME (Engl. Startseite) nicht editierbar (forbidden) - Bitte um Hilfe Gelöste Themen in diesem Bereich 7
Neu JTL 1.8.12.0 - Artikelattribut für Shop importieren - Format CSV-Datei / Hilfe bei Import von individuellen Attributen für JTL-Shop (googlekat) JTL-Ameise - Ideen, Lob und Kritik 1
Neu HILFE... >60 GB im tmp Allgemeine Fragen zu JTL-Shop 8
Neu Hilfe im Homeoffice für Amazon, ebay Kaufland etc. Dienstleistung, Jobs und Ähnliches 0
Neu Artikelsuche mit % Platzhalter funktioniert nicht mehr JTL-Wawi - Fehler und Bugs 2
Neu Im lieferschein wird der Gutscheincode im Arikelnamen mit ausgegeben User helfen Usern - Fragen zu JTL-Wawi 0
Neu Track & Trace spricht mit eBay nur national ? JTL-Track&Trace - Fehler und Bugs 0
Neu JTL Shop - Liferland auswahl mit Kundengruppe User helfen Usern - Fragen zu JTL-Wawi 0
Neu Export von Kategoriedaten (Ebene 3) mit den dazugehörigen Artikel Allgemeine Fragen zu JTL-Shop 1
In Diskussion Artikelbeschreibung mit Workflow umschreiben JTL-Workflows - Fehler und Bugs 1
Neu Ein Produkt - mehrere Lieferanten mit unterschiedlichem Umfang Arbeitsabläufe in JTL-Wawi 8
Kartonagen und Versandart nicht in Positionsliste mit aufführen JTL-Wawi 1.8 1
Neu Rabatt für Kinder mit Rabattangabe User helfen Usern - Fragen zu JTL-Wawi 2
Mit Wawi nur auf dem Server arbeiten oder auf Server-Client Betrieb umstellen? JTL-Wawi 1.8 7
In Bearbeitung Welches Adroid Pad mit EPSON TSE Drucker? JTL-POS - Fragen zu Hardware 1
👉 Kunden mit Leistungsproblemen bei Artikelansicht/Artikelsuche/Timeout gesucht! JTL-Wawi 1.8 0
Neu Probleme mit Bestand bei Variationsartikel eBay-Anbindung - Fehler und Bugs 3
Neu E-Mail-Blacklist ist mit Platzhalter möglich, sieht man aber nur im Quellcode JTL-Shop - Fehler und Bugs 0
Neu Wo und wie finde ich meine Kunden mit einer Marketing-Permission? JTL-Shop - Ideen, Lob und Kritik 0
In Bearbeitung Feature Request: Favoriten mit Tabs, also Unterkategorien Tab1-Favoreiten1 Tab2-Favoriten2,... Allgemeine Fragen zu JTL-POS 1
Neu Vaterartikel mit Bestand 0 Kindartikel 825 User helfen Usern - Fragen zu JTL-Wawi 2
Neu Durch Zahlungsarten in Auftrag iterieren mit DotLiquid User helfen Usern - Fragen zu JTL-Wawi 1
Neu Excel mit Bild direkt in Ameise hochladen? JTL-Ameise - Ideen, Lob und Kritik 1
Neu JTL-Shop oder Workflow: Artikel mit Menge > 1 sollen trotzdem als separate Einzelartikel im Auftrag aufgeführt werden User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wie kann ich mit der Wawi Ebay Rechnungen erstellen und nach ebay hochladen? eBay-Anbindung - Fehler und Bugs 3
Neu Kindartikel mit Amazon-Angebot verknüpfen Amazon-Lister - Fehler und Bugs 0
Gelöst Artikel mit PReisabfrage Negativer Betrag für Lotto-Auszahlung Allgemeine Fragen zu JTL-POS 2
Neu BETA aktuelle Connector Version mit WPML Unterstützung WooCommerce-Connector 7
Neu Googlesuche Treffer mit falschen Angaben. Allgemeine Fragen zu JTL-Shop 11
Barcodescanner Fehler mit ein "U" am Ende JTL-Wawi 1.8 0
Neu mit FBM für Ausland User helfen Usern - Fragen zu JTL-Wawi 2
Neu Probleme mit Artikel Abgleich Shopware-Connector 2
Ausgabe des Warenbestandes mit Fulfillment Lager JTL-Wawi 1.8 0
Neu Variations Artikel mit Kindern automatisch Stücklisten zuweisen Arbeitsabläufe in JTL-Wawi 4
Neu Artikel von JTL mit Ebay verbinden in Easy Action Einrichtung und Installation von JTL-eazyAuction 2
Neu Erreichbarkeit von Seiten mit 0 Bestand in 5.3.1 JTL-Shop - Fehler und Bugs 2
Kaufland Umzug Unicorn nach SCX mit eigenen Produkten - HowTo? kaufland.de - Anbindung (SCX) 3
Neu Export Gesamtpreis für Artikel mit Mindestabnahme Allgemeine Fragen zu JTL-Shop 0
Neu Lieferantenbestellung mit Bild User helfen Usern - Fragen zu JTL-Wawi 2
Neu Fehlermeldung "Ein Element mit dem gleichen Schlüssel wurde bereits hinzugefügt" JTL-Wawi - Fehler und Bugs 2
Einlagerungsliste mit Lagerposition bzw. Feld "Kommentar1" JTL-Wawi 1.8 0
Neu Migration Shopware 5 auf 6 mit JTL-Wawi ohne Datenverlust Shopware-Connector 1
[JTL-WAWI API] Bestellung mit Stücklistenartikel JTL-Wawi 1.8 5
Neu Stücklisten mit puffer Bezug von anderen Artikeln User helfen Usern - Fragen zu JTL-Wawi 1
Wichtig Beta Connector für Presta 8 mit PHP 8+ PrestaShop-Connector 72
Neu Probleme mit EAN als Barcode bei Varkombis Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 3

Ähnliche Themen