Neu SQL Server Optimierung - Wawi/WMS SEHR langsam

  • Temporäre Senkung der Mehrwertsteuer Hier findet ihr gesammelt alle Informationen, Videos und Fragen inkl. Antworten: https://forum.jtl-software.de/threads/mehrwertsteuer-senkung-vom-01-07-31-12-2020-offizieller-diskussionthread-video.129542/

TobiasC

Gut bekanntes Mitglied
25. Juni 2008
128
10
Hi,

wir haben große Performance-Probleme mit unserem SQL Server. Wir hatten bis vor kurzem einen Dell PowerEdge R7515 mit einem AMD EPYC 7302P 3GHz, 16C/32T, 128M Cache (155W) DDR4-3200. 128 GB Ram, SAS-SSD Raid auf dem 5 VMs liefern (Anwendungsserver für den JTL Worker sowie den Mobile Server, Backupserver, Domänencontroller, VMware und SQL Server)

Der SQL-Server (SQL 2019 - Standard) hatte hierbei 8 Cores und 48 GB RAM zugewiesen. Wir waren mit der Performance grundsätzlich zufrieden, jedoch gab es immer massive Einbrüche an Montagen. Ab ca. 1000+ Aufträgen kommt es hier zu großen Performanceeinbrüchen.

Bei uns arbeiten ca. 50 Personen (bald 60) und wir setzen komplett auf die Wawi und WMS. Wir haben ca. 65 Rechner (mit Wawi + WMS) über unsere Fläche verteilt (Bürorechner, Lagerrechner, Packtische, Notebooks.) Die Clients sind natürlich nicht alle gleichzeitig an. Zusätzlich haben wir ~25 Mobilclients (Tablets und andere Mobilgeräte für WMS).

Durch die Unzufriedenheit mit der Performance haben wir uns jetzt einen dedizierten Server allein für den SQL Server zugelegt. Es ist ein Dell PowerEdge R740 Rack-Server mit 2x Xeon Gold 6250 (je 8 Cores + Hyperthreading) und 196 GB Ram geworden. Dazu ein Raid 10 mit 6x 800 GB mixed use SAS SSDs. Auf dem AMD Epyc läuft jetzt der AW und die anderen VMs.
Der Server läuft auch wieder virtualisiert mit VMWare (16 logische CPUs und 128 GB RAM). RAM wird vom SQL Server nur ~20 GB genutzt, der Rest steht frei zur Verfügung und wird vom SQL nicht abgerufen (obwohl er ~100 GB konfiguriert hat). I/O Zugriffe halten sich extrem in Grenzen. Das 10er Raid langweilt sich quasi.

Der Anwendungsserver ist mit dem SQL Server mit 10 GbE verbunden.

Mit dem neuen Server ist das System über die Woche sehr viel schneller (quasi instant Wechsel der Reiter und auch innerhalb von max. 1 Sek die Anzeige von den Artikelpos. unter Verkauf), jedoch an Montagen wieder sehr langsam. Der Wechsel der Reiter in der Wawi ist langsam und unter Verkauf => Aufträge dauert es gefühlte Ewigkeiten bis die Artikelpositionen angezeigt werden. Der Server langweilt sich zu diesen Zeiten mit ca. 3-10% CPU Auslastung und hat dabei noch 100 GB freien Arbeitsspeicher für den SQL Server.
Das Problem scheint größer zu werden, wenn mehr Clients auf die Wawi zugreifen. Wenn nur ein Client per Terminalserver ( RDP) auf die Wawi zugreift, ist es auch mit den Auftragsmengen von Montagen etwas erträglicher, aber auch nicht mehr schnell.
Beim Erstellen der Picklisten sieht man den SQL dann schon etwas arbeiten. Da geht er auf ~50% CPU Auslastung, erstellt die Picklisten dabei aber NICHT in Lichtgeschwindigkeit.

Wir sind jetzt ziemlich ratlos und es macht so langsam keinen Spaß mehr, denn die Auftragsmengen von Montagen sind ggf. schon in ein paar Monaten die Auftragsmengen von Dienstag - Freitag und damit wäre dann die Wawi/WMS jeden Tag extrem lahm. Das ist einfach nur noch ätzend.

Bei Cost Threshold for Parallelism haben wir aktuell den Wert 50. Höhere Werte führten beim AMD Rechner zu deutlichen Verzögerungen, kleinere Werte waren auch kein Performanceboost.

Bei Maxdop hatten wir auf dem Epyc 3 und haben jetzt nur 5 eingestellt, da uns der JTL Support mitgeteilt hat, dass bei vielen Clients usw. ein geringerer Maxdop deutlich besser wäre und sie sogar bei großen Kunden mit Maxdop 1 deutlich besser von der JTL Performance fahren würden. Ein kurzer Versuch mit Maxdop 7 (Anzahl Cores / 2 - 1) war etwas langsamer von der gefühlten Geschwindigkeit als die 5. Maxdop 1 war leider auch kein Zugewinn. Bei dem Wechsel der Reiter macht das alles aber wenig Unterschied von der Schnelligkeit.
Aktuell sind 8 Tempdb files angelegt.

Die Waitstats sehen an sich sehr unproblematisch aus (soweit wir das als Laien beurteilen können). Deuten aber unserer Meinung nach nicht auf ein Hardwareproblem hin?!
(Siehe Screenshots)

Wie sind eure Server eingestellt? An welchen Schrauben könnten wir bei uns noch drehen, damit es zügiger wird. Habt ihr mit ähnlichen Problemen zu kämpfen?

Die SQL Datenbank hat ca. 20 GB und wir haben viele Artikel mit Variationskombinationen (insgesamt haben wir 14.000 Artikel und davon ca. 60% Varkombis => ganz grob geschätzt)

Über Rückmeldungen würde ich mich sehr freuen.

Viele Grüße
Tobias
 

Anhänge

TobiasC

Gut bekanntes Mitglied
25. Juni 2008
128
10
Hi,

die Lösung ist sehr trivial. JTL scheint kein besonders gutes Management der Index-Dateien aufzuweisen. Bei uns fragmentieren die Indexdateien extrem schnell, so dass nach ein paar Tagen ein extremer Leistungsverlust zu spüren ist und die Usability der Wawi und auch von WMS extrem zu wünschen übrig lässt.

Das Problem lässt sich ein Glück relativ einfach lösen. Es wäre nur schön gewesen, hätte man das nicht komplett selber rausfinden müssen und JTL einen hier überhaupt nicht unterstützt hat. Wenn JTL selber keine Ressourcen (so von JTL verkündet) für den Support hat, wurde uns auch kein Servicedienstleister empfohlen, der einen bei der Lösung helfen könnte. Alles in allem scheint man bei JTL bei Problemen wirklich allein gelassen zu werden, was ich sehr traurig finde. Wir zahlen JTL jeden Monat keine kleinen Beträge und der Support ist quasi nicht vorhanden.
Selbst wenn man JTL sagt, dass es für uns keine Rolle spielt, ob die Lösung jetzt Geld kostet, erhält man keine Unterstützung. Jeder Tag mit so einem Problem führt zu HOHEN Kosten und daher sollte so ein Problem schnell behoben werden.
Ob JTL für größer werdende Unternehmen ein wirklich guter Partner ist, scheint für uns zumindest immer fraglicher.

Grüße
Tobias
 

TobiasC

Gut bekanntes Mitglied
25. Juni 2008
128
10
Hi,

danke dir.

Genau... das haben wir dann auch selber gefunden :). Solche Hinweise wären halt vom Support richtig gut gewesen.

Gruß
Tobias
 

TobiasC

Gut bekanntes Mitglied
25. Juni 2008
128
10
Hi Michael,

wir haben keinen extra Support von diesem "Support-Modell" gebucht, aber wir haben aktuell 3x den JTL Shop + 15x WMS, 22x Mobile WMS & 1x Modul (Versandboxen) (Die Lizenzen sollten sich auch in nächster Zeit noch gut steigern, da wir gerade 10 weitere Mitarbeiter einstellen).

Also zahlen wir an JTL jeden Monat schon ein wenig Geld und uns ist klar, dass es bei dem Basis-Support keine Antwort in kurzer Zeit gibt, jedoch nach ein paar Tagen. Wir wären auch ohne wenn und aber bereit gewesen, Support kostenpflichtig nach Stundenabrechnung dazu zu buchen, um das Problem dann zu lösen.

Gruß
Tobias
 
  • Gefällt mir
Reaktionen: MichaelH

TobiasC

Gut bekanntes Mitglied
25. Juni 2008
128
10
Hi,

bei uns hat es geholfen, die Indizes neu zu erstellen (soll laut JTL zwar auch das Problem beheben, aber nicht die eigentliche Ursache sein). Mit dem von SebiW verlinkten Skript klappt das z.B. sehr gut. Zur Not geht es aber auch einfach über die Datenbankverwaltung von JTL => Performanceoptimierung. Bei uns hat das in Situationen mit extremer Verzögerung im Reiter "Versand" oder auch unter "Verkauf" zu einer Lösung geführt.

JTL meinte eben in einem Gespräch zu mir, dass die Implementierung solcher Performance-Optimierungstools auch in einer sehr nah anstehenden Wawi-Version geplant ist.

Grüße
Tobias
 
  • Gefällt mir
Reaktionen: Mario.

SebastianB

Moderator
Mitarbeiter
6. November 2012
1.829
117
Hi,

also, die Version 1.5.40.0 wird zur "DB-Optimierung" externe Skripte nutzen, konkret das eigentliche "Standard-Skript" für solche Dinge, von https://ola.hallengren.com/. Als Lösung für ein akutes Performance-Problem ist das ein wenig die Holzhammermethode, weil durch die Optimierung der Indizes der Plan- Cache gelöscht wird - aber es funktioniert auch im Extremfall.

Grundsätzlich sollte eine "DB-Optimierung" regelmäßig laufen. Als Faustregel würde ich einmal in der Nacht die Skripte laufen lassen über den SQL Server Agent - ich denke, in die 1.6 wird es auch eine Erweiterung vom Worker schaffen, mit der wir diesen Task auch ohne SQL Server Agent nachts laufen lassen können. (Und nur der Vollständigkeit halber: Neben der Indexoptimierung gehört auch die Integritätsprüfung und das Backup zu den Dingen, die unbedingt regelmäßig laufen müssen)

Das mMn eigentlich zu Grunde liegende Problem, nämlich dass durch bestimmte Funktionen Pläne erzeugt werden, die in der Folge dafür sorgen, dass wiederum die Lieferbarkeitsabfrage sehr langsam wird, werden wir hoffentlich auch in der 1.5.40.0 lösen. Ich sage hier explizit "hoffentlich", weil sich dieses Problem nicht ganz so einfach nachstellen lässt - und nur weil es bei einem Testkunden behoben ist, heißt es noch nicht, dass es grundsätzlich bei allen Kunden helfen wird.

Wir haben einige Änderungen an der Funktionsweise der Bestandsberechnung in der 1.5.40.0 vorgenommen um eben diese Themen (schlechte Performance durch ungünstige Pläne und damit verbundene Deadlocks) in den Griff zu bekommen. Ich denke nicht, dass wir es mit der 1.5.40.0 komplett vom Tisch haben werden, aber wir sollten mit den Änderungen einen guten Schritt nach vorne kommen.

LG,
Sebastian
 

Mario.

Sehr aktives Mitglied
4. Dezember 2007
1.469
34
Prima. Ich habe die JTL-Datenbank Reparatur durchlaufen lassen und bekomme nun einen Fehler. In die Mandanten komme ich auch nicht mehr rein.Rep.jpg

Hat jemand eine Idee wie das wieder i.O. gebracht werden kann?
 

Mario.

Sehr aktives Mitglied
4. Dezember 2007
1.469
34
Ich konnte das Problem lösen. Einfach in der SQL-Datenbank in der Tabelle dbo.tOptions den Inhalt der Zeile UpdateGestartet löschen. Dann nochmals "Collation reparieren" starten und geduldig warten.
 
  • Gefällt mir
Reaktionen: RECENTmarketing

TobiasC

Gut bekanntes Mitglied
25. Juni 2008
128
10
Hi Mario,

freut mich, dass du das Problem lösen konntest.

Bei meinem Tipp handelte es sich ja allein um die DB Performanceoptimierung:

2021-02-12_10h13_18.png

2021-02-12_10h13_38.png

Grüße
Tobias
 
  • Gefällt mir
Reaktionen: Mario.
Ähnliche Themen Forum Antworten Erstelldatum des Themas
Neu Anmeldung an MS SQL Server 2019 schlägt fehl.... Installation von JTL-Wawi 4
Neu SQL Server Größe der .mdf .log Temp-DB User helfen Usern - Fragen zu JTL-Wawi 7
Neu Datenbankanbindung bei externem SQL Server Installation von JTL-Wawi 2
Neu Anmeldung SQL Server Installation von JTL-Wawi 10
Neu SQL Server mit FileZilla verbinden Allgemeine Fragen zu JTL-Shop 3
Neu Neuinstallation SQL Server 2019 User helfen Usern - Fragen zu JTL-Wawi 2
Neu Neuinstallation SQL Server 2019 Installation von JTL-Wawi 5
Neu JTL-WaWi (SQL Server Express 2017) - Extreme Performance-Einbrüche User helfen Usern - Fragen zu JTL-Wawi 5
Neu Welchen SQL Server würdet ihr empfehlen ? User helfen Usern - Fragen zu JTL-Wawi 2
Neu Fehler bei Verknüpfung Wawi zu SQL Datenbank von JTL Installation von JTL-Wawi 0
Neu Attribute in Angebote mit SQL Auslesen Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 0
Neu Installation von JTL -WAWI - Hänge beim SQL Installation von JTL-Wawi 6
Neu SQL-Fehlermeldung beim Update einer DB auf Version 1.5.30.0 bei FOREIGN KEY-Einschränkung 'FK_dbo_tMerchantVersandRef_kVersand' JTL-Wawi - Fehler und Bugs 2
Neu Nach Upgrade auf SQL 2017 Express User helfen Usern - Fragen zu JTL-Wawi 0
Neu SQL Abfrage einschränken User helfen Usern - Fragen zu JTL-Wawi 1
Neu Fehlermeldung SQL (0x80131904): Die INSERT-Anweisung steht in Konflikt mit der FOREIGN KEY-Einschränkung 'FK_ebay_data_membermessage_out_kEbayuser' .. JTL-Wawi - Fehler und Bugs 0
Neu Firma aus SQL DB extrahieren bzw. Firma mit allen Daten löschen User helfen Usern - Fragen zu JTL-Wawi 0
Neu JTL Version aus SQL Table auslesen Individuelle Listenansichten in der JTL-Wawi 1
Neu SQL Stücklistenartikel User helfen Usern - Fragen zu JTL-Wawi 0
Neu SQL Abfrage Artikelnummer als Barcode Druck-/ E-Mail-/ Exportvorlagen in JTL-Wawi 3
Neu Versand>Lieferscheine offen: SQL Abfrage Artikelgewicht aller Positionen User helfen Usern - Fragen zu JTL-Wawi 0
Neu Update 4 auf 5- Datenbankupdate - SQL Fehler Installation / Updates von JTL-Shop 0
Neu Problem bei instalation SQL "does not support the language of the OS" Installation von JTL-Wawi 8
In Diskussion SQL Abfrag in Artikeln gibt falschen Wert aus. JTL-Workflows - Fehler und Bugs 6
Neu SQL Abfrage - Microsoft Excel Arbeitsabläufe in JTL-Wawi 1
Neu SQL für komplett lieferbare Aufträge User helfen Usern - Fragen zu JTL-Wawi 0
Neu Wawi Sql-Abfrage des globalen Artikelnamens Deutsch in eigene Übersicht Individuelle Listenansichten in der JTL-Wawi 2
Neu SQL Abfrage Lagerbestand Verbrauch User helfen Usern - Fragen zu JTL-Wawi 1
Neu Probleme nach Upgrade 4.06 auf 5.0 - SQL Query blockiert Datenbank Installation / Updates von JTL-Shop 13
Gelöst Ausgabe von SQL abfragen in Tabelle als Datenquelle Gelöste Themen in diesem Bereich 5
Neu Per SQL Umsatz netto aktuelles Jahr, Vorjahr und Datum letzter Auftrag abfragen User helfen Usern - Fragen zu JTL-Wawi 3
Neu JTL Shop 4 auf 5 SQL Update Fehler - 1267 Illegal mix of collations Installation / Updates von JTL-Shop 11
Neu SQL Datenbank, TempDB und Logfiles verschieben Installation von JTL-Wawi 5
In Diskussion Varkombis zu Stückliste zuordnen - SQL Befehl oder Workflow JTL-Workflows - Fehler und Bugs 4
Neu Anmeldung SQL Datenbank nicht möglich Starten mit JTL: Projektabwicklung & Migration 1
Neu SQL Datenbank keine Verbindung Installation von JTL-Wawi 0
Neu SQL Fehler durch ENGINE=InnoDB Technische Fragen zu Plugins und Templates 4
Neu WaWi-Server (W2k11) von Schadsoftware verschlüsselt / Backup auf NAS (Filesystem) vorhanden - was nun? Installation von JTL-Wawi 4
In Bearbeitung Fehler auf Übertragungsebene beim Empfang von Ergebnissen vom Server. (provider: Session Provider, error: 18 - Verbindung von Peer geschlossen) eBay-Anbindung - Fehler und Bugs 1
Nach Upgrade auf V.5 und Umzug anderen Server, sind alle gemachten Anpassungen verschwunden. Upgrade JTL-Shop4 auf JTL-Shop5 4
Offen Mobile Server Verwaltung - keine Benutzer sichtbar JTL-WMS / JTL-Packtisch+ - Fehler und Bugs 3
Neu Verbindung eines Client mit dem Server Installation von JTL-Wawi 5
Neu VPN Tunnel Filialen Server Installation von JTL-Wawi 3
Gelöst WMS Mobile Server einrichten welche IP Installation von JTL-WMS / JTL-Packtisch+ 15
Neu Server Error 500 JTL Shop5 in Unterverzeichnis Umstieg auf JTL-Shop 1
Neu PDF Rechnung per Workflow auf Server Speichern vs. PDF Ausgabe je JTL Wawi Client Arbeitsabläufe in JTL-Wawi 1
Neu Datenbank zu alt / Server aktualiseren User helfen Usern - Fragen zu JTL-Wawi 1
Beantwortet Import von Server DB-Sicherung auf eine neue lokale Installation User helfen Usern - Fragen zu JTL-Wawi 2
Neu Server Installationsfrage 2xSSD 2xHDD Raid? Installation von JTL-Wawi 2
Neu Google Page Speed Modul auf nginx-Server zerschießt Shop Allgemeine Fragen zu JTL-Shop 6
Ähnliche Themen