Neu Frage zur Geschwindigkeit der Ameise

[madeby]

Hallo in die Runde,

ich habe eine grundsätzliche Frage zur Ameise.
Wenn wir Datensätze in die WaWi importieren, mit etwa 45.000 Spalten, ist es dann normal, wenn die Zeit beim Import länger wie 1,5 Tage dauert ?
Falls nicht, woran könnte das liegen ?
Die Erfahrung zeigt, am Anfang geht es noch recht schnell, danach wird der Import immer langsamer.

 

[gre000]

Guten Morgen,
45.000 Spalten? oder meist du Zeilen?
Ich gehe einfach mal davon aus das du Zeilen meinst.
Welche Daten werden importiert?
Update oder Neuanlage?
Sind Workflows auf diesen Daten aktiv?
Welche Wawi Version nutzt du?
Welche SQL Server Version?
Wie ist die Hardware des Servers
Wo steht der SQL Server (lokal, Lan, Cloud)
Werden BIlder mit importiert? Wenn ja wie groß sind die im Schnitt?

Sorry für die vielen Fragen aber kann alles einfluss auf die Geschwindigkeit nehmen!

 

[Björn Berger]

Hi

gre000 hat es schon ganz gut zusammengefasst.
Aber generell sind 1,5 Tage zu lang, da stimmt vermutlich was nicht.

Gruß
Björn

 

[madeby]

Sorry, habe dir soweit möglich, alle Fragen beantwortet.
Gerne darf man auch mal drüberschauen, da es schon sehr nervig ist, wenn man eine Woche einplanen muss, für diverse Änderungen, die nach und nach importiert werden müssen.
Weil ich auch langsam vermute, dass bei mir was nicht stimmt.
Ich arbeite mit 3 Mandanten, bei allen 3 ist das gleiche Problem.

45.000 Spalten? oder meist du Zeilen? / ja meinte ich
Ja zeilen, sorry.

Welche Daten werden importiert?
Varianten und Attribut, neue Artikel seltener

Update oder Neuanlage?
Update oder auch neu, mit vorheriger Löschung, über die Ameise

Sind Workflows auf diesen Daten aktiv?
Nein.

Welche Wawi Version nutzt du?
1.1.2.1

Welche SQL Server Version?
SQL Express 2012

Wie ist die Hardware des Servers
Dell 24/7 mit i5 mit 16GB Speicher und 2x 4TB Platten, dazu noch ein Synology Station mit je 5x 4TB Backupplatten.

Wo steht der SQL Server (lokal, Lan, Cloud)
Lokal - Lan
(Die Importdaten, lege ich aber direkt auf den Server, damit es nicht über das Netzwerk läuft)

Werden BIlder mit importiert? Wenn ja wie groß sind die im Schnitt?
Nein, keine Bilder.

 

[Björn Berger]

Hi

Da das Wochenende ja naht wäre es sinnvoll Freitag abend oder so mal die Indices der DB neu zu erstellen wenn noch nicht geschehen.
Das geht über die Jtl Datenbankverwaltung und kann etwas dauern. In der Zeit sollte am besten nicht mit der Wawi gearbeitet werden.
https://blog.jtl-software.de/tipps-zur-sql-server-wartung-teil-1/
https://blog.jtl-software.de/sql-server-wartung-teil-2/

Die 2 Festplatten vom Server sind im Raid konfiguriert? Wenn ja welcher Raid Modi und mit einem seperatem Hardware Raid Controller oder Software Raid?

Die Ameise schaue ich mir mal an wie schnell die bei mir ist.

Gruß
Björn

 

[madeby]

Hi,
habe nun beides durchgeführt, da heute weniger los ist.
Leider hat es nichts gebracht, genauso langsam wie vorher.

Welches Raid die Platten nun haben, weiß ich nicht. Ich weiß nur, dass ich mir damals von Dell einen extra Controller hab einbauen lassen, für Raid.

 

[Björn Berger]

Hi

Mach am besten über das Kundencenter ein Support Ticket auf das sich ein Kollege das mal per Teamviewer anschauen kann.
Ich hatte testweise bei 20000 Artikeln Attribute hinzuimportiert und das lief in unter 30 Minuten durch.

Gruß
Björn

 

[madeby]

Hi,
wau... nicht schlecht.
Okay, mache ich dann. Danke, für die Hilfe.
Beste Grüße

 

[madeby]

Folgendes ist passiert:
Support konnte mir sagen, an der Ameise selbst liegt es nicht, da sie meine Import-Daten getestet haben.
Ich habe nun folgende Tests gemacht, auf Empfehlung vom JTL Team.

Test1
Ameise auf dem Server: Windows FW und Virenscanner alles aus. (Importdaten liegen auf dem Sever, es wurde nicht über das Netzwerk importiert)
1min Lauzeit, max 350 importiert.

Test2
Ameise Lokal, mit DB auf dem Rechner.
1min Laufzeit max 800 importiert.

Also doppelt so schnell, wie auf dem Server.
Könnte es nun wirklich an dem Raid Controller liegen ?
Wenn ja, gibt es empfehlungen, welche Controller man hier verwenden könnte?

 

[Marc Völker]

Das eigentlich nicht, weil das einlesen einer CSV ist nicht wirklich viel I/O, selbst wenn die sparsam eingelesen wird (nur das was gerade gebraucht wird) wird das nicht das Nadel Ohr sein.

Ich könnte mir da schon vorstellen, dass der Server auf einer ziemlich hohen Grundlast läuft. Hast du mal im Task Manager die Prozessor Auslastung im Auge behalten?
Was für ein i5 ist das genau? Sprich generation, also am besten mal die komplette nummer kannst du halt im System unter der Systemsteuerung sehen.

Im ersten Moment hört es sich erst mal danach an, dass die CPU kaum hinterher kommt. Der RAM wird es eher weniger sein, da eine Express im einsatz ist, und die Ameise sehr sparsam ist.

Aber guck auch da mal, wieviel belegt ist, wenn da noch andere Programme
auf dem System laufen kann das schnell mal eng werden.

 

[madeby]

Also ich habe mal nachgesehen, ich habe im Server keinen i5 sondern einen XEON - 31220 mit 3,1Ghz. vom Typ Dell PET110II
System: Windows Server 2012 Foundation. Die CPU Auslastung liegt bei ca 12%, wenn ich die Ameise starte, bei ca 20%.
Beim Controller steht "Standardmäßiger SATA AHCI- Controller"

Den I5 hatte ich im Notebook, den ich damals gekauft hatte, hatte das verwechselt.

 

[madeby]

Keiner mehr einen Tipp ?

 

[maydo]

prüft das mit den workflows, bei uns haben einige workflows extrem gebremst.

ansonsten bringt eine verteilung der mdf, log + tempdb auf verschiedenen (physikalischen) platten auch extrem viel schub. (+host auch getrennt, gesamt 4 laufwerke)

ps: wenn machbar sogar die mdf und log der tempdb auch trennen. + noch zusätzliche tempdb files anlegen je nach cpu core

 

[Marc Völker]

Erklärt aber nicht, warum ameisen ausführung lokal langsam als Remote mit gleicher DB ist. Da wird die DB nicht das Nadelöhr sein. Sondern irgendwelche System geschichten.