Export EXTREM langsam, jemand ne Idee warum?

[WigWam Markus]

Hi,

Titel sagt es schon, Problem besteht seit ca. 1 Woche, auch ohne Filter oder irgendwas ... pro Sekunde wird 1 Artikel exportiert, habe dann mal zum Gegentest mit einer einfachen Linq Abfrage eine csv Datei gefüllt .... das dauerte für 200.000 Datensätze 10 Sekunden...

Jemand eine Idee woran das hängen könnte (Ablaufverfolgung ist aus, Speicher und Festplatte geprüft)... ???

Bin ziemlich ratlos....

 

[helminec]

AW: Export EXTREM langsam, jemand ne Idee warum?

...zu wenig platz auf der festplatte?

 

[MichaelH]

AW: Export EXTREM langsam, jemand ne Idee warum?

Die Ameise wurde langsamer, sehr viel langsamer.

Schreib doch mal wie viele Sätze die schafft in 1 Minute, 1 Satz / Sekunde ist etwas "ungenau".

 

[WigWam Markus]

AW: Export EXTREM langsam, jemand ne Idee warum?

@helminec

Dann würde es ja komplett abbrechen, oder? Ne, habe die SSD auch freigeschaufelt, wenn die zu voll werden verlieren die heftig an Leistung, 50 % frei sollte passen, habe die natürlich auch überprüft

@Michael

Ja, ähem 60 +/- 4, wenn Du das alte Phänomen kennst, das z.b. mit einem Haken bei "Nur von Lieferant SoWieSo" die Ameise nicht ins Time-Out fliegt, mit dem selben Trick rast die auch jetzt los, für ca. 30-40 Datensätze um dann mit 0,89273 bis 1,1472 Artipel pro Sekunde weiterzustottern

... und genauer geht das nun wirklich nicht mehr

Edit: war doch gefühlt langsamer 100 Datensätze in 24 Sekunden, ist trotzdem lahm.... Jetzt rechnet mal aus wie lange die 200.000 gedauert hätten....

 

[MagnusR]

AW: Export EXTREM langsam, jemand ne Idee warum?

Interessante Sache, meine 590.000 Arikel warten auf ein Ergebniss.

 

[MichaelH]

AW: Export EXTREM langsam, jemand ne Idee warum?

13,8 Stunden, na ja, über Nacht isses ja fertig ...

 

[WigWam Markus]

AW: Export EXTREM langsam, jemand ne Idee warum?

... und der Strom wird ja auch immer billiger, denn pressen wir neuerdings aus Zitronen

 

[ag-websolutions.de]

AW: Export EXTREM langsam, jemand ne Idee warum?

ohne weitere Infos zu deinem System muss man glatt die Glaskugel befragen

- was für eine SQL-Version (Express oder Voll-Version)
- liegt SQL-Server auf der gleichen Festplatte wohin auch der Schreibzugriff erfolgt
- wieviel RAM
- wieviel beansprucht der SQL-Server-Prozess
- welche Abfrage
- irgendwie fällt mir um die Uhrzeit auch nicht mehr alles ein

 

[WigWam Markus]

AW: Export EXTREM langsam, jemand ne Idee warum?

2008 Standard, läuft zwar auf meinem Rechner, aber die 4-Kern-CPU hat auf allen Threads Ressourcen frei, die Abfrage is vollkommen egal, immer das gleiche Lied.

Hatte den Speicher auch schon in´s Auge gefasst, hier sind wir tatsächlich immer auf 80% aufwärts Auslastung, nur sollte ich ja dann auch an anderen Ecken Probleme feststellen, aber die einzigen beiden Probleme sind a) die Bestell-Liste (wir dachten das sei gelöst, aber Pfannenkuchen) und der Export, auch nach direktem Neustart und des Rechners keine Besserung (da haben wir ja bei weitem keine 80%)

Keine anderen Programme oder Bereiche der WaWi verursachen Probleme.

Habe ja langsam die Befürchtung, das es ein "Mach-ett-platt-und-wieder-neu" Szenario wird und die Ursache in den Weiten der Bits & Bytes verborgen bleiben wird....

 

[helminec]

AW: Export EXTREM langsam, jemand ne Idee warum?

...zu ssd kann ich dir nur sagen, dass ich nur probleme hier hatte. habe verschiedene ssd's probiert, auch mit genügend platz, geprüft usw. ich hatte nur ärger, komischerweise auch nur mit wawi oder ameise in verbindung mit dem sql-server.
vlt. mögen die wirklich keine ssd's??? auf jeden fall hat mir ein profi aus dem hause intel geraten eine normale, schnelle platte einzubauen, da normal-ssd definitiv nicht geeignet ist für datenbanken aufgrund der massiven schreibzugriffe. ein defekt ist lt. seiner aussage nur eine frage der zeit. es gibt zuverlässige sachen aber da kann man gerne mal in den 5-stelligen rutschen.
ich habe den rat befolgt und bin seither sorgenfrei.

 

[Janusch]

AW: Export EXTREM langsam, jemand ne Idee warum?

Hallo,
post Deinen Filter was exportiert wird.
Es gibt einige Abfragen die sehr lange dauern.

 

[WigWam Markus]

AW: Export EXTREM langsam, jemand ne Idee warum?

@helminec

Kann man sicher drüber streiten, als ich auf SSD umgestiegen bin hat man das sofort positiv gemerkt (und das war noch ein älteres Modell, viele Sachen - gerade was auf SQL Einfluß hat - sind bei neueren Modellen merklich besser geworden).

Das A und O sind sicher eine "Backup-Disziplin" (am Besten automatisiert) auf einer anderen Platte und ein regelmäßges Prüfen der Platte. Ich erinner mich daran, das bei der "Spinpoint" von Samsung (normale Platte) angeblich eine sehr hohe Ausfallrate in den ersten Monaten da war, von insgesamt 4 Platten ist Ende letzten Jahres das Erstmodell ausgefallen, eine andere von Western Digital schon nach 3 Monaten, und die erste SSD hat noch kein KByte Speicher verloren (die fällt normalerweise nach und nach aus, wird sie kleiner sollte reagiert werden).

Generell halte ich die High-End-Lösungen im SSD schlicht zu teuer, die aktuellen Mainstream-Modelle kann man locker minimum 2 Jahre im 24/7 Betrieb laufen lassen, nur sollte man halt mindesten zu den 256 GB Modellen greifen aus Performance-Gründen.

Macht man sich ein bisschen schlau und schaltet unnützes Zeugs wie Indizierung des Laufwerks (und, ganz wichtig: NICHT defragmentieren) ab, wird man sicher seine Freude mit einer SSD haben (auch mit SQL) und by the way - bis vor kurzem lief ja auch die Ameise einwandfrei und absolut hurtig, und Datenverlust ist nirgends festzustellen...

 

[WigWam Markus]

AW: Export EXTREM langsam, jemand ne Idee warum?

Hallo,

ganz egal welche Abfragen, auch wenn Ich nur Artikelnummer und Name OHNE Filter nehme,
setze ich zusätzlich "Nur Lieferant SoWieSo" - Haken, dann saust er los, aber nur für ca. 40 Datensätze und stottert dann weiter

Einfache Linq Abfrage und in csv schreiben ---> 20 Sekunden (drum glaub ich auch nicht an die Platte)

 

[helminec]

AW: Export EXTREM langsam, jemand ne Idee warum?

...sind wie gesagt auch nur meine erfahrungen. ich hatte zuletzt sogar die intel mit 512gb im einsatz. es scheint hardwarekombinationen zu geben, die eine ssd einfach nicht mögen?
hast du mal die check-prozeduren des sql-servers durchlaufen lassen? war hier irgendwo mal beschrieben. ich hatte einmal eine richtig grottenlahme wawi - bei der tv-sitzung stellte sich ein einziger datensatz mit merkwürdigem schlüssel (index?) heraus.

 

[MichaelH]

AW: Export EXTREM langsam, jemand ne Idee warum?

In "früheren Zeiten" war ein "DB-Reorg" nicht sooooo unüblich, ich weiß nicht wie die DBs heute arbeiten.

Jede DB hat(te) letztlich Adressen, diese werden anhand der Daten bestimmt und aufgebaut, werden viele Daten gelöscht oder ersetzt ergeben sich freie Adressräume und Lücken die sich auch auf die Performance auswirken können. Immerhin ist eine DB in der Lage 1 Datensatz in extrem kurzer Zeit in den Daten aufzufinden und das geht nicht von Zauberhand, sondern durch Berechnung und Suche in einem eingegrenzten Bereich der Daten (damit meine ich nicht nur Indizes bzw. Zugriffspfade, denn ist der "Index" gefunden, müssen ja immer noch die Daten dazu gelesen werden, sofern diese nicht im Index enthalten sind).
Eine DB ist immer noch ein elektronischer Karteikasten, nicht mehr und nicht weniger.

Wer also viele Daten löscht, ersetzt oder aktualisiert müsste sich ggf. mal über Optimierung der Daten, bzw. "Reorganisation" im weitesten Sinne, informieren bezogen auf die verwendete DB-Version.

 

[MichaelH]

AW: Export EXTREM langsam, jemand ne Idee warum?

Die Frage hat mich interessiert, hier habe ich etwas gefunden, es hat sich doch nicht so viel geändert in den Jahren, B-Tree oder Binary-Tree sind berechnete Indexe und diese können fragmentiert und löchrig sein:

Step 3: Defragment indexes if fragmentation occurs

OK, you created all the appropriate indexes in your tables. Or, may be, indexes are already there in your database tables. But you might not still get the desired good performance according to your expectations.
There is a strong chance that index fragmentation has occurred.
What is index fragmentation?

Index fragmentation is a situation where index pages split due to heavy insert, update, and delete operations on the tables in the database. If indexes have high fragmentation, either scanning/seeking the indexes takes much time, or the indexes are not used at all (resulting in table scan) while executing queries. Thus, data retrieval operations perform slow.
Two types of fragmentation can occur:

• Internal Fragmentation: Occurs due to data deletion/update operations in the index pages which end up in the distribution of data as a sparse matrix in the index/data pages (creates lots of empty rows in the pages). Also results in an increase of index/data pages that increases query execution time.
• External Fragmentation: Occurs due to data insert/update operations in the index/data pages which end up in page splitting and allocation of new index/data pages that are not contiguous in the file system. That reduces performance in determining the query result where ranges are specified in the "where" clauses. Also, the database server cannot take advantage of the read-ahead operations as the next related data pages are not guaranteed to be contiguous, rather these next pages could be anywhere in the data file.

 

[Thomas Lisson]

AW: Export EXTREM langsam, jemand ne Idee warum?

hi,

Einfache Linq Abfrage und in csv schreiben ---> 20 Sekunden

Was ist eine Linq Abfrage?

 

[MichaelH]

AW: Export EXTREM langsam, jemand ne Idee warum?

LINQ

Was aber nichts sagt, denn es kommt ja auf das SQL das läuft an und nicht auf das Tool ...

 

[Janusch]

AW: Export EXTREM langsam, jemand ne Idee warum?

Es passiert schon das ein Index defragmentiert ist.
Versuche folgendes: http://forum.jtl-software.de/jtl-wawi-ameise-beta/15748-performance.html#post103034

 

[MichaelH]

AW: Export EXTREM langsam, jemand ne Idee warum?

Es betrifft Index und Daten und erst recht wenn ein temporärer Zugriffspfad gebaut wird (unabsichtlich) und das merkt man dann am Meisten wenn es viele Daten sind. Bei der Komplexität der Ameise ist es durchaus möglich, dass kein bestehender Pfad verwendet wird, somit wird für jeden Zugriff dieser temporäre Pfad gebaut und verworfen - was sonst soll eine Durchführungszeit von 1 Sekunde je Datensatz verursachen ?

Die Ameise wurde generell in der neuen WAWI spürbar langsamer, für alle, auch bei mir.

Vielleicht auch einen ReBuild / Reorg Menüpunkt einbauen oder "Datenbank bereinigen" erweitern ?