Export EXTREM langsam, jemand ne Idee warum?

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
261
AW: Export EXTREM langsam, jemand ne Idee warum?

Nein, das ist nur notwendig wenn der Index beschädigt ist. Im Normalbetrieb sollte es nicht passieren.

1 Sek. für einen Datensatz scheint ein ganz anderes Problem zu sein. Wir schauen uns das genauer an.
Wenn man in der Wawi nach "_" sucht, ist die Anzeige auch so langsam?
 

MichaelH

Sehr aktives Mitglied
17. November 2008
13.831
1.547
AW: Export EXTREM langsam, jemand ne Idee warum?

Bei "_" bei mir nicht, 4000 Artikel, 0.1 Sekunden, Flatsch macht´s, Ameise ist aber auch bei mir langsamer als in der alten WAWI.
 

helminec

Gut bekanntes Mitglied
16. Mai 2008
890
10
Coburg
AW: Export EXTREM langsam, jemand ne Idee warum?

...kann ich auch bestätigen.

frage am rande, aus meiner zeit gab es in der software (db) einen befehl der lautete "if fldch". dies bedeutete "wurde an einem feld oder dem datensatz etwas geändert". gibt es soetwas auch unter sql?
wenn ja, könnte man den transfer mit der ameise wesentlich beschleunigen. bei mir werden täglich nach der ameise ca. 10.000 artikel mit dem shop abgeglichen, wirklich geändert werden aber max. 500. wenn so eine abfrage bereits in der ameise möglich wäre, müsste doch der komplette transfer schneller werden, oder nicht?
 

WigWam Markus

Sehr aktives Mitglied
19. Juli 2008
1.120
15
Bayrisch Kongo
AW: Export EXTREM langsam, jemand ne Idee warum?



Das war jetzt aber ein Gag, oder ?



Wenn ein Index oder was beschädigt wäre, würde auch LINQ lahmen, denn es werden daraus ja auch SQL-Anweisungen generiert und ausgeführt, nur das ich hier dann direkt eine "Klasse" bekomme die ich dann bequem in die csv streamen kann...
 

MichaelH

Sehr aktives Mitglied
17. November 2008
13.831
1.547
AW: Export EXTREM langsam, jemand ne Idee warum?

Wenn ein Index oder was beschädigt wäre, würde auch LINQ lahmen, denn es werden daraus ja auch SQL-Anweisungen generiert und ausgeführt, nur das ich hier dann direkt eine "Klasse" bekomme die ich dann bequem in die csv streamen kann...

Nein, häufig geht es um die Feldreihenfolge, Feldauswahl und damit auch um die Joins die verwendet werden ... und ob die Abfrage nur 1 x gemacht und dann ausgegeben oder ob eine Basisanfrage (SQL) gemacht und ggf. notwendige Daten zur Auswahl/Selektion oder zur Ausgabe dazu gelesen werden etc. etc. SQL ist ja eine "freie Sprache" - fast alles ist möglich. JTL wird´s schon finden.
 

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.574
299
Köln
AW: Export EXTREM langsam, jemand ne Idee warum?

hi,

Nein, das ist kein Gag. Ich frag mich wie du auf Linq kommst, denn wir nutzen das in der Ameise nicht.

würde auch LINQ lahmen, denn es werden daraus ja auch SQL-Anweisungen generiert und ausgeführt, nur das ich hier dann direkt eine "Klasse" bekomme die ich dann bequem in die csv streamen kann...
Machst du das so oder nutzst du die Ameise?
 

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.574
299
Köln
AW: Export EXTREM langsam, jemand ne Idee warum?

Nimms mir nicht böse, aber wir hatten schon Experten, die uns wochenlang die Ohren vollgeweint haben, dass die Wawi lahm sei und als wir das untersucht haben, stellte sich heraus, dass über 300 fremde Indizies drin waren.
 

maydo

Sehr aktives Mitglied
28. März 2011
2.133
85
DE-Fulda
AW: Export EXTREM langsam, jemand ne Idee warum?

Komischerweise ist der Export "Lieferantenartikel" ziemlich schnell, ca. 10-15 Artikel/sec.

Der Artikeldatenexport lahmt bei uns auch. 1 Artikel/sec evtl. sogar noch langsamer.
 

WigWam Markus

Sehr aktives Mitglied
19. Juli 2008
1.120
15
Bayrisch Kongo
AW: Export EXTREM langsam, jemand ne Idee warum?

hi,


Nein, das ist kein Gag. Ich frag mich wie du auf Linq kommst, denn wir nutzen das in der Ameise nicht.


Machst du das so oder nutzst du die Ameise?


Da es mit der Ameise nicht mehr geht, weil es schlicht zu langsam ist, habe ich mir notgedrungen ein paar Methoden geschrieben, ich habe auch nicht behauptet, das Ihr das nutzt...

....aber das es mit Linq (oder besser: mit einer anderen SQL Abfrage!) anstatt 12 Stunden nur 20 Sekunden dauert ist eine Tatsache und somit die DB oder irgendwas darin als Schuldigen auszumachen für mich doch sehr gewagt

Ausserdem hab ich "keine Rechte" auf Deinen Link zuzugreifen um das trotzdem zu testen, ich lass mich ja auch belehren, so isses ja nicht, wenn es auch sehr unwahrscheinlicht ist nach den obigen Zahlen...

Ich habe sogar ins Auge gefaßt, das wir selber Schuld sind, da wir mit eigenem Tool direkt auf die DB zugreifen, da ich aber noch eine Mandanten DB hierhabe, die absolut unangetastet ist und die selben Probleme hat ist das nicht das Problem....


@Michael

Danke für den Hinweis, aber die Sachen mit TimeOut etc. kenne ich, ich kenne mich auch mit SQL Problematiken einigermaßen aus, ich habe ja selber schon im Forum Tipps gegeben wie man den Export beschleunigen kann oder den TimeOut überlisten kann.

Regelmäßge Abfragen die bis vor kurzem 10x schneller waren (geschätzt) funktionieren nun nichtmehr(daran hat sich kein Haken, keine Spalte, absolut nichts geändert), ich finde weder an der Hardware noch mittels checkdb Fehler....
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
261
AW: Export EXTREM langsam, jemand ne Idee warum?

Bzgl. #23:

Du meinst das nur die 500 geänderten Artikel von 10.000 in den Webshop gesendet werden oder das nur die 500 Artikel in der DB aktualisiert werden?

Wenn um Shopübertragung: Wir sind aktuell dabei die Shop3 Schnittstelle und die Connectoren zu redesignen. Dort haben wir einen ähnlichen Mechanismus der nur die geänderten Daten überträgt.

Wenn DB: Da man hier Zeit für den Vergleich der Daten verschwendet, ist es meist schneller den Satz komplett zu löschen und neu zu erstellen.
 

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.574
299
Köln
AW: Export EXTREM langsam, jemand ne Idee warum?

hi,

....aber das es mit Linq (oder besser: mit einer anderen SQL Abfrage!) anstatt 12 Stunden nur 20 Sekunden dauert ist eine Tatsache
Die Frage ist natürlich, was du da exportierst. Es gibt sehr viele 1:n Abhängigkeiten, die beim Export aufgelöst werden.

Wir schauen uns jedoch die Problematik generell an, weil 1 Artikel pro Sekunde viel zu langsam ist. Wisst ihr ungefähr, seit wann es so langsam geworden ist bei euch?
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
261
AW: Export EXTREM langsam, jemand ne Idee warum?

....aber das es mit Linq (oder besser: mit einer anderen SQL Abfrage!) anstatt 12 Stunden nur 20 Sekunden dauert ist eine Tatsache und somit die DB oder irgendwas darin als Schuldigen auszumachen für mich doch sehr gewagt

Hier wurde noch niergends eine Diagnose erstellt. Wir sind immer noch bei der Informationssammlung. Wir haben auch nicht geschrieben das es so bleiben wird.
Du hast die Vollversion vom SQL Server, starte den SQL-Profiler und exportiere paar 100 Datensätze.

Evtl. finden wir da die Ursache.

Deine SQL Abfragen mit Linq kannst Du nicht mit den der Ameise vergleichen.
Du führst da einen SQL für alle Artikel aus. Die Ameise fürt mehrere SQLs pro Artikel aus.

Trotzdem sehen wir noch keine Ursache warum die Ameise auf einmal deutlich langsamer sein sollte als früher beim Export.
 

helminec

Gut bekanntes Mitglied
16. Mai 2008
890
10
Coburg
AW: Export EXTREM langsam, jemand ne Idee warum?

@janusch
...bzgl. #23
ich meinte damit eigentlich schon die ameise beim import. so wie es momentan scheint, werden ja generell alle artikel (der importvorlage) mit einem updateflag versehen? da ich aber überzeugt bin, dass recht viele anwender auch nur wenige artikel (bei mir max. 5%) wirklich per import ändern, denke ich der vergleich sollte schneller sein, oder?
auch muss man ja jeden satz nur vergleichen, bis sich ein unterschied ergibt. wenn man dann den vergleich noch so aufbaut, dass die felder mit höchster änderungswahrscheinlichkeit zuerst verglichen werden, sollte da tempomässig sicherlich etwas drin sein?
 

WigWam Markus

Sehr aktives Mitglied
19. Juli 2008
1.120
15
Bayrisch Kongo
AW: Export EXTREM langsam, jemand ne Idee warum?

Hi,

ist schon klar, das kein direkter Vergleich möglich ist, aber eine einfacher Export aus tArtikel ohne Filter wird ja nicht noch auf andere Tabellen, Indizies oder sonstwar zugreifen, und wäre das z.b. bei tArtikel fehlerhaft würde man das dann doch auch bei meiner Abfrage bemerken, oder sehe ich das falsch?

Ich habe bewusst keine 1:n Beziehungen in den Test eingeschlossen, sondern einfach die komplette tArtike exportiert nur mit cArtNr & cName!

Also warum bitte soll das nicht aussagekräftig sein ist ein einfaches Select cArtNr, cName from tArtikel ohne Joins z.b. auf tKategorie & tKategorieArtikel, was ja dann der Kategoriebezogene Export wäre....


Ich schliesse auch ausdrücklich nicht aus, das hier irgendwas "ausgefuchstes" ist, aber wir haben Probleme nur mit der Ameise und auf der Einkaufs-Liste, sonst nirgends, das macht es so "mysteriös"...

Werde ich heute Abend mal mitloggen...
 

helminec

Gut bekanntes Mitglied
16. Mai 2008
890
10
Coburg
AW: Export EXTREM langsam, jemand ne Idee warum?

...die sache von WigWam Markus scheint mir sehr wichtig. ich möchte da mit meiner zwischenfrage #23 nicht dazwischenfunken. könnte jemand das vlt. in einen separaten post verschieben?
 

Janusch

Administrator
Mitarbeiter
24. März 2006
13.921
261
AW: Export EXTREM langsam, jemand ne Idee warum?

Leider nicht.
Wie Du siehst ist aktuell das "rausholen" (Export) deutlich langsamer als der Import. Es liegt an den vielen Abhängigkeiten die ein Artikel aktuell besitzt.
Zudem muss man bedenken, das ein SELECT die Tabelle lockt. Ein Vergleich muss nicht unbedingt schneller sein als ein direktes Update.
 

Thomas Lisson

Administrator
Mitarbeiter
24. März 2006
15.574
299
Köln
AW: Export EXTREM langsam, jemand ne Idee warum?

Hi,

Problem wurde lokalisiert, es hat mit den Beständen pro Warenlager zu tun. In der nächsten Ameisenversion rennt der Export wie üblich mit ca. 100 Artikeln pro Sekunde.
 

deepblue

Sehr aktives Mitglied
2. Januar 2009
2.301
6
Hannover / Hamburg
AW: Export EXTREM langsam, jemand ne Idee warum?

Super, vielen Dank. Finde es sehr gut das Herr Lisson so lange an dem Thema dranbleibt, bis eine Lösung gefunden wurde.
Die JTL-Wawi in kombination mit der Ameise ist wirklich unschlagbar.
 
Ähnliche Themen
Titel Forum Antworten Datum
Neu JTL Ameise Extrem Langsam im Export JTL-Ameise - Fehler und Bugs 8
Neu Dateinamen Bilder Export festlegen? JTL Ameise - Eigene Exporte 5
Neu Export der Ansprechpartner nicht möglich JTL-Ameise - Ideen, Lob und Kritik 2
Neu Etsy U2 personalisierte Bestellungen Export Schnittstellen Import / Export 0
Neu RKSV - Datenerfassungsprotokoll Export? Allgemeine Fragen zu JTL-POS 0
Neu Ameise Export speichern auf FTP Server Schnittstellen Import / Export 3
Ameisen-Export Buchungsdaten (Rechnungen) - Mahndatum und Mahnstufe fehlen JTL-Ameise - Fehler und Bugs 0
Neu Cron für Export-Manager "tut nix" JTL-Shop - Fehler und Bugs 15
Neu WooCommerce Benutzer Export, inkl. Passwort Umstieg auf JTL-Shop 1
Neu CSV-Export von Produkten aus bestimmter Kategorie Allgemeine Fragen zu JTL-Shop 1
Neu Export Gesamtpreis für Artikel mit Mindestabnahme Allgemeine Fragen zu JTL-Shop 0
Neu JTL-Shop 5 Liste von CSV-Export Variablen gesucht Allgemeine Fragen zu JTL-Shop 1
Neu Dateiänderungen bei Export (Auftrag) User helfen Usern - Fragen zu JTL-Wawi 3
Neu Export CSV Datei inkl. Bilder Schnittstellen Import / Export 1
Neu CVS Export inkl. Bildern User helfen Usern - Fragen zu JTL-Wawi 4
Neu Egener Export für CBAM-Bericht möglich? JTL Ameise - Eigene Exporte 1
Export von Bestellungen als Excel JTL-Wawi 1.6 1
Neu Ameise Export Header JTL-Ameise - Fehler und Bugs 2
Neu Ameise eigener export User helfen Usern 8
Neu JTL-Ameise Kontaktdaten-Export und in Greyhound importieren plus Zuweisen User helfen Usern 1
Neu Aufträge zusammen fasse, mit getrennter Rechnung wegen JTL2DATEV Export ? User helfen Usern - Fragen zu JTL-Wawi 0
Ameise - Export Zahlungdaten ohne Minuszahlungen ? Version 1.9.1.0 JTL-Wawi 1.8 2
Export der Einstellungen im admin Einrichtung JTL-Shop5 2
Neu DHL Export Schweiz, erhalten Sendungen zurück JTL-ShippingLabels - Ideen, Lob und Kritik 3
Neu Export nach Vorgabe der Artikelnummern JTL Ameise - Eigene Exporte 5
Neu Datev Rechnungsdatenservice 2.0 Export JTL-POS Belege Schnittstellen Import / Export 0
Neu Druckvorlagen gesucht für Handelsrechnung und Zollinhaltserklärung für den Export User helfen Usern - Fragen zu JTL-Wawi 1
Neu Export Rechnungspositionen inkl. Gewinn JTL Ameise - Eigene Exporte 7
In Bearbeitung Datev-Export - Kunden oder Debitorennummer statt Sammelkonto Allgemeine Fragen zu JTL-POS 3
Neu ICS Export für Wareneingänge User helfen Usern - Fragen zu JTL-Wawi 0
Neu Shop extrem langsam Betrieb / Pflege von JTL-Shop 8
Druckgeschwindigkeit, Speichern, Mailen Katastrophal langsam 4 Minuten je Vorgang JTL-Wawi 1.8 10
Neu MS SQL 14 Express wird langsam voll. Welche Lienzen benötigen wir? Bitte um Hilfe Eigene Übersichten in der JTL-Wawi 27
Dashboard aktualisiert sich sehr langsam JTL-Wawi 1.8 7

Ähnliche Themen