Neu AMEISE Absturz nach langer Laufzeit

[DITH-Shop]

Moin,

ich habe Importvorgänge die zum Teil viele Stunden laufen.
Wenn zwischendurch andere, kürzere Import-Vorgänge liefen, beendet sich "der lange Import" - nach erfolgreichem Durchlauf, mit nem Absturzfehler sobald man auf "Schließen" im Berichtfenster klickt.

Ich nehme stark an das zu diesem Zeitpunkt versucht wird den Status/Dauer des Vorgangs in die DB zu schreiben, dabei aber ein Fehler auftritt weil da ein doppelter Index-Eintrag geschrieben werden soll.

 

[Björn Berger]

Hi
Hast du eine Fehlermeldung dazu oder wie kommst du zu deiner Vermutung?

Ich habe das mal versucht mit 2 Artikelimporten ohne besondere Einstellung nachzustellen, das funktioniert soweit. Am ende eines Imports wird ein Informationssatz geschrieben, das kann aber kein Problem sein,
da wird standard sql server logik verwendet.

Ich vermute mal es geht um Artikeldaten Import oder Preise/Lagerbestände.
Was für Importarten sind da eingestellt?
Und mal wieder die Frage nach den Workflows passiert das auch ohne Workflows?

 

[DITH-Shop]

Wie hast DU denn in der kuzen Zeitspanne einen langen Import durchgeführt?
Kurzform:

Import Bestandsdaten
wie gesagt "LANGE !!!!" Laufzeit. ~ 800.000 Zeilen, ~ 3 Stunden Laufzeit)
ohne Workflows, aber MIT entfernen von nicht mehr zugeordneten Daten (Option 2- Lieferant löschen)

und ja natürlich - wenn ich Absturz schreibe, meine ich Absturz = ABSTURZMELDUNG der Wawi AMEISE, inkl. dem selbsttätigen Beenden der AMEISE.
Kann gerne beim nächsten Absturz die ganzen Bilder hochladen.

 

[Björn Berger]

Mein langer Import war 10 Min

Waren beide Importe mit der Einstellung "(2) + alle nicht enthaltene Artikel des Std-Lieferanten deaktivieren"?
Und beide evtl für den selben Lieferanten, sprich könnte es sein das beim kleinen Import die Lieferantenzuordnung schon gelöscht wurde und später dann beim großen nochmal versucht wurde zu löschen?

 

[DITH-Shop]

Ja, ich importiere immer mit "2"
Und Nein, es werden logischer Weise (wozu auch) niemals zwei Importe für denselben Lieferanten parallel durchgeführt.


Nach Beendigung des Importes erscheint die Abschluß-Status-Info-Seite, klickt man dann auf "beenden" (oder "weiter" oder was da gerade steht)
DANN kommt die Absturzmeldung, die kann man weg klicken und dann ist die AMEISE gleich mit weg.
Der Import-Vorgang wird noch in der Liste der letzten Importe vermerkt. (Wie gewohnt mit einem falschen Start-Zeitpunkt, aber wen interessiert das...)

Ein "Großer" Import von ~ 8:30 bis ~ 12Uhr, gestartet mit der AMEISE-GUI , parallel laufen einige "kleine" Importe anderer Lieferanten (AMEISE per CMD) mit nur wenigen zig tausend Zeilen (Max 220.000).

 

[Björn Berger]

Dann bin ich erstmal ratlos, dann ist das wirklich der Informationssatz der am Ende des Importes geschrieben wird.
Poste mal bitte den Fehlerlog falls das nochmal auftritt.

Was den Startzeitpunkt in der Liste der letzten Importe angeht, da wird die Uhrzeit geschrieben wann der Import fertig ist. Ich klär das mal was da los ist

 

[DITH-Shop]

Japp, kommt dann morgen Mittag
Ich kann das beliebig oft nachstellen..

Am einfachsten wäre es für euch - bzgl. des "Startzeitpunkt" wenn ihr das Feld einfach in "Ende" umbenennt.

 

[DITH-Shop]

So, hier die Logs

 

[Mike.K]

Wenn möglich erstelle bitte eine Ticket, wir benötigen zum Nachstellen eine Test Datei sowie deine DB.

 

[DITH-Shop]

Sorry, das wird nichts.
Meine DB ist knapp 35GB groß, die Importdatei 46MB.

Ich habe aber inzwischen eine Vermutung woran es liegt:
Die AMEISE wird vermutlich irgendwo im Cache/RAM oder sonst wo zwischenspeichern welchen Artikeln der Lieferant entzogen werden muss und welchen nicht, da das ja nicht sofort gemacht werden kann.

Ich vermute der dafür vorgehaltene Speicher wird nicht ausreichend sein und dann "überlaufen", was zum angezeigten "out_of_memory" führt

 

[Björn Berger]

Kannst du den großen Import dann mal von einem anderen Client aus starten?
Die Out of Memory exception kommt von einem WinForms Gui Control. Das kann leider alles mögliche sein.

 

[astuparek]

Ist jetzt nur eine Vermutung, aber liegt das nicht vielliecht daran, dass die Ameise eine 32-bit Anwendung ist und deshalb bei einer entsprechenden "Datenfülle" (Anzahl Artikel, Bilder, ...) über den verfügbaren RAM hinausgeht?

 

[Björn Berger]

Ne was das generelle speicher handling angeht ist die Ameise sauber, das hier ist irgend ein Sonderfall.
Sieht man gut im Taskmanager das die Ameise genügsam ist was den Arbeitsspeicher angeht

 

[DITH-Shop]

Kannst du den großen Import dann mal von einem anderen Client aus starten?
Die Out of Memory exception kommt von einem WinForms Gui Control. Das kann leider alles mögliche sein.

Der Fehler tritt auf dem Server selbst auf als auch auf einem "Client".
Verwenden allerdings beide als Betriebssystem Windows 2012 R2

Ich setze am Wochenende mal einen "normalen" Windows Client auf, mal schauen was dann passiert

 

[astuparek]

Ne was das generelle speicher handling angeht ist die Ameise sauber, das hier ist irgend ein Sonderfall.
Sieht man gut im Taskmanager das die Ameise genügsam ist was den Arbeitsspeicher angeht

Sollte jetzt nicht als "Generalverdacht" rüberkommen
Aber es hat mich stutzig gemacht, dass im Screenshot des Taskmanagers genau 2GB in Verwendung sind und die Ameise scheinbar zu genau diesem Zeitpunkt abbricht.
Wieviel davon in diesem Fall auf die Ameise abfällt kann ich hier nicht erkennen!
Wenn du z.B. im StringBuilder (C#) massenhaft Artikel mit langen Beschreibungen (Strings) zusammenfügst, kann das schnell mal den RAM ordentlich beschäftigen - so meine Erfahrung - wir haben mit solchen Daten tag-täglich zu tun.
Bei 800.000 Artikeln wäre das dann nicht mehr allzu abwegig.

@DITH-Shop
Wir könnten hierfür mal unsere neue Import-Schnittstelle testen (aktuell in Fertigstellung) die eine leistungsfähige Ergänzung oder Alternative zur Ameise darstellen wird.

 

[DITH-Shop]

Nur mal so am Rande erwähnt, die 2GB im Taskmanager sind NICHT zum Zeitpunkt des Abbruches belegt.
Der Screen sollte nur die Frage verhindern ob ich genügend Arbeitsspeicher installiert habe.
Ich schreibe gleich mal die Speicherbelegung während des Importes... Muss nur nen bisschen warten bis das fortgeschritten ist.

 

[astuparek]

OK, war ein wenig verwirrend
wäre dennoch interessant, da der Fehler immerhin beim "zusammenbauen" von Zeichenketten auftritt.

 

[DITH-Shop]

@DITH-Shop
Wir könnten hierfür mal unsere neue Import-Schnittstelle testen (aktuell in Fertigstellung) die eine leistungsfähige Ergänzung oder Alternative zur Ameise darstellen wird.

Danke, aber Nein. Ich möchte keine weiteren externen Tools verwenden, die könnte ich selbst schreiben, wäre ja nen Klacks.
Durch zu viele externe Tools werden nur unnötig viele Fehlermöglichkeiten geschaffen und man kommt aus der Pflege nicht mehr heraus.
Alles was Zentral abzuarbeiten ist soll auch zentral laufen.

 

[DITH-Shop]

So, hier nun der Speicherbedarf der Ameise nach ~70 Minuten Laufzeit
Sieht nicht wirklich wild aus

Tendenz ist aber stetig steigend

 

[DITH-Shop]

130 MiInuten... (ca. 2/3 sind abgearbeitet)
nun gehts langsam los