Neu Welche Tool für Datenanpassungen VOR der Ameise

[sebas80]

Hallo zusammen!

Die Ameise kann viel, aber eben nicht alles. So kann man nach meinem Kenntnisstand z. B. keine Spalten aus CSV-Dateien zusammenführen oder (vom Preis-Modifikator abgesehen) keine Berechnungen durchführen.

Mir bleibt also nichts anderes übrig, als das mit einem Tool VOR dem Import über die Ameise zu erledigen. Meine Frage deshalb: Welches Tool verwendet Ihr dafür und wie zufrieden seid Ihr damit?

Hier meine Rahmenbedingungen:

• Artikeldaten kommen vom Lieferanten als CSV-Dateien
• Die CSV wird auf einem FTP-Server zur Verfügung gestellt, wir ziehen sie uns per Batch-Datei
• Die Daten werden stündlich aktualisiert und einen ähnlichen Aktualisierungsrhythmus würde ich auch gerne beibehalten
• WaWi läuft in unserem lokalen Netzwerk
• Auf dem Server ist Windows Server 2016 Essentials installiert
• Als Datenbank läuft MS SQL Server 2017 Express
• Ich habe alle nötigen Freigaben für eventuelle Skripte

Ich möchte natürlich so wenige "Brüche" wie möglich im Workflow haben, also so wenige Tools und Schritte wie möglich, da dies meiner Ansicht nach immer mögliche Fehlerquellen sind. Und das ist wiederum bei der Automatisierung von Massendaten Gift.

Danke für jeden Tipp!

BG

Sebastian

 

[_simone_]

Wenn du schon mit batch machst, kannst du ziemlich alles mit "sed" erledigen.
(bsp.: http://sed.sourceforge.net/sed1line.txt )

 

[fibergirl]

Ich weiß nicht so genau, ich klinke mich hier mal ein.
Besteht eigentlich Interesse an einem solchen Kommandozeilentool speziell für CSV-Dateien, das Zeichencodierung und Spaltentrenner konvertieren kann, und Felder ein bisschen bearbeiten (Spalten zusammenführen, splitten, umbenennen, in Zeilen auflösen, Textersetzungen, rechnen, filtern ...)?

Ich habe da nämlich eines geschrieben, zuerst für mich selbst (für die vermaledeiten Exporte meiner alten Wawi und die gänzlich anderen Anforderungen für die JTL-Ameise), aber eigentlich will ich es dann doch noch ein bisschen weiter aufbohren und irgendwann vermarkten.
Reguläre Ausdrücke muss man dafür nicht beherrschen, kann es aber auch.

Ist sozusagen im Beta-Stadium, funktioniert für mich gut, ist aber ansonsten wohl zu wenig getestet. Und vor allem ist es leider noch nicht vernünftig dokumentiert (das ist aber in Vorbereitung). Als Kommandozeilentool für batchfiles oder Powershell wird es ausschließlich über Parameter gesteuert, da fehlt eine vollständige Beschreibung.

Falls Interesse besteht, würde ich mit der Doku Gas geben und demnächst mal eine Beta hier zur Verfügung stellen.
Wie wäre es? Oder braucht das keiner?

Gruß, fibergirl

 

[elevennerds.de]

Damit sollte schon ziemlich viel machbar sein: https://github.com/BurntSushi/xsv

 

[sebas80]

Ganz lieben Dank schon mal für die zahlreichen Rückmeldungen in so kurzer Zeit! Ich sehe schon: Scheint ein Problem zu sein, das ein paar JTL-User mehr umtreibt

Um nicht noch eine zusätzliche Abhängigkeit zu schaffen, würde ich Bordmittel von Windows bevorzugen. Bin da selbst kein Fachmann, habe aber schon einiges zu Powershell und der Aufgabenverwaltung für regelmäßige Jobs gehört. Sicher grausam aufzusetzen aber wenn es mal läuft, ist es eben Teil von Windows und nicht noch weitere Software, die man im Auge behalten und updaten muss.

Ein Vorteil einer separaten Lösung ist wiederum sicher der Bedienungskomfort. Sind jedenfalls schon interessante Ansätze unter den Ideen.

 

[Rico Giesler]

Falls Interesse besteht, würde ich mit der Doku Gas geben und demnächst mal eine Beta hier zur Verfügung stellen.
Wie wäre es? Oder braucht das keiner?

Das wäre mit Sicherheit interessant für einige User!

 

[sebas80]

Ich überlege gerade, ob nicht auch Access eine interessante Lösung für Datenmanipulation sein könnte. Das Teil kann so ziemlich alles verdauen und beliebig anpassen.

Einzig die Automatisierung stelle ich mir nicht so leicht vor, also die Ausführung als Cronjob, wenn der Lieferant regelmäßig frische Listen veröffentlicht.