Umlaute werden nach Import falsch dargestellt

[Dr_Schaffhausen]

Hallo,

beim Import von CSV-Dateien, die von einer mySQL-Datenbank stammen, werden die Umlaute nach dem Import falsch dargestellt. So wird z.B. statt Holzöl Holzöl angezeigt. Wenn ich die CSV-Datei mit einem Texteditor ansehe, schaut alles völlig normal aus. Selbst in dem Vorschaufenster der Ameise bei der Auswahl der zu importierenden Datei werden die Umlaute noch korrekt angezeigt. Sobald die Datei allerdings geladen ist, sieht man die fehlerhaften Umlaute.

Was kann ich tun, was mache ich falsch?

 

[reneromann]

AW: Umlaute werden nach Import falsch dargestellt

Du hast eine falsche Zeichencodierung ausgewählt...

Wenn dein Texteditor es unterstützt, dann speichere die CSV als UTF-8 MIT BOM ab [kann z.B. Notepad++].

 

[Dr_Schaffhausen]

AW: Umlaute werden nach Import falsch dargestellt

Wo kann ich denn die Zeichencodierung auswählen? Ist das ein Problem auf Betriebssystem- oder Datenbankebene (MySQL oder SQL Server)? In der MySQL-Datenbank ist Latin-1 eingestellt. Da möchte ich aber nichts verstellen, da die Datenbank sich noch im Produktiveinsatz befindet.

 

[JayJayS]

AW: Umlaute werden nach Import falsch dargestellt

Latin-1 unterstütz aber keine Umlaute - deshalb UTF-8 verwenden...

 

[Dr_Schaffhausen]

AW: Umlaute werden nach Import falsch dargestellt

Habe das Problem jetzt folgendermaßen gelöst: Die CSV-Dateien wurde im Code Latin-1 abgespeichert und neu importiert. Jetzt schauen die äs und ös so aus wie sie söllen, äh sollen.

 

[laines]

AW: Umlaute werden nach Import falsch dargestellt

Muss da jetzt mal einhaken.
Mit der Möglichkeit des Batch Importes wäre es super wenn in der Ameise die Möglichkeit geschaffen würde das Encoding zu wählen.

Bevor jemand fragt wieso. Wenn ich täglich automatisch Importiere möchte ich die zu Importierende Datei doch nicht manuell das Encoding ändern müssen.

Gruß
Laines

 

[reneromann]

AW: Umlaute werden nach Import falsch dargestellt

Muss da jetzt mal einhaken.
Mit der Möglichkeit des Batch Importes wäre es super wenn in der Ameise die Möglichkeit geschaffen würde das Encoding zu wählen.

Bevor jemand fragt wieso. Wenn ich täglich automatisch Importiere möchte ich die zu Importierende Datei doch nicht manuell das Encoding ändern müssen.

Gruß
Laines

"Eigentlich" braucht man keine Auswahlmöglichkeit...
Für Unicode, insbesondere UTF-8, existierten "besondere" Zeichen am Anfang des Dateiinhalts, der sog. Byte-Order-Mark (BOM), welche markieren, dass die Datei Unicode-Text enthält. Die genaue Folge innerhalb der BOM gibt dann auch noch an, um welche Unicode-Version es sich handelt. Warum dieser BOM nicht immer von Export-Tools geschrieben wird, darf man hierbei die Programmierer der Tools fragen. Die Ameise wertet den BOM aber ordnungsgemäß aus und hält sich daran. Wenn kein BOM existiert, wird von ASCII-Text ausgegangen, welche Codepage verwendet wird, hängt dann vom System ab. Im Zweifel aber immer die "falsche" (sprich CP437 obwohl CP850 geschrieben wurde -oder- CP850, obwohl CP437 geschrieben wurde).

 

[laines]

AW: Umlaute werden nach Import falsch dargestellt

Also sag ich doch Encoding wählen ermöglichen.
Ich muss doch auf "FEHLER" anderer vorbereitet sein

 

[steschach]

AW: Umlaute werden nach Import falsch dargestellt

Soweit ich gesehen habe, ist auch in der neuen Ameise in der Beta-Version WaWi 1.0 leider keine Auswahl des Zeichensatzes möglich. Ich bräuchte auch so eine Möglichkeit, denn ich habe sogar noch eine alte DOS-Codierung in einer Lieferantenbestellung, und diese wird üblicherweise nicht automatisch erkannt.
Vielleicht hat aber jemand einen Tipp, wie so eine Datei in einem batch-Prozess mit einem kleinen tool umgewandelt werden kann, danke ...

 

[reneromann]

AW: Umlaute werden nach Import falsch dargestellt

DIE "alte" DOS-Codierung gibt es aber nicht. Unter DOS existierten bereits verschiedenste Codepages, welche durch den Nutzer umgeschaltet werden konnten...
Sollte das ein "altes" DOS-Programm für Deutschland sein, so wird hier im Regelfall ENTWEDER Codepage 850 (Europa/Latin-1) -ODER- Codepage 437 (US-Englisch) verwendet.

Solange es "nur" den "Standardzeichensatz" anbetrifft, sind übrigens [fast] alle Zeichensätze kompatibel - nennt sich ASCII, definiert aber nur die ersten 128 Zeichen (u.a. die Ziffern 0-9, die "wichtigsten" Interpunktionszeichen" und die Buchstaben A-Z und a-z). Die dt. Umlaute sind hingegen NICHT im ASCII-Code enthalten und liegen daher -je nach Codepage/Zeichensatz- irgendwo.
Übrigens ist der ASCII-Code selbst noch an der Stelle in Unicode enthalten - heißt also, dass reiner ASCII-Text voll kompatibel zu Unicode ist.

Und was die Umwandlung anbetrifft:
Sofern du ein wenig firm in der Programmierung bist, schreib dir ein Kommandozeilentool, welches die Umwandlung vornimmt.
In den .NET-Sprachen sind die benötigten Routinen im Bereich von System.Globalization bzw. System.Text.Decoder und System.Text.Encoder zu finden.
Um es variabel zu machen, am besten natürlich mit 4 Parametern (Input-Datei, Input-Encoding, Output-Datei, Output-Encoding)

 

[laines]

AW: Umlaute werden nach Import falsch dargestellt

Hallo reneromann,
und was trägt das nun zu unserem Problem bei ?

Es kann nun mal nicht jeder sein eigenes Programm schreiben so wie du.
Die Ameise ist ja schon ganz gut aber ich stoße oft an Ihre Grenzen.

 

[reneromann]

AW: Umlaute werden nach Import falsch dargestellt

@laines:
Es ging ja um das Problem der Zeichencodierung und der "automatischen" Umwandlung vor dem Batch-Import der Ameise.
Bei manuellem Arbeiten mit der Ameise macht Notepad++ mit der Konvertier-Funktion ja gute Dienste, aber für eine Automatisierung nur (bedingt) geeignet.

Um die Dateien automatisch zu verarbeiten, muss daher ja auch "automatisch" die Codierung angepasst werden...
Einmal schnelles Googlen nach "Batch Convert Encoding" liefert Folgendes:
linux - Batch-convert files for encoding - Super User

Insbesondere der folgende Befehl

iconv -f windows-1252 -t utf-8 infile > outfile

dürfte interessant sein.

iconv als Programm muss jedoch separat installiert werden, z.B. als Teil von cygwin.
Alternativ gibt's iconv auch hier.
Wichtig ist, dass die 4 Dateien iconv.exe, libcharset1.dll, libiconv2.dll und libintl3.dll in einem Ordner liegen...
(Erstere drei finden sich in der Binaries-Zip im Ordner bin, letztere ist in der Dependencies-Zip).