Probleme bei der decodierung von texten

[Didi]

hallo

habe folgendes problem:

und zwar soll ich ein programm schreiben um 2 textdateien miteinander vergleichen zu können.
da sich jedoch der quellcode von den dateien je nach verwendetem zeichensatz (ascii, utf-8, iso-8859-1) unterscheidet, es aber ja nur auf den eigentlichen inhalt der dateien ankommt muß ich diese nun in einen einheitlichen zeichensatz decodieren. das decodieren selbst klappt nur tritt folgendes problem auf:

beim decodieren mittels eines Chardecoders mit Charset("UTF-8) macht er folgendes

die beiden uncodierten strings gibt er mir so aus:
ascii: test
utf-8: test

die decodierten dann so:
ascii: test
utf-8: ?test


woran liegt es dass er das fragezeichen so decodiert?

in der textdatei steht einfach nur drin: test

da fällt mir grade nochwas ein:
wie sehen die ersten bytes von textdateien aus?
also wo finde ich bzw wie greife ich auf die informationen zu welcher zeichensatz zugrunde liegt.

mfg

Matthias

 

[mr1st]

Bei UTF-8 Dateien geben normalerweise die ersten beiden Bytes die Länge der Datei an.

Fragezeichen entstehen meist bei unbekannten Zeichen bzw bei solchen Zeichen, die die aktuelle Schriftart nicht darstellen kann.

Möglicherweise herrscht eine Inkompatibilität, da Java ein modified-UTF Format verwendet.

MfG

 

[Didi]

ah...
und wie kann ich herausfinden mit welchem satz eine text datei kodiert ist?!?

Das ist momentan mein Hauptproblem

 

[mr1st]

Wie genau willst Du diese Dateien eigentlich vergleichen? Willst Du einfach wissen, ob sie a) völlig identisch sind, oder b) möchtest Du irgendwas mit deren Inhalt auch noch anfangen?

Fall a):
Du kannst hier die Dateien beide Byteweise einlesen, damit umgehst Du sämtliche Codierungsprobleme, und die resultierenden Byte-Arrays vergleichst Du miteinander.

Fall b):
Da kann ich Dir leider nicht helfen. Ich hab meine Java+UTF Versuche bereits aufgegeben.

MfG

Edit: Formulierungsfehler & Rechtschreibfehler entfernt.

 

[Bleiglanz]

und wie kann ich herausfinden mit welchem satz eine text datei kodiert ist?!?

gar nicht! vielleicht gibts ja irgendwo eine java lib mit heuristischen Methoden, die aus dem binärstrom erraten können, welches Encoding verwendet wurde (mein Unix "file" Befehl kann das dank /usr/share/misc/magic)

Ausnahme ist nur xml, weil da am anfang immer
<?xml steht, und man aus den hierfür verwendeten bytes immer das encoding ermitteln kann...

 

[Didi]

so...also ich hab mir mal verschiedene dateien mit gleichem inhalt , aber anderem encoding erzeugt, diese byte weise eingelesen und wieder ausgeben lassen
Hier mal meine Ausgabe:

Ascii          UTF8        	UTF-16	
                239           255	
                187           254	
                191		

65             65              65	
                                0	

66             66              66	
                                0	

167           194             167	
              167               0	

180           194             180	
              180               0	
   
178           194             178	
              178               0	

              226		
              130             172	
128           172              32	

              194             181	
181           181               0

Hier sieht man recht gut wie die verschiedenen Encodierungen aufgebaut sind
Ascii nur 1-byte Darstellung
UTF-8 1-3-byte Darstellung
UTF-16 2-byte Darstellung

Bin mir nun nicht sicher ob diese ersten 3 bytes jeweils spezifisch für UTF-8 bzw UTF-16 Encoding sind

Problem bei dem Identifizieren des Codes ist folgender:

                            226		
              130           172	
128           172            32

Wie hier zu sehen die verschiedenen Darstellungen ein und desselben Zeichens
Es wäre allerdings doch auch möglich diese 2. Zeichenfolge 226, 130, 172 als einzelne Zeichen zu identifizieren und nicht als ein zusammenhängendes Zeichen.

Jmd ne Ahnung wie ich das angehen könnte?