Komisches Zeichen als Ausgabe in der Konsole

[Master3000]

Hallo,
ich lese mit einem BufferedReader eine .txt Datei aus.
Normalerweise klappt dies immer doch dieses mal komischerweise nicht.
Die Ausgabe der Datei in der Konsole hat immer nach jeder Zeile eine leere Zeile zu viel und am Anfang sind zwei komische Fragezeichen.
Was bedeuten diese Fragezeichen und wo liegt der Fehler ?

Links: ein Bild der Datei welche ausgelesen werden soll
Rechts: ein Bild der Konsole


[CODE lang="java" title="BufferedReader"] BufferedReader file = new BufferedReader(new FileReader("datei.txt"));
StringBuffer inputBuffer = new StringBuffer();
String linecounterr;


while ((linecounterr = file.readLine()) != null) {}[/CODE]

Danke für alle Antworten

 

[mihe7]

Das könnte eine BOM sein, stell doch mal die txt-Datei hier gezippt rein.

 

[NullCharm]

Ja liegt am Encoding der txt-Datei... bitte hier gezippt reinstellen.

 

[Oneixee5]

Die Leerzeile könnte am Windows-Zeilenumbruch liegen. BufferedReader hat leider keine Möglichkeit den Zeilenumbruch einzustellen.

    /**
     * Reads a line of text.  A line is considered to be terminated by any one
     * of a line feed ('\n'), a carriage return ('\r'), a carriage return
    ...
     */
    public String readLine() throws IOException { ...

 

[Master3000]

Hier die Datei welche ich teilweise verändert habe.
Was ist eine BOM Datei ?

Danke bis jetzt für alle Ansätze

 

[mihe7]

Was ist eine BOM Datei ?

BOM = Byte Order Mark, eine Bytefolge anhand derer die Kodierung und Reihenfolge der Bytes bei Multibyte-Zeichensätzen erkannt werden kann.

Ist aber in der Datei nicht vorhanden:

00000000  0d 0a 30 0d 0a 35 30 30  30 30 30 0d 0a 67 65 73  |..0..500000..ges|
00000010  63 68 72 69 65 62 65 6e  65 73 0d 0a 67 65 73 63  |chriebenes..gesc|
00000020  68 72 69 65 62 65 6e 65  73 0d 0a 0d 0a 31 0d 0a  |hriebenes....1..|
00000030  0d 0a 67 65 73 63 68 72  69 65 62 65 6e 65 73 0d  |..geschriebenes.|
00000040  0a 67 65 73 63 68 72 69  65 62 65 6e 65 73        |.geschriebenes|

Da steht am Anfang ein einfacher CR/LF-Zeilenumbruch.

 

[NullCharm]

Unverändert Zippen!

 

[Master3000]

Hier ist nochmal die bis auf den Namen unveränderte Datei.

 

[Oneixee5]

Die Datei wird als UTF-16 LE encodiert angezeigt.

 

[Master3000]

Die Datei wird als UTF-16 LE encodiert angezeigt.

Das heißt was ?

Danke schonmal im voraus

 

[NullCharm]

Sacht mal, bin ich blöd? Bei mir steht da datei.txt, nicht .zip ... Oder rede ich Chinesisch?

 

[kneitzel]

Ist doch egal - die Datei kann man so auch herunter laden.

Und dann sieht man bei der Datei:
FF FE -> UTF-16 Little Endian BOM https://de.wikipedia.org/wiki/Byte_Order_Mark
und dann geht es halt immer in 2 Byte Blöcken weiter:
0D 00
0A 00
...

Wäre nur interessant, wie Du zu dieser Datei gekommen bist. Irgendwie habe ich "in freier Wildbahn" bisher nie ein BOM Header gesehen und Java kann damit auch nicht umgehen. Was hier nur hilft ist eine manuelle Lösung:
- Lies die ersten Bytes. Wenn diese FF FE sind, dann liest Du den Rest als UTF-16LE Encoded Stream ein.
(Also z.B. InputStreamReader nutzen und Encoding ist StandardCharset.UTF_16LE)

Du kannst dann auch noch das andere BOM mit berücksichtigen:
Sind die ersten zwei Bytes FE FF, dann ist das Encoding UTF_16BE

 

[thecain]

Powershell schreibt Dateien so (bzw UCS-2), wenn man direkt in ein File schreibt (wenn ich mich recht erinnere)

 

[Master3000]

Ist doch egal - die Datei kann man so auch herunter laden.

Und dann sieht man bei der Datei:
FF FE -> UTF-16 Little Endian BOM https://de.wikipedia.org/wiki/Byte_Order_Mark
und dann geht es halt immer in 2 Byte Blöcken weiter:
0D 00
0A 00
...

Wäre nur interessant, wie Du zu dieser Datei gekommen bist. Irgendwie habe ich "in freier Wildbahn" bisher nie ein BOM Header gesehen und Java kann damit auch nicht umgehen. Was hier nur hilft ist eine manuelle Lösung:
- Lies die ersten Bytes. Wenn diese FF FE sind, dann liest Du den Rest als UTF-16LE Encoded Stream ein.
(Also z.B. InputStreamReader nutzen und Encoding ist StandardCharset.UTF_16LE)

Du kannst dann auch noch das andere BOM mit berücksichtigen:
Sind die ersten zwei Bytes FE FF, dann ist das Encoding UTF_16BE

Könnte ich dann nicht einfach eine neue Datei mit denselben Inhalten erstellen ?
Wie ist diese Datei zu einer BOM geworden ?

 

[kneitzel]

Wie hast du die Datei erzeugt?

Und unter Windows kannst Du z.B. Notepad++ nutzen, wenn du ein Encoding verändern willst. Dann öffnest du die Datei, konvertiert in das Encoding und speichert wieder. Das bringt aber nur etwas, wenn du nicht ständig solche Dateien bekommst, es sozusagen eine einmalige Sache ist.

 

[mihe7]

Also doch... großartig, wenn man veränderte Dateien bekommt

 

[NullCharm]

BufferedReader hat leider keine Möglichkeit den Zeilenumbruch einzustellen.

Doch die gibt es auch...

Tipp: Wenn es sich um nur eine Textdatei handelt, erstelle diese einfach neu oder konvertiere sie.

 

[Master3000]

Irgendwie scheint es am FileWriter zu liegen welcher in die .txt Datei schreibt.
Die Datei habe ich manuell über Linksklick erstellt.
Danach ist die Datei dann eine BOM Datei.
Ich habe statt dem Namen der Variablen int und String geschrieben.


[CODE lang="java" title="FileWriter"]
FileWriter writer;
File datei = new File(filename);
writer = new FileWriter(datei, true);
writer.write(System.getProperty("line.separator"));
writer.write(System.getProperty("line.separator"));
writer.write(int);
writer.write(System.getProperty("line.separator"));
writer.write(System.getProperty("line.separator"));
writer.write(String);
writer.write(System.getProperty("line.separator"));
writer.write(String);

writer.flush();
writer.close();
[/CODE]

 

[mihe7]

Danach ist die Datei dann eine BOM Datei.

Das ist keine "BOM Datei" sondern eine Textdatei mit BOM.

writer = new FileWriter(datei, true);

Dir ist schon klar, dass Du damit keine neue Datei erstellst sondern an eine existierende anfügst?

 

[Oneixee5]

Wäre nur interessant, wie Du zu dieser Datei gekommen bist. Irgendwie habe ich "in freier Wildbahn" bisher nie ein BOM Header gesehen ...

Wir erstellen UTF8-CSV-Dateien meistens mit BOM. Excel öffnet diese Dateien bei einem Doppelklick richtig und man muss sie nicht erst umständlich importieren.

 

[Neumi5694]

BOMInputStream (Apache Commons IO 2.5 API)