Input/Output Sehr langen String in Datei schreiben

[steman]

Hi Leute,

ich habe ein kleines Problemchen ... und zwar lese ich den Quellcode einer URL aus und schreibe ihn in eine Textdatei. Dabei ist der gesamte HTML-Code in einem String, den ich noch trimme und (zur Übersichtlichkeit) einen Zeilenumbruch vor jedem HTML-Tag einfüge.

Das Problem ist nun aber, dass nicht der komplette String geschrieben wird. Die Konsole gibt ihn mir so aus, wie ich ihn haben will. Allerdings werden nur 98.304 Zeichen geschrieben und es wird eine java.lang.NullPointerException geworfen, in der Zeile 14 "s = s.trim();". Der Debugger gibt zudem aus:
ERROR: JDWP Unable to get JNI 1.2 environment, jvm->GetEnv() return code = -2
JDWP exit error AGENT_ERROR_NO_JNI_ENV(183): [../../../src/share/back/util.c:838]

Ich bin mir fast sicher, dass es Gestern noch alles geklappt, bevor ich am Code ein wenig was rumgebastelt (und wieder zurückgebaut) habe.

[Java] try {
URL url = new URL("http://www.test123.de");
Reader InStream = new InputStreamReader(url.openStream());
BufferedReader in = new BufferedReader(InStream);
BufferedWriter out = new BufferedWriter(new FileWriter("C:\\Users\\xyz\\workspace\\einlesen\\src\\test123_html.txt"));
String s = "";
String regex = "<";
String replacement = "\n<";
//int index_ELIX = -1;

//Datei schreiben
while(s != null) {
s = in.readLine();
s = s.trim();
s = s.replaceAll(regex, replacement);
System.out.println(s);
out.write(s);
}

in.close();
out.close();
}[/Java]


Wäre echt schick, wenn da jemand nen Rat für mich hätte.


Danke =)

 

[SlaterB]

 while(s != null) {
         s = in.readLine();
         // hier könnte s nun null sein, der Check hilft nicht

üblich ist

 while((s = in.readLine()) != null) {
         // hier kann s nun nicht null sein, der Check hilft

------

zur Anzahl Zeichen ist damit freilich nichts gesagt,
fehlt wirklich was? läßt sich direkt erkennen ob z.B. nur die letzte Zeile?
kann die Quelle auf anderem Wege komplett angeschaut werden, ist sie wirklich ein Text mit HTML-Tags?

die Fehlermeldung ist vielleicht nur Debugger-intern und für dein Programm unerheblich,
wenn du bisher zur NullPointerException kommst, dann gibt es wohl keinen anderen Abbruch

 

[steman]

Es funktioniert
Ich hatte schon irgendwie die Befürchtung, dass der da irgendwie versucht null zu trimmen, nur bin ich von dem Gedanken wieder abgerückt, als ich gesehen habe, dass er doch einen Teil in die Textdatei schreibt.

Und jetzt sehe ich auch, dass 40.000 Zeichen zu viel drin waren, bei meiner Lösung. Allerdings wurde nichts hinten angehangen, sondern scheinbar irgendwie weitere oder andere Teile der Homepage ausgelesen. Frag mich aber bloß nicht was und warum, auf mich wirkt das sehr mysteriös ^^

Vielen Dank, ich habe jetzt auf jeden Fall genau die Daten, die ich brauche

 

[steman]

Leider hat es sich doch nicht erledigt ...

Durch die Änderung in der while Schleife wird zwar ohne Fehler in die Datei geschrieben, allerdings sehe ich gerade, dass es 209.000 Zeichen sein sollten, es aber nur ein Viertel ist. Der Rest wird irgendwo "verschluckt", auch ohne trim und replace.

Wenn ich das alte Argument in der while Schleife lasse, dann wird allerdings alles (bis zur Exception), korrekt geschrieben

Übrigens habe ich beim Ausgeben der Dateien in der Konsole dasselbe Problem. Mit while( s != null ) ist alles da, mit in.readLine() darin allerdings nicht -.-

 

[SlaterB]

du hast nicht zufällig in der Schleife immer noch den readLine()-Befehl? zweimal readLine() wäre fatal,
Code?

 

[Crian]

So auch?

            while (true) {
                s = in.readLine();
                if (null == s) {
                    break;
                }
                System.out.println("1:[" + s + "]");
                s = s.trim();
                s = s.replaceAll(regex, replacement);
                System.out.println("2:[" + s + "]");
                out.write(s);
            }

 

[steman]

Tatsache, daran lag es.
Kannst du mir kurz erklären, warum das so ist?

 

[Crian]

Weil du dann nur jede zweite Zeile auswertest.

 

[SlaterB]

eine inhaltliche Auswertung (fehlen die letzten Zeilen, die ersten, fehlt jede zweite) hätte auch wieder Hinweis gegeben,
wie du immer in 10.000den Zeichen zählst aber keine konkrete Auswertung machst..

überhaupt erstmal mit einer Dummy-20 Zeilen-Seite testen