Datei laden mit BufferedReader sehr langsam

[Antoras]

Hallo,

mir ist gerade aufgefallen, dass ein BufferedReader beim Laden von Dateien sehr langsam ist (bei ner 10k-Zeilen-Datei braucht der ~8,5s).

public class FileLoader {
	public static void main(String[] args) {
		long start = System.nanoTime();
		String d = "", data = "";
		
		try {
			BufferedReader r = new BufferedReader(new FileReader("./file.txt"));
			while ((d = r.readLine()) != null) {
				data += d + "\n";
			}
			r.close();
		} catch (Exception e) {
			e.printStackTrace();
		}
		
		long end = System.nanoTime() - start;
		System.out.println("Time: " + end / 1000000 + "ms");
	}
}

Eclipse braucht beim Laden der selben Datei vllt. ~1 Sekunde mit Syntax-Highlighting. Warum dauert das bei meinem Codebeispiel so lange?

 

[eRaaaa]

Und wenn du anstatt [c]data += d + "\n";[/c] einen StringBuilder benutzt? ???:L

 

[Firestorm87]

Und wenn du anstatt [c]data += d + "\n";[/c] einen StringBuilder benutzt? ???:L

Dann geht das erheblich schneller, da er nicht jedesmal einen komplett neuen String erstellen muss.....

 

[eRaaaa]

Dann geht das erheblich schneller, da er nicht jedesmal einen komplett neuen String erstellen muss.....

Genau das wollte ich ja damit sagen

 

[Antoras]

Ok, mit dem StringBuilder geht das wirklich erheblich schneller. Danke euch!

 

[bronkowitz]

Hallo!
Da ich ein ähnliches Problem habe hänge ich mich hier mal ran: Ich lese in meinem Programm eine grosse Anzahl Dateien (500, oder mehr) ein und zwar zeilenweise, die Informationen sind auch zeilenweise. Das ganze geht sehr langsam und es existiert eine alte VisualBasic (!) Variante, die wesentlich schneller ist.
Bei mir werden aber keine Strings addiert, nur eben für jede Zeile ein neuer erzeugt. Ist hier ein StringBuilder auch schneller? Aber dann muss er ja anschliessend auf die einzelnen Zeilen gescannt werden, etc.
Gruß, bronkowitz

// Schleife über die Dateien und dann jeweils
BufferedReader br = new BufferedReader(datei);                    
while ((zeile = br.readLine()) != null)
{
    zeile = zeile.trim();
    spalten = zeile.split("[,]");
    // hier werde dann die einzelnen spalten der Zeile auf Schlüsselbegriffe gecheckt, etc.
}

 

[nrg]

natürlich ist ein StringBuilder schneller (edit: zeig mal mehr von deinem algo. kann man anhand von den 3 zeilen vllt doch schlecht sagen. wo kommt spalten[] hin?). Du könntest zb jede zeile einfach mit sb.append(zeile) ranhängen einen zeilenumbruch ("\n") schreiben und das danach anhand von \n in ein string array splitten. Ein StringBuilder gibt es nicht umsonst. string = string + zeile mag zwar auf den ersten blick so aussehen, als ob es das gleiche wie sb.append(zeile) macht, tut es aber nicht. string objekte sind unveränderbar !!

 

[bronkowitz]

OK, dann werde ich das mal probieren. Nach meine bisherigen Recherchen hatte ich immer den Eindruck, dass das immer so gemacht wird, wenn die Informationen zeilenweise vorliegen. Es steht in einer Zeile immer z.B. "LINIE,0.047984,-0.077033" das stellt dann ein Segment einer Linie dar, ebenso Kreis, usw. (habe ich im Code weggelassen). Jede Datei ist ein Plot einer Plotsequenz und kann einige Tausend Zeilen enthalten.

for (int index = indexErsteDatei; index <= indexLetzteDatei; index++)
{
    // try-Block: Datei oeffnen
    try
    {
        datei = new FileReader(praefixPlot(index)
                +Integer.toString(index)+".dat");
        // try-Block: Einlesen
        try
        {
            sequenzPlot.add(new Plot());
            fenster.setIndexLabelKetPlot(sequenzPlot.size()-1);
            p = sequenzPlot.get(sequenzPlot.size()-1);
            z = 0;
            BufferedReader br = new BufferedReader(datei);                    
            while ((zeile = br.readLine()) != null)
            {
                z++;
                zeile = zeile.trim();
                spalten = zeile.split("[,]");
                // wenn "LINIE" = Punkt gefunden
                if (gleich(spalten[0].trim(),"LINIE"))
                {
                    x2 = 1000.0*Double.parseDouble(spalten[1].trim());
                    y2 = 1000.0*Double.parseDouble(spalten[2].trim());
                    p.addZeichenelement(new Linie(x,y,x2,y2,farbcode));
                    x = x2;
                    y = y2;
                }
                z++;
            }
        }
        // catch-Block: Einlesen
        catch (IOException ei)
        {
            JOptionPane.showMessageDialog(null,datei
                    +": Fehler beim Einlesen, Zeile "+(z+1));
             erfolg = false;
            return erfolg;
        }
    }
    // catch-Block: Datei oeffnen
    catch (IOException ei)
    {
        JOptionPane.showMessageDialog(null,"Plot-Datei Nr. "
                +index+" nicht vorhanden");
        erfolg = false;
        return erfolg;
     }
}