Dateisplit Programm

[anfänger15]

Hallo

hab folgenden Code geschrieben um eine datei in mehrere aufzuteilen, damit man sie dann z.B. auf mehrere CD's brennen kann und weitergeben.

public static void split (File f, int größe){
	
	try{
	PrintWriter filenamen = new PrintWriter(new FileWriter("ergebnis.SF"));
	PrintWriter dateiende = new PrintWriter(new FileWriter("dateityp.SF"));
    dateiende.print((f.getName()));
    dateiende.close();
    
	boolean fileToLarg = false;
    int anzahl = (int)(f.length())/größe;
	FileOutputStream out;
	FileInputStream in  = new FileInputStream(f);
    int anfang =0;
    int ende = größe;

    
	byte[] inByte = new byte[(int) f.length()];
	in.read(inByte);


  for(int i =1;i <=anzahl;i++){	
  out = new FileOutputStream("SplitFile "+i+".SF");

  if(! fileToLarg){	
	out.write(inByte,anfang,ende);
	anfang += ende;
	out.close();
  filenamen.println("SplitFile "+i+".SF");	
}
}

    if(f.length() % größe == 0){
		fileToLarg =false;
	}else{
		fileToLarg =true;
    }
    
    if(fileToLarg){
	
    out = new FileOutputStream("lastFile"+".SF");
	out.write(inByte,anfang,(int)f.length()-anfang);
    out.close();
   filenamen.println("lastFile.SF");
    }
    
   filenamen.close();
    
  }catch (IOException e){
}	
}

Nur bringt mir das jetzt nicht viel, weil wenn ich eine datei die größe wie 80 mb auswähle bekomme ich eine Java heap Space fehlermeldung, da der Laufzeitumgebung ja nur 80 mb speicher zur verfügung stehen.

Nun meine Frage, wie kann ich das verhindern ohne der Laufzeitumgebung mehr speicher zuzuweißen??

danke

 

[Wildcard]

Du kannst natürlich den Speicher erhöhen, aber hast du dir schonmal überlegt das du gar nicht die ganze Datei in den Speicher klopfen musst? :wink:

 

[The_S]

Ich bin mal eben so frei

	public static void splitFile(String source, String target, long bytes) throws FileNotFoundException, IOException {
		
		int count = 1;
		long pos = 0;
		File file = new File(source);
		FileInputStream fis = new FileInputStream(file);
		FileOutputStream fos = null;
		FileChannel in = fis.getChannel();
		while (pos < file.length()) {
			fos = new FileOutputStream(new File(target + count));
			in.transferTo(pos, bytes, fos.getChannel());
			pos += bytes;
			fos.close();
			count++;
		}
		in.close();
		fis.close();
	}
	
	public static void joinFiles(String[] sources, String target) throws FileNotFoundException, IOException {
		
		File file = new File(target);
		FileOutputStream fos = new FileOutputStream(file, true);
		FileInputStream fis = null;
		FileChannel out = fos.getChannel();
		File f = null;
		for (String str : sources) {
			f = new File(str);
			fis = new FileInputStream(f);
			out.transferFrom(fis.getChannel(), file.length(), f.length());
			fis.close();
		}
		out.close();
		fos.close();
	}

 

[Leroy42]

Noch 'ne Bemerkung:

Hobbit benutzt mit Absicht Streams statt Writer/Reader,
weil Reader/Writer mit Binärdaten (jpg, ...) Unfug anstellen.

 

[The_S]

Und noch ne Anmerkung, standardmäßig stehen 64MB Speicher zur Verfügung und nicht 80MB.

 

[anfänger15]

Danke Hobbit_ dein Code ist echt wesentlich besser


Leroy42 mach ich das nicht auch ???
ich benutze doch nur Writer/Reader um die namen der dateien die beim splitten entstehen zu speichern, da diese nur Buchstaben enthalten.

out = new FileOutputStream("SplitFile "+i+".SF");

also ich dachte immer das es 80 mb sind da mein Malprogramm erst bei bildern die im speicher mehr wie 80 mb brauchen ne Exception wirft habe mich aber wohl geirt

also nochmals danke an alle die mir geholfen haben.

 

[The_S]

Bei der joinFiles Methode sollteste evtl. noch ne Überprüfung einfügen, ob die zu schreibende Datei schon existiert. Sonst wird nämlich einfach angehängt.

 

[Leroy42]

Leroy42 mach ich das nicht auch ???
ich benutze doch nur Writer/Reader um die namen der dateien die beim splitten entstehen zu speichern, da diese nur Buchstaben enthalten.

Auch da kann es Unterschiede in der Interpretation geben
(newline-Sequenz, Standard-Encoding der Plattform)

Auf jeden Fall ist Hobbit's Vorgehensweise wesentlich sicherer.

 

[anfänger15]

ja die joinFiles methode hatte ich schon mir ging es nur um die splitFiles methode, aber trotzdem danke.

Ok ich werd es mal umändern

 

[Leroy42]

um die namen der dateien die beim splitten entstehen zu speichern

Oh, sorry, das habe ich übersehen.

 

[anfänger15]

dann kann ich es ja doch lassen

 

[The_S]

ja die joinFiles methode hatte ich schon mir ging es nur um die splitFiles methode, aber trotzdem danke.

Ok ich werd es mal umändern

Und da gibts keine Probleme, wenn die zu zusammenführenden Dateien größer als 80Mb sind?

 

[anfänger15]

keine Ahnung bin bisher ja schon immer beim splitten gescheitert. Hab jetzt doch deine joinFiles methode genommen, da die weniger Code hat und ausch schneller ist, was ich ja beim splitten gesehen hab.

Aber mich würde noch interessieren wie FileChannel da vor geht. Also wie das in java möglich ist dateien ohne zwischenzuspeichern einzulessen und dann wieder schreiben.

 

[The_S]

Ist halt ne Methode von FileChannel. Intern wird bestimmt auch die Datei eingelesen und wieder geschrieben. Wenns dich interessiert kannst du ja mal im Source-Code von FileChannel nachgucken

 

[Wildcard]

Der FileChannel ist neu in java.nio hinzugekommen.
Damit kann direkt der Filesystem-Cache verwendet werden was die Sache hoch performant macht.
Im Sourcecode wirst du nicht viel sehen, da hier viel native Code zum einsatz kommt.

 

[anfänger15]

Ok dann nehme ich das mal so hin.
Macht ja auch nichts hauptsache ist ja das mein programm dank eurer hilfe läuft :applaus: