Von nem Server per getInputStream in meheren Varianten lesen

[na-oma]

hi, versuche nen http reply von nem webserver zu "parsen" (damit ich die Content-Length rausbekomme) wird dann alles noch an nen Clienten weitergereicht:

//nen Reader, damit ich readLine() habe
BufferedReader fromServerReader = new BufferedReader(new InputStreamReader(server.getInputStream()));

//Header Teil
String line;
while ((line = fromServerReader.readLine()) != null) {
//lesen der Header-Zeilen, verarbeiten, an Clienten weitergeben, bei ner leeren Zeile (2x \r\n) break

}

//hier wat binäres...
BufferedInputStream fromServerStream = new BufferedInputStream(server.getInputStream());

int readLen;
byte[] buffer = new byte[512];
//hier kommt der Content Teil, der evtl. binär ist.
while ((readLen = fromServerStream.read(buffer)) != -1) {
//verarbeiten, an Clienten weitergeben

}

Ich benutze also denselben InputStream, den ich mit server.getInputStream() bekomme "doppelt".

Wenn ich allerdings den Header mittels des InputStreamReaders gelesen habe, gibt BufferedInputStream.read() immer -1 zurück, obwohl mit Sicherheit noch was zu lesen ist!

Sobald ich das lesen des Headers auskommentiere und quasi alles als Binär-Daten mittels des BufferedInputStreams lese, liest dieser alles, bis zum Ende.




Kann man das so machen? Sehe nix schlimmes, dass ich den Stream 2x unterschiedlich benutze.

Würde mich über eine Lösung freuen. Villeicht gibts ja ein Patentrezept für solcherlei Angelegenheiten

 

[Ilja]

programme, die sich in eine Server-Client-Kommunikation einklinken, haben meißt nichts gutes im Sinn -.-

 

[Beni]

Ein Byte das gelesen ist, ist gelesen :wink:

Du kannst mit einem PipedInput- und einem PipedOutputStream einen neuen Stream kreieren. Dann liest du von dem Server-InputStream, schreibst in den PipedOutput, und kannst spaeter wieder vom PipedInput lesen.

 

[na-oma]

@Ilja 😉 Zu Log Zwecken ist das doch erlaubt?

@Beni:

Ja, ich weiss, dass ich ein gelesenes Byte nicht später nochmal aus dem Stream lesen kann (ausser .reset() und son spass, aber da weisste ja nie wo du ankommst)

Das will ich aber auch garnicht, es soll ja auch so laufen:

• Erstelle Reader
• Ließ Header über den Reader, höre bei \r\n\r\n auf
• Erstelle InputStream
• Ließ Content (alles was NACH dem Header kommt) über Stream.

Aber sobald ich über den Reader auch nur eine Zeile lese, bekomme ich bei dem InputStream keine Daten mehr!

Werde dann mal ein vereifachtes Beispiel bauen...

 

[Guest]

Wenn es um HTTP geht, hilft dir vielleicht das hier weiter.

URL url = new URL(...);
HttpURLConnection connection = (HttpURLConnection)url.openConnection();

int length = connection.getContentLength();
if(length == -1)
  Länge unbekannt

Wenn du aber irgendeinen abgefahrenen Proxy schreibst, dann ist es der
falsche Ansatz. :wink:

 

[na-oma]

Danke für die Idee mit dem PipedInputStream, allerdings würde ich da ja die arbeit doppelt machen.

@Gast: Nunja, leider brauche ich das ganze etwas low-leveliger 🙂 (genau ein abgefahrener Proxy) jakarta httpclient habe ich auch getestet, leider nicht low-levelig genug (soweit ich gelesen und getestet habe)

Ich habe hier mal ein einfaches Beispiel für jeden zum Testen erstellt. Es nutzt keine Sockets mehr (daher Thread evtl. zu verschieben), der Fehler bleibt!

package javaforum;

import java.io.*;

public class Streams {

	public static void main(String[] args) throws IOException {

//Stream für beide zum Lesen aufmachen
		InputStream input = new FileInputStream(".classpath");

		BufferedReader fromServerReader = new BufferedReader(
				new InputStreamReader(input));

//Lesen mit Reader
		String line = fromServerReader.readLine();
		
		System.out.println("Line: " + line);
		
		BufferedInputStream fromServerStream = new BufferedInputStream(input);
		
//Lesen mit BufferedInputStream
		byte[] buffer = new byte[512];
		int readLen = fromServerStream.read(buffer);
//selbst das Lesen vom ursprünglichen Inputstream bringt -1
		input.read(buffer);

		System.out.println("Bytes read: " + readLen);
		System.out.println("Content: " + readLen);

//wohl eher nur ein close nötig, schadet aber nicht :)
		fromServerStream.close();
		fromServerReader.close();
		input.close();
	}

}

".classpath" (Zeile 9) ist gegen eine Datei mit Zeilenumbrüchen zu ersetzen. Package bitte anpassen.

Ausgabe:

Line: <?xml version="1.0" encoding="UTF-8"?>
Bytes read: -1
Content: -1

Die Line ist korrekt, allerdings geht meine Datei noch viel weiter! Das wird aber nicht mehr erkannt.

Ist sicher nen ganz trivialer Fehler, weil ich das Stream-Kapitel nicht gründlich gelesen habe 🙂

 

[Ilja]

@Ilja 😉 Zu Log Zwecken ist das doch erlaubt?

genau diese "Log-Zwecke" sind es, die ich nicht willkommen heißen kann!

fishing funktioniert auch nur mit einfachem piped-logging und kostet die Banken Milliarden pro Jahr!!! -.-

 

[Guest]

Lese die Header (Request und Response) in einen Puffer ein.

private byte[] getHeader(InputStream in) throws IOException {
  ByteArrayOutputStream buf = new ByteArrayOutputStream(512);
  int nlCount=0;
  while(nlCount<4) {
    int c = in.read();
    buf.write(c);
    nlCount = (c==13 || c==10)? nlCount+1 : 0;
  }
  return buf.toByteArray();
}

Die Header kannst du dann entweder direkt weiterleiten/ausgeben oder vorher
filtern, verändern etc.

 

[Guest]

Kleine Korrektur für den Fall, dass aus dem Stream nichts mehr kommt.

private byte[] getHeader(InputStream in) throws IOException {
  ByteArrayOutputStream buf = new ByteArrayOutputStream(512);
  int nlCount=0;
  int c;
  while(nlCount<4 && (c=in.read())!=-1) {
    buf.write(c);
    nlCount = (c==13 || c==10)? nlCount+1 : 0;
  }
  return buf.toByteArray();
}

 

[na-oma]

@Ilja: Wüsste nicht, wie ich java für phising benutzen sollte, wenn ich doch das Programm nur auf meinem eigenen Rechner installieren will. Wenn du es genau wissen willst, will ich die Kommu meines Browsers loggen. Hab auch schon ein Tool gefunden, welches das macht.
Allerdings frage ich mich immernoch, warum mein Beispielcode von oben nicht funzt. Würde mich freuen wenn den mal einer ausprobiert.

@Gast: so ähnlich hatte ich das auch, wahrscheinlich nicht ganz so schön. Ich wollte es halt Zeilenweise lesen, nicht Zeichenweise.
Deine Version geht:

package javaforum;

import java.io.*;

public class Streams2 {

	/**
	 * @param args
	 */
	public static void main(String[] args) throws IOException {

		InputStream input = new FileInputStream("httptest.txt");
		byte[] header = getHeader(input);
		for (int i = 0; i < header.length; i++) {
			System.out.print((char) header[i]);
		}

		BufferedInputStream fromServerStream = new BufferedInputStream(input);

		byte[] buffer = new byte[512];
		int readLen = fromServerStream.read(buffer);

		System.out.println("Bytes read: " + readLen);
		System.out.println("Content: " + readLen);

		fromServerStream.close();
		input.close();

	}

	private static byte[] getHeader(InputStream in) throws IOException {

		ByteArrayOutputStream buf = new ByteArrayOutputStream(512);
		int nlCount = 0;
		int c;
		while (nlCount < 4 && (c = in.read()) != -1) {
			buf.write(c);
			nlCount = (c == 13 || c == 10) ? nlCount + 1 : 0;
		}
		return buf.toByteArray();
	}

}

Danke dafür. Mir stellt sich jetzt allerdings die Frage, warum man keinen InputStreamReader/BufferedReader nehmen kann. Kann die einer beantworten?

 

[Guest]

...Danke dafür. Mir stellt sich jetzt allerdings die Frage, warum man keinen InputStreamReader/BufferedReader nehmen kann. Kann die einer beantworten?...

Weil BufferedReader, wie der Name schon sagt, die Eingabe puffert. Du liest z.B. nur 512 Byte,
der BufferedReader holt aber z.B. 1024 Byte im Voraus. Dadurch ist die Position im Stream weiter,
als du vermutest.

Das weisst du sicherlich, aber wenn du es zeilenweise haben möchtest, dann geht es wie folgt

String headerLines[] = new String(getHeader(input)).split("\n");

Letzte Zeile wird leer sein.

 

[na-oma]

Klingt logisch, warum bin ich da nicht drauf gekommen.

mit deiner Methode ist natürlich der Vorzug eines schnellen Buffers dahin, weil jedes Zeichen einzeln gelesen wird. Nunja, geht wohl nicht anders...oder gibts readLine noch in einer ungebufferten Klasse?

@ String(getHeader(input)).split("\n");
naja ich vergess sowas immer wieder 🙂 muss man allerdings aufpassen wegen \r\n, wie es laut http-spec sein sollte.

 

[Guest]

mit deiner Methode ist natürlich der Vorzug eines schnellen Buffers dahin, weil jedes Zeichen einzeln gelesen wird. Nunja, geht wohl nicht anders...oder gibts readLine noch in einer ungebufferten Klasse?

Nicht wenn du BufferedInputStream verwendest. BufferedInputStream holt es ehhmm... "Häppchenweise" und du
gehst dann Zeichen für Zeichen durch. Etwas langsam sind dabei die Methodenaufrufe von "input.read()", die Fallen
aber kaum ins Gewicht, wenn es nur um den Header geht.

 

[na-oma]

Du meinst ich mache das so:

BufferedInputStream input = new BufferedInputStream(new FileInputStream("httptest.txt"));

Dann hab ich einen der Zeilenweise lesen kann, und kann gleichzeitig noch byte[] weise lesen. Ohne das was verschwindet. Genial!

Langsam fange ich an mich an das I/O system von java zu gewöhnen 🙂

Vielen Dank für die Gedult!