# Problem mit Dateidownload



## mylord (10. Okt 2007)

Hallo Leute,

ich habe ein Programm geschrieben, dass mit einem PHP Script kommuniziert. Und zwar sendet das Programm per POST ein Request an das Script und bekommt darauf eine XML Antwort, die dann weiter verarbeitet werden kann. Doch nun habe ich folgendes Problem:

Ich habe das Programm unter Mac OSX entwickelt. Dort läuft es sehr schnell und auch zuverlässig. Auch unter dem VMWare Windows XP gibt es keinerlei Probleme, aber auf meinem Windows XP Desktop will das Programm nicht immer so, wie ich es will. Wie gesagt lädt das Programm Daten herunter, es sollten nur die reinen XML Daten sein, die ich weiter verarbeiten will. Aber ab und zu landet der ganze response Header zusätzlich noch im Speicher. Ich kann mir das nicht erklären. Hat von euch jemand eine Idee?

Ich verwende diese Methode, um die Daten zu laden:


```
private String sendQuery(String data){
		List<String> response = new ArrayList<String>();

		try {
			URL url = new URL(URL);
			URLConnection conn = url.openConnection();
			conn.setDoOutput(true);
			
			OutputStreamWriter wr = new OutputStreamWriter(conn.getOutputStream());
			
			wr.write(data);
			wr.flush();
			
			InputStreamReader inStream=new InputStreamReader(conn.getInputStream(),"ISO-8859-1");
			BufferedReader rd = new BufferedReader(inStream);
			
	        String line;
	        while ((line = rd.readLine()) != null) {
	        	line=stripNonValidXMLCharacters(line);
	            response.add(line+"\n");
	        }
	        wr.close();
	        rd.close();
	        dataCache="";

		} catch (Exception e) {
			e.printStackTrace();
		}	
		
		return writeData(response);
	}
```


----------



## tuxedo (10. Okt 2007)

mylord hat gesagt.:
			
		

> Aber ab und zu landet der ganze response Header zusätzlich noch im Speicher.



Kannst du das vielleicht noch ein bisschen genauer erklären? Meinstz du dem HTTP Header der Antwort? Und welchen Speicher meinst du genau?


----------



## mylord (10. Okt 2007)

Ja, genau, ich meine den HTTP Header der Antwort. Also Quasi genau das, was ich zu sehen bekommen würde, wenn ich den Content der Seite manuell mittels Telnet auf port 80 abfragen würde. Alles, was der Server liefert, steht dann am Ende in der Datei drinn.

Okay, ich gebe ja zu, dass der Begriff Speicher etwas unglücklich gewählt ist. Ich habe eine Liste List<String> response, in die die Antwort geschrieben werden soll. In genau dieser Liste taucht bei dem Rechner dann der Header auf.


----------



## tuxedo (10. Okt 2007)

Das ist sehr mysteriös. Weil normalerweise muss man den Header extra auslesen. Eigentlich kommt man ja nur so ran:


```
String myHeaderField = urlConn.getHeaderField("myHeaderField");
```


----------



## mylord (10. Okt 2007)

Ja, genau deshalb kann ich das Problem auch nicht verstehen. In einer Datei steht bei mir z.B. folgendes drinn:


```
<?xml version="1.0" encoding="ISO-8859-1"?>
<xml><login><login_status>ok</login_status><login_key>jjc5KpjYDibRwb4JCiXChaQva3Io3IBhWPu9PIn2</login_key></login><request><request_status>none</request_status><new_id>0</new_id></request></xml>
```

Da hat alles wunderbar funktioniert. Aber an einer anderen Stelle bekomme ich z.B. diese Antwort:



```
HTTP/1.1 200 OK
Date: Wed, 10 Oct 2007 08:21:29 GMT
Server: Apache
X-Powered-By: PHP/5.2.4_pre200708051230-pl2-gentoo
Content-Length: 176
Keep-Alive: timeout=15, max=96
Connection: Keep-Alive
Content-Type: text/xml

<?xml version="1.0" encoding="ISO-8859-1"?>
<xml><login><login_status>ok</login_status></login><request><request_status>none</request_status><new_id>0</new_id></request></xml>
```

Was ich noch festgestellt habe, ist dass das abrufen der zweiten Datei, bei der der Fehler auftaucht, deutlich länger (10 sek) dauert, als bei der ersten. Ich habe den Datenfluss mir mit einem (der verbotenen  ) "Hackertools" angeschaut. Wenige ms nach dem Request liefert der Webserver die Daten aus, aber das Programm merkt erst 10 sek später, dass es etwas bekommen hat.


----------



## tuxedo (10. Okt 2007)

Hmm, hast du mal weiter gegoogelt oder im Sun-Java-Forum geschaut? 

Ich mache mit meinem jPMdbc JDBC Treiber ähnliches. Ich schicke Anfragen wie POST an ein PHP-Script und lese die Antwort wieder aus. Allerdings nehme ich einen nackigen InputStream und keinen Reader. 
Und bei mir ist der "Fehler" noch nicht aufgetaucht, egal wie schnell die Antwort vom Server zurück kommt.

- Alex


----------



## mylord (10. Okt 2007)

Ja, ich hab schon in einigen Foren gesucht, bin da aber leider nicht weiter gekommen. Ich habe aber auch schon ganz stumpf sleep(20) in das Script reingeschrieben, aber das resultat war das gleiche. An den stellen, die normalerweise glatt durchlaufen, ging das Programm auch durch, aber an den stellen, wo der DL schon vorher fehlgeschlagen ist, ist es nach der änderung wieder passiert.

Mir ist übrigens aufgefallen, dass es immer die gleiche XML Antwort ist, bei der der Header mitgenommen wird.


----------



## tuxedo (10. Okt 2007)

Hmm, und du bist dir sicher dass das NUR mit einem reellen Windows XP als Client passiert? Hast du mal genau die XML-Antwort versucht auf dem Mac oder dem virtuellen WinXP zu produzieren?

- Alex


----------



## mylord (10. Okt 2007)

Ja, die gleichen Antworten kommen andauernd bei allen Clients. Mit einem reelen XP Client meinte ich, dass mir nur ein Rechner bekannt ist, bei dem der Fehler auftritt. 

Und nun bin ich etwas weiter gegangen, ich habe die Firewall des Rechners komplett runtergeworfen (Outpost Security Suite) und nun funktioniert die Software auch auf dem System. Keine ungewollten Header in den XML Dateien. 

Aber die Frage ist natürlich, woran das jetzt liegt. Gestern Abend habe ich das Programm das erste Mal unter XP gestartet, ich habe alles mögliche ausprobiert, die Firewall deaktiviert, etc. nicht hat geholfen. Nur das komplette deinstallieren. Hast du eine Idee, wieso das so ist / war?


----------



## tuxedo (10. Okt 2007)

Naja, ich hab die Erfahrung gemacht dass Firewalls (ZoneAlarm und Co.) die "lustigsten" Phänomene produzieren. Ich hab mittlerweile nur noch die Windows eigene Firewall aktiv. Die reicht für all meine System auch aus, sitze mit jedem Rechner mindestens hinter einem Router der mich abschirmt.

Noch ne "lustige" Anekdote:
Der Cisco VPN Client, wie ihn viele Unis und Firmen einsetzen, verursacht Fehler in Double und Float-Werten. Nicht nur in Java. Bemerkt hab ich das als ich an der Hochschule eine 3D Simulation geschrieben hab und ich immer "NaN" als Fehler bekommen hab. War als einzigster mit dem Laptop via VPN verbunden... VPN an: Fehler da. VPN aus: Fehler weg. Mein Prof ist aus allen Wolken gefallen und hat's auf seinem System reproduzieren können. War schon ne krasse Sache. Aber back-to-topic

Normalerweise müsstest du mit Wireshark und Co. aber das Firewallverhalten isolieren können...

- Alex


----------



## mylord (10. Okt 2007)

Naja, ich habe auf meinem Desktop Rechner erst seit gestern wieder XP drauf. Hatte vorher mein Glück 5 Wochen lang mit Vista probiert *kotz*. Da hatte ich garkeine Firewall drauf, habe dafür aber mein Hardwareteil so dermaßen hochgeschraubt, dass es garnicht mehr ging. Ich wollte eben nicht, dass Vista evtl. etwas nach außen schickt. Es gab nur eine einzige Möglichkeit: Der Weg über einen Socks Proxy und der war auch nur so eingestellt, dass von mir bekannte IP Adressen akzeptiert wurden. Ich hatte eigentlich gehofft, dass ich auf diese krasse Einstellung unter XP verzichten kann und stattdessen einer SW Firewall traue, die zumindest verhindert, dass irgendein Müll von meinem Rechner in die weite Welt des WWW kommt. Ich weiß ja nicht, was in den ganzen binary Programmen ist, die ich unter Windows laufen lasse.


----------



## tuxedo (10. Okt 2007)

Da kann man ja manisch depressiv werden wenn man sich so abschottet ;-)

Bevor ich fragwürdige Programme durch ne Firewall kastriere such ich mir doch lieber vertrauenswürdige Software, oder?

Oder du nimmst halt nen "gescheiten" Socks-Proxy der das macht was er soll, und nicht irgendwelche Header verstümmelt und in die Nutzdaten mit einfließen lässt ;-)


----------



## mylord (10. Okt 2007)

Naja, das System brauche ich eh fast nur, um damit zu Programmieren. Und die Server, auf dennen ich arbeite, sind eh mit VPN an der Innenseite der HW Firewall angebunden. 

Ja, vertrauenswürdige Anwendungen... Was ist denn schon vertrauenswürdig? OpenOffice, weil ich vor 4 Jahren mal daran mitgeschrieben habe? Oder Photoshop? Ich weiß ja nicht, was Adobe aus meinem System herausschmuggelt, wenn ich es nutze. Und bei Vista gab es zu der Zeit, als ich es aufgesetzt habe, garkeine Firewall. Deshalb auch die abschottung. 

Den Cisco VPN Client hatte ich zu meinen Windows Zeite auch auf meinem Notebook. Dort hatte ich auch wirklich krasse Probleme mit dem Zeugs. Sobald sich an den Netzwerkeinstellungen etwas geändert hat, musste ich den Client neuinstallieren (geändert = andere PCMCIA Karte eingesteckt). Die Zusammenarbeit mit einer SW Firewall (frag mich jetzt bitte nicht welche), hat sich der Client beim "negotiation" Vorgang aufgehängt und verursachte 100% CPU Last und zwar wirklich 100%, sodass du absolut nichts machen konntest.


----------

