Socket Problem -Proxies

java4love

Neues Mitglied
hallo,

ich habe probleme mit folgenden Exceptions
SocketTimeoutException: connect timed out
SocketTimeoutException: Read timed out
IOException: Server returned HTTP response code: 403 for URL: ....

ich lade mir eine liste von proxies und starte dann etwa 10 Threads mit dem nachfolgenden Quelltext.
Dabei kommen bei bestimmten Proxies die oben genannten Fehler, mal früher mal später.
Ich habe keine Ahnung woran es liegen kann, da selbst super perfomer Proxys diese Fehler haben.
Gibt es eine bestimmte Wartezeit zwischen Requests die man einhalten sollte?
Hat man bei bestimmten Proxies nur begrenzte Zugriffe?
Hat vielleicht irgendjemand eine Idee?

Danke

Java:
SocketAddress addr = new InetSocketAddress(this.proxy.IP, this.proxy.port);
	    	Proxy proxy = new Proxy(Proxy.Type.HTTP, addr);	    	
	    	
			try {				
				
				long startDownload = new Date().getTime(); //Zeit stoppen für Beendenstatus=3
				URLConnection conn = url.openConnection(proxy);
				conn.addRequestProperty("User-Agent", "Mozilla/5.0 (Windows; U; Windows NT 5.1; de; rv:1.9.2.2) Gecko/20100316 Firefox/3.6.2 (.NET CLR 3.5.30729)");
				//conn.setRequestProperty("Host", ip);    
	            conn.setRequestProperty("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8");
	            conn.setRequestProperty("Accept-Language", "de-de,de;q=0.8,en-us;q=0.5,en;q=0.3");
	            conn.setRequestProperty("Accept-Encoding", "gzip,deflate");
	            conn.setRequestProperty("Accept-Charset", "ISO-8859-1,utf-8;q=0.7,*;q=0.7");
	            conn.setRequestProperty("Keep-Alive", "30");
	            conn.setRequestProperty("Connection", "keep-alive");
				conn.setConnectTimeout(Crawler.SocketTimeMax);
				conn.setReadTimeout(Crawler.SocketTimeMax);
				
				
				try{
			        BufferedReader br = new BufferedReader(new InputStreamReader(conn.getInputStream()));					
					StringBuffer quelltext =new StringBuffer();
					
					//nur Test //TODO
					BufferedWriter out = new BufferedWriter(
	                           new OutputStreamWriter(
	                           new FileOutputStream("name.txt") ) );
					long start = new Date().getTime();
					boolean test= true;
					while(br.ready() && test){
						long end = new Date().getTime();
						if(end-start>15000){
							System.out.println("datei downloaden länger als 15sek");
							test= false;
							beendenStatus = 1;
						}
						String line =br.readLine(); //TODO nur test ansonsten direkt appenden
						out.write(line);
						out.newLine();
						quelltext.append(line);
					}
					br.close();
					//Download-Ende
					long downloadzeit = new Date().getTime() - startDownload;
					if(downloadzeit>Crawler.DownloadTimeMax){
						//Proxy ist zu langsam
						this.beendenStatus = 3;
					}
					
					
					//TODO Interpreter
					//wenn items verfügbar 	this.beendenStatus = 2;
					out.close();
		
					
					
					
					
					//DOS attack vermeiden
					try {
						Thread.sleep(Math.max(0, 1250-downloadzeit));//-downloadzeit
					} catch (InterruptedException e) {
						System.out.println("Sleep war nicht möglich");
					}
					
					System.out.println("FERTIG: "+ID+" Zeit: "+(new Date().getTime() - startCrawler));
				}catch(java.net.SocketTimeoutException e){
					this.beendenStatus = 1;
					System.out.println("SocketTimeOUT: "+"ID: "+ID+" SocketTimeoutException: "+e.getLocalizedMessage());
				}catch(java.net.SocketException e){
					this.beendenStatus = 1;					
					System.out.println("SocketException: "+ID);
				}catch(IOException e){
					this.beendenStatus = 1;
					System.out.println("IOException: "+ID+" "+e.getLocalizedMessage());
				}

			} catch (MalformedURLException e) {
				this.beendenStatus = 1;
				e.printStackTrace();
			}catch (IOException e) {
				this.beendenStatus = 1;
				e.printStackTrace();
			}
 

musiKk

Top Contributor
Naja, das hat ja nichts mit "super performant" zu tun. 403 heißt forbidden. Der Grund kann von Willkür bis Verbindungslimits alles sein.
 

java4love

Neues Mitglied
sonst bleibt mir nichts übrig um etwas weiteres herauszufinden?
d.h ich muss echt immer wenn so ein fehler auftritt den proxy wechseln
 
Ähnliche Java Themen
  Titel Forum Antworten Datum
M Problem bei Socket (MultiplayerSpiel) Netzwerkprogrammierung 4
X Problem mit vielen Bytes über Socket Netzwerkprogrammierung 23
A Socket Socket-Problem - Object wird nicht übertragen Netzwerkprogrammierung 3
M Problem mit Socket-Verbindung Netzwerkprogrammierung 2
I Problem bei Outputstreamerzeugung in anderer Klasse als Socket Netzwerkprogrammierung 5
Y Problem mit ObjectInputStream beim lesen vom Socket Netzwerkprogrammierung 10
E Problem mit Socket und fe80 (IPv6) Netzwerkprogrammierung 9
G 1 Socket 2 Threads problem Netzwerkprogrammierung 13
musiKk Problem bei bidirektionaler Nutzung eines Socket Netzwerkprogrammierung 2
P Problem mit Socket und ServerSocket Netzwerkprogrammierung 2
S Socket problem Netzwerkprogrammierung 2
J socket.close() Problem ----- java.net.BindException Netzwerkprogrammierung 4
Icewind Problem bei Socket Netzwerkprogrammierung 2
W Socket Server -> lesen von / schreiben zu php-script Netzwerkprogrammierung 6
B Versuch mit Socket etwas zu lesen und zu schreiben Netzwerkprogrammierung 15
G Socket Socket Kommunikation Netzwerkprogrammierung 1
L Server-Socket liest Input-Stream nicht Netzwerkprogrammierung 5
H Socket Kann ein Socket server 2 dimensionale Arrays empfangen und versenden? Netzwerkprogrammierung 3
D Socket-Verbindungen übers Internet Netzwerkprogrammierung 4
Z Kann nicht Daten vom Server lesen Socket Netzwerkprogrammierung 10
N Java socket Programmierung Filme verschicken Netzwerkprogrammierung 20
A TCP multiClientServer mit socket mittels ObjectOutputStream Netzwerkprogrammierung 12
A Socket-Anwendung (BufferedWriter/Reader liest nicht aktuellen Wert) Netzwerkprogrammierung 6
platofan23 Socket Java Socket mit DynDns nicht erreichbar Netzwerkprogrammierung 6
S Socket Bilder über Socket Senden Netzwerkprogrammierung 0
M Socket Socket lehnt Verbindung ab Netzwerkprogrammierung 3
x46 Connection reset by peer: socket write error Netzwerkprogrammierung 6
x46 Socket Files per Socket verschicken Netzwerkprogrammierung 1
platofan23 Probleme mit Socket bei Android Studio? Netzwerkprogrammierung 22
platofan23 Socket Hilfe mit Socket Thread und ArrayList Netzwerkprogrammierung 6
R Socket FATAL EXCEPTION MAIN bei Socket based client/server app Netzwerkprogrammierung 2
D new ObjectInputStream(socket.getInputStream()); Netzwerkprogrammierung 15
E Socket Frage Netzwerkprogrammierung 6
D ServerSocket - Socket Verbindungsart Netzwerkprogrammierung 3
T Frage bzgl. Socket-API Netzwerkprogrammierung 1
F TCP Socket auf Verbindungsabbruch prüfen Netzwerkprogrammierung 15
F Socket Verbindung mit Verschlüsselung und Authentifierzung Netzwerkprogrammierung 1
I Socket ObjectOutputStream-Socket: Objekt wird falsch übertragen Netzwerkprogrammierung 2
T Socket Socket connections schließen? Netzwerkprogrammierung 2
D Socket Socket OutputStream leeren? Netzwerkprogrammierung 3
T Socket Java Programm hängt sich auf bei dem versuch von einem Socket scanner Daten zu erhalten. Netzwerkprogrammierung 1
F Socket Socket in anderen Methoden Netzwerkprogrammierung 1
D Socket Run Args Client/Server Socket Netzwerkprogrammierung 1
I Socket Netzwerkprogrammierung 1
F Wiederverbinden nach socket Abbruch Netzwerkprogrammierung 1
J 1 Socket - 2 Serversocket Netzwerkprogrammierung 4
T Socket sendet erst nach socket.close() Netzwerkprogrammierung 2
F Socket Verbindungsaufbau abbrechen Netzwerkprogrammierung 3
P Socket Socket-Verbindung Input sehr langsam Netzwerkprogrammierung 1
I Socket Kommunikation C / Java Netzwerkprogrammierung 2
Joew0815 socket event handler Netzwerkprogrammierung 2
F Einfache Socket Verbindung Netzwerkprogrammierung 2
A Socket Socket Receive-/SendBuffersize Netzwerkprogrammierung 0
D Socket server auf Smartphone Netzwerkprogrammierung 9
H Socket Client/Server Socket Programmieren Netzwerkprogrammierung 1
A Socket Socket Server netcat Netzwerkprogrammierung 1
Shams Anfängerfrage zu Server-Socket-Kommunikation Netzwerkprogrammierung 2
M Socket String Arrays über Socket an Server schicken Netzwerkprogrammierung 2
D Socket Error: java.lang.NullPointerException Netzwerkprogrammierung 1
D TCP Socket funktioniert nicht richtig Netzwerkprogrammierung 3
B SSL Socket Netzwerkprogrammierung 2
M Client sendet nur, wenn das Socket geschlossen wird Netzwerkprogrammierung 53
R Dauerhaft offene Socket-Verbindung? Netzwerkprogrammierung 3
S Socket (client) verbindet nicht Netzwerkprogrammierung 6
G Socket Socket verbindung für Chat System Netzwerkprogrammierung 3
P Warum kann ich kein Socket aufbauen? Netzwerkprogrammierung 12
S Socket SSL Socket und Sun/Oracle Java Netzwerkprogrammierung 5
S Socket Socket Verbindung wiederherstellen Netzwerkprogrammierung 16
precoc Server Socket Start / Stop Netzwerkprogrammierung 5
N SOCKET mehrere Requests, keep Alive serverspezifisch? Netzwerkprogrammierung 3
S ImageIcon über Socket schicken (Serialisierung) Netzwerkprogrammierung 6
C Socket Systemsperren mit Socket Netzwerkprogrammierung 4
H Socket Objekte über Socket? Allgemeine Verständnisprobleme in Sachen Socket Netzwerkprogrammierung 3
D Socket Multithread-Socket | Kurz vor dem Ziel Netzwerkprogrammierung 7
C Datei über Socket schreiben und Ereignis lesen Netzwerkprogrammierung 9
D Socket Dynamische Socket-Thread Erzeugung Netzwerkprogrammierung 2
D Socket Socket absichtlich so schließen, dass Gegenseite java.net.SocketException: Connection reset wirft Netzwerkprogrammierung 4
J Socket Dateien über Socket auf Server speichern Netzwerkprogrammierung 3
S Socket-Frage zu einem LAN-Spiel. Netzwerkprogrammierung 3
A UDP verlorene Pakete/ socket.receive zu langsam Netzwerkprogrammierung 27
CookieSoft Socket Packet per Socket Netzwerkprogrammierung 8
CookieSoft Fehler bei Socket Netzwerkprogrammierung 4
D Socket Datei nur stückweise über Socket verschicken Netzwerkprogrammierung 6
T Per Socket auf POP3 zugreifen? Netzwerkprogrammierung 7
G Bild über Socket schicken - Client/Server Netzwerkprogrammierung 10
Z Socket Socket-Thread falsch? Netzwerkprogrammierung 5
Helgon Socket Socket IP Frage + Tutorial/Bücher Netzwerkprogrammierung 5
S Socket Verschiedene Exceptions beim Übertragen von Bildern über Socket Netzwerkprogrammierung 20
T Socket String zu Socket Netzwerkprogrammierung 26
M Datenübertragung per Socket nur alle 200ms Netzwerkprogrammierung 4
C Socket Socket: Connection timed out Netzwerkprogrammierung 3
T Socket blockierter Socket Netzwerkprogrammierung 4
C Socket Probleme beim Lesen und Schreiben aus/in einen Socket Netzwerkprogrammierung 2
T Alternative Socket mit Verbindungsabbruch Erkennung Netzwerkprogrammierung 2
M Socket, Ende Dateitransfer Netzwerkprogrammierung 4
X Über eine Socket-Verbindung Arrays übergeben Netzwerkprogrammierung 5
D RMI oder Socket Netzwerkprogrammierung 4
H Socket Socket listening Netzwerkprogrammierung 11
D Client Socket mit Eventlistener? Netzwerkprogrammierung 5
P Socket Verbindung über das Internet Netzwerkprogrammierung 2

Ähnliche Java Themen


Oben