HTTP Download von Google-URL mit Parametern

[sasono]

Hallo,

ich möchte den HTML-Code von einer Google-Suche herunterladen. Für die Suche nach "java forum" stelle ich dafür eine Verbindung mit der URL ""https://www.google.de/?gws_rd=ssl#q=java+forum" her und lese den zurückgegebenen Inhalt aus:

URL url = new URL("https://www.google.de/?gws_rd=ssl#q=java+forum");
HttpURLConnection c = (HttpURLConnection) url.openConnection();
c.connect(); 
		
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(url.openStream(), "UTF-8"));
			
String inputLine;
String html = "";
			
while ((inputLine = bufferedReader.readLine()) != null) {
html += inputLine;
}
bufferedReader.close();
		
System.out.println(html);

Das funktioniert auch, nur wird von Google nicht das HTML zurückgeliefert, das man sieht, wenn man die URL im Browser aufruft. Stattdessen wird der HTML-Code der Startseite von Google zurückgeliefert. Was mache ich falsch?

 

[eRaaaa]

Get search result of google in java - Stack Overflow

Google blockt den UserAgent von Java, deshalb musst du einen anderen "vorgaukeln" mit z.B. c.setRequestProperty(....), siehe Link.

btw: url.openStream beinhaltet openConnection().getInputStream(), d.h. dein openConnection ist doppelt gemoppelt.
Ändere das an der zweiten Stelle einfach zu c.getInputStream()