Google-Suche funktioniert nicht

[Guest]

Hallo !

Hier ein klitze kleines Test-Programm zum Abrufen eines Quelltextes:

import java.net.*;
import java.io.*;
public class URLTest {

  public static void main(String[] args) {
   try {
    URLConnection uc = new URL("http://www.google.com/").openConnection();
    BufferedReader br = new BufferedReader(new InputStreamReader(uc.getInputStream()));
    while ( br.ready() ) {
     System.out.println(br.readLine()+"\r\n");
    }
   } catch ( Exception e ){
      System.out.println(e.toString());
     }

  }
}

Klappt auch.

Wenn ich aber jetzt die 7. Zeile ersetze, und zwar in

URLConnection uc = new URL("http://www.google.com/search?hl=de&q=MeinSuchBegriff&btnG=Suche&meta=").openConnection();

gibt es eine Exception in der von der HTTP-Fehlermeldung 403 (Forbidden) etwas steht.

Weiss einer wieso ? Wenn man die Adresse, also http://www.google.com/search?hl=de&q=MeinSuchBegriff&btnG=Suche&meta= , einfach in den Browser einfügt geht es ja ;(

 

[AlArenal]

Vielleicht mag Google deinen "Browser" nicht?

 

[RaoulDuke]

Die wollen wohl nicht das man ohne sich anzumelden automatisch generierte Suchabfragen an die schickt.

Ausserdem isses eh doof die HTML Rückgabe auszuwerten. Google bietet einen SOAP Api an über die man suchen kann, dafür muss man sich allerdings anmelden: http://www.google.com/apis/

 

[AlArenal]

Beides hängt natürlich zusammen. Google ist keine gemeinnützige Organisation. Die wollen Geld verdienen. Also bieten sie u.a. einige Services als Webservice an und verhindern gleichzeitig mit geeigneten Maßnahmen, dass man deren Nutzung umgehen kann. Die Nutzung der Webservices ist nämlich beschränkt, personalisiert und teilweise bereits kommerzialisiert.

 

[KSG9|sebastian]

für den privaten gebrauch darfst du 1000querys/tag abfeuern (kostenlos)
alles andere kostet, zudem finde ich die möglichkeiten nicht so bahnbrechend.

Bei google isses total bescheiden nach RSS zu suchen. Yahoo bietet zwar die Möglichkeit nach nem RSS-Format zu suchen, der Witz ist aber dass die URL die später rauskommt nicht die URL zum Feed ist sondern zu der Seite welche den Feed bereitstellt. Total lächerlich...

Find die ganzen APIs (google, yahoo) schön und gut, aber so ein wirklich toller Nutzen ist nicht vorhanden...

 

[Einwegdose]

Interessant, wusste garnicht das Google da so restriktiv ist. Selbst mit cURL geht es nicht (Ausschnitt):

H1>Forbidden</H1>Your client does not have permission to get URL <code>/search?hl=de&q=Test&btnG=Suche&meta=</code> from this server. (Client IP address: xx.xxx.xx.175)


Please see Google's Terms of Service posted at http://www.google.com/terms_of_service.html




If you believe that you have received this response in error, please report your problem. However, please make sure to take a look at our Terms of Service (http://www.google.com/terms_of_service.html). In your email, please send us the entire code displayed below. Please also send us any information you may know about how you are performing your Google searches-- for example, "I'm using the Opera browser on Linux to do searches from home. My Internet access is through a dial-up account I have with the FooCorp ISP." or "I'm using the Konqueror browser on Linux to search from my job at myFoo.com. My machine's IP address is 10.20.30.40, but all of myFoo's web traffic goes through some kind of proxy server whose IP address is 10.11.12.13." (If you don't know any information like this, that's OK. But this kind of information can help us track down problems, so please tell us what you can.)</P>

We will use all this information to diagnose the problem, and we'll hopefully have you back up and searching with Google again quickly!</P>


Please note that although we read all the email we receive, we are not always able to send a personal response to each and every email. So don't despair if you don't hear back from us!</P>


Also note that if you do not send us the entire code below, we will not be able to help you.</P>

Best wishes,
The Google Team</BR></P><BLOCKQUOTE>

EDIT:

Man brauch nur einen User-Agent angeben, der an einen bekannten Browser erinnert, dann funktioniert es :lol:

z.B. für cURL:

C:\>curl -A Mozilla/Google-Suxx -o c:\ausgabe.txt "http://www.google.de/search?hl=de&q=Test&btnG=Suche&meta="

 

[Partheeus]

Schau mal hier, da hab ich ne Lösung gepostet:

www.java-forum.org/de/viewtopic.php?t=36870