API für Google Suchergebnisse?

[FoolMoon]

Hallo Community

Momentan schreibe ich ein Programm, welches einige Anfragen an Google sendet und deren Informationen auswertet.

Mein derzeitiger Ansatz ist es über eine sehr schlanke Form von der HttpURLConnection Funktion zu realisieren. Das klappt auch so weit. Ich versende die URL und erhalte ein ca 36kb großer html Dokument zurück. Aus diesem picke ich mir die Suchergebnisse raus.

Nun wollte ich fragen ob es eine elegantere Lösung für diese Umsetzung gibt? Eine Art API von Google? Oder wie würdet ihr das machen?


Für jegliche Impulse bin ich sehr dankbar.

 

[bygones]

mhm wenn du schon was von google willst warum es einfach nicht nutzen ? ;-)
Let me google that for you

 

[FoolMoon]

Das hab ich selbstverständlich schon. Allerdings nichts gefunden.

 

[Ebenius]

Die Google Desktop APIs müssten genau das richtige sein...

[size=-1]... ohne sie je verwendet zu haben[/size].

Du die HTML-Seiten demontieren ... verbietet das google nicht per AGB? Nicht, dass ich's wüsste...

Ebenius

 

[Wildcard]

Google hatte eine Webservice API, die wurde allerdings eingestellt und die Google Weboberfläche derart zu misbrauchen ist verboten. Mit anderen Worten: Du hast wohl Pech

 

[FoolMoon]

Das glaube ich nicht. Es gibt ein App das etwas ähnliches bewerkstelligen und ich frage mich nun ob die das dürfen oder wie die es machen?

Ich hab da etwas gefunden. Ist es schwer die Google-API in Java einzubinden? Das ganze soll später portabel sein.

Free Monitor for Google: Überwacht die Position der eigenen Web-Seiten für beliebige Suchanfragen in Googles Page-Rank über die Google-API

Link: Free Monitor for Google 2.0 Englisch, Download bei heise

 

[ice-breaker]

es gab vor 3 Jahren mal eine API dafür, mit der Limitierung von 1000 Anfragen pro Tag

Aber das Parsen von Google's Suchergebnissen ist definitiv nicht erlaubt.

 

[tuxedo]

Und wie bitte schön will google herausfinden ob ein ausgeliefertes Suchergebnis geparst wird oder nicht?

 

[faetzminator]

... wenn deine SW in ihre Hände gelangt. Falls das Programm nur für private Zwecke nutzbar sein wird, spricht sicherlich nichts dagegen.

 

[tuxedo]

Na ich denke Google hat diese Klausel deshalb, damit man nicht ohne weiteres im großen Stil deren Suchdienst für eigene Suchdienstzwecke missbraucht. Solange alles im Rahmen der Sicht eines Otto Normalverbrauchers bleibt wird google da sicherlich keinen Aufstand machen. Schlimmstenfalls kommt so'n Unterlassungsschrieb ins Haus. Denn idealerweise muss man ja um Google benutzen zu können keine Nutzungsbedingung abhaken. Und somit ist der Dienst erstmal frei für alles.

- Alex

P.S. Ich glaube dass es nicohtmal zu besagtem brief kommt. Denn:

Auszug aus Google - Nutzungsbedingungen :

4. Ihre Nutzung der Dienste

Sie sind nicht berechtigt, die Dienste in missbräuchlicher Art und Weise zu nutzen, in die Dienste einzugreifen oder auf die Dienste in anderer Weise als über die von Google bereitgestellten Benutzeroberflächen und/oder Schnittstellen zuzugreifen. Sie müssen sich an die Vorgaben halten, die in den robots.txt-Dateien der Dienste hinterlegt sind. Es ist Ihnen untersagt, auf die Dienste in automatisierter Weise zuzugreifen, beispielsweise mit Robots oder Scripts.

Wenn Sie gegen diese Nutzungsbedingungen, zusätzliche Bedingungen oder andere Regelungen verstoßen, die für die Nutzung des jeweiligen Dienstes gelten, kann Google Ihrer individuellen Nutzung der Dienste Grenzen setzen oder diese zeitweilig oder auf Dauer unterbinden.

Im schlimmsten Fall wird Google also versuchen die Nutzung zu verhindern. Nur im Extremfall werden die dann rechtliche Schritte versuchen um sich vor zu vielen Anfragen durch eine massive Verbreitung des Tools zu schützen. Alles andere würde den Aufwand nicht rechtfertigen.

 

[Ebenius]

Unterbunden wird dann einfach per kostenpflichtiger Abmahnung mit Androhung einer Unterlassungsklage. ;-)

Google verkauft Werbung. Wenn man Dienste bereitstellt, die die Ergebnisse publizieren, ohne die Werbung darzustellen, hat Google ein Problem damit. Ich gehe davon aus, dass Du nicht nur nen netten Brief bekommst, wenn Du die Ergebnisse in eigener GUI zur Verfügung stellst. Nicht ohne Grund macht das keiner der Browser die ich kenne.

Ob Google (theoretisch) schon bei privaten Projekten oder erst bei kommerzieller Software böse wird, weiß ich nicht.

Ebenius

 

[ice-breaker]

Unterbunden wird dann einfach per kostenpflichtiger Abmahnung mit Androhung einer Unterlassungsklage. ;-)

zu allererst wird erstmal die IP blockiert (schonmal ausprobiert ), und das wird dann der Punkt sein, woran der Thread-Ersteller scheitert

 

[Ebenius]

zu allererst wird erstmal die IP blockiert (schonmal ausprobiert )

Das stimmt nur dann, wenn es sich nicht um eine Software handelt die auf vielen Clients installiert ist.

Ebenius

 

[ice-breaker]

Das stimmt nur dann, wenn es sich nicht um eine Software handelt die auf vielen Clients installiert ist.

Ebenius

du kannst auch mit einem Client (also 1 User pro IP) genug Anfragen generieren, damit Google dich erstmal zeitweise sperrt.
Die sind ja nicht dämlich und wollen genau solche Dinge unterbinden

 

[Ebenius]

Du hast mich falsch verstanden: Wenn ich eine Software baue, mit der man Google ärgert, und diese an 20.000 Kunden verkaufe, wird Google -- sofern sie's mitbekommen (und Google weiß alles) -- nicht 20.000 IPs sperren, sondern mich ziemlich schnell abmahnen. Würde mich wundern, wenn nicht. Die sperren dann mal eben einige IPs aus einem Firmennetzwerk, die Firma beschwert sich bei Google, Google fragt zurück, was die Anfragen erzeugt und kurz darauf bekomme ich Post.

Ebenius

 

[ice-breaker]

die IP wird vollautomatich für einen gewissen Zeitraum gesperrt
Von daher werden erst die IPs von manchen Kunden gesperrt, dann bekommt Google es mit und dann gibts die Abmahnung.

 

[Ebenius]

Jupp, so hab ich's mir vorgestellt.

Ebenius

 

[byte]

Und wie bitte schön will google herausfinden ob ein ausgeliefertes Suchergebnis geparst wird oder nicht?

Nur weil etwas schwer herauszufinden ist, kann es doch trotzdem verboten sein!? :bahnhof:

 

[tuxedo]

Hab ich etwas gegenteiliges behauptet?

Ich hab lediglich die Behauptung aufgestellt dass - wenn man es nicht übertreibt - Google gar nichts davon mitkriegt.

- Alex

 

[byte]

Hab ich etwas gegenteiliges behauptet?

Ja, denn Dein Post folgt direkt auf den Satz:

Aber das Parsen von Google's Suchergebnissen ist definitiv nicht erlaubt.

 

[tuxedo]

Na dann hast du das so interpretiert. Als gegenteilige Behauptung war der Post jedenfalls nicht gedacht.

Ist ja nicht so dass ich nur einen einzigen Post gemacht hab. Spätestens aus dem zweiten lässt sich erkennen worauf ich hinaus wollte.

btw: ich denke das Thema ist nun weitgehend geklärt, oder?

 

[ice-breaker]

Jupp, so hab ich's mir vorgestellt.

Ja ich wollte auch nur sagen, dass die IPs auch geblocket werden, wenn Google nichts vom Verkauf solch einer Software mitbekommt, weil man es nur privat betreibt.

Nur weil etwas schwer herauszufinden ist [...]

Google verfolgt da den einfachen Requests/Second oder Requests/Minute Ansatz, also schwer ist es für sie nur zu erkennen, wenn man das Parsen der Suchergebenisse auf viele Stunden aufteilt, da die meisten Tools aber in nahezu Echtzeit arbeiten, wird dem recht schnell ein Riegel vorgeschoben.

 

[byte]

Seiten wie Personen / Info zu Name - Personen-Suchmaschine yasni.de scheinen ja auch Google Ergebnisse zu parsen. Aber evtl. haben die ja auch n Contract mit Google. Wer weiss...

 

[SlaterB]

Google verfolgt da den einfachen Requests/Second oder Requests/Minute Ansatz, also schwer ist es für sie nur zu erkennen, wenn man das Parsen der Suchergebenisse auf viele Stunden aufteilt, da die meisten Tools aber in nahezu Echtzeit arbeiten, wird dem recht schnell ein Riegel vorgeschoben.

Google kann einfach nur die Anzahl der Request verfolgen, nicht ob die HTML-Ergebnisse danach gespeichert, angezeigt, geparst oder geknickt werden,
das war wohl der fragliche Punkt