Crawler mit Java schreiben

[Rex]

Liebe Freunde,

ich möchte einen Java-Crawler schreiben,
der Webseiten nach bestimmten Stichwörtern durchsucht und die Ergebnise
in eine DB speichert. (Oder - wenn es sein muss - eine Text-file)

Gibt es bereits solche "Vorlagen, Beispiele" etc pp zu diesem Thema?


Und noch eine Frage:
Darf man eigentlich auch Google "durchcrawlen" und die Suchergebnise aber NON-Kommerziell verwerten?


Vielen Dank!
MFG
Rex

 

[AlArenal]

Da müsste es im Zusammenhang mit Lucene schon die eine und/oder andere Lösung oder zumindest Teile davon geben. In Lucene selbst arbeitet man sich aber auch nicht "mal eben so" ein.

 

[Rex]

Ist Java eigentlich eine gute Lösung dafür oder sollte dafür besser eine andere Sprache verwendet werden?


MFG
Rex

 

[Gast]

yo java ist dafür gut

 

[AlArenal]

Ist Java eigentlich eine gute Lösung dafür oder sollte dafür besser eine andere Sprache verwendet werden?

Java ist zunächst mal ebensowenig eine Lösung wie irgendeine andere Sprache.

 

[byte]

Für Google gibts nen eigenen Webservice, mit dem man automatisch Suchanfragen an Google verarbeiten kann. Dazu gibts auch noch ein Java Framework, so dass man nicht mal Ahnung von Webservices haben muss.

http://www.google.com/apis/index.html


PS: Der freie Lizenz Schlüssel ist aber iirc auf ein paar tausend Suchanfragen pro Tag beschränkt.