# Crawler mit Java schreiben



## Rex (17. Okt 2006)

Liebe Freunde,

ich möchte einen Java-Crawler schreiben,
der Webseiten nach bestimmten Stichwörtern durchsucht und die Ergebnise
in eine DB speichert. (Oder - wenn es sein muss - eine Text-file)

Gibt es bereits solche "Vorlagen, Beispiele" etc pp zu diesem Thema?


Und noch eine Frage:
Darf man eigentlich auch Google "durchcrawlen" und die Suchergebnise aber NON-Kommerziell verwerten?


Vielen Dank!
MFG
Rex


----------



## AlArenal (17. Okt 2006)

Da müsste es im Zusammenhang mit Lucene schon die eine und/oder andere Lösung oder zumindest Teile davon geben. In Lucene selbst arbeitet man sich aber auch nicht "mal eben so" ein.


----------



## Rex (17. Okt 2006)

Ist Java eigentlich eine gute Lösung dafür oder sollte dafür besser eine andere Sprache verwendet werden?


MFG
Rex


----------



## Gast (17. Okt 2006)

yo java ist dafür gut


----------



## AlArenal (18. Okt 2006)

Rex hat gesagt.:
			
		

> Ist Java eigentlich eine gute Lösung dafür oder sollte dafür besser eine andere Sprache verwendet werden?



Java ist zunächst mal ebensowenig eine Lösung wie irgendeine andere Sprache.


----------



## byte (18. Okt 2006)

Für Google gibts nen eigenen Webservice, mit dem man automatisch Suchanfragen an Google verarbeiten kann. Dazu gibts auch noch ein Java Framework, so dass man nicht mal Ahnung von Webservices haben muss. 

http://www.google.com/apis/index.html


PS: Der freie Lizenz Schlüssel ist aber iirc auf ein paar tausend Suchanfragen pro Tag beschränkt.


----------

