Content aus Website ziehen

[chris.]

Hallo zusammen!
Ich komme am Besten gleich zu meiner Frage: Und zwar möchte ich mir ein kleines Programm in Java schreiben, welches die Quoten aus einer Website (bet365.com) einliest. Bisher habe ich schon einiges über Google gefunden und einige Möglichkeiten gelesen. (Die Website arbeitet mit JavaScript)
Die Verwendung der Klasse URL scheint mir hier ein wenig zu umständlich zu sein, da ich nur die Quoten haben möchte.
Dann las ich von dem Apache HTTPClient, womit ich bspw. csv Files, die generiert werden, auslesen kann. Ich bin mir nicht sicher, ob das das Richtige ist.
Und zum Schluss las ich etwas über den HTML Scanner NekoHTML, der HTML Dokumente parsen tut.

Da ich bis jetzt noch nicht so in diesem Bereich der Programmierung tätig gewesen bin, bin ich mir nicht sicher, ob diese Möglichkeiten überhaupt funktionieren.
Prinzipiell suche ich eine angenehme Möglichkeit elegant diese Informationen aus der Website zu holen. Für ein paar hilfreiche Tipps und Erläuterungen, auch die, die über das, was ich bis jetzt gefunden habe hinaus gehen, wäre ich sehr dankbar


Grüße
chris.

 

[kay73]

Du bist grundsätzlich auf dem richtigen Weg.

Aber lass dir eins gesagt sein: Diese Anbieter haben alles andere als Interesse daran, dass ihre Seiten geparst werden.. Wenn ich mich recht erinnere, verwendet bet365 eine ganz besondere JavaScript-Monstrosität und einen gigantischen HTTP-Post zum Darstellen der Wettangebote. Ich halte es für nicht wirtschaftlich, selbst eine Parseengine für einen solchen Dienst zu entwickeln, es sei denn, du willsten den x-Ten Bookieindexer bauen.

Vielleicht macht es eher Sinn zu schauen, ob man an die XML-Feeds herankommt:
XML Odds feed - The Punters Lounge - The World's Best Betting Forum

Ich würde mich nicht wundern, wenn die Browserweichen und andere Tricks auffahren, um Parseversuche zu entlarven.

 

[chris.]

Vielen Dank für die Antwort!
Daraus würde ich dann schlussfolgern, dass ich mit solchen HTML Scannern nicht weit kommen würde. Was wäre denn am geeignetsten in meiner Situation?

 

[kay73]

Es kommt drauf an, zu welchem Zweck Du die Daten brauchst. Es gibt kommerzielle Anbieter, die solche Indexierungen (mit höchstwahrscheinlich großem Aufwand) anbieten.

Schau auch mal meinen geänderten Post.

Ich habe mich auch mal dafür interessiert, es aber dann aufgegeben, da ich denke dass das Gebiet kommerziell abgegrast ist. Ausserdem ist der Glückspiel-Staatsvertrag noch in der Schwebe und Du kannst eine Abmahnung riskieren, wenn du Dienste in der Richtung in Deutschland anbietest...

 

[ARadauer]

Generell ist es ein Ansatz der funktionieren kann, wenn die Seite entsprechend aufgebaut ist.
Falls die Seite eine API anbietet über die man sauber gewisse Daten abrufen kann, ist das natürlich besser. Aber ich bezweifle das bet365 sowas anbietet... ´naja vielleicht doch...