HTML den ich von einer URL hole nicht identisch mit dem HTML im Browser

[sirbender]

Hi,

ich will gerade ein bischen mit evolutionären Algorithmen rumspielen und dafür brauche ich aus ein paar Quellen Daten von Websiten holen.

Ich hole mir den HTML code mit Java und der ist identisch mit dem HTML code den auch Firefox holt. ABER er ist nicht identisch mit dem HTML den mir Firefox anzeigt. Firefox "zeigt" nämlich nicht den rohen HTML Code an sondern hat wahrscheinlich den Code "ausgeführt"...also inkludierte source dateien nachgeladen, JS ausgeführt, etc.

Das ist jetzt ein generelles Problem und tritt bei vielen Websiten auf.

Ich bräuchte also irgendwie den HTML code den Firefox auch wirklich "rendert". Geht sowas? Kann ich mir mit Java den "angezeigten" HTML code irgendwie holen?

vielen Dank!
sb

 

[kneitzel]

Du kannst ja einfach auch das HTML rendern und das JavaScript ausführen. Sind ja offene Standards und somit kannst Du da gerne jederzeit das auch in Java entwickeln.

Evtl. gibt es auch das eine oder andere Control, das dies etwas kann und macht, aber da musst Du dann ggf. noch Hand anlegen, damit es genau so ist, wie bei Firefox. Aber warum nutzt Du dann nicht einfach Firefox?

Du kannst natürlich auch einmal schauen, ob ein fertiges Control nicht ausreicht. https://blog.disy.net/swing-browser-integration/ gibt paar Möglichkeiten ... SWT bietet wohl ein Control, das auf Webkit aufsetzt. Das könnte ggf. sehr nahe ran kommen ...