Mit jsoup Text aus HTML-Datei rausgrabben

[osix]

Hallo Leute,

Mir ist schleierhaft wie jsoup funktioniert. Ich lese immer wieder die Doku, aber ich kapiere es nicht.

Meine HTML-Datei hab ich von diesem Link runtergeladen

Römer 8 | NGU2011 Übersetzung | {} | YouVersion

Überwindung der Sünde durch Gottes GeistMüssen wir denn nun noch damit rechnen, verurteilt zu werden? Nein, für die, die mit Jesus Christus verbunden sind#Eine weniger gut bezeugte

www.bible.com

Ich hab sie mit Notepad+ editiert und von Zeile 208 bis Zeile 767 stehen die für mich relevanten Textdaten.

<span class="ChapterContent_content__RrUqA">Müssen wir denn nun noch damit rechnen, verurteilt zu werden? Nein, für die, die mit Jesus Christus verbunden sind</span>

Wie komme ich mit jsoup an das was hinter <span class="...."> steht dran ?
Aber nicht nur an obiger Stelle, sondern an allen Text an den anderen class-Einträgen !

Besten Dank schon mal für eure Hilfe !

 

[Robert Zenz]

Du willst die jSOUP Dokumentation ueber Selektoren ansehen. Dort ist exakt erklaert wie du Elemente basieren auf CSS-Selektoren bekommst. In deinem Fall koennte es aber komplizierter werden wenn ich mir "__RrUqA" so ansehe. Aber zunaechst mal willst du alle Element aus der Antwort welche eine bestimmte CSS-Klasse haben und dann von diesen den Text holen:

for (Element spanElement : responseDocument.select("span.ChapterContent_content__RrUqA")) {
    System.out.println(spanElement.text());
}

Falls diese Klassen aber dynamischer sind, aber den selben Praefix haben, wird es komplizierter, denn du musst dir alle `span`s holen und dann pruefen ob die Klassen passen koennten:

for (Element spanElement : responseDocument.select("span")) {
    for (string className : span.classNames()) {
        if (className.startsWith("ChapterContent_content__")) {
            System.out.println(spanElement.text());
        }
    }
}

 

[osix]

Danke Meister aller "Java"-Klassen...
Es sind zum Glück statische Klassennamen, warum die so kompliziert heißen, weiß ich nicht.

Geht es dann immer so mit deiner Methode eins ?

 

[Ullenboom]

Es sind zum Glück statische Klassennamen, warum die so kompliziert heißen, weiß ich nicht.

Die CSS-Klassenamen wie span.ChapterContent_content__RrUqA werden häufig von Build-Tools erzeugt. Zum Beispiel von PostCSS. Es kann gut passieren, dass beim nächsten Build der Name anders ist, daher würde ich den auch nicht im CSS-Selektor aufnehmen.

 

[osix]

Aha, danke, schon wieder was gelernt, deswegen auch die "kryptische" Bezeichung...
Allerdings: Wenn ich den Text einmal abgegrabbt="weggegrabscht" habe, dann hab ich ihn....

 

[osix]

Ok,funzt soweit, danke.

Noch eine Frage:

Ich komme jetzt zwar an die Verse ran, doch die sind unterbrochen und ich muß mehrere "gegrabte" spanElemente aus der Methode eins zusammenaddieren. Das ist zwar keine Problem, doch weiß ich nicht wieviele.

Klar kann ich mir über <span class="ChapterContent_label__R2PLt">1</span> die Verszahl holen, doch ich verstehe nicht, wie ich das machen soll. Die Methode eins von oben läuft ja über die ganze Datei (oder den Link) drüber, und ich kann die Schleife garnicht unterbrechen.

Hat jemand eine Idee ?

Hier noch die entscheidende Stelle in der HTML-Datei, die Einrückung ist komisch, das hab ich nicht weggekriegt...

<div class="ChapterContent_book__VkdB2">
                                                                                                            <div data-usfm="ROM.8" class="ChapterContent_chapter__uvbXo">
                                                                                                                <div class="ChapterContent_label__R2PLt">8</div>
                                                                                                                <div class="ChapterContent_s3__CzYO0">
                                                                                                                    <span class="ChapterContent_heading__xBDcs">Überwindung der Sünde durch Gottes Geist</span>
                                                                                                                </div>
                                                                                                                <div class="ChapterContent_p__dVKHb">
                                                                                                                    <span data-usfm="ROM.8.1" class="ChapterContent_verse__57FIw">
                                                                                                                        <span class="ChapterContent_label__R2PLt">1</span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">Müssen wir denn nun noch damit rechnen, verurteilt zu werden? Nein, für die, die mit Jesus Christus verbunden sind</span>
                                                                                                                        <span class="ChapterContent_note__YlDW0">
                                                                                                                            <span class="ChapterContent_label__R2PLt">#</span>
                                                                                                                            <span class="ChapterContent_body__O3qjr">
                                                                                                                                <span class="ft">Eine weniger gut bezeugte Lesart fügt hinzu: und die sich nicht mehr von ihrer eigenen Natur bestimmen lassen, sondern vom Geist ´Gottes`. Vergleiche Vers 4.</span>
                                                                                                                            </span>
                                                                                                                        </span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">, gibt es keine Verurteilung mehr.</span>
                                                                                                                        <span class="ChapterContent_note__YlDW0">
                                                                                                                            <span class="ChapterContent_label__R2PLt">#</span>
                                                                                                                            <span class="ChapterContent_body__O3qjr">
                                                                                                                                <span class="ft">W 1 Es gibt jetzt also keine Verurteilung für die, die in Christus Jesus sind.</span>
                                                                                                                            </span>
                                                                                                                        </span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">  </span>
                                                                                                                    </span>
                                                                                                                    <span data-usfm="ROM.8.2" class="ChapterContent_verse__57FIw">
                                                                                                                        <span class="ChapterContent_label__R2PLt">2</span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">Denn wenn du mit Jesus Christus verbunden bist, bist du nicht mehr unter dem Gesetz der Sünde und des Todes; das Gesetz des Geistes, der lebendig macht, hat dich davon befreit.</span>
                                                                                                                        <span class="ChapterContent_note__YlDW0">
                                                                                                                            <span class="ChapterContent_label__R2PLt">#</span>
                                                                                                                            <span class="ChapterContent_body__O3qjr">
                                                                                                                                <span class="ft">Od Denn du bist dann nicht mehr unter dem Gesetz der Sünde und des Todes; das Gesetz des Geistes, der durch Jesus Christus lebendig macht, hat dich (aL(1) mich; aL(2) uns) davon befreit.</span>
                                                                                                                            </span>
                                                                                                                        </span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">  </span>
                                                                                                                    </span>
                                                                                                                    <span data-usfm="ROM.8.3" class="ChapterContent_verse__57FIw">
                                                                                                                        <span class="ChapterContent_label__R2PLt">3</span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">Das Gesetz des Mose war dazu nicht imstande; es scheiterte am Widerstand der menschlichen Natur. Deshalb hat Gott als Antwort auf</span>
                                                                                                                        <span class="ChapterContent_note__YlDW0">
                                                                                                                            <span class="ChapterContent_label__R2PLt">#</span>
                                                                                                                            <span class="ChapterContent_body__O3qjr">
                                                                                                                                <span class="ft">Od als Opfer für.</span>
                                                                                                                            </span>
                                                                                                                        </span>
                                                                                                                        <span class="ChapterContent_content__RrUqA"> die Sünde seinen eigenen Sohn gesandt. Dieser war der sündigen Menschheit insofern gleich, als er ein Mensch von Fleisch und Blut war, und indem Gott an ihm das Urteil über die Sünde vollzog, vollzog er es an der menschlichen Natur.</span>
                                                                                                                        <span class="ChapterContent_note__YlDW0">
                                                                                                                            <span class="ChapterContent_label__R2PLt">#</span>
                                                                                                                            <span class="ChapterContent_body__O3qjr">
                                                                                                                                <span class="ft">W 3 Denn wozu das Gesetz nicht imstande war, weil es durch das Fleisch schwach war, das tat Gott, indem er seinen eigenen Sohn in der Gleichheit des Fleisches der Sünde und für die Sünde / als Sündopfer sandte und (dadurch) die Sünde im Fleisch verurteilte.</span>
                                                                                                                            </span>
                                                                                                                        </span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">  </span>
                                                                                                                    </span>
                                                                                                                    <span data-usfm="ROM.8.4" class="ChapterContent_verse__57FIw">
                                                                                                                        <span class="ChapterContent_label__R2PLt">4</span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">So kann sich nun in unserem Leben die Gerechtigkeit verwirklichen, die das Gesetz fordert, und zwar dadurch, dass wir uns vom Geist ´Gottes` bestimmen lassen und nicht mehr von unserer eigenen Natur</span>
                                                                                                                        <span class="ChapterContent_note__YlDW0">
                                                                                                                            <span class="ChapterContent_label__R2PLt">#</span>
                                                                                                                            <span class="ChapterContent_body__O3qjr">
                                                                                                                                <span class="ft">W vom Fleisch.</span>
                                                                                                                            </span>
                                                                                                                        </span>
                                                                                                                        <span class="ChapterContent_content__RrUqA">.</span>
                                                                                                                    </span>
                                                                                                                </div>

die Datei geht natürlich noch weiter bis Vers 39 glaub ich, aber das hab ich weggelassen. Der Aufbau ist immer derselbe....

 

[Esel1]

wie jsoup funktioniert

jsoup ist für einen css selector oder xpath auch nicht das geeignetste Werkzeug: https://dzone.com/articles/htmlunit-vs-jsoup-html-parsing

 

[osix]

Hm.....und mit HTMLunit kommt ich dann an alles ran wie ich es brauche ?

 

[Robert Zenz]

Klar kann ich mir über <span class="ChapterContent_label__R2PLt">1</span> die Verszahl holen, doch ich verstehe nicht, wie ich das machen soll. Die Methode eins von oben läuft ja über die ganze Datei (oder den Link) drüber, und ich kann die Schleife garnicht unterbrechen.

Es hindert dich niemand daran die Datei ein einzelne "Verarbeitungsabschnitte" aufzuteilen. Also du selektierst ein gruppierendes Element und dann selektierst du die einzelnen Elemente unter diesem. So in etwa:

for (Element verseElement : document.select(".ChapterContent_verse__57FIw")) {
    Element labelElement = verseElement.selectFirst(".ChapterContent_label__R2PLt");
    Element contentElement = verseElement.selectFirst(".ChapterContent_content__RrUqA");
   
    System.out.println(lavelElement.text() + ": " + contentElement.text());
}

 

[KonradN]

jsoup ist für einen css selector oder xpath auch nicht das geeignetste Werkzeug: https://dzone.com/articles/htmlunit-vs-jsoup-html-parsing

Also ich habe hier jetzt nicht wirklich ein Verständnis für den Hinweis. Du erweist auf einen 11 Jahre alten Blog Beitrag, in dem der Autor bemängelt, dass jsoup kein xpath oder CSS Selektor kann. Aber das ist doch total veraltet, denn ein einfacher Blick auf jsoup.org zeigt:

jsoup is a Java library that simplifies working with real-world HTML and XML. It offers an easy-to-use API for URL fetching, data parsing, extraction, and manipulation using DOM API methods, CSS, and xpath selectors.

jsoup implements the WHATWG HTML5 specification, and parses HTML to the same DOM as modern browsers.

• scrape and parse HTML from a URL, file, or string
• find and extract data, using DOM traversal or CSS selectors
• manipulate the HTML elements, attributes, and text
• clean user-submitted content against a safelist, to prevent XSS attacks
• output tidy HTML

Quelle: jsoup: Java HTML parser, built for HTML editing, cleaning, scraping, and XSS safety

Der Link "find" zeigt dann auch, wie einfach die Nutzung von CSS Selektoren doch ist. Ein Link, der übrigens auch schon in der ersten Antwort von Robert Zenz zu finden ist.

Was genau ist denn dann bei htmlunit einfacher? Ob ich nun die Methode select (jsoup) aufrufe Elements zurück bekomme oder eben querySelectorAll (htmlunit) mit der DomNodeList<DomNode> als Rückgabe macht da doch eigentlich keinen wirklichen Unterschied beim Aufbau des Codes.

Und bei XPath ist es ähnlich: da ist es dann halt selectXPath vs. getByXPath.

Hm.....und mit HTMLunit kommt ich dann an alles ran wie ich es brauche ?

Nicht wirklich anders / besser als bei jsoup. Das Problem ist, dass Du Dich mit den verwendeten Technologien (CSS Selector, XPath) auseinander setzen musst, wenn Du die Tools effektiv verwenden willst. Oder, was Du auch als Option hast: Du kannst generell durch den DOM Tree der Seite gehen (Oder eines Teiles). Dann wird es evtl. auch einfacher, wenn sich CSS Klassen ändern.

Aber es ist ja immer am Ende, daher sollte ein Aufruf wie: select("[class^=ChapterContent_verse__]") sollte dir dann alle Elemente geben, die ein class Attribut haben, das mit ChapterContent_verse__ anfängt. Das manuelle Durchlaufen sollte also nicht notwendig sein. Mit verschachtelten Abfragen kannst Du also erst Abfragen:
[class^=ChapterContent_verse__]
um dann in jedem der Verse
[class^=ChapterContent_content__]
abzufragen.

Also mit diesem veränderten Selektor und dem ungefähren Aufbau von @Robert Zenz in #9 nur eben erweitert, dass mehrere content angezeigt werden ... Das Label kannst Du natürlich auch noch ausgeben und so weiter ...

Eine sehr kompakte Beschreibung der Selektoren ist übrigens in der jsoup Doku zu CSS Selektoren - die Seite wurde in #2 bereits verlinkt und auf der Startseite von jsoup ist das auch direkt hinter dem "find" Link ...

 

[osix]

alles klar, danke. Das langt mir als Hilfe, das hab ich gesucht, wie ich einzeln rankomme.

 

[osix]

Äh...ich bräuchte doch nochmal Hilfe.
Und zwar läuft der Code ja schon fast richtig.
Allerdings kann es sein, daß ein Vers aus mehreren Teilen unterhalb von ".ChapterContent_content__RrUqA" besteht.
Das heißt das TAG "ChapterContent_content__RrUqA" kommt mehrmals vor und es muß nochmal eine Schleife irgendwie rein, die
alles zu einem String gesamt aufaddiert.
Das .selectFirst muß also weg, sonst wird nur das Erste genommen.
Kann da vielleicht jemand noch kurz helfen, diese zweite Schleife da reinzumachen ?

for (Element verseElement : document.select(".ChapterContent_verse__57FIw")) {
    Element labelElement = verseElement.selectFirst(".ChapterContent_label__R2PLt");
    Element contentElement = verseElement.selectFirst(".ChapterContent_content__RrUqA");
  
    System.out.println(lavelElement.text() + ": " + contentElement.text());
}

 

[KonradN]

Dann mach doch einfach eine Schleife mit einem select statt dem Aufruf mit dem selectFirst.

 

[osix]

ich schaffe das einfach nicht....ich krieg immer falsche Strings...

org.jsoup.nodes.Document doc = Jsoup.parse(input, "UTF-8","");
       
        for (Element verseElement : doc.select(".ChapterContent_verse__57FIw"))
        {
            Element labelElement = verseElement.selectFirst(".ChapterContent_label__R2PLt");
           
            for (Element contentElement : verseElement.select(".ChapterContent_content__RrUqA"))
               
            {
                gesamt=gesamt+contentElement.text();
            }
 
            System.out.println(labelElement.text() + ": " + gesamt);

Sorry, ich komme aus der "alten" Programmierwelt wo alles noch mit for i=1 to x ging

 

[KonradN]

ich krieg immer falsche Strings...

Hier wären Details wichtig. Aber was ich nach einem Überfliegen des Codes sehe: Du addierst immer mehr zu der Variablen gesamt. Aber du wirst vermutlich immer nur den Text des Verses zusammen fassen. Also wäre vor der inneren Schleife die Variable neu zu setzen.

 

[Esel1]

Also ich habe hier jetzt nicht wirklich ein Verständnis für den Hinweis. Du erweist auf einen 11 Jahre alten Blog Beitrag, in dem der Autor bemängelt, dass jsoup kein xpath oder CSS Selektor kann. Aber das ist doch total veraltet,

Das suggeriert jetzt so ein bisschen, als hätte HtmlUnit sich indes nicht weiterentwickelt

Mir ist es egal, mit welchem Werkzeug er sein Ziel erreicht, wollte ihm den Weg nur etwas erleichtern.

@osix Finde heraus, welcher Tag "ChapterContent_content..." hat, und wende dann einen Regex an.

 

[KonradN]

Wo siehst Du noch eine Notwendigkeit für einen Regex?

 

[Esel1]

Echt jetzt? __RrUqA siehst du nicht?

 

[KonradN]

Echt jetzt? __RrUqA siehst du nicht?

Echt jetzt? Meinen Hinweis, wie dies mein einem Selector geht, hast Du nicht gesehen?

Aber es ist ja immer am Ende, daher sollte ein Aufruf wie: select("[class^=ChapterContent_verse__]") sollte dir dann alle Elemente geben, die ein class Attribut haben, das mit ChapterContent_verse__ anfängt. Das manuelle Durchlaufen sollte also nicht notwendig sein. Mit verschachtelten Abfragen kannst Du also erst Abfragen:
[class^=ChapterContent_verse__]
um dann in jedem der Verse
[class^=ChapterContent_content__]
abzufragen.

Oder den Link von @Robert Zenz direkt in der ersten Antwort?

Du willst die jSOUP Dokumentation ueber Selektoren ansehen.

mit speziell diesem Hinweis:

• [attr^=value], [attr$=value], [attr*=value]: elements with attributes that start with, end with, or contain the value, e.g. [href*=/path/]

Sorry, aber das sind Selectoren, die auch Dein HtmlUnit können sollte. Es ist ja super, dass Du helfen willst, aber wenn Du nicht einmal den Thread verfolgst und ständig so Antworten gibst, dann solltest Du Dir überlegen, ggf. nichts zu schreiben (Speziell wenn Du offensichtlich so wenig Ahnung von der Materie hast.)

Aber das ist nur ein dezenter Hinweis ganz am Rande. Und die Diskussion werde ich nicht groß weiterführen, denn ich halte es für sicher, dass Du "unser Tobias" bist und da ist vermutlich nur eine Aktion angebracht, sehe ich das richtig?

Edit: Nur weil Tobias meine Aussage als Quatsch abgetan hat: das sind die „üblichen“ CSS Selektoren und keine speziellen Erweiterungen der Implementierungen. Siehe z.B. https://www.w3schools.com/css/css_attribute_selectors.asp

 

[KonradN]

Um hier weitere Missverständnisse zu vermeiden, bringe ich einfach einmal etwas Code, der funktioniert.

Wenn man sich den Source anschaut, dann sieht man bei den ChapterContent_verse__* class Elementen ein Attribut data-usfm mit dem, was man so üblicherweise als Label erwarten würde. Statt nur einer Nummerierung.
Das Label habe ich einfach einmal weggelassen - das wäre eine Nummer, die man noch auslesen könnte. (@osix Wenn Du da noch mehr brauchst, füge ich es noch ein. Dann sollten wir nur einmal genau schauen, was da alles an Daten drin ist um es "perfekt" zu machen. Es gibt ja auch noch Erläuterungen und so ...)

Damit haben wir eine Datenstruktur:
public record Verse(String label, String content) {}

Nun brauchen wir eine Methode, die eine URL wie auch #1 liest und dann eine Liste von Verse zurück gibt. Das kann dann einfach sein:

    public List<Verse> read(String url) {
        List<Verse> results = new ArrayList<>();
        try {
            Document doc = Jsoup.connect(url).get();

            for (Element verseElement : doc.select("[class^=ChapterContent_verse__]")) {
                String label = verseElement.attr("data-usfm");
                String content = "";
                for (Element contentElement : verseElement.select("[class^=ChapterContent_content_]")) {
                    content += contentElement.text();
                }
                results.add(new Verse(label, content));
            }
        } catch (IOException e) {
            e.printStackTrace();
            return null;
        }
        return results;
    }

@osix Hier erkennst Du, dass in der äußeren Schleife die Variable content immer auf den leeren String gesetzt wird, was bei Dir fehlte.

Das kann man dann auch testen. Ich habe jetzt keinen ganzen Test geschrieben, sondern nur einen Aufruf der URL genommen um dann im Debugger zu schauen, was ich da bekomme:

    @Test
    void readVerseTest() {
        List<Verse> verses = read("https://www.bible.com/de/bible/108/ROM.8.NGU2011");
    }

42 Verse sieht gut aus, der Text scheint zu stimmen und die Label sehen auch gut aus ...

Also:

• Keine Notwendigkeit die letzten Zeichen der class zu kennen
• Keine Notwendigkeit für RegEx
• CSS Selektoren machen das wie von mir schon zuvor geschrieben...

 

[osix]

Vielen Dank für deine Hilfe, ich hab es etwas auf "unperfekt" abgeändert, weil es mir sonst zu kompliziert wird.
Und es funzt ! Aber nur fast.

Was ist bei Vers 36 los ? Da wird irgendwie nicht "addiert", sondern vier mal der Vers ausgegeben.
Ist an dieser Stelle die HTML-Datei "unsauber" das heißt fehlerbehaftet ?
Ich hänge dir die Datei mir rein, es passiert auch noch bei anderen Kapiteln, z.B. Römer 1, gleich in Vers 1
(Ich kann keine HTML-Dateien anhängen, deswegen hab ich sie in .css umbenannt !)

import java.io.File;
import java.io.IOException;
import java.util.logging.Level;
import java.util.logging.Logger;
import org.jsoup.*;
import org.jsoup.nodes.*;

public class HTML_Grabber3
{  
    public HTML_Grabber3() throws IOException
    {                  
        File input = new File("J:\\Kapitelbibel\\NG\\06Römer\\Römer8.html");
        org.jsoup.nodes.Document doc = Jsoup.parse(input, "UTF-8","");
       
        for (Element verseElement : doc.select("[class^=ChapterContent_verse__]"))
        {
                String label = verseElement.attr("data-usfm");
                String content = "";
                for (Element contentElement : verseElement.select("[class^=ChapterContent_content_]"))
                {
                    content += contentElement.text();
                }
                System.out.println(label+" "+content);
        }      
    }
   
    public static void main(String[] args)
    {      
        try
        {
            new HTML_Grabber3();
        }
        catch (IOException ex)
        {
            Logger.getLogger(HTML_Grabber.class.getName()).log(Level.SEVERE,null,ex);
        }
    }
}

 

[M.L.]

"unsauber"

Beim Betrachten des Datensatzes in einem Editor fällt zumindest 4x der Teil "ROM.8.36" auf (inkl. anderer Folgetexte)

 

[osix]

Danke ! Stimmt, daran liegt es. Hab das an anderen Stellen auch so gefunden.

Hat jemand einen Idee, wie ich das im obigen Quelltext "abfangen" kann ?

Reicht auch nur einen Hinweis, ausprogrammieren kann ich das dann selber.