Filterung nach schlechten Inhalten im Web

[COLLAB]

Hallo,

nachdem ich eine Applikation entwickelt habe, die den Geschmack eines Nutzers einer Set-Top-Box "berechnen" kann und seinen Geschmack treffen kann, möchte ich so eine ähnliches Programm bauen:

Es geht darum, gute Internetseiten von bösen Internetseiten zu unterscheiden. D.h. man hat eine Liste von URLs und das Programm muss dann entscheiden, ob die Website gut ist oder böse ist und gesperrt werden sollte!

Zunächst: wie lautet da der Fachausdruck, sodass ich mal bei Google dannach suchen kann? Ich habe bereits vergeblich gesucht ...
Außerdem: Habt Ihr irgendwelche Tipps/Anmerkungen etc?

Sicherlich sollte/kann man hier mathematisch vorgehen, z.B. durch Begriffsgewichtung und somit zum Erhalt einer Gesamtbewertung ...

Gruß,
Gast

 

[Final_Striker]

Was bedeutet "eine Website ist böse"?

 

[0x7F800000]

Es geht darum, gute Internetseiten von bösen Internetseiten zu unterscheiden. D.h. man hat eine Liste von URLs und das Programm muss dann entscheiden, ob die Website gut ist oder böse ist und gesperrt werden sollte!

Ein Programm mit einem ausgeprägten Sinn für Gut und Böse, mit einer fetten Ethik-Engine und frei wählbaren Philosophie-Filtern?

Zunächst: wie lautet da der Fachausdruck, sodass ich mal bei Google dannach suchen kann? Ich habe bereits vergeblich gesucht ...

ich denk mal, "search engine", "algorithms","ranking","PageRank" wären keine allzu schlechten stichworte für den Anfang? Es gibt sogar dicke Bücher dazu: Google's Pagerank and Beyond: The Science of Search Engine Rankings: Amazon.de: Amy N. Langville, Carl D. Meyer: Englische Bücher (gelesen hab ich's nicht)

Außerdem: Habt Ihr irgendwelche Tipps/Anmerkungen etc?

Vielleicht wär's nicht schlecht google einzusetzen, bevor man sich an den entwurf eigener suchmachinen wagt?

 

[COLLAB]

Bitte nicht falsch verstehen! Es geht mir nicht darum, eine "Suchmaschiene" zu schreiben! Ich habe eine URL und prüfe, ob die zugehörige Seite "böse" ist.

"Böse" bedeutet, dass sie nicht angemessene Inhalte enthält, z.B. Pronografie (es wird (k)ein Spaß, solche Seiten zum testen zu suchen ....). Aber das Programm sollte dann doch differenzieren zwischen z.B. einem Wikipediaartikel über biologische Merkmale des Menschen und einer "komerziellen" Seite halt. Also nicht ich schreib das Wort "s**" in die Blacklist und alle diese Worte sind gesperrt. Das wäre zu platt!

Gruß!

 

[Gast2]

Bitte nicht falsch verstehen! Es geht mir nicht darum, eine "Suchmaschiene" zu schreiben! Ich habe eine URL und prüfe, ob die zugehörige Seite "böse" ist.

"Böse" bedeutet, dass sie nicht angemessene Inhalte enthält, z.B. Pronografie (es wird (k)ein Spaß, solche Seiten zum testen zu suchen ....). Aber das Programm sollte dann doch differenzieren zwischen z.B. einem Wikipediaartikel über biologische Merkmale des Menschen und einer "komerziellen" Seite halt. Also nicht ich schreib das Wort "s**" in die Blacklist und alle diese Worte sind gesperrt. Das wäre zu platt!

Gruß!

Da begibst du dich auf eine wage Reise in die Tiefen den semantischen web

Musst halt eine Reihe von Merkmalen aussuchen, die Seite laden, die Merkmale auswerten und dann gucken ob das ok ist oder nicht.

z.B.
1) Metadaten (z.B. Schlagworte) die schon angegeben sind auswerten
2) URL filtern nach gewissen Schlagworten und Kombinationen
3) Heuristik über textuellen Pagecontent: Vorkommen von Worten aus einem definierten Dictionary Blacklist
Für jedes Wort rechne +1, evtl wenn es ein gaaaaaanz schlimmes wort ist rechne +2 oder +3
Da sind wir dann aber auch bei der Sache mit der Semantik - Ist Schwanz und ein Riemen das Gleiche/Selbe? Wenn jemand schreibt "Da wurde aber XYZ vergewaltigt!" meint er damit eine Person oder evtl z.B. eine Framework das falsch eingesetzt wird?
4) Heuristik über Bilder? Da wird es schon sehr aufwändig. Da kannst du als erstes versuchen das ALT attribut auszuwerten - das wird dich in 90% der Fälle nicht weiterbringen wenn es überhaupt gesetzt ist, als zweites den Dateinahmen analysieren. Sonst darfst du anfangen Bildanalyse Algorithmen zu implementieren mit denen du primäre und sekundäre Geschlechtsorgane, Blut, Gewaltdarstellungen etc. identifizieren kannst
5) Über Flahs und embedded Viedoes wollen wir mal nichts weiter sagen...

Am ende deinen Zahlenwert ansehn und entscheiden ob er über oder unter einem einstellbaren threshold liegt.

Also im Endeffekt bleibt dir nicht viel mehr übrig als Google und konsorten auch machen - von daher - siehe Links oben

 

[0x7F800000]

"Böse" bedeutet, dass sie nicht angemessene Inhalte enthält, z.B. Pronografie

Willst du das Surfen irgendwie "kindgerechter" gestalten, oder was? Naja, auf der Client-Seite kann man da imho grundsäzlich kaum etwas ausrichten. Da sind die Kinder meiner meinung nach wesentlich leichter zu programmieren, als Computer: den kann man auch in Worten erklären, was da im Internet los ist... Naja, zumindest mit >12 Jährigen wird's wohl irgendwie gehen, wenn man da aber 6-jährige auf der riesigen Müllhalde-Internet spielen lässt, dann könnt' ich mir gut vorstellen, dass sie dadurch einen Totalschaden kriegen :autsch:

(es wird (k)ein Spaß, solche Seiten zum testen zu suchen ....)

was'n, geht die Produktivität runter, wenn man mit solchen Inhalten arbeitet? :lol:

Bitte nicht falsch verstehen! Es geht mir nicht darum, eine "Suchmaschiene" zu schreiben! Ich habe eine URL und prüfe, ob die zugehörige Seite "böse" ist.

naja, wo ist der große unterschied?... Es ist doch ein gutes Kriterium: wenn man weiß, dass eine Seite von 50 Pornoseiten verlinkt wird, und selbst auch massenweise Links auf andere bereits bekannte Pornoseiten enthält, dann ist es wahrscheinlich nicht die Webpräsenz eines Instituts für Astrophysik. Also, da scheint's mir schon eine gute idee zu sein, "Linkpopularität" auszuwerten, wie die Suchmaschinen das auch tun.

Aber das Programm sollte dann doch differenzieren zwischen z.B. einem Wikipediaartikel über biologische Merkmale des Menschen und einer "komerziellen" Seite halt. Also nicht ich schreib das Wort "s**" in die Blacklist und alle diese Worte sind gesperrt. Das wäre zu platt!

Naja, einen sachlichen Text und irgendeinen pornographischen Kram kann man wahrscheinlich schon recht gut auseinanderhalten: auf Seiten mit fraglichen Inhalten findet man zB. keine wissenschaftlichen Fachbegriffe, und in der Wikipedia findet man keinen vulgären Jargon.

Zudem kann man einfach die Anzahl der <image> und <object> - tags zusammenzählen: da bekommt man doch schon einen eindruck, ob es auf der Seite haupsächlich um text & information oder um *hust* "bildchen" geht.

Sonst darfst du anfangen Bildanalyse Algorithmen zu implementieren mit denen du primäre und sekundäre Geschlechtsorgane, Blut, Gewaltdarstellungen etc. identifizieren kannst

stark blurren & auflösung auf 20x30 runterschrauben, die "hautfarbenen"-Quadrate zusammenzählen? :bahnhof:

Wie soll man aber "Gewaltdarstellungen" filtern... ???:L
Bei alten Ego-shootern könnte man vielleicht alle waffen einscannen, die größtenteils immer auf derselben Position auf dem Bildschirm bleiben. Alte Counterstrike-Videos könnte man so vielleicht ganz gut erkennen. Aber bei neuen geht sowas gar nicht mehr...
Und ob in einem Video die Leute tanzen oder sich umarmen oder sich Prügeln oder friedlich boxen: ne, das kriegt man sicher nicht mit irgendeiner software hin, das kann man vergessen, zumindest bis die KI da ist, aber dann werden die Kinder eh überflüssig^^

 

[guni]

Hi,

ich schließe mich mal der Diskussion an, weil ich das Thema interessant finde.

@0x7F800000:
was willst du denn mit diesem Programm erreichen?
wen willst du schützen? Kinder?
Wie willst du das Ganze dann technisch einbinden?
Ich sag mal so: wenn einer bewusst auf solche Seiten will, dann kommt er meiner Meinung auch hin.
Und ein Programm zu schreiben, dass uns Menschen zum Guten hin erzieht? Hmm ...

Aber weil du fragst unter welchem Fachausdruck du googeln kannst; da hätte ich einen etwas unkonventionellen Vorschlag für dich: Such doch mal nach "Christian Content Filter". Seriöse Christen setzen sich glaub ich schon länger mit solchen Themen auseinander - und sind sicher auch bereit, da programmiertechnische Tipps zu geben ;-)

lg, guni

 

[0x7F800000]

@0x7F800000:

ich hab nichts gefragt.

wen willst du schützen? Kinder?
[...]
Seriöse Christen setzen sich glaub ich schon länger mit solchen Themen auseinander

Muss ich das jetzt ausführen und mit dem aktuellen Kontext in Verbindung bringen, oder ist der Sarkasmus auch so schon giftig genug?

 

[guni]

Muss ich das jetzt ausführen und mit dem aktuellen Kontext in Verbindung bringen, oder ist der Sarkasmus auch so schon giftig genug?

Oh. Ja. Verstehe. Für mich ist das, was aktuell in den Medien präsentiert wird so weit weg von "seriösen Christen" dass ich da beim Schreiben nicht mal irgendwie eine gedankliche Assoziation hergestellt habe.
Aus meiner Sicht würden solche Fälle nicht passieren, wenn kat. Priester heiraten würden, so, wie es die Bibel für einen Verantwortungsträger in einem Gemeindeamt meinem Verständnis nach auch nahelegt!

Wie auch immer. Wie geht es dir mit deinem Java-Problem?!

 

[Empire Phoenix]

Ich würde ja lieber nur die (bekannten)schlimmsten Seiten filtern und dem Rest des Verständnisses des Kindes lassen, sowie es nicht unter einem gewissen alter länger alleine surfen lassen.
(Mal ehrlich dann soll es lieber cs1.6 zocken als auf 4chan zu treffen XD (und nein das soll kein Flamewar werden , aber ich deke man kann verstehen was ich meine)

Bilder könnteste versuchen durch die google (Bildersuche) filter zu filtern die sind da wahrschenlich besser als alles was du selber hinbekommen wirst.

 

[0x7F800000]

Aus meiner Sicht würden solche Fälle nicht passieren, wenn kat. Priester heiraten würden

Wenn diese Lebensart nicht mehr als Ausrede für die eigene Unfähigkeit eine Partnerin zu finden dienen kann, wozu ist es dann überhaupt noch gut? Wobei... In USA dürfen auch schwule Priester heiraten, trotzdem sind da irgendwie >70% christen oder so ähnlich^^
=> Ich verstehe diese Dynamik nicht. Ist mir ehrlich gesagt auch egal. Katholische Priester sind inzwischen größtenteils harmlos, und im vergleich zu manchen anderen Gruppierungen sogar beinahe sympathisch. Sollen sie doch machen was sie wollen: solang sie die USA nicht zu einem Gottesstaat erklären, stören die mich nicht.

Wie auch immer. Wie geht es dir mit deinem Java-Problem?!

Zum zweiten Mal jetzt: ich hab gar kein Problem, ich bin nicht COLLAB.

 

[JanHH]

Find das gerade sehr merkwürdig..

a) es hat nichts mit java zu tun, schon gar nicht mit "java-Anfängerfragen"
b) jemand, der sowas in einem Forum für "java-Anfängerfrage" fragt, ist sich offenbar der Komplexität seines vorhabens nicht Ansatzweise bewusst. Denke daher, von vorneherein zum Scheitern verurteilt.