Browser integriert in Desktop Applikation - Webcam interface not found

[internet]

Hallo,

ich versuche gerade innerhalb einer Desktop Applikation einen Browser zu integrieren.
Nun möchte ich eine Webseite öffnen, die eine Webcam verwenden:
Beispielsweise: https://www.primefaces.org/showcase/ui/multimedia/photocam/photoCam.xhtml

Nun bekomme ich aber diese Fehlermeldung:
Webcam.js caught an error: No supported webcam interface found.

Hier mein Code:

public class SWTBrowser {

    private static Display display;
    private static Shell shell;

    /**
     * Launch
     */
    public static final void launch() {
        display = new Display();

        shell = new Shell(display);
        Rectangle clientArea = display.getClientArea();

        shell.setSize(clientArea.width, clientArea.height);

        shell.setLocation(0, 0);
        GridLayout gridLayout = new GridLayout();
        gridLayout.numColumns = 3;
        gridLayout.marginWidth = 0;
        gridLayout.marginHeight = 0;
        shell.setFullScreen(false);

        shell.setLayout(gridLayout);

        Browser browser = new Browser(shell, SWT.NONE);
        browser.setJavascriptEnabled(true);
        

        GridData data = new GridData();
        data.horizontalAlignment = GridData.FILL;
        data.verticalAlignment = GridData.FILL;
        data.horizontalSpan = 3;
        data.grabExcessHorizontalSpace = true;
        data.grabExcessVerticalSpace = true;
        data.widthHint = clientArea.width;
        data.heightHint = clientArea.height;
        browser.setLayoutData(data);

        shell.open();
        browser.setUrl("http://localhost:" + Constants.SERVER_PORT + "/portal/dashboard.jsf");

        
        
        
        while (!shell.isDisposed()) {
            if (!display.readAndDispatch())
                display.sleep();
        }
        display.dispose();
    }

    //////////////////////
    //// Getter + Setter
    //////////////////////

    public static Display getDisplay() {
        return display;
    }

    public static void setDisplay(Display display) {
        SWTBrowser.display = display;
    }

    public static Shell getShell() {
        return shell;
    }

    public static void setShell(Shell shell) {
        SWTBrowser.shell = shell;
    }
    
}

Jemand eine Idee? Welcher Browser wird hier eig. verwendet? Wie könnte ich hier Google Chrome verwenden?

 

[Jw456]

Den Browser würde ich etwa so aufrufen.

Desktop.getDesktop().browse(new URI(seite));

 

[internet]

ja, das geht.. dann rufe ich aber den Standard browser auf...
Ich möchte den Browser innerhalb der Desktop Applikation haben

 

[KonradN]

Hast Du Dir einmal https://github.com/chromiumembedded/java-cef angesehen?

Ich habe damit keine Erfahrung, aber von der Beschreibung her sollte das doch das sein, was Du brauchst.

 

[Jw456]

dann vielleicht eine WebView (JavaFx) in Swing

[FIXED] JavaFX WebView in Java Swing Project

Issue i try to use the WebView in my java project, in my code is: JFXPanel fxPanel = new...

www.javafixing.com

 

[KonradN]

Das JavaFX WebView Control dürfte auch keine Webcam unterstützen.

how to ask for permission to use the webcam in javafx?

I´ve got a webapplication that uses the webcam. When I run it on a browser it works and ofcourse it ask me my permission to use the webcam. So is there a way in javafx to ask for the camera? Here i...

stackoverflow.com

Da hat das JavaFX Control also genau das gleiche Problem wie das SWT Control.

 

[Jw456]

https://www.hissenit.

 

[internet]

https://www.hissenit.

?

 

[Jw456]

JavaFX WebView-/WebKit-Fehler bei der JavaScript-to-Java-Kommunikation (Java 8) - Hissen IT Blog

Wir verwenden Java seit fast zwei Jahrzehnten zur Entwicklung von Produkten. Als eine integrierte WebKit-Engine in die Java-Plattform eingeführt wurde - seit JavaFX -, wurden die Entwicklungsmöglichkeiten erheblich erweitert. Denn so ist es nun möglich, HTML5-Web-Technologien einfach in eigene...

www.hissenit.com

 

[internet]

Hast Du Dir einmal https://github.com/chromiumembedded/java-cef angesehen?

Ich habe damit keine Erfahrung, aber von der Beschreibung her sollte das doch das sein, was Du brauchst.

habe ich mal ausprobiert... bekomme aber gleich mal ein Fehler:

Exception in thread "main" java.lang.UnsatisfiedLinkError: no jcef in java.library.path: [/Users/Me/Library/Java/Extensions, /Library/Java/Extensions, /Network/Library/Java/Extensions, /System/Library/Java/Extensions, /usr/lib/java, .

Habe das in mein Projekt eingebunden:

        <dependency>
            <groupId>me.friwi</groupId>
            <artifactId>jcefmaven</artifactId>
            <version>100.0.14.3</version>
        </dependency>

 

[KonradN]

Was hast Du mit dem JavaFX WebView Control? Der unterstützt keine WebCam und um genau das Thema geht es doch:

Nun möchte ich eine Webseite öffnen, die eine Webcam verwenden:

Das ist doch ganz einfach zu testen:

package de.kneitzel;

import javafx.application.Application;
import javafx.event.ActionEvent;
import javafx.event.EventHandler;
import javafx.scene.Scene;
import javafx.scene.control.Button;
import javafx.scene.layout.StackPane;
import javafx.scene.layout.VBox;
import javafx.scene.web.WebView;
import javafx.stage.Stage;

public class JavaFXApp extends Application {

    public void start(Stage primaryStage) {
        primaryStage.setTitle("JavaFX WebView Example");

        WebView webView = new WebView();

        webView.getEngine().load("https://de.webcamtests.com/");

        VBox vBox = new VBox(webView);
        Scene scene = new Scene(vBox, 960, 600);

        primaryStage.setScene(scene);
        primaryStage.show();

    }

    /*
    @Override
    public void start(Stage primaryStage) {
        primaryStage.setTitle("Hello World!");
        Button btn = new Button();
        btn.setText("Say 'Hello World'");
        btn.setOnAction(e -> System.out.println("Hello World!"));

        StackPane root = new StackPane();
        root.getChildren().add(btn);
        primaryStage.setScene(new Scene(root, 300, 250));
        primaryStage.show();
    }
    */

    public static void main(String[] args) {
        launch(args);
    }
      
}

Und wenn einem der Rahmen fehlt:

GitHub - kneitzel/JavaFXMavenApp: Simple JavaFX App with Maven

Simple JavaFX App with Maven. Contribute to kneitzel/JavaFXMavenApp development by creating an account on GitHub.

github.com

 

[internet]

Was hast Du mit dem JavaFX WebView Control? Der unterstützt keine WebCam und um genau das Thema geht es doch:



Das ist doch ganz einfach zu testen:

package de.kneitzel;

import javafx.application.Application;
import javafx.event.ActionEvent;
import javafx.event.EventHandler;
import javafx.scene.Scene;
import javafx.scene.control.Button;
import javafx.scene.layout.StackPane;
import javafx.scene.layout.VBox;
import javafx.scene.web.WebView;
import javafx.stage.Stage;

public class JavaFXApp extends Application {

    public void start(Stage primaryStage) {
        primaryStage.setTitle("JavaFX WebView Example");

        WebView webView = new WebView();

        webView.getEngine().load("https://de.webcamtests.com/");

        VBox vBox = new VBox(webView);
        Scene scene = new Scene(vBox, 960, 600);

        primaryStage.setScene(scene);
        primaryStage.show();

    }

    /*
    @Override
    public void start(Stage primaryStage) {
        primaryStage.setTitle("Hello World!");
        Button btn = new Button();
        btn.setText("Say 'Hello World'");
        btn.setOnAction(e -> System.out.println("Hello World!"));

        StackPane root = new StackPane();
        root.getChildren().add(btn);
        primaryStage.setScene(new Scene(root, 300, 250));
        primaryStage.show();
    }
    */

    public static void main(String[] args) {
        launch(args);
    }
     
}

Und wenn einem der Rahmen fehlt:

GitHub - kneitzel/JavaFXMavenApp: Simple JavaFX App with Maven

Simple JavaFX App with Maven. Contribute to kneitzel/JavaFXMavenApp development by creating an account on GitHub.

github.com

ok, danke, dass du es getestet hast...
Dann brauche ich mir nicht die Mühe machen das mit JavaFX zu probieren :/

Bleibt nun aber noch: https://github.com/chromiumembedded/java-cef
Hat das jemand mal probiert? Bekomme den oberen Fehler und schaue hier gerade

 

[KonradN]

habe ich mal ausprobiert... bekomme aber gleich mal ein Fehler:

Exception in thread "main" java.lang.UnsatisfiedLinkError: no jcef in java.library.path: [/Users/Me/Library/Java/Extensions, /Library/Java/Extensions, /Network/Library/Java/Extensions, /System/Library/Java/Extensions, /usr/lib/java, .

Habe das in mein Projekt eingebunden:

        <dependency>
            <groupId>me.friwi</groupId>
            <artifactId>jcefmaven</artifactId>
            <version>100.0.14.3</version>
        </dependency>

Das ist wohl eine Problematik, die bekannt ist:

CEF Forum • UnsatisfiedLinkError: no jcef in java.library.path

magpcss.org

Das ist also nicht ganz so einfach nutzbar da es ein AppBundle mit allen Elementen benötigt.

 

[internet]

Das ist wohl eine Problematik, die bekannt ist:

CEF Forum • UnsatisfiedLinkError: no jcef in java.library.path

magpcss.org

Das ist also nicht ganz so einfach nutzbar da es ein AppBundle mit allen Elementen benötigt.

hm hast du eine Idee was hier genau zu tun ist? Würde das gerne ebenfalls von der IDE (Eclipse) starten.
Eigentlich mache ich ich genau das, was der Ersteller des Forenbeitrags gefragt hat...

 

[KonradN]

Ich habe mich da noch nicht im Detail mit Beschäftigt. Ein guter Ansatzpunkt könnte sein, sich das Beispiel-Projekt einmal näher anzusehen:

GitHub - jcefmaven/jcefsampleapp: Sample app using JCef with maven

Sample app using JCef with maven. Contribute to jcefmaven/jcefsampleapp development by creating an account on GitHub.

github.com

Das ist aber wohl darauf ausgelegt, als docker image gebaut zu werden? War irgendwie dubios. Was ich aber gemacht habe:
a) Die Version in der POM gesetzt auf die Version der Library (An zwei Stellen zu setzen - 100.0.14.3)
b) ich habe noch den maven wrapper hinein kopiert.
c) Java 8 wird da gewünscht, daher einmal JAVA_HOME auf ein JDK8 gesetzt

./mvnw clean package
java -jar target/jcefsampleapp-100.0.14.3-jar-with-dependencies.jar

Da wurde dann irgendwas herunter geladen und installiert (./jcef-bundle Verzechnis!) - habe ich mir aber nicht im Detail angesehen. Das wäre aber vermutlich das Geheimnis, was benötigt wird (Und das steckt vermutlich in dieser CEFAppBuilder Klasse.

Dann startete auch der Browser. Da habe ich dann auch einmal diese webcamtests URL eingegeben. Das scheint erst einmal zu funktionieren. Ich hatte bei mir nur das Problem, dass ich für die Rechte keine Abfrage bekommen hatte. Damit sind wir aber schon einmal einen Schritt weiter - der Zugriff ist generell möglich nur eben die Rechteabfrage kommt noch nicht.

Aber zu deutlich mehr Tests habe ich keine Zeit. Meine Erwartungshaltung wäre aber, dass sich damit das auch alles aus der IDE heraus gestartet werden könnte.

Bei Java Version > 8 muss man noch eine --add-exports (und ggf. auch --add-opens) mitgeben. --addexports java.desktop/sun.awt=ALL-UNNAMED oder so ist als Minimum notwendig habe ich bei meinem ersten Test mit Java 17 gesehen. Ich habe das aber nicht weiter verfolgt sondern bin direkt erst einmal auf Java 8 gewechselt.

 

[internet]

ok, ich habe es ebenfalls mal probiert..
und irgendwann habe ich dann auch die "libjcef.dylib", die mir offensichtlich fehlt...

Allerdings sehe ich nur einen weißen Bildschirm?


Ich nutze:

 

[KonradN]

Ich kenne mich mit dieser Library und den ganzen Anforderungen nicht aus. Ich habe halt das Maven Projekt gebaut und das Resultat verwendet und das hat funktioniert:



Ansonsten kann man sich da noch sehr gut weiter vertiefen. Es gibt z.B. ein eigenes Forum, in dem man bestimmt auch einige Informationen finden kann und in dem man auch Fragen stellen kann.

 

[internet]

du verwendest auch MacOS, oder?

Wie ist das denn wenn ich die App an andere Leute ausliefern möchte?
Müssten sie auch den ganzen Spaß mit dem Download der Libs etc. machen?

Prinzipiell klappt mein Vorhaben bisher, dass ich die Webapp laufen lassen kann.
Nur eben die Webcam geht nicht.

Ein anderes Vorhaben wäre eventuell noch:

• Ich nutze den Code (Eingangspost) und lege über den Bereich, bei dem die Webcam verwendet werden soll ein weiteres Panel?
• Hierzu könnte ich dann dies verwenden: https://github.com/sarxos/webcam-capture

-> Frage wäre dann allerdings, wie ich ein Panel darüber lege, sodass dort die Webcam angezeigt wird?

Also prinzipiell dann so:
- Ich habe ein weiteres Panel(?), dass ich über den Browser lege (siehe in grün):
-> Wie könnte ich das machen?

 

[KonradN]

du verwendest auch MacOS, oder?

Ja, ich verwende auch MacOS.

Wie ist das denn wenn ich die App an andere Leute ausliefern möchte?
Müssten sie auch den ganzen Spaß mit dem Download der Libs etc. machen?

Das hängt immer davon ab, was üblich ist. Bei Mac Desktop Applikationen ist es üblich, dass die User wirklich ein AppImage bekommen, welches sie einfach kopieren können. Und genau das ist hier ja auch möglich. Das, was da herunter geladen wird, muss ja nur mit zur Verfügung gestellt werden. Den Download als Möglichkeit würde ich ggf. sogar vom Programm gar nicht vorsehen.

Deine Idee mit dem Panel - was soll die Applikation denn machen? Das klingt zumindest recht dubios. Wenn Du da in erster Linie eine Webapplikation hast und diese nutzen willst: Da wäre dann die Idee, dass man das generell als Web-Applikation macht. Die Desktop Applikation wäre dann einfach nur ein Framework wie Electron (So eine PWA nicht schon ausreichen würde)

Oder man schränkt den Web Teil wirklich so ein, dass da die Funktionalität mit WebCam nicht benötigt wird. Also sowas wie Anleitung anzeigen oder so ...

 

[internet]

Ok, das wäre jetzt auch meine Idee gewesen das dann direkt auszuliefern....

Was die App machen soll:

• Grob gefasst eine Software für eine Fotobox + weitere Automatisierungsmöglichkeiten (File kopieren, Webhook versenden, Bild an Webservice leiten etc.).. + dann eben ein Foto aufnehmen....
• Die GUI läuft in einem Embedded TomEE. Einfach auch aus dem Grund, dass ich keine große Kenntnisse in Swing, JavaFX habe. Dass das durchaus etwas oversized ist, ist mir bekannt.
• Später kann es dann noch eine Möglichkeit, dass sich andere Leute gegen die WebApp anmelden und dann die Bilder herunterladen, drucken etc.

Foto aufnehmen:

• Hier will ich mind. mal das Canon SDK verwenden (siehe anderer Thread)... Das ganze geschieht dann mit einem Button in der Webapp, der dann eben die Canon Kamera anstartet (Aufruf Backend Bean). Ebenfalls soll es eine Live View geben, sodass man die angeschlossene Kamera an das Webcam JavaScript weitergibt... (bisher nicht getestet, aber so die Idee)...
• Für alle nicht Canon Kameras, soll es ebenfalls eine Webcam geben (Java Script, siehe Beispiel oben)...

Wie rufe ich die Seite auf um Bilder zu machen:
- Einfacher HTML Button, der dann in JSF Backend eine Methode aufruft, der eine neues SWT Fenster öffnet mit dem Browser. Der Browser zeigt dann eine HTML Seite an (die ich vorher definiert habe, wo befindet sich welcher Button etc.). + daneben eben die "Live View"...

Im Prinzip funktioniert das bisher ganz gut, bis auf die Webcam (Java Script für Webcams...).
Daher eben die Frage für eine andere Möglichkeit, ob ich innerhalb dem Browser Fenster nochmal ein Panel drauflege, der dann eben die LiveView anzeigt...?

Wie könnte ich bei dem oben gezeigten Code ein zweites Panel hinzufügen innerhalb dem Browser Fenster?

 

[KonradN]

Wie könnte ich bei dem oben gezeigten Code ein zweites Panel hinzufügen innerhalb dem Browser Fenster?

Das hört sich alles viel zu kompliziert an. Ich sehe immer noch nicht, wieso Du da alles so ineinander packen musst.

Das mit dem Tomcat macht nur Sinn, wenn Du eben einen Server haben willst. Aber das klingt nach einem "Ich habe eine Java Desktop Applikation und da habe ich das noch embedded, damit ich dann Webseiten als UI nutzen kann."

Leg Dich auf eine Technologie fest! Das so zu vermischen ist schon für den User eine Zumutung: Teile sind SWT andere Teile laufen im Browser? Mit unterschiedlichem Look & Feel.

Und da jetzt irgendwelche Tricks anzuwenden um da irgendwas im Browser zu überlagern... Was ist mit Keep it simple, stupid? Was ist mit einem durchdachten Design? Zu Deinen Ideen fällt mir so erst einmal nichts anderes ein und ich bezweifle, dass es so Sinn machen kann.

Generell geht da aber natürlich alles. Man muss ja nur schauen, was es so alles gibt:

• Wrapper um HTML "Applikationen" mit "zwei Wege Austausch" - Cordova, Electron, ... Da geht man aber wirklich tief in die jeweilige Technologie rein damit dann z,B. der HTML Applikation Zugriff auf einige Dinge gegeben werden können und so ....
• Analyse von Webseiten - da wäre z.B. UI Testing Umgebungen wie Selenium und Co. Da wird dann ja auch einiges ausgewertet. Da könnte man dann auch die Größe und Ort eines Objekts auf der Webseite auslösen. Aber ob das Performant gehen kann? Und über Dinge wie korrekte Bedienung / Barrierefreiheit muss man vermutlich nicht einmal im Ansatz nachdenken.

Aber vielleicht kann da ja jemand anderes noch weiter helfen.

 

[internet]

Das mit dem Tomcat macht nur Sinn, wenn Du eben einen Server haben willst. Aber das klingt nach einem "Ich habe eine Java Desktop Applikation und da habe ich das noch embedded, damit ich dann Webseiten als UI nutzen kann."

Für Version2 mit Abruf der Bilder etc. auf anderen Geräten benötige ich das.

Leg Dich auf eine Technologie fest! Das so zu vermischen ist schon für den User eine Zumutung: Teile sind SWT andere Teile laufen im Browser? Mit unterschiedlichem Look & Feel.

Naja, 99% läuft als Webapplikation. 1% wäre ja nur ein Panel, das dann ein Stream für die Live View ausgibt.
Andere Möglichkeit wäre den Screen für das "Bilder machen" inkl. Live View komplett dann in SWT (würde ich aber gerne umgehen, da meine Kenntnisse in JSF / HTML deutlich besser sind).

 

[KonradN]

1% wäre ja nur ein Panel, das dann ein Stream für die Live View ausgibt.

Wieso lässt Du das nicht auch im Browser laufen? Dann hättest Du die Applikation rein im Webbrowser und zwar in dem Webbrowser des Anwenders. Deine Applikation wäre dann lediglich einmal im Hintergrund / auf einem System zu starten. Das kann dann also z.B. vom LaunchD gemacht werden. Dann sieht das ein User auf seinem Desktop nicht.

 

[internet]

Wieso lässt Du das nicht auch im Browser laufen? Dann hättest Du die Applikation rein im Webbrowser und zwar in dem Webbrowser des Anwenders. Deine Applikation wäre dann lediglich einmal im Hintergrund / auf einem System zu starten. Das kann dann also z.B. vom LaunchD gemacht werden. Dann sieht das ein User auf seinem Desktop nicht.

Würde ich gerne machen, aber das ist doch das Problem mit der Webcam, die nicht funktioniert.
Also ich hätte gerne ein Fenster, der nur die eine Webseite enthält und nicht den Umweg gehen über den "normalen" Browser...

Daher den SWT Browser... Oder geht das anders?

 

[KonradN]

Würde ich gerne machen, aber das ist doch das Problem mit der Webcam, die nicht funktioniert.
Also ich hätte gerne ein Fenster, der nur die eine Webseite enthält und nicht den Umweg gehen über den "normalen" Browser...

Daher den SWT Browser... Oder geht das anders?

Kein SWT Browser! Der Anwender nutzt seinen eigenen, richtigen Browser. Du erstellst also einen reinen Server. Der macht nichts anderes. Das ist und bleibt nur der Server. Keine UI oder so.
Und dann kann der Anwender mit einem Browser seiner Wahl darauf zugreifen.

Also kein SWT. Kein Swing. Kein JavaFX.

 

[internet]

Ja, aber das Fotobox Programm (also wo die Leute die Bilder machen), ist auch gleich der Server....

Das wäre für mich eine Notlösung die WebApp dann im richtigen Browser aufzurufen.
In SWT habe ich bpsw. dann auch so Dinge, wenn die App gestoppt wird, stoppe ich auch den Webserver.

 

[KonradN]

Dir wurde eine Möglichkeit aufgezeigt, wie man einen Chrome einbinden könnte. Damit müsste man sich im Detail auseinander setzen. Das gehört halt mit zur Arbeit eines Software Entwicklers: Sich mit so Abhängigkeiten vertraut machen.
Dass es prinzipiell funktioniert, konnte ich durch einfache Tests ja bereits feststellen. Die Nutzung von der WebCam müsste man noch erlauben. Das geht aber auch - dazu dient wohl ie Möglichkeit mit AppendSwitch. Aber um es mal ganz deutlich zu sagen: Ich habe nicht vor, mich da noch tiefer einzuarbeiten. Ich brauche das nicht. Ich sehe da auch wenig Sinn drin, in Java einen Browser zu kapseln. Das ist aber eine Möglichkeit für Deine Thematik. (Aber ich finde diese nicht wirklich gut - da wird es immer Dinge geben, die die Anwender dann stört oder dass diese sich dann wünschen.)

Und generell ist mein Ratschlag: Separation of Concerns:
Server ist und bleibt nur der einfache Server. Nichts anderes. Keine UI in irgend einer Weise. Wie dies gestartet oder beendet wird, ist erst einmal egal. Das kann dann z.B. auf einem Server auch generell beim Start gestartet werden (launchd beim Mac). Und es kann auch innerhalb Deiner "Browser Applikation" dabei sein und beim Start wird das mit gestartet. Aber ich würde es prinzipiell erst einmal ganz normal als eigenes Projekt halten.

Wenn Du möchtest, dass auch Anwender dies lokal bei sich einfach starten / stoppen können, dann wäre z.B. denkbar, das so zu machen, wie es das bei PostgreSQL gibt: Postgres.app - da gibt es dann eine weitere App, welche dann im Menü oben zu finden ist, über das der Benutzer dann den Server starten / stoppen kann - incl. der typischen Dinge wie "Automatisch beim Start mit starten", "Beim Start der App auch den Server starten", "Client starten" ....

Etwas in der Art halt.

Das kann man aber auch deutlich vereinfacht aufbauen: Dann hast Du halt eine Java Client App, die den Server mit sich bringt. Aber da hast Du dann halt nur zwei Knöpfe: Server beenden und Webseite öffnen. Sowas wäre aber dann halt ein weiteres Fenster - da gefällt zumindest mir der Punkt oben im Menu deutlich besser. Aber das wäre ein kleines, native Tool für den Mac.
Java bietet die Unterstützung vom Systray - da weiss ich aber nicht, ob und wie das beim Mac angezeigt wird. Evtl. reicht das schon. Das müsste man etwas ausprobieren und damit herum spielen.

Da sollte man sich also gut überlegen, was es vielleicht sonst noch für Alternativen gibt. Aber bleib bei einem Sauberen Design! (Ich kann es Dir nur empfehlen)