Maus mitthilfe Bewegungssensor steuern (Java)

[V.java.new]

Hallo

Ich hoffe ihr könnt mir weiter helfen! Bin gerade dabei eine Maus am Pc mithilfe eines Bewegungssensors steuern zu können.

Der Sensor befindet sich in einem Armband, welches mit einem ESP32 verbunden ist. Die Maus soll durch Handbewegungen auf einer X & Y Achse gesteuert werden. Mittlerweile werden die Sensor Daten auf dem PC angezeigt. Also wenn sich der Sensor bewegt, dann ändern sich die Daten.

Dies ist der Code für die Daten:

public SensorData(JsonObject data) {

//Bewegung des armbandes
ax = data.get("ax").asDouble()/ASENSETIFITY;
ay = data.get("ay").asDouble()/ASENSETIFITY;
az = data.get("az").asDouble()/ASENSETIFITY;

//temperatur
temp = data.get("t").asDouble()/340.00+36.53;

//neigung zur erdachse gyroscope
gx = data.get("gx").asDouble()/GSENSETIFITY;
gy = data.get("gy").asDouble()/GSENSETIFITY;
gz = data.get("gz").asDouble()/GSENSETIFITY;

}

Ergebnisse beispiel:
ax: -0.06005859375, ay: 0.57861328125, az: 0.769287109375,
temp: 21.61235294117647,
gx: -1.8015267175572518, gy: -0.5343511450381679, gz: -0.061068702290076333

Problem?
Wie kann ich nun mit diesen Daten die Maus bewegen? Ich verstehe, wie es funktionieren soll, kann dies aber nicht in java umsetzen.
Also der Pc muss ja die X und Y Position wissen, prüft die neue Position und ändert dann die x und y Koordinate ab.

Hoffe ihr könnt mir helfen! Mittlerweile verzweifle ich nämlich.

Liebe Grüße

 

[kneitzel]

Also Maus bewegen geht z.B. mittels Robot. Die Position der Maus kannst Du per MouseInfo abfragen.

 

[V.java.new]

Also Maus bewegen geht z.B. mittels Robot. Die Position der Maus kannst Du per MouseInfo abfragen.

Super, danke schon einmal Zu MouseInfo habe ich einen Code gefunden:
Point point = MouseInfo.getPointerInfo().getLocation();
double x = point.getX();
double y = point.getY();

Muss ich einfach double x und y zu double ax und ay abändern?

 

[V.java.new]

Also Maus bewegen geht z.B. mittels Robot. Die Position der Maus kannst Du per MouseInfo abfragen.

Und dann hätte ich noch eine Frage: bisher ist ja die Maus und der Sensor noch nicht miteinander verbunden. Sprich ich kann die nicht darüber steuern. Wie würde das denn mit Robot gehen?

 

[V.java.new]

Mittlerweile bekomme ich die Position der Maus angezeigt. Jetzt komme ich aber nicht weiter. Ich möchte ja die Koordinaten durch die Bewegungsposition des Sensors abändern, habe aber keine Idee, wie ich dies anstellen soll.

public static void main (String[] args){

for(int i = 0; i<= 1000000; i++) {

PointerInfo info = MouseInfo.getPointerInfo();

Point location = info.getLocation();

System.out.println("x="+ location.x + " y=" + location.y);

}

 

[temi]

Wie wäre es denn mit der mouseMove() Methode aus der von @JustNobody genannten Robot Klasse?

 

[kneitzel]

Also ich habe das jetzt so verstanden:
a) Du bekommst irgendwelche Werte von einem Sensor. Diese liegen Dir als ax, ay, az Werte vor.
b) Diese kannst Du jetzt irgendwie interpretieren - Wie musst Du Dir überlegen, so dass es sinn macht.
Nun kannst Du aus der Interpretation der Daten sagen: Maus soll nach oben / unten / links / rechts. Das kannst Du nun umsetzen, indem Du
- Dir die aktuelle Mausposition (MouseInfo) holst.
- daraus zusammen mit Daten aus b) und ggf. unter Berücksichtigung des Bildschirms kannst Du eine neue Position für die Maus berechnen.
- Diese neue Position dann setzt (Robot).

 

[V.java.new]

Also ich habe das jetzt so verstanden:
a) Du bekommst irgendwelche Werte von einem Sensor. Diese liegen Dir als ax, ay, az Werte vor.
b) Diese kannst Du jetzt irgendwie interpretieren - Wie musst Du Dir überlegen, so dass es sinn macht.
Nun kannst Du aus der Interpretation der Daten sagen: Maus soll nach oben / unten / links / rechts. Das kannst Du nun umsetzen, indem Du
- Dir die aktuelle Mausposition (MouseInfo) holst.
- daraus zusammen mit Daten aus b) und ggf. unter Berücksichtigung des Bildschirms kannst Du eine neue Position für die Maus berechnen.
- Diese neue Position dann setzt (Robot).

Danke für die Antwort!

Genau ich bekomme die Werte übermittelt. Dann schaue ich mal, wie es Sinn macht.

Macht es Sinn, vorab die Bildschirmgröße zu begrenzen? Oder brauche ich das nicht?

 

[kneitzel]

Das würde ich einfach austesten. Was passiert, wenn Du die Maus aus dem sichtbaren Bereich heraus führst?

Wenn dann die Maus nur bis an den Rand gesetzt wird, dann musst Du da nichts machen. Wenn dem nicht so ist, dann macht eine Begrenzung Sinn.

 

[V.java.new]

Das würde ich einfach austesten. Was passiert, wenn Du die Maus aus dem sichtbaren Bereich heraus führst?

Wenn dann die Maus nur bis an den Rand gesetzt wird, dann musst Du da nichts machen. Wenn dem nicht so ist, dann macht eine Begrenzung Sinn.

Hab es ausgetestet und es geht nur bis zum Rand. Dann brauche ich das ja nicht, wenn es sowieso automatisch gemacht wird

Dann probiere ich mal, alles umzusetzen. Danke!

 

[V.java.new]

Das würde ich einfach austesten. Was passiert, wenn Du die Maus aus dem sichtbaren Bereich heraus führst?

Wenn dann die Maus nur bis an den Rand gesetzt wird, dann musst Du da nichts machen. Wenn dem nicht so ist, dann macht eine Begrenzung Sinn.

Ich benötige leider immer noch Hilfe. Habe jetzt probiert was brauchbares zu schreiben, allerdings habe ich keinen Plan wie. Muss ich eine Schleife schreiben oder wie kann ich die Werte abändern? Und benötige ich da nun die Werte ax und ay oder gx und gy?

Zwischenzzeitlich habe ich folgendes gefunden:

Moving an image using Accelerometer of android

I have read articles/tutorial about accessing the phone's accelerometer (acceleration and orientation) values. I am trying to build a simple app where I can move a ball image using the these values...

stackoverflow.com

Gyroscopes and Accelerometers on a Chip – Geek Mom Projects

www.geekmomprojects.com

Könnte man dies so umsetzen? Also mit sensorevent.Values?

 

[V.java.new]

Hat jemand noch eine Idee, wie ich das Problem lösen kann?

Ich komme nicht weiter

 

[mihe7]

Hat jemand noch eine Idee, wie ich das Problem lösen kann?

Welches Problem? Man müsste erstmal wissen, was die Werte bedeuten.

ax: -0.06005859375, ay: 0.57861328125, az: 0.769287109375,

Was sollen das für Werte sein? Beschleunigung in m/s², wobei die Erdbeschleunigung bereits rausgerechnet wurde?

gx: -1.8015267175572518, gy: -0.5343511450381679, gz: -0.061068702290076333

Was soll das hier liefern? Winkel im Bogenmaß?