# [Java3D] lookAt Mausposition



## Maxim6394 (3. Jan 2012)

Ich versuche die ganze zeit die kameraposition so zu verändern dass sie immer zu einem bestimmten punkt zeigt, das soll später die mausposition sein. 
ich versteh nur nicht wie ich das machen soll. ich weis dass man die position des auges braucht, aber ich hab keine funktion gefunden um auf der transformgroup den punkt rauszukriegen. dann brauch ich noch den punkt der fokussiert werden soll. wie soll ich den bekommen wenn ich nur die x und y koordinate der maus hab?
irgendwie muss das wohl mit lookAt gehen, aber wie soll ich das benutzen? weis jemand wie das geht?


----------



## Marco13 (3. Jan 2012)

Beschreib' mal genauer, was du meinst. Wenn der Punkt, wo man hinseht, immer die Mausposition ist, ist die Mausposition immer in der Mitte des Bildschirms - da beißt sich die Katze ein bißchen in den Schwanz...

Ein paar Stichworte, zum Stöbern: Mit
Canvas3D (Java 3D 1.4.0)
kann man den Punkt berechnen, den die Maus in ImagePlate-Koordinaten hat.

Mit 
Canvas3D (Java 3D 1.4.0)
kann man sich die Transform holen, mit der man den ImagePlate-Punkt dann in Weltkoordinaten transformieren kann. 

Mit Transform3D (Java 3D 1.3.2)
kann man sich eine Transform3D basteln, die die Blickrichtung beschreibt. 

Mit
ViewingPlatform (Java 3D 1.3.2)
kann man sich die ViewingPlatform holen, der man eine Transform3D geben kann, um die Blickrichtung zu ändern.

Bin aber aus Java3D und dem (recht komplizierten) View-Modell ein bißchen raus - ist einfach schon zu lange her - und es kann auch sein, dass das, was du vorhast, durch irgendeine magische Zeile wie
somewhere.setThisFancyMouseFollowingBehavior(new MagicMouseFollowBehavior());
erreichbar wäre... 

Auf 3DJava findet man oft praktische Snippets zu Java3D, aber konkret dazu wüßte ich jetzt nichts.


----------



## Maxim6394 (3. Jan 2012)

fürs erste wärs gut wenn ich die kamera mit tasten bewegen könnte, und dabei immer nur ein punkt fokussiert wird.
dann müsste die kamera sich kreisförmig um diesen punkt bewegen, wenn man die ganze zeit den befehl für eine seitwärtsbewegung gibt. das funktioniert nicht so richtig bei mir.

ich hab das so gemacht:

```
class myKeyListener extends KeyAdapter
	{
	
		public void keyPressed(KeyEvent e)
		{
				
			switch (e.getKeyChar())
			{
			case 'w':dz=-moveSpeed;
			break;
			
			case 's':dz=moveSpeed;
			break;
			
			case 'a':dx=-moveSpeed;
			break;
			
			case 'd':dx=moveSpeed;
			
			}
			
		}
		public void keyReleased(KeyEvent e)
		{
			
			switch (e.getKeyChar())
			{
			case 'w':dz=0;
			break;
			
			case 's':dz=0;
			break;
			
			case 'a':dx=0;
			break;
			
			case 'd':dx=0;
			
			}
		}
		
		
	}
```
wenn eine taste gedrückt wurde wird die bewegungsgeschwindigkeit in die entsprechende richtung erhöht und wenn sie losgelassen wurde verringert. das ist zwar nicht wirklich optimal aber das problem ist grad was anderes.

```
java.util.TimerTask task=new java.util.TimerTask()
	{
		public void run()
		{
			
			
			Transform3D t3d=new Transform3D();
			t3d.setTranslation(new Vector3d(playerPos.getX()+dx,playerPos.getY()+dy,playerPos.getZ()+dz));
			
			playerPos.setX(playerPos.getX()+dx);
			playerPos.setY(playerPos.getY()+dy);
			playerPos.setZ(playerPos.getZ()+dz);
			

			
			Transform3D look=new Transform3D();
			
			look.lookAt(new Point3d(playerPos.getX(), playerPos.getY(), playerPos.getZ()), new Point3d(0d, 0d, 0d), new Vector3d(0d, 1d, 0d));
			look.invert();
			
			view.setTransform(look);
			
		}
	};
```

die timertask wird alle 5 ms aufgerufen um die kameraposition zu verändern. wie schon erwähnt sollte bei seitwärsbewegung die kamera sich kreisförmig um den anvisierten punkt bewegen, das tut sie aber nicht, so als würden die achsen der kamera nicht mitrotiert werden wenn lookAt aufgerufen wird. dann bewegt sie sich praktisch nach hinten oder vorne wenn sie sich weiter vom objekt entfernt, obwohl es eine seitwärtsbewegung sein sollte.


----------



## Maxim6394 (3. Jan 2012)

ich hab immernoch nicht gepeilt wie ich aus der cursorposition die xyz koordinaten rauskriege. getPixelLocationInImagePlate gibt mir nur 0,0,0, egal welche werte ich für x und y benutze.


----------



## Marco13 (3. Jan 2012)

Irgendwann hatte ich in einem anderen Thread wohl mal das hier zusammengehackt...

```
// Based on [url=http://www.java2s.com/Code/Java/3D/HelloJava3Dbrendersasinglerotatedcube.htm]HelloJava3Db renders a single, rotated cube : 3D Basics3DJava[/url]

import java.applet.Applet;
import java.awt.BorderLayout;
import java.awt.Frame;
import java.awt.GraphicsConfiguration;
import java.awt.event.MouseAdapter;
import java.awt.event.MouseEvent;

import javax.media.j3d.BoundingSphere;
import javax.media.j3d.BranchGroup;
import javax.media.j3d.Canvas3D;
import javax.media.j3d.Transform3D;
import javax.media.j3d.TransformGroup;
import javax.vecmath.Point3d;
import javax.vecmath.Vector3f;

import com.sun.j3d.utils.applet.MainFrame;
import com.sun.j3d.utils.behaviors.keyboard.KeyNavigatorBehavior;
import com.sun.j3d.utils.behaviors.mouse.MouseRotate;
import com.sun.j3d.utils.geometry.ColorCube;
import com.sun.j3d.utils.universe.SimpleUniverse;

public class ClickingHelloJava3Db extends Applet {
	public BranchGroup createSceneGraph() {
		// Create the root of the branch graph
		BranchGroup objRoot = new BranchGroup();
		objRoot.setCapability(BranchGroup.ALLOW_CHILDREN_EXTEND);

		Transform3D rotate = new Transform3D();
		Transform3D tempRotate = new Transform3D();

		rotate.rotX(Math.PI / 4.0d);
		tempRotate.rotY(Math.PI / 5.0d);
		rotate.mul(tempRotate);

		TransformGroup objRotate = new TransformGroup(rotate);

		objRoot.addChild(objRotate);
		objRotate.addChild(new ColorCube(0.4));

		return objRoot;
	}

	public ClickingHelloJava3Db() {
		setLayout(new BorderLayout());
		GraphicsConfiguration config = SimpleUniverse
				.getPreferredConfiguration();
		Canvas3D canvas3D = new Canvas3D(config);
		add("Center", canvas3D);

		BranchGroup scene = createSceneGraph();
		SimpleUniverse simpleU = new SimpleUniverse(canvas3D);
		simpleU.getViewingPlatform().setNominalViewingTransform();

		TransformGroup viewTransformGroup =
			simpleU.getViewingPlatform().getViewPlatformTransform();

		KeyNavigatorBehavior keyInteractor =
			new KeyNavigatorBehavior(viewTransformGroup);

		BoundingSphere movingBounds = new BoundingSphere(
				new Point3d(0.0, 0.0, 0.0), 100.0);
		keyInteractor.setSchedulingBounds(movingBounds);
		scene.addChild(keyInteractor);

		MouseRotate behavior = new MouseRotate();
		behavior.setTransformGroup(viewTransformGroup);
		scene.addChild(behavior);
		behavior.setSchedulingBounds(movingBounds);
		
		simpleU.addBranchGraph(scene);
		
		initPickingTest(scene, canvas3D);
	}
	
	private void initPickingTest(final BranchGroup scene, final Canvas3D canvas)
	{
		canvas.addMouseListener(new MouseAdapter() {
			
			@Override
			public void mouseReleased(MouseEvent e) {
				System.out.println("Screen "+e.getPoint());

				Point3d point = new Point3d();
				canvas.getPixelLocationInImagePlate(e.getX(), e.getY(),point);
				
				System.out.println("Image plate "+point);
				
				Transform3D transform = new Transform3D();
				canvas.getImagePlateToVworld(transform);
				transform.transform(point);
				
				System.out.println("World "+point);
				
				TransformGroup tg = new TransformGroup();
				Transform3D t = new Transform3D();
				Vector3f translation = new Vector3f(
					(float)point.x, (float)point.y, (float)point.z);
				t.setTranslation(translation);
				tg.setTransform(t);
				tg.addChild(new ColorCube(0.1));
				BranchGroup bg = new BranchGroup();
				bg.addChild(tg);
				scene.addChild(bg);
			}
		});
	}
	
	
	
	public static void main(String[] args) {
		Frame frame = new MainFrame(new ClickingHelloJava3Db(), 512, 512);
	}

}
```

Falls das nicht hilft kann ich für den Rest bei Gelegenheit nochmal schauen...


----------



## Maxim6394 (4. Jan 2012)

ich glaub ich hab jetzt die lösung. hab den java ziemlich ausgetrickst. ich hab zwar keine möglichkeit gefunden um die koordinaten im fenster in 3d koordinaten zu übersetzen, aber ich hab rausgefunden wie man die genauen koordinaten einer pickray intersection kriegt. also hab ich ne riesen sphere um die kamera gemacht, die nicht sichtbar ist. bei nem mausklick wird dann die position der intersection ermittelt und mit lookat dann fokussiert.

```
public void mouseClicked(MouseEvent e)
		{
			
	
			PickCanvas MyPick=new PickCanvas(canvas3D,sceneBG);
			PickResult result;
			
			MyPick.setMode(PickTool.GEOMETRY);
			MyPick.setShapeLocation(e);
			
			result=MyPick.pickClosest();
			lookPoint=result.getIntersection(0).getPointCoordinates();
			
			
		}
```

dann in der 5ms schleife:

```
look.lookAt(new Point3d(playerPos.getX(), playerPos.getY(), playerPos.getZ()),
					
					new Point3d(lookPoint.getX(), lookPoint.getY(), lookPoint.getZ()),
					
					new Vector3d(0d, 1d, 0d));
			look.invert();
```

somit wird immer perfekt die verdammte position anvisiert wo man hingeklickt hat. das wirft aber bestimmt noch andere probleme auf für später, mal sehen.


----------



## Maxim6394 (4. Jan 2012)

es besteht jetzt immernoch das problem dass die kamera sich in die falsche richtung bewegt wenn ich x oder z verändere, nachdem mit lookAt die perspektive verändert wurde. gibt es keine möglichkeit die achsen zu resetten oder so? also wenn man eine transformgroup rotiert, sollten die achsen auch mitrotieren.


----------



## Marco13 (4. Jan 2012)

Das hängt vermutlich nur mit der Reihenfolge der TransformGroups zusammen. Poste am besten ein KSKB.


----------



## Maxim6394 (5. Jan 2012)

ich glaub der ansatz ist falsch. ich würde es lieber so machen dass ich die viewplatform transformgroup rotiere, je nachdem wie die maus in x und y richtung bewegt wurde. ich weis aber nicht wirklich wie ich das anstellen soll.


----------



## Marco13 (5. Jan 2012)

Marco13 hat gesagt.:


> Poste am besten ein KSKB.


nt


----------



## Maxim6394 (5. Jan 2012)

also ich hab mir überlegt nen timer laufen zu lassen der jedes mal die mausposition checkt, um rauszufinden wie weit die maus in dem zeitintervall bewegt wurde. daraus kann man dann die rotation der view transformgroup festlegen, das funktioniert für eine achse ganz gut, aber bei x und y zusammen klappt das nicht. 

```
import java.applet.Applet;
import java.awt.*;
import java.awt.event.*;
import com.sun.j3d.utils.applet.MainFrame;
import com.sun.j3d.utils.universe.*;

import javax.media.j3d.*;
import javax.vecmath.*;
import com.sun.j3d.utils.geometry.Sphere;
import java.awt.image.*;
import com.sun.j3d.loaders.objectfile.ObjectFile;
import com.sun.j3d.loaders.ParsingErrorException;
import com.sun.j3d.loaders.IncorrectFormatException;
import com.sun.j3d.utils.picking.*;
import java.applet.Applet;
import javax.media.j3d.*;
import javax.vecmath.*;
import java.io.*;
import javax.swing.*;
import com.sun.j3d.utils.geometry.*;
import java.util.*;
import com.sun.j3d.utils.behaviors.vp.*;
import ncsa.j3d.loaders.*;
import com.sun.j3d.loaders.*;

import COM.sun.labs.javacc.*;
import COM.sun.labs.javaccgui.*;
import COM.sun.labs.jjdoc.*;
import COM.sun.labs.jjtree.*;
import com.sun.j3d.utils.image.*;
import javax.media.j3d.*;
import java.awt.*;
import com.sun.j3d.utils.behaviors.mouse.*;
import com.sun.j3d.utils.behaviors.keyboard.*;

public class Scene02 extends JFrame {
	
	int BOUNDSIZE=50;
	BoundingSphere bounds=new BoundingSphere();
	TransformGroup view;
	Canvas3D canvas3D;
	SimpleUniverse su;
	BranchGroup sceneBG=new BranchGroup();

	Point2d mousePos=new Point2d(MouseInfo.getPointerInfo().getLocation().getX(),MouseInfo.getPointerInfo().getLocation().getY());
	
	java.util.Timer timer=new java.util.Timer();
	java.util.TimerTask task=new java.util.TimerTask()
	{
		public void run()
		{			
			int x=(int)MouseInfo.getPointerInfo().getLocation().getX();
			int y=(int)MouseInfo.getPointerInfo().getLocation().getY();
			
			
			System.out.println(x-mousePos.getX());
			System.out.println(y-mousePos.getY());
			
			Transform3D rotY=new Transform3D();
			Transform3D rotX=new Transform3D();
			
			Transform3D tmp=new Transform3D();	view.getTransform(tmp);
			
			double diffX=-((x-mousePos.getX())/10);
			double diffY=-((y-mousePos.getY())/10);
			
			rotY.rotY(Math.toRadians(diffX));
			rotX.rotX(Math.toRadians(diffY));
			
			tmp.mul(rotY);
			view.setTransform(tmp);
			
			view.getTransform(tmp);
			tmp.mul(rotX);
			view.setTransform(tmp);
			
			
			mousePos.setX(x); mousePos.setY(y);
			
		}
	};
		
		
	public Scene02()
	{
		bounds.setRadius(BOUNDSIZE);
		setVisible(true);
		setSize(500,500);
		setDefaultCloseOperation(EXIT_ON_CLOSE);
			GraphicsConfiguration config=SimpleUniverse.getPreferredConfiguration();
		 canvas3D=new Canvas3D(config);
			add("Center",canvas3D);
			
			su=new SimpleUniverse(canvas3D);

			ViewingPlatform vp=su.getViewingPlatform();
			vp.setNominalViewingTransform();
			
			 view=vp.getViewPlatformTransform();
			Transform3D t3d=new Transform3D();	
			view.getTransform(t3d);		
			

			
				TransformGroup vpTrans = su.getViewingPlatform(  ).getViewPlatformTransform(  );
	

		
			Transform3D t3d2=new Transform3D();
			t3d2.setTranslation(new Vector3d(0,0,10));
			view.setTransform(t3d2);
			
			
			
			TransformGroup cubeTG=new TransformGroup();
			cubeTG.setCapability(TransformGroup.ALLOW_TRANSFORM_WRITE);	
			cubeTG.addChild(new ColorCube(0.4f));	
			sceneBG.addChild(cubeTG);
	
			
			
			su.addBranchGraph(sceneBG);
		
		
			
			timer.scheduleAtFixedRate(task, 0, 50);
	}


	
	public static void main(String[] args)
	{
		new Scene02();
	}

	
}
```


----------



## Maxim6394 (5. Jan 2012)

Maxim6394 hat gesagt.:


> also ich hab mir überlegt nen timer laufen zu lassen der jedes mal die mausposition checkt, um rauszufinden wie weit die maus in dem zeitintervall bewegt wurde. daraus kann man dann die rotation der view transformgroup festlegen, das funktioniert für eine achse ganz gut, aber bei x und y zusammen klappt das nicht.
> 
> ```
> import java.applet.Applet;
> ...



übrigens kommts mir so vor als würde der rotationsursprung nicht mit verschoben werden wenn ich Transform3D.translate() benutze um das ding zu bewegen. dadurch entsteht dann wieder eine falsche rotation.


----------



## Marco13 (5. Jan 2012)

OK, ich gebe dir jetzt noch eine Möglichkeit, klar und verständlich zu formulieren, was du eigentlich vorhast, wenn jetzt wieder nur sowas kommt wie "Ich will die Kameraposition Kugelfömig mit einem Timer um eine Tranformgroup im Kreis mit der Maus Kreisfömig drehen so dass die Kamera dem Punkt folgt" kann sich jemand anderes darum kümmern.


----------



## Maxim6394 (5. Jan 2012)

also, mein ziel ist, dass ich eine first-person mäßige sicht habe, wo man sich mit der maus umsehen und mit beliebigen tasten in verschiedene richtungen bewegen kann. so wie in jedem first person gaim. hab mir das nicht so schwer vorgestellt, aber ich kriegs trotzdem kaum hin.

zum beispiel die problematik dass der rotationsursprung an derselben stelle bleibt während man die position der viewingplatform verändert, oder umgekehrt, dass wenn man die viewingplatform rotiert, und und dann zum beispiel auf der z achse bewegt, es nicht nach vorne sondern in irgendeine andere richtung geht.


----------



## Marco13 (6. Jan 2012)

Ja, wer hätte gedacht, dass es schwer ist, einen First-Person-Shooter zu schreiben :joke:

Das "technisch frickeligste" an dem, was du beschrieben hast, ist, dass man die Maus mit einem Robot immer wieder in die Bildschirmmitte setzen muss - denn wenn man die Maus lange nach rechts bewegt, soll er sich ja immer weiter drehen, und nicht irgendwann die Maus rechts aus dem Bildschirm rauskommen. 

Ein bißchen was in Richtung 3D-Steuering steht in http://www.java-forum.org/spiele-multimedia-programmierung/122050-java-3d-steuerung-kskb.html - genaugenommen ist das schon eine First-Person-Steuerung, wenn man die Kamera nicht hinter die Person verschiebt  Aber dort bestand das gleiche Problem wie hier: Jemand versucht ziemlich planlos irgendwas hinzuschreiben, und was rauskommt ist unübsersichtlicher, chaotischer Code (COM.sun.labs.javacc? :autsch: ), den kaum jemand nachvollziehen kann, und der verblüffenderweise nicht das macht, was der Ersteller will. Darum ist der dort verlinkte Code NICHT als "Vorlage" zu sehen, aber zeigt zumindest ein paar Ansätze und Kommentare meinerseits, in bezug auf die Ausführungsreihenfolge von Rotation und Bewegung, aber auch allgemeinere (weiter unten) in bezug auf die Strukturen. Wenn's nicht weiterhilft: KSKB mit (aufgeräumtem, nachvollziehbarem) letztem Stand, dann schau' ich So/Mo nochmal...


----------



## truesoul (6. Jan 2012)

Ich muss mal eines los werden. Großes Lob für Marco13, das du so tapfer durchhälst hier im Thread, ganz große Klasse. Ich hätte schon das Handtuch geworfen : D



> also, mein ziel ist, dass ich eine first-person mäßige sicht habe, wo man sich mit der maus umsehen und mit beliebigen tasten in verschiedene richtungen bewegen kann. so wie in jedem first person gaim. hab mir das nicht so schwer vorgestellt, aber ich kriegs trotzdem kaum hin.


Ich hatte mal sowas selber programmiert nur ist das doch ein bissl her und ich müsste mich dran setzen um das zu rekonstruieren .
Leider habe ich kaum Zeit dafür, aber evtl. habe ich das ich am Wochenende vll. dafür die Zeit, ABER der letzte Post von Marco sieht vielversprechend aus  

Und Maxim6394, es ist viel einfach dir zu helfen, wenn du ein KSKB erstellst und wir (wir == Marco) anhand dessen helfen.


----------



## Marco13 (6. Jan 2012)

Beruhigend, dass auch "Außenstehende" erkennen, dass das... je nach Fragestellung und so... sehr ... "mühsam" sein kann. Bei den letzten Posts hatte ICH jetzt schon fast ein schlechtes Gewissen, weil ich so wenig "produktives" geantwortet habe, aber ... im Zweifelsfall würde ich auf etliche Java3D-bezogenen Threads verweisen, wo tendenziell nur wenige Leute hilfreiche Antworten schreiben, ich dann aber ggf. schon auch mal mehr Zeit investiert habe...


----------



## Maxim6394 (6. Jan 2012)

ich komm langsam voran mit der sache. das mit dem umsehen funktioniert jetzt. ich überprüfe dabei einfach wie weit die maus bewegt wurde und rotiere entsprechend die viewplatform. 
ich muss zum rotieren das ding immer auf 0,0,0 platzieren und danach wieder zurück, weil es sich nicht um sich selbst rotiert sondern immer um den nullpunkt. für die bewegung benutz ich einfach nen richtungsvektor, wo ich auch die rotation mit einbeziehe, dadurch wird auch endlich in die richtige richtung bewegt.

bei der rotation besteht noch das problem dass ich nur bis zum rand kann mit der maus, danach geht das nicht mehr. gibt es eine möglichkeit um zu checken ob die maus bewegt wurde, auch wenn sie auf dem bildschirm sich nicht bewegt hat? naja wenn ich mit robot die position immer wieder resette dann gehts natürlich auch, bin mir nur nicht sicher ob das optimal ist.

außerdem flackert das ganze ziemlich, vieleicht weil ich 2 mal setTransform in einer timertask auf dasselbe objekt anwende. das muss ich aber so machen damit das ding um den eigenen ursprung rotiert wird. gibts da ne lösung?

ein kleines problem dass ich schon von anfang an hatte ist, dass die ganze fläche immer weiß ist, bis ich die fenstergröße verändere. woran liegt das?


----------

