JNA (problem), Kinect und MMD

[B00bietrap]

Tudiluu liebe Mitprogrammierer

Ich versuch mein kleines JNA Problem kurz zu fassen^^
Worum es geht:

Ich arbeite mit der Kinect Kamera von Microsoft. Die habe ich in das 3D Animationsprogramm MikuMikuDance Integriert (externe Programmierung).
So ist es möglich das Model mit dem eignen Körper zu bewegen.
Die Position der Knochen können in den einzelnen Frames abgespeichert werden SO wird eine Bewegung simuliert.

Da ich aber schlecht selber die Frames weiterblättern kann während ich das Model bin^^ wollte ich ein Java JNA Programm schreiben, welchesdies für mich erledigt.

An und für sich ne einfache abhandlung.

-Vorher die zu speichernedn Knochen anwählen.
-Programm starten
loop(
-Register Butten wird per Mousepress gedückt
- 10 Frames weiter blättern mit Pfeiltasten
)

Nun scheint das Programm aber nicht die gewünschten aktionen auszuführen im MMD... sie waren nicht mal konstant...
Resultate waren:

Manchmal 2 Frames geblättert sonst nix oder Mauscursor zentrierung.

Im netbeans gestartet wird geklickt und der kursor bewegt sich.. dort funktionierts...
Vill hab ich irgendwas übersehen und jemand kann mir da auf die Sprünge helfen..
greez B00bietrap

package mmd_jna;
import java.awt.*;
import java.awt.event.KeyEvent;
import java.util.Scanner;
import java.util.logging.Level;
import java.util.logging.Logger;
/**
 *
 * @author evul / Edguy123 
 */

public class MMD_MovementSaver {

    double x;
    double y;
    
public MMD_MovementSaver()
    {

    }

    public static void main(String[] args) {
        MMD_MovementSaver mmd = new MMD_MovementSaver();
        int x=0, y=20; //y is the time in seconds that ya wanna record in MMD

        try
        {
            Robot robot = new Robot();
        } catch (AWTException ex)
        {
            Logger.getLogger(MMD_MovementSaver.class.getName()).log(Level.SEVERE, null, ex);
        }
        
       Scanner in = new Scanner(System.in);

       //Here we get the Position of the Register Button in MMD
       
        System.out.println("Open Winamp with the Song in the background. Insert the time you want to record in MMD. After that you have 10 Seconds to get ready.");
        //System.out.println("Then press 0 to start:");
        y = in.nextInt();
       // if (index == 0)
       // {
          try
        {
            Robot robot = new Robot();
            
            robot.delay(10000);
            System.out.println("Starting Music");
            
            //starts your music in Winamp
            robot.keyPress(KeyEvent.VK_CONTROL);
            robot.keyPress(KeyEvent.VK_ALT);
            robot.keyPress(KeyEvent.VK_INSERT);
            robot.keyRelease(KeyEvent.VK_CONTROL);
            robot.keyRelease(KeyEvent.VK_ALT);
            robot.keyRelease(KeyEvent.VK_INSERT);

            //starts recording in MMD

            do {
                System.out.println("Staring to record");
                //Register button with mouse
                robot.mousePress(8);
                robot.mouseRelease(8);
                //System.out.println("mouse pressed");

                //moves 10 Frames ... was too lazy to make a loop xD
                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);
                //System.out.println("did work so far");
                
                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.delay(333);

                //Register button with mouse
                robot.mousePress(8);
                robot.mouseRelease(8);

                //moves 10 Frames ... was too lay to make a loop xD
                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);
                //System.out.println("did work so far");
                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.delay(333);

                //Register button with mouse
                robot.mousePress(8);
                robot.mouseRelease(8);

                //moves 10 Frames ... was too lay to make a loop xD
                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);
                //System.out.println("did work so far");
                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.keyPress(KeyEvent.VK_RIGHT);
                robot.keyRelease(KeyEvent.VK_RIGHT);

                robot.delay(333);

                x++;

                //well... one second is saved... it repeats till it reached the time you did insert by Y

            }
            while(x<y);
            
            
            
            
            
            
            
        } catch (AWTException ex)
        {
            Logger.getLogger(MMD_MovementSaver.class.getName()).log(Level.SEVERE, null, ex);
        }

        //}
        
 
    }

   
}

-delay 333 ms

 

[Ariol]

Code formatiert und delays geändert.

Versuchs mal:

import java.awt.*;
import java.awt.event.KeyEvent;
import java.util.Scanner;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 * 
 * @author evul / Edguy123
 */

public class MMD_MovementSaver
{

	double x;
	double y;

	public MMD_MovementSaver()
	{

	}

	public static void main(String[] args)
	{
		MMD_MovementSaver mmd = new MMD_MovementSaver();
		int seconds = 20; // time in seconds that ya wanna record in MMD

		Scanner in = new Scanner(System.in);

		// Here we get the Position of the Register Button in MMD
		System.out.println("Open Winamp with the Song in the background. Insert the time you want to record in MMD. After that you have 10 Seconds to get ready.");
		// System.out.println("Then press 0 to start:");
		seconds = in.nextInt();
		// if (index == 0)
		// {

		try
		{
			Robot robot = new Robot();

			robot.delay(10000);
			System.out.println("Starting Music");

			// starts your music in Winamp
			robot.keyPress(KeyEvent.VK_CONTROL);
			robot.keyPress(KeyEvent.VK_ALT);
			robot.keyPress(KeyEvent.VK_INSERT);
			robot.keyRelease(KeyEvent.VK_CONTROL);
			robot.keyRelease(KeyEvent.VK_ALT);
			robot.keyRelease(KeyEvent.VK_INSERT);

			// starts recording in MMD
			for (int x = 0; x < seconds; x++)
			{
				System.out.println("Staring to record");

				for (int i = 0; i < 3; i++)
				{
					// Register button with mouse
					robot.mousePress(8);
					robot.mouseRelease(8);
					// System.out.println("mouse pressed");
					robot.delay(16);
					for (int j = 0; j < 10; j++)// moves 10 Frames ...
					{
						robot.keyPress(KeyEvent.VK_RIGHT);
						robot.keyRelease(KeyEvent.VK_RIGHT);
						robot.delay(30);
					}
					robot.delay(17);
				}
				// well... one second is saved... it repeats till it reached the
				// time you did insert by Y
			}

		} catch (AWTException ex)
		{
			Logger.getLogger(MMD_MovementSaver.class.getName()).log(Level.SEVERE, null, ex);
		}
	}

}

 

[B00bietrap]

Danke für die super formatierung. Ich bin dadurch etwas faul... *hust*
Das programm scheint immernoch tip top zu laufen im netbeans... es macht klick und rattert dann nach rechts.
Aber wenn ich es starte und ins MMD wechsle passiert leider immernoch nix :S
Als ob die Befehle dort nich ankommen... benutze ich aber die pfeiltasten auf der tatatur funzt es...

 

[Ariol]

Hmm,

in meinem Texteditor läuft es.

Wofür ist denn:

					// Register button with mouse
					robot.mousePress(8);
					robot.mouseRelease(8);

EDIT:
Deine Maus hast du bei der Ausführung auch an der richtigen Position?

Schreib doch lieber:

					// Register button with mouse
					robot.mousePress(InputEvent.BUTTON2_MASK);
					robot.mouseRelease(InputEvent.BUTTON2_MASK);

 

[B00bietrap]

hab ich geändert.

Im Netbeans funktioniert der Mauklick... der kursor springt an der stelle in den text un rattert nach rechts.

Im notepad funktioniert die Mausfunktion nicht ander der Kursor rattert nach rechts wo er am anfang war.

Im MMD passiert keines von beidem :S

ich seh da irgendwie keinen zusammenhang^^

 

[Ariol]

Du benutzt auch die richtige Maustaste?
Versuchs mal mit

InputEvent.BUTTON2_MASK

 

[B00bietrap]

Jop, taste 8 und InputEvent.BUTTON2_MASK haben funktioniert. Im netbeans im system message text fenster unten hats mir per mausklick den cursor gesetzt und ist dann nach rechts gefahren. Allerdings, wie es scheint nur einmal und nicht 3mal wie es sollte.

Aber ausserhalb von netbeans, wird dieser mausklick nicht ausgeführt... :S

 

[Ariol]

Ich meinte natürlich du sollst mal

InputEvent.BUTTON1_MASK

versuchen.

 

[B00bietrap]

Chokay. mit InputEvent.BUTTON1_MASK funktioniert der mausklick auch ausserhalb vom Netbeans.
ich kann manuell die Frames Blättern im MMD und es drückt mir den Register Button automatisch.
Das automatische weiterblättern geht leider immer noch nicht.
Aber ich hab da schon die Pfeiltaste Rechts erwischt mit VK_RIGHT?

Ich hatte mit auch überlegt das ganze nur mit der maus zu steuern. dafür müsste ich aber dauernd die Mausposition ändern... weiss aber nicht ob das schnell genug wäre....

 

[Ariol]

Sollte passen, aber versuch mal

VK_R

 

[B00bietrap]

hmmm.. nee VK_R is nur die R taste... taugt da leider nix
Also im notepad funzt das mit der Pfeiltaste nach rechts... nur MMD scheint auf den Befel vom JNA nich zu reagieren :S

 

[B00bietrap]

So, Habs gelöst
MMD hat auf die Pfeiltasten nicht reagiert... hab jetzt alles mit der Maus gemacht... nicht ideal, aber es klappt

package mmd_jna;

import java.awt.*;
import java.awt.event.InputEvent;
import java.awt.event.KeyEvent;
import java.util.Scanner;
import java.util.logging.Level;
import java.util.logging.Logger;

/**
 *
 * @author evul / Edguy123
 */

public class MMD_MovementSaver3
{

    double x;
    double y;

    public MMD_MovementSaver3()
    {

    }

    public static void main(String[] args)
    {
        MMD_MovementSaver mmd = new MMD_MovementSaver();
        int seconds = 20; // time in seconds that ya wanna record in MMD

        Scanner in = new Scanner(System.in);

        // Here we get the Position of the Register Button in MMD
        System.out.println("Open Winamp with the Song in the background. Insert the time you want to record in MMD. After that you have 10 Seconds to get ready.");
        // System.out.println("Then press 0 to start:");
        seconds = in.nextInt();
        // if (index == 0)
        // {

        try
        {
            Robot robot = new Robot();

            robot.delay(10000);
            System.out.println("Starting Music");

            // starts your music in Winamp
            robot.keyPress(KeyEvent.VK_CONTROL);
            robot.keyPress(KeyEvent.VK_ALT);
            robot.keyPress(KeyEvent.VK_INSERT);
            robot.keyRelease(KeyEvent.VK_CONTROL);
            robot.keyRelease(KeyEvent.VK_ALT);
            robot.keyRelease(KeyEvent.VK_INSERT);

            // starts recording in MMD
            for (int x = 0; x < seconds; x++)
            {
                System.out.println("Staring to record");

                for (int i = 0; i < 3; i++)
                {
                    robot.mouseMove(453, 840);
                    // Register button with mouse
                    robot.mousePress(InputEvent.BUTTON1_MASK);
                    robot.mouseRelease(InputEvent.BUTTON1_MASK);
                    // System.out.println("mouse pressed");
                    robot.delay(16);
                    robot.mouseMove(163, 124);
                    for (int j = 0; j < 10; j++)// moves 10 Frames ...
                    {
                        //robot.keyPress(KeyEvent.VK_RIGHT);
                        //robot.keyRelease(KeyEvent.VK_RIGHT);
                        robot.mousePress(InputEvent.BUTTON1_MASK);
                        robot.mouseRelease(InputEvent.BUTTON1_MASK);
                        robot.delay(30);
                    }
                    robot.delay(17);
                }
                // well... one second is saved... it repeats till it reached the
                // time you did insert by Y
            }

        } catch (AWTException ex)
        {
            Logger.getLogger(MMD_MovementSaver.class.getName()).log(Level.SEVERE, null, ex);
        }
    }

}