Best Practice Schaltfläche im Bild finden

[Bauär]

Nabend, ich versuche gerade die Position und Größer einer Schlatfläche/Buttons eines Screenshots zu bestimmen, wie geht man hier am besten vor? Die Schaltflächen sehen ähnlich aus.

 

[mihe7]

Wenn die Schaltflächen "ähnlich" aussehen, woher weißt Du dann, welche Du suchst? Und wenn Du weißt, welche Du suchst, warum kennst Du dann die Größe nicht?

 

[Bauär]

Chatgpt schlägt folgendes vor, bin aber nicht sicher, ob das schon das Problem löst:

import java.awt.*;
import java.awt.image.BufferedImage;
import java.util.LinkedList;
import java.util.Queue;

public class Buttons {
    public static Rectangle findTextButton(BufferedImage image) {
        int width = image.getWidth();
        int height = image.getHeight();
        boolean[][] visited = new boolean[height][width]; // Verfolgung besuchter Pixel

        // Durchsuche das Bild
        for (int y = 1; y < height - 1; y++) {
            for (int x = 1; x < width - 1; x++) {
                if (!visited[y][x]) {
                    // Analysiere, ob Pixel ein potenzieller Startpunkt ist
                    Color current = new Color(image.getRGB(x, y));
                    Color next = new Color(image.getRGB(x + 1, y));

                    if (isHighContrast(current, next)) {
                        // Flood-Fill, um die Region zu bestimmen
                        Rectangle bounds = detectButtonBounds(image, x, y, visited);

                        if (bounds.width > 20 && bounds.height > 10) { // Mindestgröße prüfen
                            return bounds; // Schaltfläche gefunden
                        }
                    }
                }
            }
        }
        return null; // Keine Schaltfläche gefunden
    }

    // Flood-Fill zur Ermittlung der Region
    private static Rectangle detectButtonBounds(BufferedImage image, int startX, int startY, boolean[][] visited) {
        int width = image.getWidth();
        int height = image.getHeight();

        // Grenzen der Schaltfläche
        int minX = startX, minY = startY, maxX = startX, maxY = startY;

        // Warteschlange für die Flood-Fill
        Queue<Point> queue = new LinkedList<>();
        queue.add(new Point(startX, startY));
        visited[startY][startX] = true;

        while (!queue.isEmpty()) {
            Point current = queue.poll();
            int x = current.x;
            int y = current.y;

            // Aktualisiere die Grenzen
            minX = Math.min(minX, x);
            minY = Math.min(minY, y);
            maxX = Math.max(maxX, x);
            maxY = Math.max(maxY, y);

            // Nachbarn prüfen
            for (int dx = -1; dx <= 1; dx++) {
                for (int dy = -1; dy <= 1; dy++) {
                    int newX = x + dx;
                    int newY = y + dy;

                    if (newX >= 0 && newY >= 0 && newX < width && newY < height && !visited[newY][newX]) {
                        Color currentColor = new Color(image.getRGB(x, y));
                        Color neighborColor = new Color(image.getRGB(newX, newY));

                        if (isHighContrast(currentColor, neighborColor)) {
                            queue.add(new Point(newX, newY));
                            visited[newY][newX] = true;
                        }
                    }
                }
            }
        }

        // Rechteck mit den gefundenen Grenzen erstellen
        return new Rectangle(minX, minY, maxX - minX + 1, maxY - minY + 1);
    }

    private static boolean isHighContrast(Color c1, Color c2) {
        int threshold = 50; // Kontrast-Schwellenwert
        int rDiff = Math.abs(c1.getRed() - c2.getRed());
        int gDiff = Math.abs(c1.getGreen() - c2.getGreen());
        int bDiff = Math.abs(c1.getBlue() - c2.getBlue());
        return rDiff + gDiff + bDiff > threshold;
    }
}

Wenn die Schaltflächen "ähnlich" aussehen, woher weißt Du dann, welche Du suchst?

alle, im zweiten Schritt soll dann der Text erkannt werden

Und wenn Du weißt, welche Du suchst, warum kennst Du dann die Größe nicht?

negative Annahme, also true

 

[mihe7]

alle, im zweiten Schritt soll dann der Text erkannt werden

Aha. Also zwei Schritte: 1. Buttons finden, 2. Text finden, um den richtigen Button auszuwählen.

Chatgpt schlägt folgendes vor, bin aber nicht sicher, ob das schon das Problem löst:

Rein vom Code her findet das Ding halt Rechtecke mit einer mehr oder weniger einheitlichen Rahmenfarbe. Je nach Hintergrund und Rahmen musst Du ggf. den Schwellenwert anpassen.

 

[Bauär]

Aha. Also zwei Schritte: 1. Buttons finden, 2. Text finden, um den richtigen Button auszuwählen.

Genau 🥰 Schritt 3. Text lesen, Schritt 4. Text interpretieren, Schritt 5. auf die Buttons klicken.

 

[KonradN]

Aus welcher Platform willst Du denn die andere Anwendung steuern? Und ist eine direkte Steuerung der Anwendung nicht einfacher?

Also unter Windows dann halt mittels findWindow/findWindowEx/SendMessage kannst Du halt ein Fenster suchen, dann in dem Fenster den Button und dann mittels SendMessage dem Button direkt ein Click Event senden.

So eine Steuerung hat halt den Vorteil, dass es deutlich weniger störanfällig ist, als eben ein Bildschirmfoto zu verwenden um dann irgendwelche Mausklicks im System zu geben. Man kann mittels Tools wie ispy oder so sich die Struktur ansehen, um zu sehen, ob sowas für Dein Fenster möglich ist. (Wenn es alles nur ein Spiel wäre, das grafisch dargestellt wird, dann hast Du natürlich nicht die Controls. Da würde der Ansatz nicht gehen)

 

[Bauär]

Konrad, ich bin mir nicht sicher ob da von die beschriebe auch bei Sportwetten funktioniert... möglicherweise nicht.

 

[KonradN]

Konrad, ich bin mir nicht sicher ob da von die beschriebe auch bei Sportwetten funktioniert... möglicherweise nicht.

Die Frage ist ja, was genau Du steuern willst. Sportwetten sagt nichts zu der Anwendung aus. Das klingt aber jetzt etwas mehr nach Webseite und da wäre der Ansatz mit den Bildschirmfotos aus meiner Sicht auch der falsche Ansatz. Das ist ja genau das Umfeld, wo es sehr viele Möglichkeiten gibt. Angefangen von einfachen "Erweiterungen" über Tools wie Tampermonkey bis hin zur Verwendung von Testtools wie Selenium, Cypress, Puppeteer, ...

Daher ist die Frage von mir, was du (technologisch gesehen) genau automatisieren möchtest.

 

[Bauär]

Da eine Lösung bereits gefunden wurde, kann hier eigentlich zu.

Man kann mittels Tools wie ispy

Ne, das wollte ich schon selber ohne KlickiKlicki machen.