Umgang mit fehlenden Daten in einer Java-Datenanalyseanwendung

[vish234]

Ich arbeite an einer Java-Anwendung zur Datenanalyse und habe Probleme mit fehlenden Daten in meinem Datensatz. Was sind die Best Practices für den effektiven Umgang mit fehlenden Daten in einem Java-basierten Datenanalyseprojekt?

Hier ist ein vereinfachtes Beispiel dafür, was ich versuche. Nehmen wir an, ich habe eine CSV-Datei mit Daten und verwende die Klasse java.util.Scanner, um sie zu lesen:

import java.io.File;
import java.io.FileNotFoundException;
import java.util.Scanner;

public class DataAnalysisApp {
    public static void main(String[] args) {
        try {
            File dataFile = new File("data.csv");
            Scanner scanner = new Scanner(dataFile);

            while (scanner.hasNextLine()) {
                String line = scanner.nextLine();
                // Parse and analyze the data
                // ...
            }
            scanner.close();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
    }
}

Wie kann ich in diesem Code effektiv mit unvollständigen oder fehlenden Datenelementen in der CSV-Datei umgehen? Sollte ich diese Einträge weglassen, Platzhalter an ihrer Stelle einfügen oder eine andere Taktik ausprobieren? Ich habe es versucht und mehrere Artikel über Datenanalyse und Java durchgesehen, konnte aber keine Antwort finden. Könnten Sie mir also mitteilen, welche Java-Praktiken am besten für den Umgang mit fehlenden Daten in einem Datenanalysekontext geeignet sind? Für jede Anleitung oder Codebeispiele wäre ich sehr dankbar!

 

[philanthrop]

Was sind die Best Practices für den effektiven Umgang mit fehlenden Daten in einem Java-basierten Datenanalyseprojekt?

Kurze Antwort: Es gibt keine.

Lange Antwort: Das ist immer Projekt abhängig. Man muss immer anhand des Projekts und der Daten entscheiden, welcher Umgang sinnvoll ist.

 

[Oneixee5]

Wir haben eine Anwendung, welche CSV u. Excel aus verschieden Quellen zusammenführt. Solche Probleme gibt es da auch. Wir bieten dem Nutzer an für falsche/nicht-vereinbarte Daten ein Mapping anzulegen. Auch für fehlende Daten können Nutzer dabei Standardwerte definieren. Dabei ist es u.a. z.B. auch möglich, wenn der Nutzer ein Geburtsdatum liefert aber eig. das Alter geliefert werden soll, das Alter zu berechnen (als Mapping-Formel).
Es ist für Nutzer oftmals sehr schwer und teuer die Daten richtig aufzubereiten, z.B. wenn der Nutzer SAP verwendet. Dann sind für jede kleine Änderung immer gleich Unsummen aufzuwenden.

 

[M.L.]

"missing value" sind ein generelles Problem im Data Science-Bereich: (Quelle: Twitter/X , "DataScienceDojo"-> twitter.com/DataScienceDojo/status/1543656822548086784 )

 

[philanthrop]

Heißt das, das kann alles oder nichts bedeuten?

 

[philanthrop]

Der einzige Entscheidungsknoten, der deterministisch ist, ist "Listwise Deletion" wenn "NMAR" vorliegen, wenn ich das richtig sehe ... was auch immer mit "Listwise" gemeint sei...