Textdateien vergleichen optimieren

[Kababär]

Hi,

ich suche nach einer Möglichkeit, große CSV-Dateien (bis zu 10MB, 40k Zeilen) schnell vergleichen zu können und Unterschiede in html/CSV auszugeben.
Bisher habe ich zwei Möglichkeiten implementiert, die mir aber nicht gefallen und bei WinMerge sind die Zeilen auch nicht nebeneinander.
Daher dachte ich mir, ein Preprocessing vorzunehmen, indem ich Zeile 1 aus Datei 1 nehme und diese Zeile mit jeder Zeile aus Datei 2 mit der Leven-Distanz vergleiche.
Das beste Resultat kommt in eine neue Liste an Platz 1 und so weiter.
Aber alleine dafür braucht mein Programm dann schon gut 3-5 Minuten (obwohl ich die Zeilen überspringe, die es in die neue Liste geschafft haben).
Der Vorteil wäre natürlich, dass die Zeilen angepasst und in sich geordnet sind, ich brauche also nur noch die Nachbarn zu vergleichen.
Habt ihr vielleicht eine Idee, wie ich das "Aneinanderlegen" beschleunigen könnte?
So macht das Testen nämlich wirklich keinen Spaß und ist zeitraubend :/

Freue mich über Vorschläge

PS: Google Diff dauert noch länger, weswegen ich von der API nicht gerade sehr begeistert bin..

 

[mrBrown]

diff starten und dessen Ausgabe aufbereiten? Das dürfte kaum Sekunden brauchen...


Edit: Nutzung von Windows übersehen...vllt gibts da aber auch sowas wie diff?

 

[fhoffmann]

Nutzung von Windows übersehen...vllt gibts da aber auch sowas wie diff?

Die klassischen Linux-Tools gibt es für Windows unter
http://unxutils.sourceforge.net/

 

[Saheeda]

Für notepad++ gibt's n Compare-Plugin. Ich weiß allerdings nicht, wie performant das bei größeren Dateien ist.

 

[Kababär]

Also ich habe mir mal cmder runtgeladen, aber dann bräuchte ich auch ein Plugin für Java, mit dem ich das ausführen könnte, oder?

Also Notepad ist nicht so Performant wie WinMerge und WinMerge schmiert bei größeren Dateien ab.

Die Linux Lösung gefällt mir. Wie realisiere ich das mit Java?

Edit: gerade gesehen, dass das C Plugins sind

 

[mrBrown]

So etwa, uU noch Optionen angeben, damit die Ausgabe passt (zumindest unter Unixartigen, unter Windows ist der Aufruf uU etwas anders)

final Process p = Runtime.getRuntime().exec("diff 1.csv 2.csv");

try (BufferedReader input = new BufferedReader(new InputStreamReader(p.getInputStream()))) {
    for (String line = input.readLine(); line != null; line = input.readLine()) {
        //Zeile verarbeiten
    }
} finally {
    p.waitFor();
}

 

[Kababär]

Also "diff" gibt es so bei Windows nicht, wie zu erwarten.
Dagegen gibt es "fc" und "comp", die aber nicht das gewünschte Ergebnis bringen, sondern lediglich Strings vergleichen, line by line und das gleiche kriege ich auch mit "equalsIgnoreCase()" hin.

 

[mrBrown]

Also "diff" gibt es so bei Windows nicht, wie zu erwarten.

Gibts doch

Die klassischen Linux-Tools gibt es für Windows unter
http://unxutils.sourceforge.net/

(Ansonsten hilft noch, zu 'nem richtigem Betriebsystem zu wechseln )

 

[thecain]

das gäbs auch noch http://gnuwin32.sourceforge.net/packages/diffutils.htm

Vll hilft es was wenn du noch den Anwendungsfall ein bisschen umschreibst... ich kann mir nicht genau vorstellen, was dein erwartetes resultat ist, bzw wozu du es dann haben willst.

 

[Kababär]

Hmm also das Vorhaben ist zu komplex, um das hier ausführlich beschreiben zu können.
Aber ich werde mir diff mal etwas genauer angucken