CSV Datei mit DB Inhalt vergleichen

[Lia]

Schönen Abend an alle
habe ein kleines Problem...

Nutze myBatis (wo sich in der XML Datei meine Sql Statements) befinden. Desweiteren habe ich eine Datenbankanbindung zu einer Oracle Datenbank. Für die Applikation nutze ich Java.

Ich habe eine CSV Datei die Datensätze besitzt (nutze in der Java Applikation das CSV Framework (zb. CSVRecord record.get(0) damit hole ich mir die einzelnen werte aus den Spalten..), die nicht in der Datenbanktabelle vorhanden sind. Also möchte ich quasi alle Datensätze die in der CSV Datei sind mit der in der DBTabelle vergleichen. Für den Fall, das ein kompletter neuer Datensatz hinzugeügt wurde oder das sich vlt bei einem Datensatz mit einem PK nur eine Spalte geändert hat..

Habe in etwa so angefangen:

(CSVRecord record : csvliste)

(Test test : dbtestliste)

if(!record.get(0).contains(test)) && record.get(1).contains...

ich verstehe das einfach nicht, wie ich die einzelnen Spalten aus der db mit der csv datei vergelcihen soll, ob sich da evtl nur ein wert geändert hat oder ein ganzer Datesatz hinzugefügt wurde.. bin echt total am verzweifeln.

Kann mir vlt jemand helfen? Tipps geben?

LG

 

[mrBrown]

Die Datensätze haben doch alle eine ID?

Wenn es die schon gibt, musst du updaten, sonst neu einfügen.

 

[Lia]

Richtig, sie haben einen PK. Ja genau. Aber ich habe es wirklich versucht und es funktioniert einfach nicht..

 

[Lia]

@mrBrown .. wie kann ich die denn alle miteinander vergleichen ?? Also irgendwie funktionieren bei mir die schleifen nicht und der Aufbau der if befehle

 

[kneitzel]

Also Du hast eine csv Datei mit Datensätzen und willst nun für jeden dieser Datensätze entweder den vorhandenen Datensatz in einer Tabelle ändern oder ein neuen Datensatz einfügen?

Das sollt bei Oracle mit einem MERGE Befehl gehen. Dazu habe ich aber auch schon einen Link im anderen Thread geschrieben: https://www.java-forum.org/thema/mybatis-datenbankabfragen-in-java.185425/

Eine andere Möglichkeit wäre über stored procedures - ebenfalls in meiner Antwort im anderen Thread zu finden.

Wenn Du das alles manuell in Java machen willst:
Für jeden Datensatz aus der CSV Datei schaust Du in der Datenbank nach einem existierenden Eintrag (per id). Gibt es einen, prüfst Du alle Werte, ob einer geändert wurde -> Entity anpassen und updaten. Wurde kein Datensatz gefunden, dann fügst Du einen neuen ein.
CRUD Operationen mit myBatis: https://www.javacodegeeks.com/2012/...rations-and-mapping-relationships-part-1.html

 

[Lia]

Ja aber ich kriege das irgdenwie nicht hin zu programmieren also keine Ahnung wie ich die For schleifen da machen soll und alles bin total verzweifelt

 

[kneitzel]

Ich habe Dich jetzt so verstanden, dass du zu der dritten Lösung, alles in Java zu machen, tendierst. Daher wäre mein Vorschlag:

Gib einmal den Code, den Du bisher hast. Egal ob er funktioniert oder nicht.(Sag ggf. dabei, was geht oder nicht geht)
- Kannst Du die CSV Datei schon einlesen, so dass Du die Daten jeden Datensatzes hast?
- CRUD auf der Tabelle hast du, so dass Du Datensätze über die ID lesen und ändern und auch neue Datensätze einfügen kannst?
Dann können wir Dich führen, in dem wir fehlende oder falsche Dinge erläutern. Wichtig ist, dass Du versuchen musst, klar zu sagen, was Du verstehst oder nicht verstehst. Es ist nichts schlimmes, wenn eine Antwort unverständlich für Dich ist. (Insider für die Anderen: Kann nicht schwerer sein als bei Heyoka )

 

[Lia]

Also den Abschnitt hier komme ich nicht weiter:

for(CSVRecord record: csvliste)
for(test testdb:dbliste)
If(record.get(0).contains(testdb.getID)// also falls es schon vorhanden ist ggf Update den Datensatz

If(!(record.get(0).contains(testdb.getID))

Neuer Datensatz
Oder??

 

[kneitzel]

Kannst Du nicht mehr Code teilen? Was ist csvliste? Was ist dbliste?

Ich hätte da zum Beispiel schon was ganz anderes erwartet:

for(CSVRecord record: csvliste) {
    DBType dbRecord = dataLayer.getRecordById(record.get(ID_OF_RECORD));
    if (dbRecord == null) {
        // Create and insert new DBType instance
    } else {
        // Check dbRecord and update it if required.
    }
}

Aber ich kenne Deine Typen ja nicht. Du nutzt myBatis, d.h. Du solltest zu der Tabelle eine Java Entity haben (DBType habe ich die einfach mal in meinem Schnipsel genannt). Du solltest einen Data Layer haben (habe die Instanz davon mal dataLayer genannt bei mir) mit einer Funktion, da einen Datensatz per ID zu lesen. (also ein get....ById Aufruf). ID_OF_RECORD habe ich mal eine Konstante genannt. In der CSV Datei muss die ID ja irgendwo stehen. Magic Numbers im Code will ich vermeiden. ==> Hier muss man ggf. noch eine Konvertierung vornehmen, also wenn die ID ein long ist, aber Du die ID in CSVRecord als String hast, dann musst Du die evtl. erst parsen....)
Dann die Prüfung, ob myBatis da was gefunden hat. myBatis liefert meines Wissens nach null zurück, wenn der Datensatz nicht gefunden wurde. Daher dann diese Prüfung. Code für das Erstellen und Einfügen sowie für das Update habe ich hier erst einmal außen vor gelassen.

So wäre also aus meiner Sicht der mögliche Aufbau des Codes - basierend auf Deinem Schnipsel.

==> Hier scheint es so zu sein, dass die CSV Datei komplett in den Speicher geladen wird. Bei großen CSV Dateien kann das problematisch sein und CSV Dateien sind eigentlich oft gut Zeile für Zeile lesbar. Aber das lassen wir erst einmal außen vor. Das kann man ggf. später auch noch anpassen.

 

[Lia]

L
Vielen vielen vielen Dank !!!!!
Ja genau so habe ich es nun auch iwie implementiert. Insert Funktioniert im Else Zweig habe ich jede einzelne Spalte angesprochen ob sie ungleich dem Wert in der DB ist , sobald ja,setzt er meine bool variable auf true und springt in den Update Zweig

If (change==true)
Testmapper.updatebyprimarykey(id)

Das problem Ist, das er das Update nicht durchführt...

 

[kneitzel]

Zeigst Du mit bitte den genauen Code? Also wirklich die ganze Funktion und so Du Instanzvariablen nutzt, dann deren Deklaration.

 

[Lia]

Hi @kneitzel muss es mit dem Handy abtippen also der Update Bereich sieht so aus :

Test testid = testmapper.getbyprimarykey(record.get(0));

If(!testid.getStation().equals(record.get(1)){
Testid.setStation(record.get(1));
change==true
}

if (change)
testmapper.updatebyprimarykey(testid);
..// so mache ich das für alle spalten vergleiche sie also.

Er findet die ungleichen Sachen aber aktualisiert sie nicht in der DB :/

 

[kneitzel]

Du willst change setzen und nicht vergleichen wenn er einen Unterschied feststellt. == ist der Vergleich, = die Zuweisung.

Also change==true durch change=true; ersetzen (Da fehlte auch ein ; aber das könnte das Abtippen sein. Das == aber prinzipiell auch ...)

 

[Lia]

Genau. Habe ich gemacht. Das Problem ist nur er commited nicht. Ich sehe die Änderungen nicht in der DB

 

[kneitzel]

Also fehlt schlicht ein session.commit()? Wenn er die Mapper Aufrufe ausführt aber kein commit, dann fehlt evtl. einfach ein commit Aufruf auf der Session?

 

[Lia]

Hab ich alles gemacht es funktioniert einfach nicht. In den jeweiligen (! Blocken ) geht er rein zeigt auch die ungleichen Elemente an also gibt sie aus.. aber gibt es nicht in der DB aus..

 

[kneitzel]

Ich würde Dich bitten, den entsprechenden Code einmal per copy & paste hier zu zeigen.
- Du liest CSV Elemente korrekt ein.
- Du kannst Dir das zugehörige Element aus der Datenbank holen über den Mapper.
- Du kannst CSV Element und DB Element vergleichen und mittels Setter die Werte des DB Elements anpassen.
- Du rufst update vom Mapper mit dem veränderten DB Element auf und danach auch commit() von der SqlSession.

Hast Du den Mapper Unit-Getestet, d.h. der ist korrekt (nicht, dass das update nicht korrekt definiert ist).

So die Fehler, die ich angemerkt habe, im Code nicht enthalten sind, dann sollte es eigentlich funktionieren.

 

[Lia]

Wie kann ich das denn testen ??

 

[kneitzel]

Wenn man Code schreibt, dann schreibt man meist auch sogenannt Unit Tests. Bedeutet Deine Frage, dass ihr derzeit keine Unit-Tests habt oder weißt Du nur nicht, wie Du da etwas Unit-Testen kannst?

Also wir arbeiten bei unserer Entwicklung meist mit einer Entwicklungsdatenbank. Und dann können wir in unseren Unit-Tests Datensätze anlegen, lesen, verändern und auch löschen. So stellen wir sicher, dass der Code, den wir schreiben, auch funktioniert.

Falls Ihr keine Unit Tests habt: Hast Du eine nicht produktive Datenbank? So dass Du eine kleine Applikation schreiben kannst, die Deinen Mapper nutzt, um einen Datensatz zu lesen, eine Property ändert und dann zurück schreibt?

Hintergrund ist, dass man am Besten immer kleine Teile testet und prüft. Wenn man nur das große Ganze testen will, dann ist es ggf. schwer, den Fehler genau zu lokalisieren.

 

[Lia]

@kneitzel @Tobias-nrw vielen Dank für die Hilfe. Ich habe es so halbwegs hinbekommen xD

 

[Xyz1]

Bitte. Viel geholfen hatte ich ja nich.