# verteilte Datenbank programmieren



## pada (5. Jan 2011)

Hallo zusammen!

Ich wünsche allen ein gutes neues Jahr!

Ich greife diesen Thread nochmal auf da ich ein ähnliches Problem habe.

Ich muß mit meiner Gruppe eine Zwischenschicht programmieren um eine horizontal verteilte Datenbank zu realisieren.
Das ist ein stark vereinfachtes System und soll nicht den vollen Funktionsumfang von SQL-Anweisungen abbilden. Es sollen "einfache" Queries aller SELECT * FROM XY ODER BY Z aber auch etwas komplexere wie einige JOINs möglich sein.

Technische Infrastruktur:
3 Oracle Server (physikalisch getrennte Maschinen S1-S3)

Hintergrund:
Der Inhalt einer Tabelle wird auf alle drei Server verteilt gespeichert. Bedeutet Row1-20 auf S1, Row21-20000 auf S2, Row20001-30000 auf S3, Row30001-32000 auf S2, usw.
Die Struktur (CREATE) der Tabelle ist auf allen Servern identisch, Contraints werden soweit nötig (z.B. ForeignKey) werden außerhalb der Oracle Instanzen geprüft, da evtl. eine Referenz auf einem anderen Server gespeichert ist.

Soweit mir bekannt gibt es keine Möglichkeit "einfache" (ohne zusätzliche Ebenen) Oracle Server zu überreden sich mit den anderen Servern auszutauschen.

Ein einfaches SELECT * FROM XY erzeugt bei mir ein PseudoResultSet das die ähnliche Arbeitsweise beim auslesen durch den Anwender hat wie Salter B mit der Wrapperklasse beschreibt. Ich führe auf allen drei Servern das SELECT aus und bekomme drei ResultSets welche ggf. sortiert sind und gehe iteriere strukturiert über diese so das der Anwender nichts bemerkt.

ABER wenn ich jetzt die JOINs noch machen will, also zwei Tabellen (jetzt 2 verschiedene ResultSets) joinen, dann kann ich wohl wie ich gesehen habe die Klasse JoinRowSet nutzen, aber dafür benötige ich je ein ResultSet für jede Tabelle wenn ich es richtig verstanden habe.

Und da ist das große Problem:
Jetzt muß ich aus den 2x3 ResultSets (3 weil eines von jedem Server um eine gesamte Tabelle darzustellen) 2x1 ResultSets machen.
Muß sozusagen gesamtSet=Set1.append(Set2.append(Set3))) durchführen.
Habe aber keine Methoden gefunden und auch keine Klassen gefunden die eine Row in dem Set darstellen oder wie ich eine ganze Zeile als Struktur auslesen kann um diese dann ggf. in eine riesige ArrayList o.ä. zu packen. Ich wollte eigentlich nach Möglichkeit gerne die ResultSet Klassen weiter nutzen da scheinbar die Verbindung zur physikalischen DB weiter besteht und die Daten erst tatsächlich bei Bedarf gelesen werden, das ResultSet scheinbar "nur" eine Struktur des Ergebnisses darstellt. Damit könnte ich Speicher sparen oder gar bei xMillionen Sätzen ein OutOfMemory verhindern.

Hat jemand eine Idee wie ich n-ResultSets zu einem zusammen fassen kann? Die Struktur aller Sets ist identisch das alle die gleiche Tabellen (Struktur) abfragen, halt nur auf n-Servern.
Oder gibt es Frameworks die man nutzen könnte.

Vielen Dank!

Grüße
pada

PS: Hab so viel geschrieben damit es möglichst deutlich wird.


----------



## Gast2 (6. Jan 2011)

pada hat gesagt.:


> Soweit mir bekannt gibt es keine Möglichkeit "einfache" (ohne zusätzliche Ebenen) Oracle Server zu überreden sich mit den anderen Servern auszutauschen.



Nur mal dazu - es gibt bei Oracle Datenbase Links. Damit kannst du sehr einfach in einer Datenbank Instanz Daten einer anderen abfragen. Und dann gleich auch Joinen usw...

Dann gibt es natürlich noch eine Menge anderer Möglichkeiten über Replikation, Database Cluster usw.

Irgendwie sehe ich den Sinn bei eurem Projekt nicht wirklich - zumindest nicht wirklich in einer Oracle Infrastruktur. (Ausser es ist rein akademisch...)


----------



## pada (6. Jan 2011)

Danke erstmal für die Antwort! 



> Irgendwie sehe ich den Sinn bei eurem Projekt nicht wirklich - zumindest nicht wirklich in einer Oracle Infrastruktur. (Ausser es ist rein akademisch...)



Das siehst du vollkommen richtig, es ist akademisch. Wir haben das im Studium als Aufgabe bis Ende Januar, daher auch sehr abgespeckt. Wir sollen so die Grundzüge programmieren mit den Problemen die man so hat bzgl. Contraints, "Meta-Tabellen" (die Tabellen wo die Strukturen der anderen Tabellen verwaltet werden), usw. Verschiedene Gruppen verschiedene Ansätze/Lösungen und es geht auch um Performance.

Für ein System im richtigen Einsatz würde ich auch nie sowas selbst machen sondern wenn eh Oracle dann gibts da ja spezielle Systeme (mit SNA usw. darunter liegend) je nach Anforderung.



> Nur mal dazu - es gibt bei Oracle Datenbase Links. Damit kannst du sehr einfach in einer Datenbank Instanz Daten einer anderen abfragen. Und dann gleich auch Joinen usw...



Gibt es da auch Möglichkeiten physikalisch (drei eigenständige Server die lediglich im gleichen Netzwerk angeschlossen sind) getrennte Systeme zu einer Zusammenarbeit zu bewegen? Leider weis ich nicht welche zusätzlichen Systeme noch auf den Maschinen installiert sind außer dem (ich nenne es mal) "einfachen" Oracle-System.

Grüße
pada


----------

