Java Objekte auf Platte auslagern.

[Me0eegah]

Hallo, ich verwende momentan eine ConcurrentHashMap in der ich Objekte speichere <String, myObject>. Leider reicht der Arbeitsspeicher nicht mehr (-Xmx3712M mehr erlaubt Java nicht obwohl ich 32GB RAM habe) aus und ich muss die Objekte auf Platte auslagern. Wie macht man soetwas am besten?
In eine DB (MySQL, BerkeleyDB, oder SQLite oder ....)? Oder einfach als Dateien ins FS schreiben? Vorteile/Nachteile/Geschwindigkeit?
Habt Ihr Beispiele, oder kennt Ihr Seiten im Internet die das beschreiben?
Ich bin fuer jeden Tipps dankbar da das ganze fuer mich ganz neu ist.

 

[Ontos]

Moin Moin
wie viele Elemente willst du speichern?
Das Filesystem ist anscheinend der falsche Ort dafür. Du willst ja wohl in den Daten suchen usw. also ab in eine DB. Welche? Abhängig von der Größe der Daten und deiner Anwendung. Müssen noch andere darauf zugreifen? Ist es sinnvoll das die Daten bei jeder Anwendung vorhanden sind? Was willst du mit den Daten machen? usw. soory Glaskugel verdreckt ;-)

Fragen zu DB => DB Forum hier nur etwas weiter unten

3721MB kann durch das OS kommen. Kannst du anderen Prozessen mehr als 3Gb zuweisen oder nur Java nicht? Warum hast du ein 32GB System?

cu Ontos

 

[ThreadPool]

Ich nehme an es handelt sich um eine 64Bit VM auf einem 64 Bit System samt passendem OS. Vielleicht wurde folgendes vergessen:

Frequently Asked Questions About the Java HotSpot VM

 

[Landei]

Wenn du schon eine Map hast, helfen dir key-value-basierte DBs, wie Banana DB - self-contained key/value pair database for java (listet auch einige Alternativen)

 

[Me0eegah]

Momentan hab ich c.a. 50.000 key/value Paare, das ist aber zu wenig, ich denke es werden 200.000 - 500.000 ist ok ....
Ich will natuerlich auch nicht den ganzen Speicher verbraten da es nicht meine Maschine ist :-(
Die Objekte moechte ich mithilfe des Keys wiederfinden, holen, abaendern, zurueckschreiben oder loeschen.
Zugriff benoetige ich nur von meiner Anwendung (ca. 2 - 10 Threads).

Woher das Speicher Limit kommt? keine Ahnung, aber auch nicht wichtig (siehe oben). Es betrifft nur Java, andere Anwendungen koennen wesentlich mehr Speicher verwenden.

$ java -version
java version "1.6.0_16"
Java(TM) SE Runtime Environment (build 1.6.0_16-b01)
Java HotSpot(TM) Server VM (build 14.2-b01, mixed mode)

$ uname -a ; cat /etc/*release
Linux mucinj13 2.6.16.46-0.12-smp #1 SMP Thu May 17 14:00:09 UTC 2007 x86_64 x86_64 x86_64 GNU/Linux
LSB_VERSION="core-2.0-noarch:core-3.0-noarch:core-2.0-x86_64:core-3.0-x86_64"
SUSE Linux Enterprise Server 10 (x86_64)
VERSION = 10
PATCHLEVEL = 1

 

[homer65]

Da du Zugriff über einen "Key" haben willst, kommt eigentlich nur eine Datenbank in Betracht. Davon gibt es aber viele, du hast die Qual der Wahl.

 

[maki]

@Me0eegah
Du hast ein 32 Bit JRE, kein 64 Bit, damit sollte das Limit unter Linux bei unter 4GiB liegen.

Aber was du da vorhast ist imho "suboptimal", wenn man soviele Daten hat, darf es eine DB sein, serialisieren ist kein ersatz für eine DB sondern hat andere Einsatzgebiete.

 

[ThreadPool]

Woher das Speicher Limit kommt? keine Ahnung, aber auch nicht wichtig (siehe oben). Es betrifft nur Java, andere Anwendungen koennen wesentlich mehr Speicher verwenden.

Hast du dir den Link mal angesehen? Der zeigt nicht ins Nirvana sondern auf einen FAQ-Eintrag von Sun der da heisst "When you download the SDK or JRE, must you choose between the 32 and 64-bit versions? "

200k-500k Werte sind schon recht viel aber nicht unglaublich viel für eine Hashmap, die Hashmap speichert ca. 16 Bytes an Nutzdaten [1] pro Eintrag, deine Schlüssel und referenzierten Objekte müssen schon arg riesig sein damit der Speicher verbraucht wird.

[1] Referenzen auf Key, Value, der Hashcode als int und einen Link auf das nächste Element

 

[Me0eegah]

64bit, Danke das hat geholfen ;-)
Die Schluessel sind nicht gross, die Objekte koennen zum Teil sehr gross werden. Es werden auch staendig Daten in die HashMap eingefuegt und wieder geloescht (keine Ahnung wie und wie oft der Garbage Collector arbeitet).