Java Programm frisst RAM

Traxxas

Mitglied
Hallo Leute,

Ich bin momentan auf der Suche nach meinen Memory Leaks an meine Grenzen gestoßen.

ganz kurze Programmbeschreibung/ Programmübersicht:
  1. Zuerst werden 12 Crawler gestartet, die 12 Websites crawlen und den Inhalt in eine Datenbank speichern.
  2. Anschließend werden diese Daten verglichen/berechnet
  3. und dann angezeigt
Doch mein Programm benötigt irrsinnig viel RAM!

Darum einmal 2 Fragen, die ich gerne geklärt hätte:

1. Werden alle Variablen die in einer Methode verwendet werden, nach beendigung der Methode freigegeben für den Garbagecollector (GC)? Manche Methoden werden werden mindestens 1000 Mal aufgerufen und ich möchte diese gleich vorweg als RAM-Fresser ausschließen. Hier ein Beispiel wie soeine aussieht (eine Funktion aus der Klasse, die alle Methoden zur Kommunikation mit der Datenbank enthält):

Java:
@Override
    public void addFahrzeug(Fahrzeug neuesFahrzeug) throws HibernateException {
        Session s = HibernateUtil.getSessionFactory().openSession(); 
        Transaction tx = s.beginTransaction();  
        try {
            if (neuesFahrzeug.getFId() != null) {
                s.merge(neuesFahrzeug);
            } else {
                s.saveOrUpdate(neuesFahrzeug);
            }

        } catch (Exception e) {
            e.printStackTrace();
        } finally {
            tx.commit(); 
            s.close();
        }

    }

2. Wie wirken sich Klassenvariablen auf den Arbeitsspeicher aus?
Hier der Beginn des 1. Crawlers (wird als Thread gestartet - da alle 12 gleichzeitig crawlen sollen)
Java:
public class Crawler1 implements Runnable {

    private static final IDAO_Dbinterface dao = new PostgresDB();
    private static Fahrzeug f = new Fahrzeug();
    private static Marke fmarke = new Marke();
    private static List<String> fahrzeuge;
    private static String[] sfield;
    private static String[] sfield2;
    private static String[] sfield3;
Diese Variablen werden dann in einigen Methoden verwendet und immer neu initialisiert.
z.B.:

Methode1(..){
f = new Fahrzeug();
f.setName("...");
}


Methode2(..){
String name = f.getName();
}


Ich hoffe ihr könnt mir helfen 🙂

mfg, Traxxas
 
Ich bin momentan auf der Suche nach meinen Memory Leaks an meine Grenzen gestoßen.
Was hast du denn bisher versucht?
Profiler auch schon verwendet? Die sagen einem eigentlich noch ganz genau welche Objekte im Speicher liegen bleiben und von wem sie referenziert werden.

ganz kurze Programmbeschreibung/ Programmübersicht:
Laufen diese Punkte seriell ab oder parallel?

Doch mein Programm benötigt irrsinnig viel RAM!
Dann vergisst du wo Referenzen zu entfernen 😉 oder die Daten deiner Datenbank sind einfach sehr umfangreich und du ladest alles auf einmal

1. Werden alle Variablen die in einer Methode verwendet werden, nach beendigung der Methode freigegeben für den Garbagecollector (GC)?
In der Methode "addFahrzeug" sehe ich nirgendwo dass du ein neues Objekt erstellst. Die Objekte "s" und "tx" bekommst du vom HibernateFramework, ob diese entsprechend wieder freigegeben werden ist Sache des Frameworks. Natürlich liegt es an dir das Framework so zu verwenden das diese Objekte auch wieder freigegeben werden 😉

2. Wie wirken sich Klassenvariablen auf den Arbeitsspeicher aus?
Sie verbrauchen Speicher. Ehrlich, ich weiß nicht genau was du hier wissen willst? Wie sollen sie sich denn auswirken?

Hier der Beginn des 1. Crawlers (wird als Thread gestartet - da alle 12 gleichzeitig crawlen sollen)
Worin unterscheiden sich dein Crawler? (Ich nehme an du hast auch "Crawler2", "Crawler3", ....)
Machen nicht alle dasselbe?
Warum verwendest du Klassenvariablen und nicht Instanzvariablen (also non static)? Ich sehe bei "Threads" und "static" nur eine Problemquelle 😉

Diese Variablen werden dann in einigen Methoden verwendet und immer neu initialisiert.
Ja sobald du mittels Konstruktor eine neue Instanz einer Klasse anlegst wird Speicher gebraucht. Wichtiger ist aber was machst du mit diesen Objekten?
Hängst du diese an irgendwelche Listen dran? Räumst du die Listen dann auch wieder richtig auf?

Anhand der gegeben Informationen kann man nicht viel dazu sagen oder die üblichen Sachen 😉

Irgendwo erstellst du einfach Unmengen an Objekten hängst diese in Listen oder erstellst eine Referenz auf sie und räumst danach nicht richtig auf. Ich würde den Fehler eher bei der Analyse vermuten, da bei einer Analyse oftmals Objekte verknüpft werden usw.
 
Zuletzt bearbeitet:
Hallo und danke für deine schnelle Antwort!

Was hast du denn bisher versucht?
Profiler auch schon verwendet? Die sagen einem eigentlich noch ganz genau welche Objekte im Speicher liegen bleiben und von wem sie referenziert werden.
Profiler habe ich noch keinen Verwendet, dass werde ich dann gleich ausprobieren!
Also bis jetzt habe ich unter anderem solche Sachen ausgebessert:

Eine Methode wird 1000x aufgerufen und jedes mal der heutige Tag ermittelt (Date d = new Date(); ....)
Das wird jetzt schon als Klassenvariable festgelegt.. somit habe ich ja nur noch 1 Date-Object am Speicher, statt 1000 die irgendwann vom GC gelöscht werden. Da liege ich doch richtig?

Laufen diese Punkte seriell ab oder parallel?
seriell! also genau nach und nach wie oben aufgelistet

Dann vergisst du wo Referenzen zu entfernen 😉 oder die Daten deiner Datenbank sind einfach sehr umfangreich und du ladest alles auf einmal
Darum geht es mir ja, wenn ich in einer Methode ein Object anlege (Object o = new Object(); ) und damit arbeite, muss ich das am Ende der Methode ja nicht irgendwie freigeben.
Nachdem die Methode fertig ist, kann das Object ja automatisch gelöscht werden. Oder?

In der Methode "addFahrzeug" sehe ich nirgendwo dass du ein neues Objekt erstellst. Die Objekte "s" und "tx" bekommst du vom HibernateFramework, ob diese entsprechend wieder freigegeben werden ist Sache des Frameworks. Natürlich liegt es an dir das Framework so zu verwenden das diese Objekte auch wieder freigegeben werden 😉

Das Object wird vorher erstellt (im Crawler) und an die Methode übergeben. Die Methode selbst lädt es dann nur in die DB.
Soweit ich es ergoogelt habe, wird durch tx.commit(); und s.close(); Sowohl die Session, als auch die Transaction freigegeben.

Sie verbrauchen Speicher. Ehrlich, ich weiß nicht genau was du hier wissen willst? Wie sollen sie sich denn auswirken?
Ich wollte nur wissen, welche Variante performanter und Speicher-effizienter ist:
1. die häufig verwendeten Objekte als Klassenvariable anlegen und in der Methode 1000x neu zu initialisieren
//Klassenvariable
Object o;

Methode1(..){
o = new Object();
.
.
o = null; //ist das überhaupt notwendig?
}

2. Objekte 1000x in der Methode anzulegen und 1000x zu initialisieren

Methode1(..){
Object o; = new Object();
.
.
o = null; //ist das überhaupt notwendig?
}


Worin unterscheiden sich dein Crawler? (Ich nehme an du hast auch "Crawler2", "Crawler3", ....)
Machen nicht alle dasselbe?

Die unterscheiden sich darin, das Sie komplett unterschiedlichen Sourcecode crawlen und diesen unterschiedlich parsen müssen. Außerdem müssen Sie sich auch für jede Seite unterschiedlich verbinden. Ich habe jeden der Crawler12 genau an die jeweilige Seite angepasst.

Warum verwendest du Klassenvariablen und nicht Instanzvariablen (also non static)? Ich sehe bei "Threads" und "static" nur eine Problemquelle 😉
Weiß ich nicht, da kenne ich mich nicht aus. Vielleicht gibst du mir ein kurzes Beispiel/Link zum nachlesen?

Ja sobald du mittels Konstruktor eine neue Instanz einer Klasse anlegst wird Speicher gebraucht. Wichtiger ist aber was machst du mit diesen Objekten?
Hängst du diese an irgendwelche Listen dran? Räumst du die Listen dann auch wieder richtig auf?
Ja die hänge ich an Listen und speichere ich auch in die DB


Anhand der gegeben Informationen kann man nicht viel dazu sagen oder die üblichen Sachen 😉

Ja ich weiß :-(
Am Server mit 32GB Ram habe ich auch noch gar keine Probleme, nur am Standrechner mit 8GB klappt es teilweise nicht mehr. Darum bin ich jetzt beim Optimieren BEVOR es zu Ausfällen kommt 🙂

Am meisten RAM wird beim Speichern vieler einzelner Objekte in die DB verbraucht - darum vermute ich das Problem auch genau da und habe die relativ kurze Methode als aller erstes hier gepostet.

Natürlich gäbe es noch 1mio weitere Codezeilen, mit diesen möchte ich aber hier alle verschonen. Sie sind doch alle recht ähnlich aufgebaut. Darum möchte ich nun nach und nach die Fragen hier klären 🙂


Irgendwo erstellst du einfach Unmengen an Objekten hängst diese in Listen oder erstellst eine Referenz auf sie und räumst danach nicht richtig auf. Ich würde den Fehler eher bei der Analyse vermuten, da bei einer Analyse oftmals Objekte verknüpft werden usw.
Was meinst du mit "Fehler bei einer Analyse"? Steh am Schlauch


MfG, Traxxas
 
Eine Methode wird 1000x aufgerufen und jedes mal der heutige Tag ermittelt (Date d = new Date(); ....)
Das wird jetzt schon als Klassenvariable festgelegt.. somit habe ich ja nur noch 1 Date-Object am Speicher, statt 1000 die irgendwann vom GC gelöscht werden. Da liege ich doch richtig?
Jein hier muss man natürlich aufpassen.
1) alle deine Objekte verweisen nun auf das gleiche "Date" Objekt, sprich ein individuelles Datum ist da natürlich nicht mehr möglich.
Aber wenn es wirklich nur um den heutigen Tag geht für alle deine Objekte, ja dann hilft das natürlich schon etwas. (wobei ein Date Objekt nicht so viel Speicher frisst 😉)

Darum geht es mir ja, wenn ich in einer Methode ein Object anlege (Object o = new Object(); ) und damit arbeite, muss ich das am Ende der Methode ja nicht irgendwie freigeben.
Nachdem die Methode fertig ist, kann das Object ja automatisch gelöscht werden. Oder?
Jede Variable in Java hat einen bestimmten Scope (Bereich in welchen sie referenziert, auf sie zugegriffen, werden kann). Wenn du innerhalb einer Methode ein neues Objekt erstellst belegt dieses natürlich Speicher. Sollte es am Ende der Methode nicht eine Referenz auf das erstellte Objekt geben, dann wird diese Objekt vom GC wieder weggeräumt.
Achtung: Wenn du natürlich das Objekt in eine Liste hängst, bleibt es im Speicher erhalten, da die Liste ja eine Referenz auf das Objekt hat!

Ich wollte nur wissen, welche Variante performanter und Speicher-effizienter ist:
1. die häufig verwendeten Objekte als Klassenvariable anlegen und in der Methode 1000x neu zu initialisieren
....
2. Objekte 1000x in der Methode anzulegen und 1000x zu initialisieren
Dass lässt sich pauschal nicht sagen, da es hier auf den Context ankommt. Grundsätzlich: Eine Objekterstellung ist teuer was die Performance angeht. Beim Speicher gibt es keinen Unterschied, da die alte Referenz verloren geht sobald das Objekt neu erzeugt wird und auf die Variable geschrieben wird. (Sprich das alte Objekt wird irgendwann vom GC weggeräumt)

Die Zeile "o = null;" hat keinen Nutzen, hier wird nur gesagt das die Variable o auf "null"/nichts zeigen soll, und spätestens wenn die Methode fertig ausgeführt wurde ist die Variable als ganze nicht mehr vorhanden (und somit auch diese Referenz).

Weiß ich nicht, da kenne ich mich nicht aus. Vielleicht gibst du mir ein kurzes Beispiel/Link zum nachlesen?
Es ging mir nur darum das jede Instanz deiner Crawler1 Klasse die gleiche Fahrzeugliste verwendet. Sollten da 2 Crawler1 Instanzen parallel laufen kann es zu Fehlern kommen.
Wirklich was mit deinem Problem hat es wahrscheinlich nicht zu tun, wollte es nur anmerken.

Ja die hänge ich an Listen und speichere ich auch in die DB
Gut nachdem du die Objekte aus deiner Liste in die DB gespeichert hast, was machst du mit diesen Objekten bzw. der Liste?
Wird die noch gebraucht oder könnte man diese theoretisch "verwerfen"? Solange die Liste im Speicher bleibt, bleiben auch alle Objekte auf welche die Liste referenziert im Speicher.

Ja ich weiß :-(
Am Server mit 32GB Ram habe ich auch noch gar keine Probleme, nur am Standrechner mit 8GB klappt es teilweise nicht mehr. Darum bin ich jetzt beim Optimieren BEVOR es zu Ausfällen kommt 🙂
"noch gar keine Probleme" geht aber nur solange gut, solange die Daten der Seiten die du ausliest im entsprechenden Rahmen bleiben 😉
Aber kann es auch sein das du grundsätzlich gar keinen MemoryLeak hast sondern deine Crawler einfach so viele Daten auslesen, das dies einfach mehr als 8GB benötigt? (würde mich wundern, wäre aber auch eine Möglichkeit)

Am meisten RAM wird beim Speichern vieler einzelner Objekte in die DB verbraucht - darum vermute ich das Problem auch genau da und habe die relativ kurze Methode als aller erstes hier gepostet.
Ich habe nicht viel Erfahrung mit Hibernate und kann daher auch wenig dazu sagen wie Speicherintensiv es wirklich ist. Anhand der von dir geposteten Methode kann ich kein Problem erkennen, dort wird ja nirgends ein neues Objekt erstellt, sondern nur der Parameter genommen.

Was meinst du mit "Fehler bei einer Analyse"? Steh am Schlauch
Du hast davon geschrieben das du die Daten vergleichst und irgendwas berechnest (für mich hier einfach "analysieren" genannt).
Ich nehme an bei deinen Vergleichen und Berechnungen werden ebenfalls neue Objekte erstellt welche die Ergebnisse der Vergleiche und Berechnungen speichern oder?


Generell: Ohne mehr Code bzw. genauere Analyse lässt sich nur schwer erraten wo das Problem liegt, bzw. ob überhaupt ein Problem vorliegt.
Daher würde ich wirklich raten einfach mal einen Profiler zu verwenden, schauen welche Objekte im Speicher liegen bleiben und welche Referenz auf die Objekte bestehen bleiben.
Sobald du das weißt kannst du dir überlegen ob du diese Referenz wirklich brauchst oder sie an einer passenden Stelle aufräumen kannst.
 
Vielleicht kannst du über einen Objekt-Pool nachdenken, um Objekte wieder zu verwenden? Kommt natürlich darauf an, was du mit den Objekten so machst. Wenn du sie nach dem Speichern in die DB nicht mehr brauchst, kannst du sie ja für die nächsten Objekte wieder verwenden. Einfach alle Member-Variablen resetten und beim "Erzeugen" neu setzen.
Vorzugsweise machst du das über eine Factory, und der Constructor sollte private sein, damit die Factory die Kontrolle hat.
So könntest du unheimlich viel Speicherplatz sparen.
 
Vielleicht kannst du über einen Objekt-Pool nachdenken, um Objekte wieder zu verwenden? Kommt natürlich darauf an, was du mit den Objekten so machst. Wenn du sie nach dem Speichern in die DB nicht mehr brauchst, kannst du sie ja für die nächsten Objekte wieder verwenden. Einfach alle Member-Variablen resetten und beim "Erzeugen" neu setzen.
Vorzugsweise machst du das über eine Factory, und der Constructor sollte private sein, damit die Factory die Kontrolle hat.
So könntest du unheimlich viel Speicherplatz sparen.

Wenn der Speicherverbrauch so hoch geht, ist das eher ein Zeichen dafür, das er noch auf alle Objekte Referenzen hat, sonst hätte der gc aufgeräumt. Also entweder braucht er alle Objekte grad, oder er hat Referenzen die überflüssig sind. Bei ersterem hilft ein Objekt-Pool offensichtlicherweise nicht, bei letzterem müsste er erstmal seine überflüssigen Referenzen finde, und wenn er das hat, hat er das Problem schon gelöst 😉

ObjektPools sind hauptsächlich dazu da, "langsames" Erzeugen von Objekten zu verhindern, oftmals ist aber new schneller
 
Eine Webseite zu parsen klingt jetzt nicht so, als ob man damit 8GB RAM restlos ausreizen könnte. Mein Firefox mit ein paar Dutzend offenen Tabs kommt auch mit 1-1,5GB RAM zurecht, und ich geh mal davon aus, daß du keine Graphiken, Stylesheets o.ä. im Speicher hältst 😉 Ich würde schätzen, je nach Komplexität der Seite solltest du mit RAM im zwei- maximal dreistelligen MB-Bereich zurechtkommen.

Ich würde dir raten, dich erst mal mit einem Profiler-Tool auseinanderzusetzen und erst mal damit versuchen, die Speicherlecks zu finden. Versuchen "auf gut Glück" Code zu optimieren, ohne vorher mit vernünftigen Tools die Probleme zu ermitteln ist eigentlich so gut wie immer verschwendete Lebenszeit. Ein Profiler kann dir anzeigen, wie viele Instanzen von welcher Klasse gerade im Speicher rumschwimmen, wie viele davon tatsächlich noch lebendig sind (also noch irgendwo im Code referenziert werden) und sogar an welcher Stelle du die Objekte erstellt hast. Vielleicht findest du ja ein paar Youtube-Tutorials zum Profilen mit der IDE deiner Wahl.

Die Anzeige wie viel RAM dein Programm im Taskmanager verbraucht ist jedenfalls sehr ungenau. Theoretisch könnte es ja sogar passieren, daß dein Programm zwar gerade etliche GB RAM belegt, aber nach dem nächsten GC-Zyklus nur noch ein paar hundert MB übrig sind.
Ein Objekt wird ja nicht sofort gelöscht, sobald du es "nullst" oder es den Scope verlässt (das wäre z.B. bei C++ der Fall), sondern erst beim nächsten GC-Zyklus. Dann sucht der GC nach nicht mehr referenzierten Objekten und gibt diese frei. Genaugenommen selbst dann nicht alle, sondern erst mal nur "Generation 0", die größtenteils aus lokalen oder temporären Objekten besteht.

Daher würde ich dir auch eher davon abraten, Daten in irgendwelche static-Variablen zu speichern, sondern lieber Member-Variablen benutzen. Wie schon jemand geschrieben hat, kann dir das bei Threads sonst nochmal richtig Ärger bereiten. Und falls du mal vergisst ein static-Member wieder zu löschen, kann sich genau sowas ein Speicherleck herausstellen.
Auch von Object-Pools würde ich dir erst mal abraten. Die lohnen sich eher bei komplexen Objekten, die aufwendig zu erstellen sind.
 

Zurück
Oben