Speicherleck erzeugen

[Mork]

Hallo,

ich hab ein Performance-Problem zu lösen und versuche dieses grad nachzustellen. Hat irgend jemand eine Idee, wie man innerhalb von 10sek ca 300MB in den Speicher schreiben kann? Genau so sieht nämlich das GarbageCollection log aus. Die GC räumt dann mit einem Schlag 300MB aus dem Speicher, 10sek später sind wieder 300MB im Speicher, das geht dann so alternierend vor sich her. Ich hab keine Idee wie man 300MB adhoc in 10 Sek erzeugt. Ihr?

 

[KSG9|sebastian]

Wow..aber mal was anderes: Lasst ihr immer eine Full-GC laufen? Konfiguriert mal den GC so dass er das nicht tut, sonst steht eure Anwendung nämlich früher oder später für n paar Sekunden still.
Warum eigentlich reproduzieren? Such die Anwendung welche das tut und schau dir den Code an

 

[Mork]

Was meinst du mit Full-GC und für ein paar Sekunden Still stehen?

Die Fehler treten in einem Live-System auf (sporadisch). Die Webanwendung ist extrem komplex, so dass man nicht durch einfaches drüber schauen die verursachende Stelle finden kann. Wir haben nun versucht das Problem lokal zu reproduzieren, bisher ohne Erfolg. Ich wollte nun mal was spinnertes coden was genau so krasse Probleme erzeugt.

 

[KSG9|sebastian]

Also innerhalb von 10sec 300MB kann ich mir fast nicht vorstellen. Für n paar Sekunden Stillstehen mein ich dass der GC soviel Last erzeugt dass die VM für ne Weile hängt. Hatten wir auch mal, war ne "Fehlkonfiguration des Garbage Collectors".

Sporadischer Fehler..und dann so krass. Einen XML-Baum erzeugen frisst z.B. speicher. Aber 300MB in 10Sekunden. Das wären 30MB/Sekunde, also ein ganz schöner Hammer. Aber angenommen das passiert aufgrund eines IO-Zugriffs müsste die HDD 30MB/Sekunde hergeben. Was u.U. schon ne ganze Menge ist, jenachdem wo die Webanwendung läuft. Glaub mit popligem String erzeugen wirste da nicht hinkommen
Habt ihr mal die VM überprüft? Hängt der GC irgendwo?

Gruß

 

[Mork]

Also die Kiste hängt definitiv wenn das Problem auftritt. Die GC ist eben die ganze Zeit damit beschäftigt den Speicher leer zu bekommen, das gelingt auch, doch dann steigt es sofort wieder an. Wie hattet ihr denn die GC falsch konfiguriert?

Selbst mit nem Programmierfehler und ner dummen Schleife, kann ich mir auch nicht erklären wie man von jetzt auf gleich sowas produzieren soll. Das System läuft ganz normal mehrere Stunden, dann machsts bumm und die Show geht los.

Auf dem Server läuft ImageMagick zum Skalieren der Bilder. Da gibts ja immer wieder mal HeapOverflow Exploits. Wäre das damit zu erklären? Also das ein User so ein Schadbild über die Webmaske hochläd und das System dann so abgeht? Wo könnte man denn solche Bilder zum Testen herbekommen?

 

[Azrahel]

Ähh Mork, ein 300MB Schadbild übers Netz hochzuladen geht glaub ich in 10 sec nicht, oder täusch ich mich da?

Ich weiss ja nicht was ImageMagick bei euch macht, aber was ist wenn er ein kleineres Hochläd und das bei euch hochskalieren lässt, ist das möglich?

 

[Der Müde Joe]

lädtst du so ein 5000*5000 pixel bild und willst es auf 100*100 verkleinern ....?

 

[Azrahel]

ne, ich meinte doch umgekehrt :? Wie gesagt ich weiss nicht was ImageMagick macht, deswegen weiss ich icht ob mein Gedanke richtig war. Aber es war halt mal ein lieb gemeinter Gedanke (im Gegensatz zu denen die ich sonst so hab *gg*)

 

[Der Müde Joe]

egal ... kenne ImageMagick gar nicht...
kenn nur solche Probleme mit sehr grossen Bildern...
einfach zu provozieren mit zB Windows(OS).paint Dings....
Bild vergrössern und ab so ca 3000^2 pixeln sind 200MB gefressen
...aber wird umgekehrt sicher genau gelich sein...

 

[Azrahel]

Jupp, das Prob hatte Paint ja mal, IMO hamse das gefixed. Aber wenn dem Mork jemand ein 5000 * 5000 Pixel Bild mit am besten noch 320 pdi hochschiebt hat der der das macht ersten ne dicke InternetLeitung und zweitens mächtig langeweile um auf so Ideen zu kommen. Eher denk ich mir das jemand ein 100*100 bild hochschiebt und das dann von Morks ImageMagik vergrössern lässt. dann wär ja auch die rechenleistung auf dem Server.

Bestialisch wär natürlich ein 5000*5000*320dpi grosses Bild hochzuladen und das dann noch hochrechnen zu lassen*g*

Wie issn die url, Mork?

 

[Mork]

Ähh Mork, ein 300MB Schadbild übers Netz hochzuladen geht glaub ich in 10 sec nicht, oder täusch ich mich da?

So funktioniert das auch nicht. Es werden bei solchen Exploits keine 300MB hochgeladen die dann zu nem Stack/Heap Overflow führen, sondern Bilder die Schadcode enthalten, die dann den Stack/Heap überlaufen lassen.

ImageMagik kann es aber nicht sein, da ImageMagik nicht innerhalb der VM läuft. War mein Denkfehler.