MySQL Datenbank beschreiben mit mehreren Threads

[Lasertec]

Hallo

Ich habe ein kleines Problem und weiß jetzt nicht mehr genau wo ich suchen soll.

Ich will 100.000 Datensätze in eine Tabelle schreiben, das möglichst schnell.

für 100.000 Datensätze brauche ich 14000ms
Also habe ich mir 2 Threads gemacht damit die sich die Arbeit teilen:

            T1 demoThread
            demoThread = new T1();   
 
	    T2 demoThread1;
	    demoThread1 = new T2();

	    demoThread1.start();
	    demoThread.start();

nun habe ich bei beiden Threads eine eigene klasse run, die Daten in die Tabelle einträgt, allerdings scheint es mir so das die beiden Thread hintereinander ablaufen statt beide gleichzeitig.

Bei beiden Threads habe ich die Ausgabe der Zeit. Der erste Thread dauert 7000ms und der 2. 14000ms. letzten endes bleibe ich also gleich schnell.

könnte sich jemand vorstellen wieso die beiden Threads nicht parallel laufen oder falls doch wieso der 2. Thread immer noch so lange braucht ? Wartet er vll ab bis der erste Thread alle Daten eingetragen hat ? wie könnte man sowas umgehen ?

 

[tfa]

Ohne den Code zu kennen, wird das wohl keiner sagen können.
Aber wie kommst du darauf, dass es mit 2 Threads schneller gehen sollte?
Normalerweise bleibt die Zeit bei Netzwerk- oder IO-Zugriffen.

 

[Marcinek]

Stimmt nicht ganz.

Wenn du einmal schreibst, dann musst du immer

statement aufbauen, schreiben, auf oks warten und dann weiter.

Das kannst du je nachdem 10 20 mal gleichzeitig machen und machst das 20 mal schneller.

 

[maki]

tfa hat schon recht, Netzwerk & DB sind die langsamsten Komponeten.

Zum Glück gibt es ja BatchStatements, so kann man Daten Stapelweise einfügen, nicht nur einzeln.
Die größe so einer Batch und Transakltionsgröße hat viel Einfluss auf die Performance.

 

[Marcinek]

Dann nimm dir mal Kettle. Eine Quelle und eine Senke und 1.000.000 Datensätze.

Mal mit Senke 10 x und mal 1x

Und messe die Zeit.

q.e.d.

 

[Lasertec]

Also ist es eher sinnlos 50.000 Datensätze von Thread 1 und 50.000 Datensätze von Thread 2 in die selbe Tabelle einfügen zu lassen ? Momentan befindet sich die Datenbank Local auf dem Rechner

Wäre es sinnvoll wenn man diese Batch-Statements benutzt ?
Momentan benutze ich normalen CreateStatement

 

[maki]

Wäre es sinnvoll wenn man diese Batch-Statements benutzt ?

Wenn es überhaupt sinnvoll ist Java zu verwenden, dann nur mit Batches, wie liegen die 50k Datensätze denn vor?
Die meisten DBs bieten einen CSV Import an.

http://docs.oracle.com/javase/1.3/docs/guide/jdbc/spec2/jdbc2.1.frame6.html

 

[Lasertec]

Die generiere ich mit einer for schleife direkt im Thread

Fängt der 2 Thread erst an in die DB zu schreiben wenn der 1 Thread schon fertig ist weil ich CreateStatement benutze ?

 

[Lasertec]

Also ich bekomm es auf biegen und brechen nicht hin das der mit mehreren Threads gleichzeitig etwas in eine Tabelle einträgt,

ist das denn überhaupt möglich oder ist das normal das die threads einer nachm anderen eintagen ?

 

[tfa]

Hat denn jeder Thread seine eigene Connection?

 

[Gast2]

Also ich bekomm es auf biegen und brechen nicht hin das der mit mehreren Threads gleichzeitig etwas in eine Tabelle einträgt,

weil die Datenbank da evt. Synchronisiert

ist das denn überhaupt möglich oder ist das normal das die threads einer nachm anderen eintagen ?

ja klar - solange wie die Datenbank der Meinung ist das sich beide Threads nicht in die Quere kommen

 

[Lasertec]

Hat denn jeder Thread seine eigene Connection?

baue die Verbindung am Anfang des Programm auf. Also haben die Threads die selbe Connection
Ist das Problematisch ?

 

[Lasertec]

Also habe jetzt Die Verbindung im Thread aufgebaut sodass jeder seine eiegene verbindung hat aber leider arbeiten die immer noch nacheinander

 

[Marcinek]

Und teilen die sich andere Ressourcen?

Wie sollen wir ohne Code hier helfen?

 

[Lasertec]

läuft alles auf einem rechner, keine besondere ressourcen einteilung

Ich weiß nicht welcher code hier sinnvoll wäre zu posten,

ich hab halt wie gesagt ein thread wo ich mit ner for schleife einen string erstelle und diesen dann im createstatement abspeichere und danach commit´e.

 

[tfa]

Du die beiden Threads laufen nacheinander?
Was passiert, wenn du den DB-Zugriff durch Debug-Ausgaben ersetzt?
Sendest du regelmäßig Commits? Vielleicht lockt die DB.

 

[Lasertec]

ich sammel 40k einträge im statement und mache dann einen commit,

ich rufe den thread 2 mal auf mit T1Conn demoThread;
demoThread = new T1Conn();

demoThread.start();

demoThread = new T1Conn();

demoThread.start();

in beiden habe ich eine zeitmessung,
beide fangen auch gleichzeitig an aber ihre einträge in die DB machen sie nacheinander

 

[tfa]

Dann mach spaßeshalber mal nach jedem Eintrag ein Commit und sieh was passiert.

 

[Lasertec]

Dauert nun doppelt so lange und eclipse friert kurzzeitig ein