Deserialisation funktioniert nicht

[little_b]

Hallöchen,

Ich habe ein Problem beim deserialisieren über das Netzwerk.

ich habe eine Client - Server Anwendung geschrieben die über HTTPS kommuniziert.
Als Client verwende ich den HttpClient von Jakarta Commons.

Das Handshake funktioniert und ich habe eine Funktion implementiert die String[ ] in
beide Richtungen via PostMethod übertragen kann.
Nun möchte ich aber vom Server eine Struktur übertragen.
genauer :
ein bestimmtes Verzeichnis vom Server wird ausgelesen. Jedes File wird in
ein MetaFile geschrieben und diese MetaFiles werden in eine Liste geschrieben.

Diese Struktur(Liste und Ihre objekte) sollen nun durch serialisierung übertragen
werden. Die Klassen implementieren serialiszable.
Client und Server haben beide den gleichen java compiler.
Den kompletten Server code habe ich zum testen erstmal in ein jar verpackt
und der client benutzt dieses um auf die serializable funktionen zuzugreifen.

Problem:
Sobald ich auf die Struktur zugreife erhalte ich eine null pointer exception.


einpacken (server code)

... // bekommt das Object mappedFileList
    
        m_response.setContentType("application/octet-stream");
        
        ObjectOutputStream objOut;
        try {
            objOut = new ObjectOutputStream(
                    new BufferedOutputStream(
                            m_response.getOutputStream()));
            
            objOut.writeObject(mappedFileList);
            objOut.close();

auspacken (client code)

       ObjectInputStream objIn = null;
        MappedFileList serverWorkspace = null;
        try {
            objIn = new ObjectInputStream(
                    new BufferedInputStream(
                            post.getResponseBodyAsStream()));
            
            serverWorkspace = (MappedFileList) objIn.readObject();

zugriff auf das object (client) :

 // liefert die
 MappedFileList mappedServerList = resData.getServerWorkspace(postMethod);
  Iterator it = mappedServerList.getList().iterator();

Durch den Zugriff des Iterators auf das erste element ensteht folgender Fehler :

Exception occurred during event dispatching:
java.lang.NullPointerException
	at de.controller.ConnectController.handleRequest(ConnectController.java:155)
	at de.controller.MainController.handleEvent(MainController.java:132)
	at de.controller.MainController.handleEvent(MainController.java:128)

Der Fehler tritt auch auf wenn ich direkt auf das erste element zugreife
MappedFile file = (MappedFile)mappedServerList.getList().get(0);

Der debugger öffnet mir in der Liste keine Elemente. Leider kenne ich mit
Serialisierung nicht aus.

Bin dankbar für jede Hilfe

Bastian

 

[SlaterB]

poste den Code deiner Klasse MappedFile und MappedFileList ,
möglichst stark vereinfacht,
z.B. nur eine Exemplarvariable int in MappedFile, nur eine Exemplarvariable MappedFile in der Liste,

poste ein vollständiges Testprogramm mit main,
in welchem du ein Objekt erstellst, in den Stream schreibst, direkt wieder ausliest und der Fehler erscheint,

oder hast du das schon getestet und bei Out/ InStream direkt hintereinander klappts?

 

[little_b]

ich habe auf dem server folgenden funktionsfähigen Code ausprobiert.

Die objecte mappedFile werden in die 'List' MappedFileList geschrieben.

Dann in ein File serialisiert, sofort wieder deserialisiert und ausgegeben.

also auf dem server funktioniert folgendes :

       // serialisieren
       File file = new File("muh");
        try {
            ObjectOutputStream oos = new ObjectOutputStream(
                    new BufferedOutputStream(
                            new FileOutputStream(file)));
            
            oos.writeObject(mappedFileList);
            oos.close();
            
            // gleich wieder deserialisieren
            ObjectInputStream ois = new ObjectInputStream(
                    new BufferedInputStream(
                            new FileInputStream("muh")));
            MappedFileList obj = (MappedFileList)ois.readObject();
            
            // testen
            Iterator it = obj.getMappedFileList().iterator();
            while (it.hasNext()) {
                MappedFile test = (MappedFile)it.next();
                System.out.println("name " + test.getName());
            }

wenn ich aber nun aber nach dem serialisieren das file manuel
(ohne netzwerk, also mit der Hand ) auf den client kopiere
und dort den code zum deserialisieren anwende

   private void testDeserialize() {

        ObjectInputStream ois;
        try {
            ois = new ObjectInputStream(
                    new BufferedInputStream(
                            new FileInputStream("/home/testlab/muh")));
            
            MappedFileList obj = (MappedFileList)ois.readObject();            
            Iterator it = obj.getMappedFileList().iterator();
            
            while (it.hasNext()) {
                MappedFile test = (MappedFile)it.next();
                System.out.println("name " + test.getName());
            }
            
        } catch // ... exception handling
    }

Passsiert genau der gleiche fehler. An der Stelle
--> obj.getMappedFileList().iterator();
liefert obj.getMappedFileList() 'null' und somit ist der Iterator null usw.

Ich vermute der client hat Probleme den Inhalt in die Struktur zu initialisieren.
Aber warum?

Ich habe nochmal MappedFile und MappedFileList vom Server vereinfacht angehängt :

import java.io.Serializable;

public final class MappedFile implements Serializable {

    /**
     * serialVersionUID = 3638996933322808483L;
     */
    private static final long serialVersionUID = 3638996933322808483L;

    /** filename with suffix. */
    private final String m_name;
    
// some more members

    /** 
     * Contructor creates immutable object.
     * 
     * @param name Smb file name.
     * @param path Smb file path.
     * @param size Smb file size.
     * @param date Smb file date.
     * @param isFile true for file and false for directory.
     */
    public MappedFile(
            String name,
            String path,
            long size,
            long date,
            boolean isFile) {
        
        m_name   = name;
        m_path   = path;
        m_size   = size;
        m_date   = date;
        m_isFile = isFile;
    }

    /**
     * 
     * @return mapped file name.
     */
    public String getName() {
        return m_name;
    }

  // some more getter
}

und

public class MappedFileList implements Serializable {

    /**
     * serialVersionUID = -3060314338397543617L;
     */
    private static final long serialVersionUID = -3060314338397543617L;
    
    /** mapped file objects */
    private List m_mappedFiles;
    
    /**
     * Constructor.
     */
    public MappedFileList() {
        m_mappedFiles = new ArrayList();
    }
        
    /**
     * @return list of mapped files.
     */
    public List getList() {
        return m_mappedFiles;
    }
}

Die liste wird in einer anderen Klasse durch den Constructor initialisiert und
anschliessend befüllt.
Vielleicht muss ich ja die Klasse, die die Liste füllt, auch serializeable machen ?
Erklärt mir aber nicht warum es auf dem Server funktioniert und auf dem
Client nicht ?


bastian

 

[SlaterB]

dann bleibt noch zu testen, ob auf dem Client das serialisieren + deserialisieren direkt hintereinander geht,

wenn das geht, dann vergleiche mal die beiden Dokumente:
auf Server serialisiert + auf Client serialisiert

(im Texteditor oder als byte[] einlesen)

unterscheiden sich nur einzelne Buchstaben/ bytes?
irgendein Encoding-Fehler?
oder sind die Dateien stark unterschiedlich?

wie siehts bei leeren Listen aus?

--------

dass auf beiden Seien die Klassen die gleichen sein müssen,
versteht sich von selbst, auch möglichst gleich kompiliert (behaupte ich mal im Trüben fischend)
kannst du von einer Seite die .class-Dateien kopieren und verwenden?

hilft der Einsatz von einer serialVersionUID in jeder Klasse?
private static final long serialVersionUID = 42L;
http://java.sun.com/j2se/1.5.0/docs/api/java/io/Serializable.html

 

[little_b]

habe es jetzt auch geschaft das file auf dem server zu deserialisieren.
Ich habe nochmal alles gelöscht und mit ants neu gebaut jetzt gehts ?!
muss eine Anhängikeit falsch gewesen sein.

Leider muss mein Programm java 1.4.2 kompatibel sein.

Mit den streams über das Netzwerk geht es leider noch nicht :

2006-11-30 14:16:17,716 DEBUG [AWT-EventQueue-0] httpclient.wire.header: << "Date: Thu, 30 Nov 2006 13:16:15 GMT[\r][\n]"

java.io.EOFException

2006-11-30 14:16:17,716 DEBUG [AWT-EventQueue-0] httpclient.wire.header: << "Server: Apache/2.2.2 (Fedora) mod_ssl/2.2.2OpenSSL/0.9.8a DAV/2 PHP/5.1.6 SVN/1.3.2 mod_jk/1.2.15 mod_fastcgi/mod_fastcgi-SNAP-0404142202[\r][\n]"

	at java.io.ObjectInputStream$PeekInputStream.readFully(ObjectInputStream.java:2165)
	at java.io.ObjectInputStream$BlockDataInputStream.readShort(ObjectInputStream.java:2631)
	at java.io.ObjectInputStream.readStreamHeader(ObjectInputStream.java:734)
...

EOFException verstehe ich nicht, habe hier kein file?


erstmal vielen dank für die hilfe

bastian

 

[little_b]

sry ich meinte natürlich den client und nicht den server.

also ein file das ich auf dem server erstellt habe und
manuel übertrage lässt sich nun auch deserialisieren.

 

[Guest]

Schliesse das Stream serverseitig nicht.

Es sollte wie folgt ablaufen

Server

ObjectOutputStream out = new ObjectOutputStream(
   new BufferedOutputStream(
      response.getOutputStream()
   )
);
response.setStatus(HttpServletResponse.SC_OK);
response.setContentType("application/octet-stream");
out.writeObject(wasauchimmer);
out.flush();

Client

ObjectInputStream in = new ObjectInputStream(
   new BufferedInputStream(
      connection.getInputStream()
   )
);
Object result = in.readObject();
in.close();

 

[little_b]

super

Für 1600 Files funktioniert es jetzt. Ich glaube es war das flush() was mir gefehlt hat.
Wenn das Object zu gross wird tritt aber immer noch ein Fehler auf.

server log :

ClientAbortException:  java.io.IOException
        at org.apache.catalina.connector.OutputBuffer.realWriteBytes(OutputBuffer.java:366)
        at org.apache.tomcat.util.buf.ByteChunk.flushBuffer(ByteChunk.java:433)

der client übertragt das object über HTTP und bricht dann nach einiger Zeit mit folgender exception ab

client log :

2006-12-01 10:41:17,997 DEBUG [AWT-EventQueue-0] 
    org.apache.commons.httpclient.HttpMethodBase: Should NOT close connection, using HTTP/1.1
2006-12-01 10:41:17,997 DEBUG [AWT-EventQueue-0]
     org.apache.commons.httpclient.HttpConnection: Releasing connection back to connection manager.

Exception occurred during event dispatching:
java.lang.NullPointerException
	at de.bredex.bxsync.controller.ConnectController.handleRequest(ConnectController.java:157)
	at de.bredex.bxsync.controller.MainController.handleEvent(MainController.java:132)
	at de.bredex.bxsync.controller.MainController.handleEvent(MainController.java:128)

der server überträgt folgende Fehlerseite an den Client :

2006-12-01 10:41:17,991 DEBUG [AWT-EventQueue-0] httpclient.wire.content: << "    The server is temporarily unable to service your[\n]"
2006-12-01 10:41:17,991 DEBUG [AWT-EventQueue-0] httpclient.wire.content: << "    request due to maintenance downtime or capacity[\n]"
2006-12-01 10:41:17,991 DEBUG [AWT-EventQueue-0] httpclient.wire.content: << "    problems. Please try again later. [\n]"

Irgendwas bricht die übertragung ab.

Ist der Buffer in den ich schreibe beliebig gross?

 

[Guest]

Ist der Buffer in den ich schreibe beliebig gross?

Jajn. Das Problem ist eher die Zeit, die es braucht, bis es gesendet wird.
Schreibe am besten in einer Schleife jeweils eine Datei und immer die Länge als long
davor

for(int i=0; i<files.length(); i++)
{
   out.writeLong(files[i].length()); // oder von mir aus auch noch den Dateinamen hinteher o.ä.
   writeFile(out, files[i]); // eine Methode, die eine einzelne Datei schreibt
   out.flush();
}
out.writeLong(-1L); // Ende der Übertragung.
out.flush();

// und kein out.close() serverseitig.

Ich gehe mal davon aus dass es sehr viele kleine Dateien sind.
Sowas wie eine komplette Webseite mit Grafik etc.
Was wird's, wenn es fertig ist?

 

[little_b]

Es wird ein Synchronisationsprogram. Das zu übertragene
Objekt ist eine Liste die eine Verzeichnisstruktur enthält.
Ich werde mal versuchen anstelle der Liste die Objekte
einzeln zu übertragen. Hoffe das dauert bei 40.000 Objekten
nicht all zu lange

Nochmal vielen Dank

 

[little_b]

Der speicher flush war nicht richtig gesetzt.