Library für High Performance Mime Type Erkennung

[iBlameTheMonkey]

Hi, ich suche eine library zur mime type erkennung, ich weiß, da gibts ungefähr 200, aber die die ich bis jetzt probiert hab, -und das sind die allgemein bekannten- sind für mich zu langsam. sowohl JMimeMagic als auch MimeUtil sind für meine zwecke zu langsam.
Ich muss mehrere hundert dateien mit bis zu 2000 zeilen quellcode analysieren.

Außerdem reicht es für mich eigentlich wenn ich weiß ob die datei binär oder textbasierend ist.

Weiß da irgendwer eine gute library für mich?

danke im voraus

 

[ice-breaker]

Alleine schon mehrere Hundert Dateien mit 2000 Zeilen Programmcode von der Platte zu lesen wird einen Moment dauern 😉

Warum nicht per Hand? Ließ die Datei stückweise mit einem 8kb großen Buffer, schau dann nach ob in dem Buffer non-printable ASCII-Zeichen stehen und du weißt ob der Buffer binär oder textbasiert ist.
Wahlweise liest du dann eben die nächste Datei oder den nächsten Buffer dieser Datei ein.

 

[iBlameTheMonkey]

so, hab jetzt nochmal geschaut, also das einlesen ist nicht das problem, ich hab zeiten mitprotokollieren lassen und es ist immer die mime type analyse zeitaufwendig.

hab das jetzt nochmal mit meinem team besprochen, es reicht doch nicht zu wissen obs eine binär datei ist oder nicht. muss doch den kompletten mime type kriegen.

kennt irgendwer ein java framework (könnt theoretisch auch eine andere sprache sein) das den mime type anhand der ersten paar zeilen erkennt?

 

[kama]

Hallo,

hast Du schon mal in das Tika Projekt geschaut...dass muss auch den Mime-Type analysieren ....

Gruß
Karl Heinz Marbaise

 

[Empire Phoenix]

Das mag jetzt primitiv klingen, aber kann man zumindest nicht für bekannte dateiendungen die mime erkennung komplett überspringen? (Hashmap mit dateiendung auf mimetyp?)

Oder sind keine Dateiendungen vorhanden?

 

[ice-breaker]

Eine Datei hat i.R. in den ersten 3-4 Bytes eine Magische Zahl stehen, die du auswerten kannst 😉
Ob das gif nun wirklich ein gif ist, ist verdammt schwer zu beweisen, wenn das nicht unbedingt benötigt wird hätte man schonmal eine schnelle Erkennung des Mime-Types.

 

[iBlameTheMonkey]

Das mag jetzt primitiv klingen, aber kann man zumindest nicht für bekannte dateiendungen die mime erkennung komplett überspringen? (Hashmap mit dateiendung auf mimetyp?)

Oder sind keine Dateiendungen vorhanden?

Ja, das Problem ist, dass teilweise keine Dateiendungen vorhanden sind, bzw. diese vllt. nicht stimmen

das mit der 'Magischen Zahl' hab ich mir auch schon überlegt, wollte wissen ob jemand ein framework kennt, dass die zur mime type erkennung benutzt

das tika projekt schau ich mir an sobald ich die zeit dafür finde

danke für die antworten bis jetzt

 

[Empire Phoenix]

Wenn du weißt um welche mime typen es sich nur handeln kann kann man evtl auch anch headern gezielt suchen.

aka bei *.mp3 teste ich ob ich einen gültigen mp3 header finde wenn ja dann keine weiter erkennung nötig.

 

[iBlameTheMonkey]

nein, nicht wirklich, ich weiß dass die meisten dateien JAVA dateien sind, aber eben nicht alle und der rest kann theoretisch alles sein

EDIT:
achja, vielleicht hab ich ja falsche erwartungen, kann mir irgendwer hier der schon erfahrung mit mime types hat kurz sagen wie lang so eine mime type analyse von einer beliebigen text datei mit ca. 200 zeilen dauern sollte?

danke