String.split() - viel zu langsam

Status
Nicht offen für weitere Antworten.

Thunder2002

Mitglied
Hi,

ich brauche z.Z. kurzum brutale String-Performance und am öftensten nutze ich eigentloch String.split. Daher habe ich mich mal daran gemacht das als erstes umzustellen, da es für meine Zwecke deutlich zu langsam ist.

Hier mal eine kleine Versuchsimplementation von mir, ist nach meinen Messungen zumindest schonmal um den Faktor 2.5x schneller als String.split, aber das geht doch sicher noch schneller oder? :D Ideen, Vorschläge etc. bitte hierher :)

Btw. mein Schwerpunkt liegt eher bei sehr langen Strings von 100kb bis 100mb

Code:
public class StringHelper {
    public static String[] split(String string, String splitter) {
        char[] stringChars = string.toCharArray();
        char[] splitterChars = splitter.toCharArray();
        ArrayList<String> list = new ArrayList<String>();
        
        int splitterLen = splitter.length();
        int k = 0, last = 0;
        for (int i = 0, j = string.length(); i < j; ++i) {
            if (stringChars[i] == splitterChars[k])
                ++k;
            else
                k = 0;
            if (k == splitterLen) {
                list.add(string.substring(last, i - --k));
                last = ++i;
                k = 0;
            }                
        }
        if (last < stringChars.length)
            list.add(string.substring(last));
        
        String[] result = new String[list.size()];
        return list.toArray(result);
    }
}
 

NTB

Bekanntes Mitglied
Ich steige natürlich nicht sofort durch Deinen Code durch, aber Du könntest in Zeile 6 die ArrayList mit einer sinnvollen Größe initialisieren, sonst wird beim adden ständig eine Kopie des internen Arrays erzeugt und das ist teuer.
Ich vermute, Du weißt vorher nicht, wie groß die Liste wird, aber vielleicht kannst Du es abschätzen. Ansonsten lieber einen hohen Wert benutzen, als einen zu kleinen.
 

Thunder2002

Mitglied
Der Default-Constructor von ArrayList initialisiert die Liste bereits mit 10 Elementen und ja ich kann leider nicht abschätzen wie viele Teile es werden kann ich auch nichts anderes vorgeben :?
 
S

SlaterB

Gast
wenn die ganze Aktion länger als 100ms dauert, was bei deinen Bemühungen offensichtlich ist,
dann kannst du doch locker 100.000 vorgeben,

Zeit spart das allerdings höchstens paar Promille,
 

Marco13

Top Contributor
Hm. Nur mal so nebenbei: Was machst du nachher mit den Strings in dem Array? D.h. musst du die Substrings wirklich erstellen (DAS Ist teuer!) oder reicht es nicht vielleicht, wenn du dir die indizes merkst, und dir später dort, wo du sie brauchst, die Daten (mit Hilfe der indizes) direkt aus dem (ohnehin erstellten) char array holst?
 

byte

Top Contributor
Thunder2002 hat gesagt.:
Btw. mein Schwerpunkt liegt eher bei sehr langen Strings von 100kb bis 100mb

Genau da liegt Dein Problem. Man sollte einfach nicht solch lange Strings im Speicher halten, denn Operationen darauf sind einfach furchtbar unperformant. Überlege Dir einfach Alternativen, Deine Probleme zu lösen, z.B. indem Du per Reader nur den Teil aus den Daten liest, den Du benötigst, und Du wirst wesentlich schneller damit fahren.
 

Thunder2002

Mitglied
SlaterB hat gesagt.:
wenn die ganze Aktion länger als 100ms dauert, was bei deinen Bemühungen offensichtlich ist,
dann kannst du doch locker 100.000 vorgeben,

Zeit spart das allerdings höchstens paar Promille,

Leider gibt es nicht zwangsweise soviele Teil es sind wohl normalerweise auch nur 10 oder meinetwegen 20 oder 30 aber keine so großen Mengen.

Gast hat gesagt.:
oder gleich LinkedList verwenden.

Hab ich auch schon versucht, die Liste ist aber langsamer als ArrayList beim Adden :(

Marco13 hat gesagt.:
Hm. Nur mal so nebenbei: Was machst du nachher mit den Strings in dem Array? D.h. musst du die Substrings wirklich erstellen (DAS Ist teuer!) oder reicht es nicht vielleicht, wenn du dir die indizes merkst, und dir später dort, wo du sie brauchst, die Daten (mit Hilfe der indizes) direkt aus dem (ohnehin erstellten) char array holst?

byto hat gesagt.:
Genau da liegt Dein Problem. Man sollte einfach nicht solch lange Strings im Speicher halten, denn Operationen darauf sind einfach furchtbar unperformant. Überlege Dir einfach Alternativen, Deine Probleme zu lösen, z.B. indem Du per Reader nur den Teil aus den Daten liest, den Du benötigst, und Du wirst wesentlich schneller damit fahren.

Hätte vielleicht noch sagen sollen das es sich um sequenzielle POST-Data handelt die an einen WebServer geschickt werden, sorry. Ich kann leider nicht nur teilweise den InputStream lesen, da die einzelnen Elemente blöderweise nach Spezifikation einfach mit etwas wie "----------123456789" getrennt sind. Ich muss also doch den kompletten InputStream lesen und nach diesem Splitter aufbrechen oder habt ihr eine bessere Idee?
 

byte

Top Contributor
Thunder2002 hat gesagt.:
Ich kann leider nicht nur teilweise den InputStream lesen, da die einzelnen Elemente blöderweise nach Spezifikation einfach mit etwas wie "----------123456789" getrennt sind. Ich muss also doch den kompletten InputStream lesen und nach diesem Splitter aufbrechen oder habt ihr eine bessere Idee?

Hä, verstehe nicht wo Dein Problem ist? Das kannst Du doch prima mit Streams/Readern lösen. Statt alles als String einzulesen und zu splitten, gehst Du den Stream halt sequentiell durch und betrachtest jedes "Element" (wie auch immer die getrennt sind, in Deinem Fall halt "----------123456789") einzelnd.
Genau für sowas gibt es Reader, weil Operationen auf großen Strings eben langsam und speicherintensiv sind.
 

Thunder2002

Mitglied
Thx byto, nutze jetzt nen BufferedReader, so funktionierts ;) hatte vorher den kompletten inputstream einfach in ein großes byte[] gelesen und dann darauß einen string zum splitten gebaut.... ;)
 
Status
Nicht offen für weitere Antworten.
Ähnliche Java Themen
  Titel Forum Antworten Datum
SaschaMeyer Arbeitet String.split falsch? Allgemeine Java-Themen 4
R Variablen String mit split-Funktion aufteilen Allgemeine Java-Themen 7
OnDemand String Split Pipe Allgemeine Java-Themen 2
S String split mit spez. Regexp Allgemeine Java-Themen 2
L Split String Level 100 Allgemeine Java-Themen 2
K String split Methode Allgemeine Java-Themen 20
Y Kleine Frage zu String.split Allgemeine Java-Themen 3
A String.split() funktioniert nicht richtig Allgemeine Java-Themen 4
Q String Split() Allgemeine Java-Themen 46
D String split() ist unlogisch Allgemeine Java-Themen 12
V Problem mit der String.split() Allgemeine Java-Themen 3
C String split Allgemeine Java-Themen 3
C "/" in String.split()-->Illegal escapesequence Allgemeine Java-Themen 5
W string.split("") warum funzt des net? Allgemeine Java-Themen 5
G Split String Array bringt Fehlermeldung Allgemeine Java-Themen 7
R String.split - ich steh auf dem Schlauch. Allgemeine Java-Themen 3
V Probleme mit String.Split :/ Allgemeine Java-Themen 2
B String.split() --- Java1.3 Allgemeine Java-Themen 10
K String.split nachbauen Allgemeine Java-Themen 7
P String.split will nicht Allgemeine Java-Themen 3
N Split -> IF-String vergleich Allgemeine Java-Themen 5
P string.split() & RegEx Allgemeine Java-Themen 3
C EML Email Text in String wandeln Allgemeine Java-Themen 11
OnDemand Java String in Hashmap als Key NULL Allgemeine Java-Themen 27
JAnruVA Datentypen Berechneten String-Wert in Double umwandeln um weiter zu rechnen Allgemeine Java-Themen 7
M String Allgemeine Java-Themen 10
M Suche nach String mit unbekannten characters Allgemeine Java-Themen 53
kodela String kann nicht zu Pfad konvertiert werden Allgemeine Java-Themen 16
melaniemueller Einzelne Zeile aus einer txt Datei in einem String speichern Allgemeine Java-Themen 12
E Objekte in einen String packen und wieder laden Allgemeine Java-Themen 5
M Map<String,String>funktioniert nicht richtig Allgemeine Java-Themen 4
O String in Long Hexerdezimal umwandel Allgemeine Java-Themen 14
N String vergleichen. Allgemeine Java-Themen 27
P String.replace() funktioniert nicht? Allgemeine Java-Themen 3
M Switches ohne String Allgemeine Java-Themen 18
AmsananKING String Iteration Allgemeine Java-Themen 5
S Shuffle String aus if-clause Allgemeine Java-Themen 11
Besset Variablen Ist String = "" + int inordnung? Allgemeine Java-Themen 6
M Map <Long, String> zu Map<String, Long> Allgemeine Java-Themen 9
S String Encoding Verständnisproblem Allgemeine Java-Themen 22
N Prüfen, ob ein String 2x das selbe Zeichen hat Allgemeine Java-Themen 10
SaftigMelo Bug Fixen von String-spliten Allgemeine Java-Themen 8
Monokuma String List nach Zahlen und Worten sortieren Allgemeine Java-Themen 9
Kingamadeus2000 Alle mehrfach vorkommenden Buchstaben rekursiv aus einem String entfernen. Allgemeine Java-Themen 6
YohnsonM String - Aufteilung und Nutzung einzelner Chars Allgemeine Java-Themen 7
O Formatierte String ausgabe bei vier Variablen in einer Zeile Allgemeine Java-Themen 1
S String umbenennen: wie? Allgemeine Java-Themen 4
x46 String Format Fehler Allgemeine Java-Themen 2
S ISO 8601 -> getter / setter String Allgemeine Java-Themen 3
L String zu repräsentativen Wert Allgemeine Java-Themen 0
H Array mit dem Datentype String[] initializieren Allgemeine Java-Themen 7
L ArrayList mit String Arrays in ein Array umwandeln Allgemeine Java-Themen 1
L regex ganzer string? Allgemeine Java-Themen 2
L Ist ein string ein erlaubter variabel name? Allgemeine Java-Themen 2
Z JNA Cpp-DLL String Verwendung Allgemeine Java-Themen 2
A String auf Zahlen überprüfen Allgemeine Java-Themen 5
N String Array Eingabe Allgemeine Java-Themen 6
MiMa Datum von String zu LocalDateTime Allgemeine Java-Themen 8
W String -> byte[] -> String - Sieht jemand was ich nicht sehe? Allgemeine Java-Themen 10
R char aus String entfernen Allgemeine Java-Themen 10
LimDul Mittels Streams aus Strings A B C den String A, B und C machen Allgemeine Java-Themen 12
M Programm erkennt String aus .txt Datei nicht Allgemeine Java-Themen 3
P einen public <Optinal String> in einer anderen Klasse mit einem Int vergleichen Allgemeine Java-Themen 2
S Ini Text aus String parsen Allgemeine Java-Themen 1
T String-Manipulation beim Ablauf in Eclipse und als JAR-File Allgemeine Java-Themen 8
M String lässt sich nicht Zusammenfügen Allgemeine Java-Themen 10
Drachenbauer Wie kann ich das Wort "concrete" in einem String durch ein anderes Wort ersetzen lassen? Allgemeine Java-Themen 5
R Schlüsselworte "Throw new exception" gibt nicht den String als Fehlermeldung aus Allgemeine Java-Themen 2
F Datei in String-Array einlesen Allgemeine Java-Themen 8
S Marker aus String ermitteln Allgemeine Java-Themen 5
T Objekt mit String und Int aus TxT Datei erstellen Allgemeine Java-Themen 23
M Bei String.format ein Komma statt einem Punkt ausgeben lassen Allgemeine Java-Themen 1
S MSSQL Exception & Connection String Allgemeine Java-Themen 19
B Bei Email: FW / AW... - Hilfe bei String suche Allgemeine Java-Themen 21
J String - Vergleiche Allgemeine Java-Themen 7
K Aus String zwei Jahreszahlen auslesen Allgemeine Java-Themen 18
Drachenbauer Wie kann eine vorgegebene Farbe über einen String erkannt werden? Allgemeine Java-Themen 11
G CSV in String Allgemeine Java-Themen 7
P String-Verschlüsselung - Frage zur Sicherheit Allgemeine Java-Themen 21
K Methodenaufruf mit String / String zu Objekt konvertieren Allgemeine Java-Themen 8
D Erste Schritte Fehler mit negativen und 0 Zahlen im String Allgemeine Java-Themen 6
Xge Replace x Zeichen aus String Allgemeine Java-Themen 2
coolian warum bekomme ich ein string index out of bounds exception Allgemeine Java-Themen 17
F In String 2 Buchstaben vertauschen Allgemeine Java-Themen 2
J Class Decompile als String (Procyon) Allgemeine Java-Themen 2
I Datentypen String in class sicher verwahren Allgemeine Java-Themen 17
J Falls der String ein "X" beinhaltet Allgemeine Java-Themen 2
T String mehrere Worte Allgemeine Java-Themen 2
D String Groß-/Kleinschreibung Allgemeine Java-Themen 2
D String und Klassenvariable Allgemeine Java-Themen 6
Aruetiise Funktion(y = mx+n) in String speichern und berechnen Allgemeine Java-Themen 9
C String in Objektnamen umwandeln Allgemeine Java-Themen 3
E Variablen Aus .txt ausgelesener string mit if() überprüfen? Allgemeine Java-Themen 2
L String-Schema-Aufspaltung Allgemeine Java-Themen 2
E String in Zahl umwandeln, ohne Befehl Integer.parseInt Allgemeine Java-Themen 3
L String splitten und multiplizeren Allgemeine Java-Themen 10
G String mit umbekannter länge splitten. Allgemeine Java-Themen 2
S Einzigartigen String in Datenbank finden und löschen Allgemeine Java-Themen 23
A Byte zu String Allgemeine Java-Themen 4
B Von String zu <Objekt> ||Speichern/Laden Allgemeine Java-Themen 17

Ähnliche Java Themen


Oben