1 Mio. Strings zerlegen, speichern, indexieren, zählen

[turbo]

Moin,

ich werde mich nicht auf die Suche nach einer gut dokumentierten Memory Maped Files Lösung für Windows und Linux machen. Mein Ansatz ist, den Rechner mit ausreichend RAM auszustatten. Der aktuelle Rechner hat 24 GB RAM. Ein weiterer mit 64 GB ist in Planung. Das muss reichen.

[MAC]

Wenn jeder String, von anfang an 255 groß ist (wieso du auch immer eine feste größe zuweisen willst...)
dann würden sich die Daten, an sich 256 Byte * 1 Mio = 256000000 Bit = 256000 kB = 2560 MB = 2,56 GB.
Wenn du jetzt nicht 22 GB brauchst um das zu strukturieren, dann sollte das kein Problem sein...

[turbo]

Wenn jeder String, von anfang an 255 groß ist (wieso du auch immer eine feste größe zuweisen willst...)
dann würden sich die Daten, an sich 256 Byte * 1 Mio = 256000000 Bit = 256000 kB = 2560 MB = 2,56 GB.
Wenn du jetzt nicht 22 GB brauchst um das zu strukturieren, dann sollte das kein Problem sein...

das war anders gemeint
zu zerlegen ist der String: 'abcd'
das ergibt 'abc', 'bcd' und 'abcd'

Das ergibt deutlich mehr als 2,56 GB. Das lässt sich schwer ausrechnen, weil die Länge der Strings nicht bekannt ist und es Wiederholungen gibt.