RAM verbrauchsproblem Postgresql+ZEOS

[wp_xyz]

Welche Datei nimmst du denn, bei der der Speicherbedarf in die GB hoch geht?

[Dragon]

ok ja jetzt wird der speicher wieder freigegeben.

wp_xyz: auch eine normale textdatei ca 25MB die kann ich aber icht verlinken^^ weil privat.

[wp_xyz]

Nachdem ich das Commit aus der Schleife genommen habe und nur noch nach der Schleife ausführe wird die Tabelle in 0.4 s geschrieben (gegenüber 8 s vorher). Mein Code entspricht dem von af0815 geposteten, halt bis auf das entferne Commit.

Leider weiß ich momentan nicht so recht, wie ich unter Windows den Speicherverlauf messen soll...

[wp_xyz]

wp_xyz: auch eine normale textdatei ca 25MB die kann ich aber icht verlinken^^ weil privat.

Wo soll ich jetzt eine 25 MB Text-Datei herkriegen?

[Dragon]

wp_xyz du könntest heaptrace manuell aufrufen und in ein log schreiben

Edit:
http://www.gutenberg.org/cache/epub/3200/pg3200.txt
die sollte ca 25MB haben

[af0815]

Hier die Datei, die Testdaten findet man ein paar Seiten vorher beschrieben (Am ende eines Artikel).

Edit:
Das ist übrigens mein Testfile
http://www.gutenberg.org/cache/epub/910/pg910.txt

Edit: bei dem 3200.txt File gibt die StringReplace scheinbar auf, die dauert ewig - nach ca. 7 Minuten abgebrochen (und das ist kein schwachbrüstiger Rechner).

[Dragon]

übr die testfiledateien sind nicht meine die hab ich nur mal zufällig gefunden

mein rechner ist auch schwach ^^ . deshalb ist mir speed und ram verbrauch auch so wichtig, und aus neugier wo die fehler liegen natürlich.

[wp_xyz]

Die Datei werde ich gleich probieren. Ich habe mir inzwischen eine 30 MB Datei mit 2 Millionen zufälligen Strings geschrieben. Diese wird in 78 sec eingelesen, Speicherzuwachs sehe ich im Taskmanager kaum, commit nur am Ende, Mit Commit alle 200.000 Wörter dauerts 180 sec, der Speicherverlauf erscheint mir etwas flacher (aber eh kaum zu erkennen).

[EDIT]
Die 3200er Datei ist nach 11 sek fertig, Speicherzuwachs marginal. Das StringReplace des gesamten Strings (auch bei mir ein Hänger) habe ich rausgenommen und in die Schleife verlagert, wo es auf die einzelnen Wörter angewendet wird, das sollte doch auch richtig sein, oder?

Anbei auch ein Screenshot des Taskmanagers. Die Phase, während der die 3200er Datei gelesen wurde, ist gekennzeichnet

[Dragon]

ja ist auch richtig ich habe das replace nur um die befehlszeichen von sqlite rauszufiltern

[wp_xyz]

Welche Befehlszeichen? Es werden doch nur die Wörter aus dem Text in die SQL-Anweisung eingesetzt, sqlite hat diese noch gar nicht gesehen.

[Dragon]

ja aber ' mag er nicht im text jedenfalls vorher was bei englischen texten ja durchaus mal öfters kommt^^ . Da das durch die antiinjektion sachen die ihr im code geändert habt wrsl nicht mehr notwendig ist kann ich das entfernen.

[wp_xyz]

Nachdem wir jetzt mit Parametern arbeiten, ist das egal - das wird beim Ersetzen des Parameters automatisch richtig gemacht.

[af0815]

Wenn man es noch schneller, aber unsicher haben will,

Code: Alles auswählen

SQLite3Connection1.ExecuteDirect('PRAGMA synchronous = OFF;')

Bei sqlite kann man nachlesen was man damit alles deaktiviert

[Dragon]

danke für eure ganze zeit läuft jetzt alles

[marcov]

Regelmäßig Transaction committen.