Textdateien zeilenweise einlesen

[Dets]

Hi,
ich möchte Textdateien zeilenweise einlesen, ohne sie dazu komplett in den Speicher laden zu müssen (als TStringList). Dabei möchte ich aber wissen, welchen Fortschritt das Einlesen macht.

Unter Delphi habe ich das mit AssignFile, ReadLn und FilePos für TextFiles gemacht, aber Lazarus kennt kein FilePos für TextFiles.

Muss ich nun doch den Weg über eine StringList gehen, sollte ich besser einen Stream zeichenweise einlesen um daraus die Zeilen zusammenzubasteln oder gibt es noch eine elegantere Möglichkeit?

thx, Dets ...

[pluto]

Wenn ich dich richtig verstehe Zeit FilePos nur eine Position Angabe.

Wie list du denn Zeilweise ein ? in einer While schleife ?
Wenn ja, könntest du einfach eine Integer Variable hochzählen bei jeder neuen Zeile.

Ich hoffe du kannst mir folgen......

[Dets]

Wenn ich dich richtig verstehe Zeit FilePos nur eine Position Angabe.

FilePos zeigt die bereits gelesen Bytes - wenn es diese Funktion in Lazarus für TextFiles gäbe!

Wie list du denn Zeilweise ein ? in einer While schleife ?
Wenn ja, könntest du einfach eine Integer Variable hochzählen bei jeder neuen Zeile.

Das Einlesen geht mit

Code: Alles auswählen

repeat ... until EOF(f)

Ich könnte die Zeilen mitzählen, aber ich weiß ja nicht, wieviele Zeilen insgesamt vorhanden sind - also weiß ich nicht, wann die Verarbeitung abgeschlossen sein wird.

thx, Dets ...

[pluto]

doch das weis du: Meines wissen gibt ReadLn doch die gelesen Byte zurück richtig ?
Wenn ja, dann müsstest du nur noch prüfen ob ein Zeilenumbruch Zeichen drin, wenn ja nächste Zeile....

Nebenbei bemerkt: Du weiß doch so oder so wo er gerade ist, bei welcher Zeile oder ?
Also müsstest du es selbst einbauen.

[Euklid]

Ja genau:

Du kannst die Dateien per AssignFile und anschließendem reset öffnen, um sie danach mit dem Befehl readln zeilenweise auszulesen.

Schau mal in der FPC-Dokumentation nach den Begriffen, hier müssten meines Wissens ein paar Beispiele sein.

Gruß, Euklid


EDIT:
Mit FPC-Dokumentation meine ich folgende Datei:
ftp://ftp.freepascal.org/pub/fpc/docs-pdf/rtl.pdf" onclick="window.open(this.href);return false;

Hier sind die genannten Begriffe erklärt und mit Beispielen untermauert.

[_Bernd]

Unter Delphi habe ich das mit AssignFile, ReadLn und FilePos für TextFiles gemacht, aber Lazarus kennt kein FilePos für TextFiles.

Zumindest mit Delphi 5 ging das auch nicht. Habe gerade nochmal in der Hilfe nachgeschaut.

Du könntest aber folgendes machen:

Code: Alles auswählen

procedure TForm1.Button1Click(Sender: TObject);
var
   t: System.Text;
   f: File;
   s: String;
   iFileSize: Integer;
   iReadBytes: Integer;
begin
   System.Assign(f, Edit1.Text);
   System.Reset(f, 1);
   iFileSize:= FileSize(f);
   System.Close(f);
   System.Assign(t, Edit1.Text);
   System.Reset(t);
   iReadBytes:= 0;
   while not EOF(t) do begin
      System.Readln(t, s);
      iReadBytes:= iReadBytes + System.Length(s) + 2; // zumindest bei Windows Text-Dateien
      ProgressBar1.Position:= (100 * iReadBytes) div iFileSize;
      Application.ProcessMessages;
   end;
   System.Close(t);
end;

Gruß, Bernd.

[_Bernd]

Code: Alles auswählen

procedure TForm1.Button1Click(Sender: TObject);
var
   t: System.Text;
   f: File;
   s: String;
   iFileSize: Integer;
   iReadBytes: Integer;
   iTextLineBreakSize: Integer;
begin
   System.Assign(f, Edit1.Text);
   System.Reset(f, 1);
   iFileSize:= FileSize(f);
   System.Close(f);
   System.Assign(t, Edit1.Text);
   System.Reset(t);
   iReadBytes:= 0;
   if DefaultTextLineBreakStyle = tlbsCRLF then
      iTextLineBreakSize:= 2
   else
      iTextLineBreakSize:= 1;
   while not EOF(t) do begin
      System.Readln(t, s);
      iReadBytes:= iReadBytes + System.Length(s) + iTextLineBreakSize;
      ProgressBar1.Position:= (100 * iReadBytes) div iFileSize;
      Application.ProcessMessages;
   end;
   System.Close(t);
end;

müßte sogar Crossplattform-konform sein

Gruß, Bernd.

[mschnell]

ich möchte Textdateien zeilenweise einlesen, ohne sie dazu komplett in den Speicher laden zu müssen

readln macht das "out of the box", ist aber nicht up to date (objektorientiert).

Ich weiß nicht, ob es so as schon gibt, sonnst könntest Du dich im "Open Pascal Source"Bereich verdient machen.

Ein Objekt, das von TStrings abgeleitet ist und damit ein User-Interface ähnlich wie TStringList hat und Datei-Basiert arbeitet (zunächst wohl erst 'mal read-only).

Ich stelle mir vor, dass es mit einem TFileStream und einem cache-ähnlichem Puffer von einigern K Größe auf eine Datei zugreift und sich beim Einlesen (nicht schon beim create) eine Liste der Positionen der Zeilenumbrüche aufbaut. Lesen ist dann leicht zu machen. Auch "add" geht easy. Schreiben an eine bestimmte String-Position ist aufwändiger, da bei unterschiedlicher Länge die Datei umgeschichtet werden muss.

-Michael

[pluto]

genau sowas habe ich angefangen:
Ich habe eine eigene TStringList abgeleitet und alle notwendigen Methoden Überschrieben.
Dabei war das Ziel, das bei jedem lesen und schreiben von einem Eintrag ein Event ausgelöst wird. So sparst du Zeit.

Ich meine ich habe das so Geschrieben, das ich Windows und Linux Text Dateien laden konnte.
Wobei Speicher auch schon ging.


edit01: ich habe es mir eben noch einmal angeschaut, das ganze basiert auf TFileStream und das mit dem Event müsste noch eingebaut werden. Dürfte aber nicht schwer werden.

[Dets]

Danke euch allen. Bernd's Vorschlag ist der naheliegendste: einfach die Länge der von ReadLn zurückgelieferten Strings inklusive Zeilenende addieren. Ich weiß nicht, warum ich nicht selbst drauf gekommen bin

@Michael: Da ich sehr oft große Dateien einzulesen habe, habe ich mir einfache Klassen geschrieben, die Dateien zeilen- bzw. blockweise einlesen und entsprechende Events erzeugen.
Falls du/ihr mal einen Blick drauf werfen wollt ...

Dets ...

[pluto]

Es währe halt schön, wenn deine Klasse auch von TStrings abgeleitet würde, dann könnten wir sie z.b. bei TIniFile einsetzten oder anderen Klassen die ein TStrings Variante brauchen.....

Es ist auch (fast) keinen Aufwand.......

[mschnell]

Es ist auch (fast) keinen Aufwand.......

Doch !!!
Überleg 'mal, was bei großen Dateien passiert ! (Kleine behandelt man eh besser mit TStringList.ReadFromFile.)

Bei Read klasse.string muss man entweder alle Zeilen vorher lesen, oder eine Art Cache und/oder Merker für die Zeilenumbrüche verwalten.

Wenn man die klasse verwendet:

Code: Alles auswählen

for i := 100000 to 100010 do begin
  memo1.add(klasse[i];
end;

dann ist die Methode ohne Cache/Merker wahnsinnig uneffektiv.

Und einen Cache und Merker zu programmieren ist schon eine ganze Menge Programmier-. und Test-Aufwand (aber eigentlich eine lohnende Aufgabe).

Beim Scheriben ist klasse.add kein Aufwand, aber klasse.strings := string ist heftig. Man kann natürlich direkt in der Datei rumwühlen und alle Bytes hinter der aktuellen Zeile verschieben. Das ist aber wahnsinnig uneffektiv. Ansonsten muss man den Cache und die (vermutlich eine TStringList) Datei asynchron verwalten und erst bei klasse.free und wenn der Cache zu groß wird die Datei umspeichern.

-Michael

[theo]

Und einen Cache und Merker zu programmieren ist schon eine ganze Menge Programmier-. und Test-Aufwand (aber eigentlich eine lohnende Aufgabe).

Keine schlechte Idee. Und wer macht die TFileStringList? Freiwillige vor!

Beim Scheriben ist klasse.add kein Aufwand, aber klasse.strings := string ist heftig. Man kann natürlich direkt in der Datei rumwühlen und alle Bytes hinter der aktuellen Zeile verschieben. Das ist aber wahnsinnig uneffektiv. Ansonsten muss man den Cache und die (vermutlich eine TStringList) Datei asynchron verwalten und erst bei klasse.free und wenn der Cache zu groß wird die Datei umspeichern.

Das sehe ich nicht ganz so. Gerade bei Riesenfiles (z.B. Logfiles) wird man sowieso meistens "adden". Insert und Delete dürften eher selten sein, und irgendwann muss man die sowieso ins File schreiben, also warum nicht gleich dann wenn's passiert?

[pluto]

Ich verstehe nicht das Problem: Es ging doch nur darum eine TStringList Variante zu haben die ein Ereignis beim Lesen und schreiben auslöst.

Und das ist wirklich kein Problem. Wobei ich habe im Soruce Code Gesehen, das eine Text Datei wie ein Stream geladen wird. So mache ich das bei mir auch im Moment. Das müsste ich natürlich anpassen.

Dann könnte noch ein Verschlüsslung und Komprimierung Funktionen eingebaut werden.

Es ging doch nicht darum wie man Große Dateien gut auslesen und schreiben kann. Das ist natürlich schon ein großer Aufwand. Ich habe da eine tolle Idee, evlt. setzte ich sie mal um, aber ich weiß noch nicht genau wann, erst muss ich noch einige Fragen klären.

@Theo und mschnell wie stellt ihr euch die TFileStringList? vor ?

[Christian]

Nein es ging darum eine Stringlist zu haben die effizient in Dateien arbeitet und diese nicht einfach laden und speichern kann.