Bitte um Unterstützung bei Datenbankdesign und Datenverarbeitung

[Judas]

Moin, Freunde des strukturierten Programmcodes.

Ich bräuchte einmal etwas Unterstützung für die folgende
Aufgabenstellung:

Gegeben seien mehrere Sensoren, die an verschiedenen geografischen
Standorten aufgestellt sind. Diese Sensoren zeichnen einmal pro
Stunde einen Messdatensatz auf - also 24 Datensätze pro Tag.
Jeder Messdatensatz enthält die folgenden Informationen:

Code: Alles auswählen

Messort                (25 Zeichen),
Datum                  (im Format yyyy-mm-dd hh:mm),
Temperatur             (nn),
Windgeschwindigkeit    (nnn),
rel. Luftfeuchtigkeit  (nnn) 
Wettersituation        (30 Zeichen),
Zusatzinformation      (0-250 Zeichen) .

Die Daten einer Stundenmessung werden in Form einer CSV-Datei
im Sensor selbst gespeichert und einmal in der Woche ausgelesen.

Die ausgelesenen Daten sollen von einem Lazarus-Programm weiter-
verabeitet werden. Dazu werden diese in eine Tabelle 'Messdaten'
mit der oben beschriebenen Struktur überführt.

Bis dahin funktioniert das Ganze auch bereits.

Allerdings habe ich in der Tabelle auch eine große Menge Redundanzen
vorliegen:

1. Beim Messort: Der steht bisher im Volltext in der Tabelle
2. Ebenso die Wettersituation. Diese Umfasst einen Kanon von
um die 30 verschiedenen Textinformationen - also z.B.
Tag - Regen, Tag - bedeckt, Nacht - Schnee, usw.

Gemäß dem relationalen Modell möchte ich diese Informationen in
zwei separate Tabellen auslagern. Also in dieser Form:

Code: Alles auswählen

Tabelle 'Messorte':

ID, Name

Tabelle 'Wetter'

ID, Wettersituation

Für mich stellt sich nun die Frage, auf welche Weise ich nun
den Einlesevorgang und das anschließende Abspeichern am elegantesten
konzipiere:

1. Möglichkeit: ich lese die Daten aus 'Messorte' und 'Wetter' vor
dem eigentlichen Einlesevorgang in eine geeignete Listenstruktur ein,
aus der ich dann anschließend die jeweils entsprechende ID für
den Eintrag in 'Messdaten' erhalte.

2. Ich halte die beiden Tabellen 'Messorte' und 'Wetter' während
des Einlesevorgangs geöffnet und erhalte die ID jedesmal mit mit
der passenden SQLquery.

Ich würde mich über eine Empfehlung dazu aus euren Reihen freuen.
Wohlgemerkt: ich erwarte hier nicht den fertigen Code. Lediglich
ein paar zielführende Sätze, die mich weiterbringen.

Vielen Dank an alle, die bis hierher gelesen haben.
Und viele Grüße.

[m.fuchs]

1 und 2.

Die Wetterinfos liest du einmal bei der Verarbeitung ein und hältst sie in einer Liste. Den Ort suchst du jedes Mal neu aus der DB, wenn du eine neue Datei einliest.

[Sieben]

Du kannst in einem Insert-Statement auch durchaus einen Select verwenden:

Code: Alles auswählen

INSERT INTO Messdaten (OrtID) SELECT ID FROM Messorte WHERE Name = :Name

[af0815]

Wennst du die ID gleich als IDWetter und IDMessorte bezeichnest wird es später für joins etc viel klarer was da gemeint ist und man macht weniger Fehler.

Die Datenmengen die du einliest sind ja sehr überschaubar. Da kann man es sich leisten die Daten für den Messort und Wettersituation vorweg aus der DB einzulesen und diese Informationen beim Parsen der Importdaten im Code gleich zu ersetzen. Warum bevorzuge ich das so, weil damit beim Parsen mehr Möglichkeit habe Fehler zu erkennen und darauf zu reagieren. Wenn Texte in IDs umgesetzt werden, kann es ja vorkommen, das zum Beispiel die Zeichensätze (warum auch immer) nicht zusammenstimmen und es vielleicht lokalsprachige Änderungen gibt auf die man reagieren/erkennen muss/kann.
So nebenbei, auch Zahlen können mit dem bekannten Punkt oder Komma Problem recht lustig werden und eine Herausforderung darstellen, wenn man nicht damit rechnet.

[charlytango]

ich hätte in diesem Fall 4 Tabellen

TMessorte
IDMessorte
Name

TWetter
IDWetter
Wettersituation

TMesswerte
IDMesswert
IDMessorte
IDWetter

TImport
IDImport
IDMessorte
IDWetter
Messort (25 Zeichen),
Datum (im Format yyyy-mm-dd hh:mm),
Temperatur (nn),
Windgeschwindigkeit (nnn),
rel. Luftfeuchtigkeit (nnn)
Wettersituation (30 Zeichen),
Zusatzinformation (0-250 Zeichen)

• Jeden Messdatensatz (also die 24 Records) würde ich einzeln in TImport einlesen. (24 sind leicht zu überblicken beim Debuggen). geht auch per SQL

• Danach nach der Empfehlung von @af0815 die importierten Daten (per Lazarus) validieren und ggfs korrigieren.

• Anschließend neu herein geholte Domaindaten (Messorte, Wetter) in TWetter, TMessorte aktualisieren und anschließend die neu generierten IDs in TImport eintragen,

• Danach die Timport Datensätze in TMesswerte INSERTen und in TImport die Records löschen.

Reihenfolge je nach Strategie halt unterschiedlich.
Das rumkopieren kannst du mit Lazarus-Code machen oder SQL verwenden. Für das aktuell halten der Domaindaten TMessorte und TWetter gibt es zb bei MariaDB/MySQL INSERT ON DUPLICATE KEY UPDATE das sich um bereits bestehende Daten kümmert.