Hallo,
ich habe ein Packages für Lazarus erstellt.
Dieses Package ermöglicht die einfache Integration von KI-Diensten in eigene Lazarus/FPC-Programme.
Mein Ziel war in erster Linie, möglichst schnell und einfach, lokale KI Modelle mit LM Studio in mein Programm einzufügen. Mein Fokus war dabei, einfache Anfragen an das KI Modell zu stellen und zu verarbeiten.
Neben lokalen Modellen, kann man aber auch externe Modelle verwenden. Ich habe verschiedene Provider als Vorauswahl eingefügt. Konnte aber nicht alles testen, weil ich nicht alle Provider habe. Währenddessen sind dann noch weitere Features dazu gekommen.
Das Package ist sicherlich nicht fehlerfrei und vollständig. Aber für einfache Anwendungen und meinen Zwecken sollte es gut funktionieren.
Prinzipiell im Objektinspektor einfach Provider auswählen, evtl. BaseUrl und EndpointPath anpassen, ApiKey einfügen (lokal natürlich nicht).
Eine ausführliche liesmich Datei mit Beispielen ist dabei. Ebenso eine Beispielanwendung.
Für Windows werden noch benötigt
- libssl-3-x64.dll (oder libssl-1_1-x64.dll)
- libcrypto-3-x64.dll (oder libcrypto-1_1-x64.dll)
Und evtl. eine Anpassung des Trennzeichen in der .lpk (siehe liesmich.txt)
Ansonsten viel Spaß mit dem Packages. Wer Feedback hat, Fehler fixt, weiterentwickelt, Fragen oder Anregungen hat, gerne her damit.
Aktuelle Version 1.3 vom 31.07.2026 getestet mit Lazarus 4.8:
https://app.filen.io/#/d/2aa24fed-f575- ... 705a76744a
Grüße
epcop
KI Packages, Integration KI Dienste
-
af0815
- Lazarusforum e. V.
- Beiträge: 7436
- Registriert: So 7. Jan 2007, 10:20
- OS, Lazarus, FPC: FPC fixes Lazarus fixes per fpcupdeluxe (win,linux,raspi)
- CPU-Target: 32Bit (64Bit)
- Wohnort: Burgenland
- Kontaktdaten:
Re: KI Packages, Integration KI Dienste
Ich nehme an, Windows only.
Blöd kann man ruhig sein, nur zu Helfen muss man sich wissen (oder nachsehen in LazInfos/LazSnippets).
Re: KI Packages, Integration KI Dienste
Nein. Beides.
Entwickelt unter Linux (ssl sollte standardmäßig dabei sein, aber falls nicht, in der liesmich steht wie man es schnell nachinstalliert.).
Windows ist ungetestet, sollte aber trotzdem funktionieren (die dll für ssl müssen noch hinzugefügt werden, die habe ich nicht dabei. Können aber im Netz gefunden werden).
Entwickelt unter Linux (ssl sollte standardmäßig dabei sein, aber falls nicht, in der liesmich steht wie man es schnell nachinstalliert.).
Windows ist ungetestet, sollte aber trotzdem funktionieren (die dll für ssl müssen noch hinzugefügt werden, die habe ich nicht dabei. Können aber im Netz gefunden werden).
Re: KI Packages, Integration KI Dienste
Hallo Epcop,
danke fürs Teilen, genau so etwas hatte ich gesucht. Ich bastle gerade an einem kleinen Tool, das Fehlermeldungen aus Logdateien zusammenfasst, und wollte dafür ungern die komplette HTTP-Anbindung selbst schreiben.
Läuft bei mir unter Linux mit LM Studio ohne Probleme, nur die Antwortzeiten bei größeren Prompts sind mit einem lokalen 7B-Modell natürlich zäh. Hast du das Package mal mit Streaming-Antworten getestet, oder kommt die Antwort immer erst komplett am Ende?
Was mich beim Thema Provider ehrlich gesagt am meisten Zeit gekostet hat, war weniger der Code als die Auswahl: Welcher Dienst taugt für welchen Zweck, wie sind Preise und Limits, was läuft lokal. Ich hatte mir dafür eine Übersicht der gängigen Chat-KI-Dienste angeschaut, um überhaupt zu wissen, welche API ich zuerst anbinden will. Insofern ist deine Provider-Vorauswahl schon eine echte Erleichterung.
Wenn ich unter Windows dazu komme, melde ich mich mit Ergebnissen zu den SSL-DLLs.
Viele Grüße
Lukas
danke fürs Teilen, genau so etwas hatte ich gesucht. Ich bastle gerade an einem kleinen Tool, das Fehlermeldungen aus Logdateien zusammenfasst, und wollte dafür ungern die komplette HTTP-Anbindung selbst schreiben.
Läuft bei mir unter Linux mit LM Studio ohne Probleme, nur die Antwortzeiten bei größeren Prompts sind mit einem lokalen 7B-Modell natürlich zäh. Hast du das Package mal mit Streaming-Antworten getestet, oder kommt die Antwort immer erst komplett am Ende?
Was mich beim Thema Provider ehrlich gesagt am meisten Zeit gekostet hat, war weniger der Code als die Auswahl: Welcher Dienst taugt für welchen Zweck, wie sind Preise und Limits, was läuft lokal. Ich hatte mir dafür eine Übersicht der gängigen Chat-KI-Dienste angeschaut, um überhaupt zu wissen, welche API ich zuerst anbinden will. Insofern ist deine Provider-Vorauswahl schon eine echte Erleichterung.
Wenn ich unter Windows dazu komme, melde ich mich mit Ergebnissen zu den SSL-DLLs.
Viele Grüße
Lukas
Re: KI Packages, Integration KI Dienste
Hallo Lukas,
ich habe inzwischen ein Update gemacht. Ich lade es später hoch. Es gab noch ein paar kleinere und schwerwiegendere Fixes.
"Läuft bei mir unter Linux mit LM Studio ohne Probleme, nur die Antwortzeiten bei größeren Prompts sind mit einem lokalen 7B-Modell natürlich zäh. Hast du das Package mal mit Streaming-Antworten getestet, oder kommt die Antwort immer erst komplett am Ende?"
Danke für das Feedback! Streaming (StreamingEnabled) sollte schon möglich. Ich teste es gerne nochmal.
Wenn die Antworten besonders lange dauern (>30min o.ä.) zusätzlich noch KeepAlive aktivieren.
Wieviel VRam hast du? Welches lokale Modell nutzt du? (Funktioniert das KI Modell Lfm 2.5 für deine Zwecke? Das läuft rasent schnell. Im Vergleich zu Gemma und Qwen, allerdings weniger Intelligent.)
"Ich bastle gerade an einem kleinen Tool, das Fehlermeldungen aus Logdateien zusammenfasst"
Poste doch mal deine Erfahrung damit. Das würde mich sehr interessieren, ob lokale Modelle das hinbekommen. Bei Logdateien muss man wahrscheinlich auf die Kontextlänge achten. Evtl. ist es auch sinnvoll, Logdateien zu splitten?!
"Was mich beim Thema Provider ehrlich gesagt am meisten Zeit gekostet hat, war weniger der Code als die Auswahl: Welcher Dienst taugt für welchen Zweck, wie sind Preise und Limits, was läuft lokal. Ich hatte mir dafür eine Übersicht der gängigen Chat-KI-Dienste angeschaut, um überhaupt zu wissen, welche API ich zuerst anbinden will. Insofern ist deine Provider-Vorauswahl schon eine echte Erleichterung."
Absolut, geht mir genauso. Ich beschränke mich inzwischen nur auf wenige, weil ich nicht mehr durchblicke. Und eine kostenfrage ist das ja auch noch. Es ist unüberschaubar geworden. Und es kommt auch noch dazu, dass jeder Dienst auch andere Antworten liefert. Man muss jeden Provider einzeln anschauen. Getestet habe ich nur ein paar. Ansonsten sollte in den meisten Fällen OpenAI Kompatible funktionieren.
Preise und Limits ändern sich ja auch ständig.
Was mir aufgefallen ist (OpenRouter): Die kostenlosen oder extrem günstigen Modelle liefern gerne auch mal gar keine Antworten u.ä. Das liegt aber nicht am Packages, sondern der Provider macht da Probleme. Im Beispiel Openrouter, der ist ja auch nur eine Schnittstelle. Bei den kostenlosen ist man endweder selbst schnell am Limit, oder ist dort einfach Überlastet o.ä.
Grüße,
Epcop
ich habe inzwischen ein Update gemacht. Ich lade es später hoch. Es gab noch ein paar kleinere und schwerwiegendere Fixes.
"Läuft bei mir unter Linux mit LM Studio ohne Probleme, nur die Antwortzeiten bei größeren Prompts sind mit einem lokalen 7B-Modell natürlich zäh. Hast du das Package mal mit Streaming-Antworten getestet, oder kommt die Antwort immer erst komplett am Ende?"
Danke für das Feedback! Streaming (StreamingEnabled) sollte schon möglich. Ich teste es gerne nochmal.
Wenn die Antworten besonders lange dauern (>30min o.ä.) zusätzlich noch KeepAlive aktivieren.
Wieviel VRam hast du? Welches lokale Modell nutzt du? (Funktioniert das KI Modell Lfm 2.5 für deine Zwecke? Das läuft rasent schnell. Im Vergleich zu Gemma und Qwen, allerdings weniger Intelligent.)
"Ich bastle gerade an einem kleinen Tool, das Fehlermeldungen aus Logdateien zusammenfasst"
Poste doch mal deine Erfahrung damit. Das würde mich sehr interessieren, ob lokale Modelle das hinbekommen. Bei Logdateien muss man wahrscheinlich auf die Kontextlänge achten. Evtl. ist es auch sinnvoll, Logdateien zu splitten?!
"Was mich beim Thema Provider ehrlich gesagt am meisten Zeit gekostet hat, war weniger der Code als die Auswahl: Welcher Dienst taugt für welchen Zweck, wie sind Preise und Limits, was läuft lokal. Ich hatte mir dafür eine Übersicht der gängigen Chat-KI-Dienste angeschaut, um überhaupt zu wissen, welche API ich zuerst anbinden will. Insofern ist deine Provider-Vorauswahl schon eine echte Erleichterung."
Absolut, geht mir genauso. Ich beschränke mich inzwischen nur auf wenige, weil ich nicht mehr durchblicke. Und eine kostenfrage ist das ja auch noch. Es ist unüberschaubar geworden. Und es kommt auch noch dazu, dass jeder Dienst auch andere Antworten liefert. Man muss jeden Provider einzeln anschauen. Getestet habe ich nur ein paar. Ansonsten sollte in den meisten Fällen OpenAI Kompatible funktionieren.
Preise und Limits ändern sich ja auch ständig.
Was mir aufgefallen ist (OpenRouter): Die kostenlosen oder extrem günstigen Modelle liefern gerne auch mal gar keine Antworten u.ä. Das liegt aber nicht am Packages, sondern der Provider macht da Probleme. Im Beispiel Openrouter, der ist ja auch nur eine Schnittstelle. Bei den kostenlosen ist man endweder selbst schnell am Limit, oder ist dort einfach Überlastet o.ä.
Grüße,
Epcop
Verein
Links
Suche