Deutsches Lazarusforum

Study ist also eigentlich dafür gedacht, verschiedene Modelle, Parameter-Settings, Quantisierungen und/oder Änderungen am Engine-Code objektiv miteinander zu vergleichen, indem dafür der Perplexity-Wert auf einem gegebenen Text berechnet wird. Es lädt eine Datei, tokenisiert sie, lässt das Modell ...

Fürs "Chatten" muss du die Instruct-Modell-Varianten verwenden, nicht die Basis-Modelle. Denn die Basis-Modelle sind nicht auf Dialoge trainiert, sondern auf reine Textgenerierung/Textfortsetzung. Daher liefern sie bei Chat-Anfragen auch keine guten Ergebnisse. Die Instruct-Modelle hingegen sind ...

PasLLM ist nun endlich veröffentlicht, eine LLM-Inference-Engine, die vollständig in Object Pascal geschrieben ist. PasLLM ermöglicht es, Modelle wie Llama 3.x, Qwen 2.5, Qwen 3, Phi-3, Mixtral, Gemma 1, DeepSeek R1 und andere lokal auszuführen, ohne Python oder externe Abhängigkeiten zur ...

Danke, Kralle, für die Aufstellung.

Benjamin's Vortrag zu PasLLM - die Version mit text-to-voice - hat er auch auf YouTube hochgeladen. Ich habe versucht es dort zu finden, hatte aber keinen Erfolg.

Kann jemand, der den Link hat, ihn hier teilen oder ist Benjamin auch ein Nutzer des Forums ...

Da würde ich ungefähr grob eine Stunde schätzen, 30 Minuten Präsentation, 30 Minuten parallel Vorführung und gleichzeitig Fragen.

Ich möchte eine kleine Vorankündigung machen. Ich werde wahrscheinlich am Sonntag auf der Pascal Konferenz in Sundern-Hagen ein Vortrag über mein Projekt PALM halten, was eine LLM-Interfernce-Engine in Pascal ist. Es umfasst auch eine GUI, die es erlaubt, mit einem LLM zu chatten. Das ganze Projekt ...