LLM Framework is een open-source omgeving voor lokale taalmodellen. Het helpt je werk te organiseren in afzonderlijke werkruimtes, zodat instructies, documenten, code, geheugen en gesprekken niet onbedoeld door elkaar lopen.
Waarom dit framework bestaat
Een lokaal model is pas echt bruikbaar wanneer je er meer mee kunt doen dan één algemeen chatvenster openen. Dit project voegt structuur, lokale zoekfuncties en zichtbare grenzen toe rond het model dat je zelf kiest via Ollama.
Wat al werkt
Afzonderlijke werkruimtes
Domeinen en subdomeinen houden prompts, documenten, geheugen, gesprekken en rechten binnen de gekozen context.
Lokale kennis
Documenten en alleen-lezen snapshots van repositories kunnen lokaal worden doorzocht met verwijzingen naar de gevonden bron.
Meetbare instellingen
De modeloptimalisatie vergelijkt contextinstellingen en toont de afwegingen voordat een wijziging wordt toegepast.
Ontworpen om lokaal te draaien
Docker Compose start de applicatie, PostgreSQL met pgvector en Ollama op het eigen apparaat. Je kiest zelf het model en houdt de werkomgeving onder eigen beheer.
Huidige grens: het project is actief in ontwikkeling en nog niet versterkt voor meerdere gebruikers of directe openbare internettoegang.