Een LLM (large language model) is een neuraal netwerk dat is getraind op enorme tekstcorpora om taal te voorspellen en te genereren. ChatGPT, Claude, Mistral of Llama zijn allemaal gebaseerd op deze architectuur. Het beste halen uit deze modellen beperkt zich niet tot het stellen van een vraag in een chat: de formulering van de prompt, de keuze van het model en de manier waarop verschillende tools worden gecoördineerd, veranderen de kwaliteit van de verkregen antwoorden radicaal.
Contextvenster en gespreksgeheugen: de technische parameter om te beheersen
Het contextvenster verwijst naar de hoeveelheid tekst die een LLM in één keer kan verwerken, gemeten in tokens (woordfragmenten). Recente modellen accepteren steeds bredere vensters, sommige overschrijden een miljoen tokens. Deze race naar grote contexten verandert de manier van werken.
Met een breed venster wordt het mogelijk om een heel document (contract, rapport, kennisbank) in één gesprek te injecteren en er specifieke vragen over te stellen. Het antwoord wordt relevanter omdat het model over alle benodigde informatie beschikt zonder tussenliggende samenvattingen.
Twee beperkingen blijven bestaan. Ten eerste, hoe langer de context, hoe hoger de rekenkosten, en dus de prijs per aanvraag via API. Ten tweede hebben LLM’s de neiging om informatie die zich in het midden van een zeer lange tekst bevindt, minder goed te benutten. Het plaatsen van de meest relevante gegevens aan het begin of het einde van de prompt verbetert de kwaliteit van het antwoord aanzienlijk.
Voor meer informatie over de optimale inzet op Toujours Le Bon Choix worden verschillende strategieën voor het structureren van de context gedetailleerd beschreven, afhankelijk van de gebruiksgevallen.
Prompt engineering: een aanvraag structureren om een bruikbaar antwoord te krijgen
Prompt engineering is de discipline die bestaat uit het formuleren van instructies op een manier die de output van het model precies stuurt. Een vage prompt levert een generiek antwoord op. Een gestructureerde prompt levert een actieerbaar resultaat op.
Drie componenten van een effectieve prompt
- De rol: het toekennen van een identiteit aan het model (“Je bent een jurist gespecialiseerd in Frans arbeidsrecht”) bepaalt het taalregister, het detailniveau en de gebruikte referenties.
- Het outputformaat: aangeven of het antwoord in de vorm van een tabel, een opsomming, een samenvattende paragraaf of een codeblok moet zijn, voorkomt onnodige herformuleringen achteraf.
- De expliciete beperkingen: maximale lengte, taal, verbod op het citeren van niet-geverifieerde bronnen, verplichting om onzekerheden aan te geven. Elke beperking verkleint de ruimte voor mogelijke antwoorden en verhoogt de nauwkeurigheid.
Het aanpassen van de prompt aan de aard van de taak maakt een meetbaar verschil. Een prompt die bedoeld is om code te genereren, profiteert ervan om een voorbeeld van invoer en verwachte uitvoer op te nemen. Een prompt gericht op data-analyse werkt beter wanneer de gegevens in een tabelvorm direct in de tekst van de aanvraag worden gepresenteerd.
Multi-LLM orchestratie: waarom bedrijven meerdere modellen gebruiken
Een studie van Andreessen Horowitz onder 100 CIO’s in 2025 toont aan dat een toenemend aantal bedrijven vijf of meer modellen in productie gebruikt. De tijd van het enkele model is voorbij: multi-model orchestratie is een volwaardig ingenieursveld geworden.
Het principe is gebaseerd op een scheiding tussen twee lagen. Het controleplan beslist welk model moet worden aangeroepen, met welke parameters en in welke volgorde. Het dataplatform zorgt voor de traceerbaarheid van de prompts, de geïnjecteerde contexten en de outputs, voor audit en naleving.
Wanneer routeren naar welk model
Een compact en snel model is voldoende voor het classificeren van tickets of het sorteren van e-mails. Een krachtiger model neemt het over voor lange teksten, juridische analyses of meerstapsredeneringen. Deze dynamische routering stelt in staat om de inferentiekosten te verlagen zonder in te boeten op kwaliteit bij complexe taken.
LLM-agenten duwen deze logica verder. Een agent is een programma dat een LLM gebruikt als redeneermotor, maar ook externe tools kan aanroepen (webonderzoek, berekeningen, databases). De agent beslist zelf over de volgorde van acties die moeten worden uitgevoerd om een bepaalde taak op te lossen.
Europese regelgeving en waarborgen voor LLM in productie
De Europese AI Act stelt sinds augustus 2026 specifieke verplichtingen aan leveranciers van algemene AI-modellen (GPAI). Boetes kunnen aanzienlijk zijn bij niet-naleving. Elke onderneming die een LLM in Europa gebruikt, moet de naleving van haar leverancier controleren met deze nieuwe regels.
De verplichtingen omvatten de technische documentatie van het model, transparantie over de trainingsgegevens en respect voor auteursrechten. Voor modellen die als systeemrisico worden geclassificeerd, zijn veiligheidsbeoordelingen en adversariale tests vereist.
In de praktijk betekent dit dat de keuze voor een LLM niet langer alleen gebaseerd is op prestaties of prijs. De traceerbaarheid van gegevens, de mogelijkheid om de outputs te auditen en de locatie van de hosting worden belangrijke selectiecriteria, vooral voor gereguleerde sectoren (financiën, gezondheid, juridisch).
Evaluatie van antwoorden: test een LLM voordat je erop vertrouwt
Een model implementeren zonder evaluatiekader is als rijden zonder dashboard. Evaluatiekaders (LLM-evaluatie) maken het mogelijk om de betrouwbaarheid van een model op specifieke taken te meten voordat het in productie wordt genomen.
- Definieer een testset met vragen waarvan het juiste antwoord bekend is, en meet vervolgens het percentage correcte antwoorden van het model.
- Test de robuustheid door dezelfde vraag op verschillende manieren te herformuleren: een betrouwbaar model geeft consistente antwoorden, ongeacht de formulering.
- Beoordeel de hallucinaties door informatie over fictieve onderwerpen te vragen. Een goed gekalibreerd model geeft zijn onzekerheid aan in plaats van te verzinnen.
- Vergelijk verschillende modellen op dezelfde testset om de strategie voor multi-LLM-routering te voeden.
Deze evaluatiestap, vaak verwaarloosd door teams die snel willen implementeren, voorkomt kostbare fouten in productie en maakt het mogelijk om de keuze voor een model aan besluitvormers te rechtvaardigen.
Het landschap van LLM’s evolueert snel, met frequente updates en nieuwe modellen elk kwartaal. Een reproduceerbaar evaluatiekader maakt het mogelijk om automatisch opnieuw te testen bij elke nieuwe versie en te weten of een modelwijziging een echte verbetering oplevert of slechts een marketingeffect heeft.
