Un LLM (large language model) è una rete neurale addestrata su corpus massivi di testo per prevedere e generare linguaggio. ChatGPT, Claude, Mistral o Llama si basano tutti su questa architettura. Sfruttare al meglio questi modelli non si limita a porre una domanda in una chat: la formulazione del prompt, la scelta del modello e il modo di orchestrare più strumenti cambiano radicalmente la qualità delle risposte ottenute.
Finestra di contesto e memoria di conversazione: il parametro tecnico da padroneggiare
La finestra di contesto indica la quantità di testo che un LLM può elaborare in una sola volta, misurata in token (frammenti di parole). I modelli recenti accettano finestre sempre più ampie, alcuni superando il milione di token. Questa corsa ai grandi contesti modifica il modo di lavorare.
Con una finestra ampia, diventa possibile iniettare un documento intero (contratto, rapporto, base di conoscenze) in una sola conversazione e porre domande precise su di esso. La risposta guadagna in pertinenza perché il modello dispone di tutte le informazioni necessarie senza riassunti intermedi.
Due limiti persistono. Innanzitutto, più lungo è il contesto, maggiore è il costo di calcolo, e quindi il prezzo per richiesta tramite API. In secondo luogo, gli LLM tendono a sfruttare meno bene le informazioni situate nel mezzo di un testo molto lungo. Posizionare i dati più pertinenti all’inizio o alla fine del prompt migliora sensibilmente la qualità della risposta.
Per approfondire l’utilizzo ottimale su Toujours Le Bon Choix, vengono dettagliate diverse strategie di strutturazione del contesto in base ai casi d’uso comuni.
Prompt engineering: strutturare una richiesta per ottenere una risposta utilizzabile
Il prompt engineering è la disciplina che consiste nel formulare le proprie istruzioni in modo da orientare precisamente l’uscita del modello. Un prompt vago produce una risposta generica. Un prompt strutturato produce un risultato azionabile.
Tre componenti di un prompt efficace
- Il ruolo: attribuire un’identità al modello (“Sei un giurista specializzato in diritto del lavoro francese”) inquadra il registro di lingua, il livello di dettaglio e i riferimenti mobilitati.
- Il formato di uscita: specificare se la risposta deve assumere la forma di una tabella, di un elenco puntato, di un paragrafo di sintesi o di un blocco di codice evita riformulazioni inutili successivamente.
- Le vincoli espliciti: lunghezza massima, lingua, divieto di citare fonti non verificate, obbligo di segnalare le incertezze. Ogni vincolo riduce lo spazio delle risposte possibili e aumenta la precisione.
Adattare il prompt alla natura del compito fa una differenza misurabile. Un prompt destinato a generare codice guadagna a includere un esempio di input e output attesi. Un prompt orientato all’analisi dei dati funziona meglio quando i dati sono presentati in un formato tabellare direttamente nel testo della richiesta.
Orchestrazione multi-LLM: perché le aziende utilizzano più modelli
Uno studio di Andreessen Horowitz condotto su 100 CIO nel 2025 mostra che una proporzione crescente di aziende sfrutta cinque modelli o più in produzione. L’epoca del modello unico è finita: l’orchestrazione multi-modelli è diventata un campo di ingegneria a sé stante.
Il principio si basa su una separazione tra due livelli. Il piano di controllo decide quale modello chiamare, con quali parametri e in quale ordine. Il piano dati assicura la tracciabilità dei prompt, dei contesti iniettati e delle uscite, per audit e conformità.
Quando instradare verso quale modello
Un modello compatto e veloce è sufficiente per la classificazione dei ticket o il filtraggio delle email. Un modello più potente subentra per la scrittura lunga, l’analisi legale o il ragionamento multi-step. Questo routing dinamico consente di ridurre i costi di inferenza senza sacrificare la qualità nei compiti complessi.
Gli agenti LLM portano questa logica oltre. Un agente è un programma che utilizza un LLM come motore di ragionamento, ma che può anche chiamare strumenti esterni (ricerca web, calcolo, database). L’agente decide autonomamente la sequenza di azioni da eseguire per risolvere un compito specifico.
Regolamentazione europea e salvaguardie per gli LLM in produzione
Il AI Act europeo impone da agosto 2026 obblighi specifici ai fornitori di modelli di IA a uso generale (GPAI). Le multe possono raggiungere importi significativi per non conformità. Tutte le aziende che utilizzano un LLM in Europa devono verificare la conformità del proprio fornitore con queste nuove regole.
Gli obblighi coprono la documentazione tecnica del modello, la trasparenza sui dati di addestramento e il rispetto del diritto d’autore. Per i modelli classificati a rischio sistemico, sono richieste valutazioni di sicurezza e test avversari.
In pratica, ciò significa che la scelta di un LLM non si basa più solo sulle prestazioni o sul prezzo. La tracciabilità dei dati, la possibilità di auditare le uscite e la localizzazione dell’hosting diventano criteri di selezione a pieno titolo, in particolare per i settori regolamentati (finanza, salute, legale).
Valutazione delle risposte: testare un LLM prima di fidarsi
Distribuire un modello senza un quadro di valutazione equivale a pilotare senza cruscotto. I framework di valutazione (LLM evaluation) consentono di misurare l’affidabilità di un modello su compiti specifici prima della messa in produzione.
- Definire un set di test con domande di cui si conosce la risposta corretta, quindi misurare il tasso di risposte corrette del modello.
- Testare la robustezza riformulando la stessa domanda in diversi modi: un modello affidabile fornisce risposte coerenti indipendentemente dalla formulazione.
- Valutare le allucinazioni chiedendo informazioni su argomenti fittizi. Un modello ben calibrato segnala la propria incertezza invece di inventare.
- Confrontare più modelli sullo stesso set di test per alimentare la strategia di routing multi-LLM.
Questo passaggio di valutazione, spesso trascurato dai team frettolosi di distribuire, evita errori costosi in produzione e consente di giustificare la scelta di un modello presso i decisori.
Il panorama degli LLM evolve rapidamente, con aggiornamenti frequenti e nuovi modelli ogni trimestre. Un quadro di valutazione ripetibile consente di ritestare automaticamente a ogni nuova versione e di sapere se un cambiamento di modello porta a un guadagno reale o solo a un effetto annuncio.
