Un LLM (modelo de lenguaje grande) es una red neuronal entrenada en corpus masivos de texto para predecir y generar lenguaje. ChatGPT, Claude, Mistral o Llama se basan todos en esta arquitectura. Sacar el máximo provecho de estos modelos no se limita a hacer una pregunta en un chat: la formulación del prompt, la elección del modelo y la forma de orquestar varias herramientas cambian radicalmente la calidad de las respuestas obtenidas.
Ventana de contexto y memoria de conversación: el parámetro técnico a dominar
La ventana de contexto se refiere a la cantidad de texto que un LLM puede procesar de una sola vez, medida en tokens (fragmentos de palabras). Los modelos recientes aceptan ventanas cada vez más amplias, algunos superando el millón de tokens. Esta carrera por grandes contextos modifica la forma de trabajar.
Con una ventana amplia, se vuelve posible inyectar un documento completo (contrato, informe, base de conocimientos) en una sola conversación y hacer preguntas específicas sobre él. La respuesta gana en relevancia porque el modelo dispone de toda la información necesaria sin un resumen intermedio.
Persisten dos límites. Primero, cuanto más largo es el contexto, mayor es el costo de cálculo, y por lo tanto el precio por consulta a través de la API. Luego, los LLM tienden a explotar menos bien la información situada en medio de un texto muy largo. Colocar los datos más relevantes al principio o al final del prompt mejora notablemente la calidad de la respuesta.
Para profundizar en el uso óptimo en Toujours Le Bon Choix, se detallan varias estrategias de estructuración del contexto según los casos de uso comunes.
Ingeniería de prompts: estructurar una consulta para obtener una respuesta utilizable
La ingeniería de prompts es la disciplina que consiste en formular sus instrucciones de manera que oriente precisamente la salida del modelo. Un prompt vago produce una respuesta genérica. Un prompt estructurado produce un resultado accionable.
Tres componentes de un prompt efectivo
- El rol: asignar una identidad al modelo (“Eres un jurista especializado en derecho laboral francés”) enmarca el registro de lengua, el nivel de detalle y las referencias movilizadas.
- El formato de salida: especificar si la respuesta debe tomar la forma de una tabla, una lista con viñetas, un párrafo de síntesis o un bloque de código evita reformulaciones innecesarias después.
- Las restricciones explícitas: longitud máxima, idioma, prohibición de citar fuentes no verificadas, obligación de señalar las incertidumbres. Cada restricción reduce el espacio de respuestas posibles y aumenta la precisión.
Adaptar el prompt a la naturaleza de la tarea hace una diferencia medible. Un prompt destinado a generar código se beneficia de incluir un ejemplo de entrada y salida esperadas. Un prompt orientado al análisis de datos funciona mejor cuando los datos se presentan en un formato tabular directamente en el texto de la consulta.
Orquestación multi-LLM: por qué las empresas utilizan varios modelos
Un estudio de Andreessen Horowitz realizado entre 100 CIOs en 2025 muestra que una proporción creciente de empresas utiliza cinco modelos o más en producción. La época del modelo único ha quedado atrás: la orquestación multi-modelos se ha convertido en un campo de ingeniería en sí mismo.
El principio se basa en una separación entre dos capas. El plano de control decide qué modelo llamar, con qué parámetros y en qué orden. El plano de datos asegura la trazabilidad de los prompts, los contextos inyectados y las salidas, para auditoría y cumplimiento.
Cuándo dirigir hacia qué modelo
Un modelo compacto y rápido es suficiente para la clasificación de tickets o el filtrado de correos electrónicos. Un modelo más potente toma el relevo para la redacción larga, el análisis jurídico o el razonamiento multi-etapas. Este enrutamiento dinámico permite reducir los costos de inferencia sin sacrificar la calidad en tareas complejas.
Los agentes LLM llevan esta lógica más lejos. Un agente es un programa que utiliza un LLM como motor de razonamiento, pero que también puede llamar a herramientas externas (búsqueda web, cálculo, bases de datos). El agente decide por sí mismo la secuencia de acciones a ejecutar para resolver una tarea dada.
Regulación europea y salvaguardias para los LLM en producción
La Ley de IA europea impone desde agosto de 2026 obligaciones específicas a los proveedores de modelos de IA de uso general (GPAI). Las multas pueden alcanzar montos significativos por incumplimiento. Cualquier empresa que utilice un LLM en Europa debe verificar la conformidad de su proveedor con estas nuevas reglas.
Las obligaciones cubren la documentación técnica del modelo, la transparencia sobre los datos de entrenamiento y el respeto del derecho de autor. Para los modelos clasificados como de riesgo sistémico, se requieren evaluaciones de seguridad y pruebas adversariales.
En la práctica, esto significa que la elección de un LLM ya no se basa únicamente en el rendimiento o el precio. La trazabilidad de los datos, la posibilidad de auditar las salidas y la localización del alojamiento se convierten en criterios de selección en sí mismos, especialmente para los sectores regulados (finanzas, salud, jurídico).
Evaluación de respuestas: probar un LLM antes de confiar en él
Desplegar un modelo sin un marco de evaluación es como pilotar sin un tablero de instrumentos. Los marcos de evaluación (evaluación de LLM) permiten medir la fiabilidad de un modelo en tareas específicas antes de su implementación en producción.
- Definir un conjunto de pruebas con preguntas cuya respuesta correcta se conoce, y luego medir la tasa de respuestas correctas del modelo.
- Probar la robustez reformulando la misma pregunta de varias maneras: un modelo fiable da respuestas coherentes independientemente de la formulación.
- Evaluar las alucinaciones pidiendo información sobre temas ficticios. Un modelo bien calibrado señala su incertidumbre en lugar de inventar.
- Comparar varios modelos en el mismo conjunto de pruebas para alimentar la estrategia de enrutamiento multi-LLM.
Este paso de evaluación, a menudo pasado por alto por los equipos apresurados por desplegar, evita errores costosos en producción y permite justificar la elección de un modelo ante los decisores.
El panorama de los LLM evoluciona rápidamente, con actualizaciones frecuentes y nuevos modelos cada trimestre. Un marco de evaluación reproducible permite volver a probar automáticamente con cada nueva versión y saber si un cambio de modelo aporta una ganancia real o solo un efecto de anuncio.
