Ein LLM (Large Language Model) ist ein neuronales Netzwerk, das auf massiven Textkorpora trainiert wurde, um Sprache vorherzusagen und zu generieren. ChatGPT, Claude, Mistral oder Llama basieren alle auf dieser Architektur. Das Beste aus diesen Modellen herauszuholen, beschränkt sich nicht nur auf das Stellen einer Frage in einem Chat: Die Formulierung des Prompts, die Wahl des Modells und die Art und Weise, wie mehrere Werkzeuge orchestriert werden, verändern radikal die Qualität der erhaltenen Antworten.
Kontextfenster und Gesprächsspeicher: der technische Parameter, den es zu beherrschen gilt
Das Kontextfenster bezeichnet die Menge an Text, die ein LLM auf einmal verarbeiten kann, gemessen in Tokens (Wortfragmenten). Neuere Modelle akzeptieren immer größere Fenster, einige übersteigen eine Million Tokens. Dieser Wettlauf um große Kontexte verändert die Arbeitsweise.
Mit einem großen Fenster wird es möglich, ein ganzes Dokument (Vertrag, Bericht, Wissensdatenbank) in ein einziges Gespräch einzufügen und gezielte Fragen dazu zu stellen. Die Antwort gewinnt an Relevanz, weil das Modell über alle notwendigen Informationen verfügt, ohne eine Zwischenzusammenfassung.
Zwei Grenzen bestehen weiterhin. Erstens, je länger der Kontext ist, desto höher sind die Rechenkosten und damit der Preis pro Anfrage über die API. Zweitens neigen LLMs dazu, Informationen, die sich in der Mitte eines sehr langen Textes befinden, weniger gut zu nutzen. Das Platzieren der relevantesten Daten am Anfang oder Ende des Prompts verbessert die Qualität der Antwort erheblich.
Um mehr über die optimale Nutzung auf Toujours Le Bon Choix zu erfahren, werden mehrere Strategien zur Strukturierung des Kontexts je nach gängigen Anwendungsfällen detailliert beschrieben.
Prompt Engineering: Eine Anfrage strukturieren, um eine verwertbare Antwort zu erhalten
Das Prompt Engineering ist die Disziplin, die darin besteht, seine Anweisungen so zu formulieren, dass die Ausgabe des Modells präzise gesteuert wird. Ein vager Prompt erzeugt eine generische Antwort. Ein strukturierter Prompt führt zu einem umsetzbaren Ergebnis.
Drei Komponenten eines effektiven Prompts
- Die Rolle: Eine Identität für das Modell zuzuweisen (“Du bist ein Jurist, der auf französisches Arbeitsrecht spezialisiert ist”) legt den Sprachstil, das Detailniveau und die verwendeten Referenzen fest.
- Das Ausgabeformat: Zu präzisieren, ob die Antwort in Form einer Tabelle, einer Aufzählung, eines zusammenfassenden Absatzes oder eines Codeblocks erfolgen soll, vermeidet nachträgliche unnötige Umformulierungen.
- Die expliziten Einschränkungen: Maximale Länge, Sprache, Verbot der Nennung nicht verifizierter Quellen, Verpflichtung zur Kennzeichnung von Unsicherheiten. Jede Einschränkung reduziert den Raum möglicher Antworten und erhöht die Genauigkeit.
Den Prompt an die Art der Aufgabe anzupassen, macht einen messbaren Unterschied. Ein Prompt, der darauf abzielt, Code zu generieren, profitiert davon, ein Beispiel für die erwarteten Eingaben und Ausgaben einzuschließen. Ein auf Datenanalyse ausgerichteter Prompt funktioniert besser, wenn die Daten in einem tabellarischen Format direkt im Text der Anfrage präsentiert werden.
Multi-LLM-Orchestrierung: Warum Unternehmen mehrere Modelle verwenden
Eine Studie von Andreessen Horowitz, die 2025 unter 100 CIOs durchgeführt wurde, zeigt, dass ein wachsender Anteil von Unternehmen fünf oder mehr Modelle in der Produktion einsetzt. Die Ära des Einzelmodells ist vorbei: Die Multi-Modell-Orchestrierung ist zu einem eigenständigen Ingenieurbereich geworden.
Das Prinzip basiert auf einer Trennung zwischen zwei Schichten. Der Kontrollplan entscheidet, welches Modell mit welchen Parametern und in welcher Reihenfolge aufgerufen wird. Der Datenplan gewährleistet die Nachverfolgbarkeit der Prompts, der injizierten Kontexte und der Ausgaben, für Audits und Compliance.
Wann zu welchem Modell umschalten
Ein kompaktes und schnelles Modell reicht für die Klassifizierung von Tickets oder die Sortierung von E-Mails aus. Ein leistungsfähigeres Modell übernimmt für längere Texte, juristische Analysen oder mehrstufiges Denken. Dieses dynamische Routing ermöglicht es, die Inferenzkosten zu senken, ohne die Qualität bei komplexen Aufgaben zu opfern.
LLM-Agenten treiben diese Logik weiter. Ein Agent ist ein Programm, das ein LLM als Denkmaschine nutzt, aber auch externe Werkzeuge (Websuche, Berechnungen, Datenbanken) aufrufen kann. Der Agent entscheidet selbst über die Reihenfolge der auszuführenden Aktionen, um eine bestimmte Aufgabe zu lösen.
Europäische Regulierung und Sicherheitsvorkehrungen für LLMs in der Produktion
Der europäische AI Act verpflichtet seit August 2026 Anbieter von allgemeinen KI-Modellen (GPAI) zu spezifischen Verpflichtungen. Die Geldstrafen können bei Nichteinhaltung erhebliche Beträge erreichen. Jedes Unternehmen, das ein LLM in Europa verwendet, muss die Konformität seines Anbieters mit diesen neuen Regeln überprüfen.
Die Verpflichtungen umfassen die technische Dokumentation des Modells, Transparenz über die Trainingsdaten und die Einhaltung des Urheberrechts. Für Modelle, die als systemisch riskant eingestuft werden, sind Sicherheitsbewertungen und adversarielle Tests erforderlich.
In der Praxis bedeutet dies, dass die Wahl eines LLM nicht mehr nur auf Leistung oder Preis basiert. Die Nachverfolgbarkeit der Daten, die Möglichkeit, die Ausgaben zu auditieren, und der Standort des Hostings werden zu wesentlichen Auswahlkriterien, insbesondere für regulierte Sektoren (Finanzen, Gesundheit, Recht).
Bewertung der Antworten: Ein LLM testen, bevor man ihm vertraut
Ein Modell ohne Bewertungsrahmen einzusetzen, ist wie ohne Armaturenbrett zu fahren. Bewertungsrahmen (LLM-Evaluierung) ermöglichen es, die Zuverlässigkeit eines Modells bei spezifischen Aufgaben vor der Produktion zu messen.
- Ein Testset mit Fragen definieren, deren richtige Antworten bekannt sind, und dann die Rate der korrekten Antworten des Modells messen.
- Die Robustheit testen, indem dieselbe Frage auf verschiedene Arten umformuliert wird: Ein zuverlässiges Modell gibt konsistente Antworten, unabhängig von der Formulierung.
- Die Halluzinationen bewerten, indem Informationen zu fiktiven Themen angefragt werden. Ein gut kalibriertes Modell signalisiert seine Unsicherheit, anstatt zu erfinden.
- Mehrere Modelle anhand desselben Testsets vergleichen, um die Strategie des Multi-LLM-Routings zu unterstützen.
Dieser Bewertungsprozess, der oft von Teams, die schnell bereitstellen wollen, vernachlässigt wird, vermeidet kostspielige Fehler in der Produktion und ermöglicht es, die Wahl eines Modells gegenüber Entscheidungsträgern zu rechtfertigen.
Die Landschaft der LLMs entwickelt sich schnell, mit häufigen Updates und neuen Modellen jedes Quartal. Ein reproduzierbarer Bewertungsrahmen ermöglicht es, automatisch bei jeder neuen Version erneut zu testen und zu wissen, ob ein Modellwechsel einen echten Gewinn oder nur einen Werbeeffekt bringt.
