Weniger ist mehr: LLM Kontextüberladung verschlechtert KI-Performance
Große Sprachmodelle können Millionen von Tokens verarbeiten – doch eine neue Studie von Chroma Research belegt erneut: Je mehr Informationen Sie einem LLM zur Verfügung stellen, desto schlechter werden die Ergebnisse. Die Untersuchung von 18 führenden KI-Modellen zeigt, dass gezieltes Context Engineering der Schlüssel für bessere Performance ist.
Die Ergebnisse der Studie sind eindeutig und haben weitreichende Konsequenzen für alle, die mit Large Language Models arbeiten. Während Hersteller stolz auf ihre enormen Kontextfenster verweisen – GPT-4 Turbo verarbeitet bis zu 128.000 Tokens, Claude 3.5 sogar 200.000 –, zeigt die Praxis ein anderes Bild. Die Forscher testeten Modelle von OpenAI, Anthropic, Google und anderen Anbietern in vier verschiedenen Aufgabenkategorien: semantische Suche, Wiederholungsaufgaben und Frage-Antwort-Szenarien in langen Dokumenten.
Das Ergebnis überrascht nicht mehr, bestätigt aber frühere Befunde: Mit steigender Kontextlänge sinkt die Qualität der Antworten drastisch. Besonders problematisch wird es, wenn die Modelle nicht nur Informationen abrufen, sondern semantisch verstehen müssen. Anstatt nach exakten Wortübereinstimmungen zu suchen, mussten die KI-Systeme Schlussfolgerungen ziehen und Weltwissen anwenden.
Ein Beispiel verdeutlicht die Herausforderung: Statt direkt nach „Helsinki“ zu fragen, stellten die Forscher die Frage „Welche Figur war in Helsinki?“, während der Text nur erwähnte, dass „Yuki neben dem Kiasma-Museum wohnt.“ Das Model musste eigenständig den Zusammenhang zwischen dem Museum und der finnischen Hauptstadt herstellen. Diese semantischen Aufgaben bereiteten den LLMs erhebliche Schwierigkeiten, die mit längeren Kontexten noch zunahmen.
Störende Informationen verstärken das Problem
Besonders problematisch sind sogenannte Distraktoren – inhaltlich ähnliche, aber falsche Informationen. Bereits ein einziger ablenkender Satz reduzierte die Erfolgsrate merklich. Bei vier Distraktoren verschärfte sich der Effekt dramatisch. Claude-Modelle verweigerten häufig die Antwort, während GPT-Modelle plausibel klingende, aber falsche Ergebnisse lieferten.
Überraschend war auch der Einfluss der Textstruktur auf die LLM Performance. Zufällig gemischte Sätze führten zu besseren Ergebnissen als logisch strukturierte Texte. Die Gründe dafür sind noch nicht vollständig verstanden, doch die Studie zeigt: Nicht nur der Inhalt, sondern auch die Anordnung der Informationen beeinflusst die Modell-Performance erheblich.
Die praktische Relevanz demonstrierten die Forscher mit dem LongMemEval-Benchmark, der Chat-Verläufe von über 100.000 Tokens analysiert. Auch hier zeigte sich: Modelle arbeiteten deutlich besser, wenn sie nur relevante Gesprächsabschnitte erhielten, statt der kompletten Unterhaltungshistorie.
Best Practices für effektives Prompt Engineering
Die Studienergebnisse haben direkte Auswirkungen auf die tägliche Arbeit mit LLMs. Statt Prompts mit möglichst vielen Informationen zu überladen, sollten Sie gezielt die relevantesten Inhalte auswählen und strukturiert präsentieren. Ein überladener Prompt könnte so aussehen:
„Hier sind alle Verkaufsdaten der letzten fünf Jahre, sämtliche Kundenbeschwerden, Produktkataloge, Mitarbeiterhandbücher, Marktanalysen und Wettbewerbsberichte. Außerdem findest du Wetterberichte, Social-Media-Mentions und technische Spezifikationen aller Produkte. Basierend auf diesen Informationen, empfehle mir eine Marketingstrategie.“
Ein effektiver Prompt fokussiert hingegen auf das Wesentliche:
„Basierend auf den Verkaufszahlen Q3/Q4 2024 (Daten unten) und der Zielgruppen-Analyse für Produkt X: Entwickle drei konkrete Marketingansätze für das erste Quartal 2025.“
Der Unterschied liegt in der gezielten Auswahl und klaren Strukturierung der relevanten Informationen. Context Engineering – das bewusste Kuratieren und Arrangieren von Kontextinformationen – wird damit zu einer entscheidenden Fähigkeit für alle, die professionell mit LLMs arbeiten.
Die Chroma-Studie bestätigt damit Erkenntnisse anderer Forschungsgruppen. Nikolay Savinov von Google DeepMind erklärte bereits im Mai 2024, dass Modelle ihre Aufmerksamkeit auf alle verfügbaren Tokens verteilen müssen. Je mehr irrelevante Informationen vorhanden sind, desto weniger Aufmerksamkeit können sie den wichtigen Inhalten widmen.
Eine Untersuchung der LMU München und Adobe Research kam zu ähnlichen Schlüssen: Selbst auf Reasoning spezialisierte Modelle zeigten massive Leistungseinbußen bei längeren Kontexten. Microsoft und Salesforce berichteten über vergleichbare Instabilitäten in längeren Unterhaltungen, wo die Genauigkeit von 90 Prozent auf nur noch 51 Prozent sank.
Meta’s Llama 4 Maverick illustriert das Problem besonders deutlich: Obwohl das Modell technisch bis zu zehn Millionen Tokens verarbeiten kann, erreichte es bei 128.000 Tokens nur 28,1 Prozent Genauigkeit – weit unter seinem theoretischen Maximum und deutlich schlechter als der Durchschnitt aktueller Modelle.
Die Erkenntnis ist klar: Mehr Kontext bedeutet nicht automatisch bessere Ergebnisse. Stattdessen kommt es auf die intelligente Auswahl und Strukturierung der Informationen an. Für KI-Entwickler und Prompt-Engineers bedeutet dies einen Paradigmenwechsel: Weg vom „Alles-hineinwerfen“-Ansatz, hin zu durchdachtem Context Engineering.
Die vollständigen Studienergebnisse stehen auf der Chroma Research Website zur Verfügung, ein Toolkit zur Replikation der Experimente ist auf GitHub verfügbar. Diese Ressourcen bieten Praktikern wertvolle Werkzeuge, um die Kontextüberladung in ihren eigenen KI-Anwendungen zu vermeiden und die LLM Performance gezielt zu optimieren.