Wie funktionieren LLMs?
Large Language Models (LLMs) wie ChatGPT, Claude und Gemini wirken oft wie Magie — sie verstehen Sprache, beantworten komplexe Fragen, schreiben Texte. Tatsächlich basieren sie auf einem überraschend einfachen Grundprinzip: der Vorhersage des nächsten Wortes, angewendet auf eine gigantische Datenmenge mit gigantischer Rechenleistung. Ein grundlegendes Verständnis dieser Mechanik hilft, KI-Tools besser einzusetzen — und realistische Erwartungen an ihre Stärken und Grenzen zu entwickeln.
Das Grundprinzip: Nächstes-Wort-Vorhersage
Ein LLM ist im Kern ein extrem leistungsfähiges Vorhersage-System: Gegeben eine Sequenz von Wörtern, berechnet es die Wahrscheinlichkeit für jedes mögliche nächste Wort. ‘Die Hauptstadt von Deutschland ist’ — hohe Wahrscheinlichkeit für ‘Berlin’. Dieses Prinzip — wiederholt angewendet, Wort für Wort — erzeugt zusammenhängende, oft erstaunlich kohärente Texte. Das Modell weiss nichts im menschlichen Sinne — es hat aus Milliarden von Textbeispielen statistische Muster gelernt, welche Wortfolgen wahrscheinlich sind.
Tokens — die Bausteine
LLMs verarbeiten Text nicht als Wörter, sondern als Tokens — Texteinheiten die Wortteile, ganze Wörter oder Zeichenfolgen sein können. ‘Unglaublich’ könnte in die Tokens ‘Un’, ‘glaub’ und ‘lich’ aufgeteilt werden. Häufige Wörter sind oft ein einzelnes Token, seltene Wörter werden in mehrere Tokens zerlegt. Tokens sind relevant für: Kosten (API-Preise basieren auf Tokens), Kontextfenster (maximale Textmenge die ein Modell im Blick hat) und Sprachunterschiede (Deutsch hat oft mehr Tokens pro Wort als Englisch wegen zusammengesetzter Wörter).
Training — wie ein LLM lernt
Pre-Training
Das Modell wird auf riesigen Textmengen (Bücher, Websites, Artikel, Code) trainiert — Billionen von Wörtern. Es lernt dabei Sprache, Fakten, Argumentationsmuster und Strukturen — ohne explizite Regeln, nur durch statistisches Mustererkennen über die Vorhersage-Aufgabe.
Fine-Tuning
Nach dem Pre-Training wird das Modell auf spezifische Aufgaben feinjustiert — zum Beispiel um hilfreiche Assistenten-Antworten statt einfacher Text-Fortsetzungen zu generieren. Menschliche Bewerter geben Feedback welche Antworten besser sind.
RLHF (Reinforcement Learning from Human Feedback)
Menschliche Bewerter vergleichen Modell-Antworten und bewerten welche besser, hilfreicher, sicherer sind. Das Modell wird darauf trainiert, Antworten zu produzieren die menschlichen Präferenzen entsprechen. Dieser Schritt macht aus einem reinen Textvorhersage-Modell einen brauchbaren Assistenten.
Kontextfenster — was das Modell sieht
Das Kontextfenster ist die Menge an Text die ein LLM in einer Anfrage verarbeiten kann — gemessen in Tokens. Alles was ausserhalb des Kontextfensters liegt, sieht das Modell nicht. Moderne Modelle (2026) haben Kontextfenster von 100.000 bis über 1 Million Tokens — das entspricht mehreren Büchern. Relevant für Marketer: Ein LLM hat kein dauerhaftes Gedächtnis über Konversationen hinweg (ausser explizit implementiert). Jede neue Konversation startet ohne Wissen über vorherige.
Wissens-Cutoff und aktuelle Informationen
Das im Pre-Training erlernte Wissen hat einen Stichtag — den ‘Knowledge Cutoff’. Alles was nach diesem Datum passiert ist, kennt das Modell aus dem Training nicht. Für aktuelle Informationen nutzen moderne KI-Systeme zusätzlich Web-Suche (siehe Retrieval-Augmented Generation) — das Modell googelt quasi und integriert die Ergebnisse in seine Antwort.
Häufig gestellte Fragen
Was ist der Unterschied zwischen GPT, Claude und Gemini?
Alle drei sind LLMs mit ähnlicher Grundarchitektur (Transformer-Modelle), aber unterschiedlich trainiert von verschiedenen Unternehmen (OpenAI, Anthropic, Google) mit unterschiedlichen Trainingsdaten, Fine-Tuning-Ansätzen und Sicherheitsphilosophien. Das führt zu unterschiedlichen Stärken: Claude gilt als präziser bei Instruktionsbefolgung, GPT als vielseitiger, Gemini als stark integriert in Google-Produkte.
Wie gross ist ein LLM?
Gemessen in Parametern — den internen Werten die das Modell während des Trainings lernt. Moderne grosse Modelle haben hunderte Milliarden bis über eine Billion Parameter. Mehr Parameter bedeuten generell mehr Kapazität, aber auch höhere Rechenkosten — die Entwicklung geht auch zu kleineren, effizienteren Modellen.
Kann ein LLM wirklich denken?
Das ist philosophisch umstritten. LLMs zeigen beeindruckende Problemlösungsfähigkeiten, aber der zugrunde liegende Mechanismus ist statistische Mustervorhersage — kein bewusstes Denken im menschlichen Sinne. Für praktische Zwecke ist relevanter: LLMs sind sehr gut in bestimmten Aufgaben (Sprache, Muster, Synthese) und unzuverlässig in anderen (exakte Berechnung, Faktentreue ohne Quellenangabe).
Warum halluzinieren LLMs manchmal?
Weil das Grundprinzip Wahrscheinlichkeits-basierte Textgenerierung ist — nicht Datenbankabfrage. Wenn das Modell zu einem Thema wenig Trainingsdaten hatte, generiert es trotzdem plausibel klingenden Text — der aber falsch sein kann. Mehr dazu im Artikel über Halluzinationen in der KI-Suche.