Entdecke, was ein LLM ist, wie es trainiert wird und warum es scheinbar alles weiß.
Diese Lektion in Kodokon öffnenDu hast wahrscheinlich schon von ChatGPT, Claude oder Gemini gehört. Das sind generative KIs: Computerprogramme, die aus einer schriftlichen Anfrage brandneuen Text erzeugen können (eine Erklärung, eine Zusammenfassung, ein Gedicht, etwas Code). Der Motor, der sich dahinter verbirgt, heißt LLM, kurz für *Large Language Model* (großes Sprachmodell). In der Informatik ist ein "Modell" ein Programm, das Muster aus Beispielen gelernt hat, statt Regeln anzuwenden, die ein Mensch eine nach der anderen aufgeschrieben hat.
Das Grundprinzip ist überraschend einfach: Ein LLM ist eine Maschine, die vorhersagt, wie ein Text weitergeht. Wenn du "Die Katze schläft auf dem…" liest, ergänzt dein Gehirn ganz von selbst "Sofa" oder "Bett". Ein LLM macht genau das, aber in gewaltigem Maßstab: Bei jedem Schritt berechnet es, welches Wort (oder welcher Wortteil) am wahrscheinlichsten als Nächstes kommt, hängt es an und beginnt von vorn. Eine komplette Antwort ist also nichts anderes als eine lange Reihe von Vorhersagen, Wort für Wort. Es ist derselbe Mechanismus wie bei den Wortvorschlägen auf der Tastatur deines Handys, nur unvergleichlich viel leistungsfähiger.
Du bist eine geduldige Lehrkraft, die Informatik einem absoluten Anfänger erklärt.
Erkläre mir, was ein großes Sprachmodell (LLM) ist, als wäre ich 12 Jahre alt, ohne undefinierte Fachbegriffe.
Vorgaben:
- Verwende eine Analogie aus dem Alltag.
- Höchstens 10 Sätze.
- Schließe mit einer Frage ab, die prüft, ob ich es verstanden habe.Wie lernt diese Maschine, so gut vorherzusagen? Durch das Training: eine Phase (noch vor deinem allerersten Gespräch), in der das Modell gewaltige Mengen an Text "liest" - Bücher, Artikel, Webseiten, Programmcode. Bei jedem Satz wird die Fortsetzung versteckt und das Modell soll sie erraten. Wenn es danebenliegt, werden seine Parameter leicht angepasst - also seine Milliarden winziger interner Stellschrauben. Wiederhole das milliardenfach, und das Modell erfasst am Ende die Grammatik, den Stil und einen enormen Teil des Wissens, das in seinen Trainingstexten steckt.
Deshalb scheint eine generative KI alles zu wissen: Sie hat eine Bibliothek "gelesen", die größer ist als alles, was ein Mensch in tausend Leben durcharbeiten könnte. Aber Vorsicht mit diesem Wort: *scheint*. Das Modell schlägt beim Antworten in keiner Enzyklopädie nach, und es "versteht" nicht so, wie du es tust. Es berechnet die plausibelste Wortfolge auf Basis seines Trainings. Meistens gilt: plausibel = wahr. Aber nicht immer, und genau darum geht es in der nächsten Lektion.
Ich habe gerade gelernt, dass LLMs funktionieren, indem sie Text vorhersagen, dass sie mit riesigen Textmengen trainiert werden und dass sie nur die plausibelste Fortsetzung erzeugen.
Stelle mir 3 Fragen, eine nach der anderen, um zu prüfen, ob ich diese drei Ideen wirklich verstanden habe.
Warte nach jeder Frage auf meine Antwort und korrigiere mich dann freundlich, bevor du die nächste stellst.
Gib mir niemals die Antwort, bevor ich es versucht habe.