Großes Sprachmodell

Ein großes Sprachmodell ( LLM ) ist ein neuronales Netzwerk , das mit einer riesigen Textmenge für Aufgaben der natürlichen Sprachverarbeitung , insbesondere der Sprachgenerierung, trainiert wurde . LLMs können typischerweise Texte in vielen Kontexten generieren, zusammenfassen, übersetzen und analysieren und sind eine grundlegende Technologie moderner Chatbots . ^{[ 1 ]} Verzerrte oder ungenaue Trainingsdaten können die Zuverlässigkeit der Ausgaben eines LLM beeinträchtigen. ^{[ 2 ]}

LLMs basieren typischerweise auf der Transformer- Architektur. ^{[ 3 ]} Generative Pretrained Transformers (GPTs) sind eine Art von LLM, die darauf trainiert sind, das nächste Wort vorherzusagen. ^{[ 4 ]} GPTs werden dann oft feinabgestimmt, um Anweisungen zu befolgen und als Assistenten zu fungieren. ^{[ 5 ]}

Benchmark- Evaluierungen für LLMs versuchen , Modelllogik , faktische Genauigkeit, Ausrichtung und Sicherheit zu messen . ^{[ 6 ]}

Vor dem Aufkommen transformatorbasierter Modelle im Jahr 2017 galten einige Sprachmodelle im Verhältnis zu den damaligen Rechen- und Datenbeschränkungen als sehr umfangreich. Anfang der 1990er-Jahre leisteten die statistischen Modelle von IBM Pionierarbeit bei Wortausrichtungsverfahren für die maschinelle Übersetzung und legten damit den Grundstein für korpusbasierte Sprachmodellierung . Im Jahr 2001 erzielte ein geglättetes n -Gramm-Modell , beispielsweise eines mit Kneser-Ney-Glättung , trainiert mit 300 Millionen Wörtern, in Benchmark-Tests Bestwerte bei der Perplexität . ^{[ 7 ]} Mit dem zunehmenden Internetzugang in den 2000er-Jahren begannen Forscher, massive Textdatensätze aus dem Web zusammenzustellen („Web als Korpus“ ^{[ 8 ]} ), um statistische Sprachmodelle zu trainieren. ^{[ 9 ] [ 10 ]}

Über die n -Gramm-Modelle hinaus begannen Forscher im Jahr 2000, neuronale Netze als Sprachmodelle einzusetzen. ^{[ 11 ]} Nach dem Durchbruch tiefer neuronaler Netze in der Bildklassifizierung um 2012 ^{[ 12 ]} wurden ähnliche Architekturen für Sprachaufgaben adaptiert. Dieser Wandel war geprägt von der Entwicklung von Wortvektoren (z. B. Word2Vec von Mikolov im Jahr 2013) und Sequenz-zu-Sequenz- Modellen ( Seq2Seq ) mit LSTM . Im Jahr 2016 stellte Google seinen Übersetzungsdienst auf neuronale maschinelle Übersetzung (NMT) um und ersetzte statistische phrasenbasierte Modelle durch tiefe rekurrente neuronale Netze . Diese frühen NMT-Systeme nutzten LSTM-basierte Encoder-Decoder-Architekturen , da sie vor der Erfindung von Transformer-Netzwerken entwickelt wurden .

Auf der NeurIPS- Konferenz 2017 stellten Google -Forscher in ihrer wegweisenden Arbeit „ Attention Is All You Need “ die Transformer-Architektur vor. ^{[ 13 ]} Ziel dieser Arbeit war die Verbesserung der Seq2Seq-Technologie von 2014. Sie basierte hauptsächlich auf dem Aufmerksamkeitsmechanismus , der 2014 von Bahdanau et al. entwickelt wurde. ^{[ 14 ] [ 15 ]} Im darauffolgenden Jahr, 2018, wurde BERT eingeführt und erlangte schnell weite Verbreitung. ^{[ 16 ]} Obwohl der ursprüngliche Transformer sowohl Encoder- als auch Decoderblöcke besitzt, ist BERT ein reines Encoder-Modell. Die Nutzung von BERT in Forschung und Lehre ging ab 2023 zurück, da sich die Fähigkeiten reiner Decoder-Modelle (wie GPT) zur Lösung von Aufgaben mittels Prompting rasant verbesserten . ^{[ 17 ]}

Obwohl GPT-1, das nur aus einem Decoder besteht, bereits 2018 vorgestellt wurde, erregte erst GPT-2 im Jahr 2019 breite Aufmerksamkeit, da OpenAI es zunächst aufgrund der Befürchtung eines Missbrauchs für zu mächtig für eine öffentliche Veröffentlichung hielt. ^{[ 18 ]} GPT-3 ging 2020 noch einen Schritt weiter und ist ab 2025 ausschließlich über eine API verfügbar ; ein Download des Modells zur lokalen Ausführung wird nicht angeboten. Der nutzerorientierte Chatbot ChatGPT, der Ende 2022 veröffentlicht wurde, erhielt jedoch bis 2023 umfangreiche Medienberichterstattung und öffentliche Aufmerksamkeit. ^{[ 19 ]} GPT-4 wurde 2023 für seine gesteigerte Genauigkeit und aufgrund seiner multimodalen Fähigkeiten als „Heiliger Gral“ gelobt . ^{[ 20 ]} OpenAI gab die Architektur und die Anzahl der Parameter von GPT-4 nicht bekannt. Die Veröffentlichung von ChatGPT führte zu einem Anstieg der Nutzung von LLM in verschiedenen Forschungsbereichen der Informatik, darunter Robotik, Softwareentwicklung und Forschung zu gesellschaftlichen Auswirkungen. ^{[ 17 ]} Im Jahr 2024 veröffentlichte OpenAI das Reasoning-Modell OpenAI o1 , das lange Gedankenketten generiert, bevor es eine endgültige Antwort liefert. ^{[ 21 ]} Es wurden viele LLMs mit vergleichbarer Parameteranzahl wie die GPT-Serie von OpenAI entwickelt. ^{[ 22 ]}

Seit 2022 erfreuen sich Modelle mit verfügbaren Gewichten zunehmender Beliebtheit, insbesondere zunächst BLOOM und LLaMA , obwohl beide hinsichtlich Nutzung und Einsatz eingeschränkt sind. Die Open-Weight-Modelle Mistral 7B und Mixtral 8x7B von Mistral AI sind unter der freizügigeren Apache-Lizenz lizenziert . Im Januar 2025 veröffentlichte DeepSeek DeepSeek R1, ein Open-Weight-Modell mit 671 Milliarden Parametern, das vergleichbare Ergebnisse wie OpenAI o1 liefert, jedoch zu einem deutlich niedrigeren Token-Preis für Nutzer. ^{[ 23 ]}

Seit 2023 sind viele LLMs so ausgebildet, dass sie multimodal arbeiten können und auch andere Datentypen wie Bilder, Audio oder 3D-Netze verarbeiten oder generieren können.

Seit 2023 haben Open-Weight-LLMs an Einfluss gewonnen. Laut Vake et al. (2025) verbessern Community-basierte Beiträge zu Open-Weight-Modellen deren Effizienz und Leistungsfähigkeit durch kollaborative Plattformen wie Hugging Face . ^{[ 24 ]}

Da maschinelle Lernalgorithmen Zahlen und nicht Text verarbeiten, muss der Text in Zahlen umgewandelt werden. Im ersten Schritt wird ein Vokabular festgelegt, dann werden jedem Vokabulareintrag willkürlich, aber eindeutig ganzzahlige Indizes zugewiesen und schließlich wird dem ganzzahligen Index ein Embedding zugeordnet. Zu den verwendeten Algorithmen gehören Byte-Pair-Encoding (BPE) und WordPiece. Es gibt außerdem spezielle Token, die als Steuerzeichen dienen , wie z. B. [MASK]für maskierte Token (wie in BERT verwendet ) und [UNK]„unbekannt“ für Zeichen, die nicht im Vokabular vorkommen. Darüber hinaus werden einige Sonderzeichen verwendet, um spezielle Textformatierungen zu kennzeichnen. Beispielsweise kennzeichnet „Ġ“ ein vorangehendes Leerzeichen in RoBERTa und GPT und „##“ die Fortsetzung eines vorangehenden Wortes in BERT. ^{[ 25 ]}

Beispielsweise würde der von der älteren Version von GPT-3tokenizer: texts -> series of numerical "tokens" verwendete BPE-Tokenizer sich wie folgt aufteilen:

Die Tokenisierung komprimiert auch die Datensätze. Da LLMs im Allgemeinen ein Array ohne unregelmäßige Struktur als Eingabe benötigen , müssen kürzere Texte so lange aufgefüllt werden, bis sie die Länge des längsten Textes erreichen.

Betrachten wir beispielsweise einen Tokenizer, der auf Byte-Paar-Kodierung basiert. Im ersten Schritt werden alle eindeutigen Zeichen (einschließlich Leerzeichen und Satzzeichen ) als initiale Menge von n- Grammen (d. h. initialen Unigrammen) behandelt. Anschließend wird das häufigste Paar benachbarter Zeichen zu einem Bigramm zusammengefasst und alle Vorkommen dieses Paares durch dieses ersetzt. Alle häufig gemeinsam auftretenden Paare benachbarter (zuvor zusammengefasster) n -Gramme werden dann erneut zu noch längeren n- Grammen zusammengefasst, bis ein Vokabular der vorgegebenen Größe erreicht ist. Nach dem Training des Tokenizers kann jeder Text tokenisiert werden, sofern er keine Zeichen enthält, die nicht in der initialen Menge der Unigramme vorkommen. ^{[ 26 ]}

Im Kontext des Trainings von LLMs werden Datensätze typischerweise bereinigt, indem minderwertige, doppelte oder fehlerhafte Daten entfernt werden. ^{[ 27 ]} Bereinigte Datensätze können die Trainingseffizienz steigern und zu einer verbesserten Leistung in nachfolgenden Anwendungen führen. ^{[ 28 ]} Ein trainiertes LLM kann verwendet werden, um Datensätze für das Training eines weiteren LLM zu bereinigen. ^{[ 29 ]}

Angesichts des zunehmenden Anteils von LLM-generierten Inhalten im Web könnte die Datenbereinigung zukünftig auch das Herausfiltern solcher Inhalte umfassen. LLM-generierte Inhalte können problematisch sein, wenn sie zwar menschlichem Text ähneln (was das Filtern erschwert), aber von geringerer Qualität sind (und somit die Leistung von darauf trainierten Modellen beeinträchtigen). ^{[ 1 ]}

Für das Training der größten Sprachmodelle werden möglicherweise mehr linguistische Daten benötigt, als natürlich verfügbar sind, oder die natürlich vorkommenden Daten sind von unzureichender Qualität. In diesen Fällen können synthetische Daten verwendet werden.

Ein LLM ist ein Basismodell (großes X-Modell), das auf Sprache trainiert wird. LLMs können auf verschiedene Weise trainiert werden. Insbesondere GPT-Modelle werden zunächst anhand einer großen Datenmenge vortrainiert, um das nächste Wort vorherzusagen, bevor sie feinabgestimmt werden. ^{[ 4 ]}

Für das Training der größten Modelle ist eine umfangreiche Infrastruktur erforderlich. Der Trend zu größeren Modellen zeigt sich in der Liste der großen Sprachmodelle . So kostete beispielsweise das Training von GPT-2 (einem Modell mit 1,5 Milliarden Parametern) im Jahr 2019 50.000 US-Dollar, während das Training von PaLM (einem Modell mit 540 Milliarden Parametern) im Jahr 2022 8 Millionen US-Dollar und Megatron-Turing NLG 530B (im Jahr 2021) rund 11 Millionen US-Dollar kostete. Die Bezeichnung „groß“ in „großes Sprachmodell“ ist naturgemäß vage, da es keine eindeutige Schwelle für die Anzahl der Parameter gibt, ab der ein Modell als „groß“ gilt.

Vor ihrer Feinabstimmung sind die meisten LLMs Vorhersagemodelle für das nächste Token. ^{[ 30 ]} Die Feinabstimmung formt das Verhalten des LLM durch Techniken wie Reinforcement Learning from Human Feedback (RLHF) oder Constitutional AI . ^{[ 31 ]}

Die Feinabstimmung von Anweisungen ist eine Form des überwachten Lernens, die verwendet wird, um LLMs beizubringen, Benutzeranweisungen zu befolgen. Im Jahr 2022 demonstrierte OpenAI InstructGPT , eine Version von GPT-3, die auf ähnliche Weise feinabgestimmt wurde, um Anweisungen zu befolgen. ^{[ 32 ]}

RLHF beinhaltet das Training eines Belohnungsmodells, um vorherzusagen, welche Texte Menschen bevorzugen. Anschließend kann das LLM durch bestärkendes Lernen feinabgestimmt werden, um dieses Belohnungsmodell besser zu erfüllen. Da Menschen typischerweise wahrheitsgemäße, hilfreiche und harmlose Antworten bevorzugen, begünstigt RLHF solche Antworten. ^{[ 33 ]}

LLMs basieren im Allgemeinen auf der Transformer- Architektur, die einen Aufmerksamkeitsmechanismus nutzt , der es dem Modell ermöglicht, Beziehungen zwischen allen Elementen einer Sequenz gleichzeitig zu verarbeiten, unabhängig von deren Abstand zueinander. ^{[ 13 ] [ 34 ]} Peng et al. (2023) schlugen Zustandsraumdarstellungsmodelle als Alternative vor. ^{[ 35 ]}

Um herauszufinden, welche Token innerhalb des Kontextfensters zueinander relevant sind , berechnet der Aufmerksamkeitsmechanismus für jedes Token, genauer gesagt für dessen Einbettung, „weiche“ Gewichte. Dazu werden mehrere Aufmerksamkeitsköpfe verwendet, von denen jeder seine eigene „Relevanz“ zur Berechnung seiner eigenen weichen Gewichte besitzt. Beispielsweise verfügte das kleine GPT-2- Modell (d. h. mit 117 Millionen Parametern) über zwölf Aufmerksamkeitsköpfe und ein Kontextfenster von nur 1.000 Token. ^{[ 37 ]}

Autoregressive Modelle wie GPTs werden trainiert, um vorherzusagen, wie eine Sequenz fortgesetzt wird; beispielsweise, ob auf die Wortfolge „Ich esse gern“ eher das Wort „Brot“ oder das Wort „Steine“ folgt. Maskierte Modelle wie BERT ^{[ 38 ]} werden trainiert, um fehlende Teile einer Sequenz vorherzusagen, beispielsweise ob das fehlende Wort in „Ich mag ___ Rosen“ eher das Wort „riechen“ oder das Wort „essen“ ist. Die Vorhersagen des Modells basieren auf den Eigenschaften der Sequenzen in seinem Trainingsdatensatz. ^{[ 39 ]}

Ein Mixture of Experts (MoE) ist eine Architektur des maschinellen Lernens , bei der mehrere spezialisierte neuronale Netze („Experten“) zusammenarbeiten. Ein Steuerungsmechanismus leitet jede Eingabe an den oder die am besten geeigneten Experten weiter. Mixture of Experts können die Inferenzkosten reduzieren, da für jede Eingabe nur ein Bruchteil der Parameter verwendet wird. ^{[ 40 ]}

Typischerweise werden LLMs mit Gleitkommazahlen einfacher oder halber Genauigkeit (float32 und float16) trainiert. Ein float16-Wert hat 16 Bit bzw. 2 Byte, daher benötigt man für eine Milliarde Parameter 2 Gigabyte Speicherplatz. Die größten Modelle haben typischerweise mehr als 100 Milliarden Parameter, wodurch sie außerhalb des Leistungsbereichs der meisten Unterhaltungselektronikgeräte liegen. ^{[ 41 ]}

Die Post-Training- Quantisierung ^{[ 42 ]} zielt darauf ab, den Speicherbedarf durch Verringerung der Präzision der Parameter eines trainierten Modells zu reduzieren und gleichzeitig dessen Leistung weitgehend zu erhalten. Man unterscheidet zwischen statischer Quantisierung, bei der die Quantisierungsparameter im Voraus (typischerweise während einer Kalibrierungsphase) festgelegt werden, und dynamischer Quantisierung, bei der die Quantisierung während der Inferenz angewendet wird. Die einfachste Form der Quantisierung beschränkt alle Parameter auf eine vorgegebene Bitanzahl: Dies ist sowohl für die statische als auch für die dynamische Quantisierung anwendbar, führt jedoch zu einem erheblichen Präzisionsverlust. Die dynamische Quantisierung ermöglicht die Verwendung unterschiedlicher Quantisierungscodebücher pro Schicht, entweder einer Wertetabelle oder einer linearen Abbildung (Skalierungsfaktor und Bias), verzichtet dabei aber auf mögliche Geschwindigkeitsverbesserungen durch die Verwendung von Arithmetik mit geringerer Präzision.

Es ist möglich, quantisierte Modelle mittels Niedrigrangadaption feinabzustimmen . ^{[ 43 ]}

Über die grundlegende Textgenerierung hinaus wurden verschiedene Techniken entwickelt, um die Fähigkeiten von LLM zu erweitern, darunter die Verwendung externer Tools und Datenquellen, verbessertes Denken bei komplexen Problemen und verbesserte Befolgung von Anweisungen oder Autonomie durch Prompting-Methoden.

Im Jahr 2020 demonstrierten Forscher von OpenAI , dass ihr neues Modell GPT-3 anhand einiger Frage-Antwort-Runden (oder anderer Aufgaben) in den Eingabedaten – beispielsweise dank der RLHF-Technik – das richtige Format für die Eingabe erkennen kann. Diese Technik, bekannt als Few-Shot Prompting , ermöglicht es, LLMs ohne Feinabstimmung an beliebige Aufgaben anzupassen. ^{[ 1 ]} Ebenfalls im Jahr 2022 wurde festgestellt, dass das Basismodell von GPT-3 auf Basis von Benutzereingaben Anweisungen generieren kann. Diese generierten Anweisungen werden zusammen mit den Benutzereingaben einer anderen Instanz des Modells im Format „Anweisung: [...], Eingabe: [...], Ausgabe:“ übergeben. Die andere Instanz kann die Ausgabe vervollständigen und liefert dabei häufig die richtige Antwort. Die Fähigkeit zur Selbstinstruktion ermöglicht es LLMs, sich selbstständig auf die richtige Antwort zuzubewegen. ^{[ 44 ]}

Ein LLM kann durch Spezialisierung auf Konversation in einen Chatbot umgewandelt werden . Die Benutzereingabe wird mit einem Marker wie „F:“ oder „Benutzer:“ eingeleitet, und das LLM wird aufgefordert, die Ausgabe nach einem festgelegten „A:“ oder „Assistent:“ vorherzusagen. Dieser Modelltyp ist seit 2022 kommerziell mit ChatGPT erhältlich, einem Schwestermodell von InstructGPT, das auf Basis von GPT-3.5 für die Verarbeitung und Ausgabe von dialogformatiertem Text optimiert wurde. Es kann analog dazu Benutzeranweisungen befolgen. Vor den eigentlichen Benutzer- und Assistentenzeilen beginnt ein Chatkontext üblicherweise mit einigen Zeilen übergeordneter Anweisungen einer Rolle namens „Entwickler“ oder „System“, um eine höhere Autorität als die Benutzereingabe zu vermitteln. Dies wird als „Systemanweisung“ bezeichnet.

Retrieval-augmented generation (RAG) ist ein Ansatz, der LLMs mit Dokumentenabrufsystemen integriert . Ausgehend von einer Suchanfrage wird ein Dokumentenabrufsystem aufgerufen, um die relevantesten Dokumente abzurufen. Dies geschieht üblicherweise durch Kodierung der Suchanfrage und der Dokumente in Vektoren. Anschließend werden die Dokumente mit Vektoren (üblicherweise in einer Vektordatenbank gespeichert ) gefunden, die dem Vektor der Suchanfrage am ähnlichsten sind. Das LLM generiert dann eine Ausgabe, die sowohl auf der Suchanfrage als auch auf dem Kontext der abgerufenen Dokumente basiert. ^{[ 45 ]}

Die Werkzeugnutzung ist ein Mechanismus, der es LLMs ermöglicht, mit externen Systemen, Anwendungen oder Datenquellen zu interagieren. So können LLMs beispielsweise Echtzeitinformationen von einer API abrufen oder Code ausführen. Ein vom LLM unabhängiges Programm überwacht den Ausgabestream des LLM auf eine spezielle Werkzeugaufrufsyntax. Sobald diese speziellen Token auftreten, ruft das Programm das entsprechende Werkzeug auf und speist dessen Ausgabe zurück in den Eingabestream des LLM. ^{[ 46 ]}

Frühe LLMs, die Werkzeuge nutzten, waren auf die Verwendung spezifischer Werkzeuge optimiert. Die Optimierung von LLMs hinsichtlich der Fähigkeit, API- Dokumentationen zu lesen und APIs korrekt aufzurufen, hat jedoch das Spektrum der für einen LLM zugänglichen Werkzeuge erheblich erweitert. ^{[ 47 ] [ 48 ]}

Ein LLM ist typischerweise kein autonomer Agent , da ihm die Fähigkeit fehlt, mit dynamischen Umgebungen zu interagieren, vergangene Verhaltensweisen abzurufen und zukünftige Aktionen zu planen. Er kann jedoch durch Hinzufügen unterstützender Elemente in einen Agenten umgewandelt werden: Die Rolle (das Profil) und die Umgebung eines Agenten können als zusätzliche Eingaben für das LLM dienen, während ein Speicher als Werkzeug integriert oder als zusätzliche Eingabe bereitgestellt werden kann. Anweisungen und Eingabemuster werden verwendet, um das LLM Aktionen planen zu lassen, und der Einsatz von Werkzeugen dient dazu, diese Aktionen gegebenenfalls auszuführen. ^{[ 49 ]}

Bei der DEPS-Methode („Beschreiben, Erklären, Planen und Auswählen“) wird ein LLM zunächst über Bildbeschreibungen mit der visuellen Welt verbunden. Anschließend wird es dazu angeregt, auf der Grundlage seines vortrainierten Wissens und des erhaltenen Feedbacks aus der Umgebung Pläne für komplexe Aufgaben und Verhaltensweisen zu erstellen. ^{[ 50 ]}

Die Reflexionsmethode konstruiert einen Agenten, der über mehrere Episoden hinweg lernt. Am Ende jeder Episode erhält der LLM die Aufzeichnungen der Episode und wird aufgefordert, „gelernte Erkenntnisse“ zu formulieren, die ihm helfen, in einer nachfolgenden Episode besser abzuschneiden. Diese „gelernten Erkenntnisse“ werden als eine Art Langzeitgedächtnis gespeichert und dem Agenten in den folgenden Episoden zur Verfügung gestellt. ^{[ 51 ]}

Die Monte-Carlo-Baumsuche kann ein LLM als Rollout-Heuristik verwenden. Wenn kein programmatisches Weltmodell verfügbar ist, kann ein LLM auch mit einer Beschreibung der Umgebung als Weltmodell verwendet werden. ^{[ 52 ]}

Mehrere Agenten mit Gedächtnis können sozial interagieren. ^{[ 53 ]}

Die Methode der Prompt-Verkettung wurde 2022 eingeführt. ^{[ 54 ]} Dabei zerlegt ein Benutzer ein komplexes Problem manuell in mehrere Schritte. In jedem Schritt erhält das LLM als Eingabe eine Anweisung, die ihm die Vorgehensweise vorgibt, sowie Ergebnisse aus den vorhergehenden Schritten. Das Ergebnis eines Schrittes wird dann im nächsten Schritt wiederverwendet, bis eine endgültige Lösung gefunden ist. Dank der Fähigkeit des LLM, Anweisungen zu befolgen, können selbst Laien nach einigen Versuchen eine erfolgreiche Sammlung schrittweiser Anweisungen erstellen. ^{[ 55 ] [ 56 ]}

Eine 2022 veröffentlichte Studie demonstrierte eine separate Technik namens „Gedankenketten-Prompting“ , die es dem LLM ermöglicht, die Frage selbstständig zu zerlegen. Dem LLM werden Beispiele präsentiert, in denen der „Assistent“ den Denkprozess verbal erläutert, bevor er zu einer Antwort gelangt. Das LLM ahmt diese Beispiele nach und versucht zudem, Zwischenschritte zu generieren, bevor es die endgültige Antwort liefert. Dieser durch das Prompting ausgelöste zusätzliche Schritt verbessert die Korrektheit des LLM bei relativ komplexen Fragen. Bei mathematischen Textaufgaben kann ein durch Prompting unterstütztes Modell sogar ein feinabgestimmtes GPT-3 mit Verifizierer übertreffen. ^{[ 57 ] [ 58 ]} Gedankenketten lassen sich auch durch Hinzufügen einer Anweisung wie „Lass uns Schritt für Schritt denken“ zum Prompt auslösen, um das LLM zu einem methodischen Vorgehen anzuregen, anstatt die Antwort direkt zu erraten. ^{[ 59 ]}

Ende 2024 etablierte sich mit „Reasoning Models“ ein neuer Ansatz für die Entwicklung von Lernmodellen. ^{[ 60 ]} Diese Modelle werden trainiert, um schrittweise Analysen durchzuführen, bevor sie endgültige Antworten liefern. Dadurch werden bessere Ergebnisse bei komplexen Aufgaben erzielt, beispielsweise in Mathematik, Programmierung und Logik. ^{[ 61 ]} OpenAI führte dieses Konzept im September 2024 mit seinem Modell o1 ein, gefolgt von o3 im April 2025. Bei den Aufgaben der Qualifikationsprüfung zur Internationalen Mathematik-Olympiade erreichte GPT-4o eine Genauigkeit von 13 %, während o1 83 % erzielte. ^{[ 62 ]}

Im Januar 2025 veröffentlichte das chinesische Unternehmen DeepSeek DeepSeek-R1, ein Open-Weight-Reasoning-Modell mit 671 Milliarden Parametern, das eine vergleichbare Leistung wie OpenAIs o1 erreichte, dabei aber deutlich kostengünstiger im Betrieb war. Im Gegensatz zu proprietären Modellen von OpenAI ermöglichte die Open-Weight-Architektur von DeepSeek-R1 Forschern, den Algorithmus zu untersuchen und weiterzuentwickeln, obwohl die Trainingsdaten privat blieben. ^{[ 63 ]}

Diese Schlussfolgerungsmodelle benötigen typischerweise mehr Rechenressourcen pro Anfrage als traditionelle LLMs, da sie eine umfangreichere Verarbeitung durchführen, um Probleme Schritt für Schritt zu lösen. ^{[ 62 ]}

Multimodalität bedeutet die Nutzung mehrerer Modalitäten, wobei eine „ Modalität “ eine Art von Eingabe oder Ausgabe bezeichnet, wie z. B. Video, Bild, Audio, Text, Propriozeption usw. ^{[ 64 ]} Beispielsweise wurde das Google PaLM- Modell zu einem multimodalen Modell weiterentwickelt und für die Robotersteuerung eingesetzt . ^{[ 65 ]} Auch LLaMA- Modelle wurden mithilfe der Tokenisierungsmethode multimodalisiert, um Bild- ^{[ 66 ]} und Videoeingaben [ 67 ] zu ermöglichen. ^{GPT -} 4o ^kann Text, Audio und Bilder verarbeiten und generieren. ^{[ 68 ]}

Eine gängige Methode zur Erstellung multimodaler Modelle aus einem LLM besteht darin, die Ausgabe eines trainierten Encoders zu tokenisieren. Konkret lässt sich ein LLM, das Bilder versteht, wie folgt konstruieren: Man nehme ein trainiertes LLM und einen trainierten Bildencoder . Anschließend erstellt man ein kleines mehrschichtiges Perzeptron , sodass der nachbearbeitete Vektor für jedes Bild dieselben Dimensionen wie ein kodiertes Token aufweist. Dies ist ein „Bildtoken“. Text- und Bildtoken können dann verschachtelt werden. Das resultierende Modell wird dann anhand eines Bild-Text-Datensatzes feinabgestimmt. Diese grundlegende Konstruktion lässt sich durch weitere Optimierungen des Modells verbessern. Der Bildencoder kann eingefroren werden , um die Stabilität zu erhöhen. ^{[ 69 ]} Diese Methode, bei der Einbettungen aus mehreren Modalitäten fusioniert und der Prädiktor anhand der kombinierten Einbettungen trainiert wird, wird als Early Fusion bezeichnet . ${\displaystyle E}$${\displaystyle f}$${\displaystyle y}$${\displaystyle f(E(y))}$

Eine weitere Methode, die sogenannte intermediäre Fusion , beinhaltet die zunächst unabhängige Verarbeitung jeder Modalität, um modalitätsspezifische Repräsentationen zu erhalten; anschließend werden diese intermediären Repräsentationen fusioniert. ^{[ 70 ]} Im Allgemeinen wird Cross-Attention zur Integration von Informationen aus verschiedenen Modalitäten verwendet. Beispielsweise nutzt das Flamingo-Modell Cross-Attention-Layer, um visuelle Informationen in sein vortrainiertes Sprachmodell einzuspeisen. ^{[ 71 ]}

LLMs können Programmiersprachen ähnlich wie natürliche Sprachen verarbeiten. Da Code, wie die menschliche Sprache, als Klartext dargestellt wird, sind keine speziellen Änderungen in der Token-Verarbeitung erforderlich. LLMs können Code basierend auf in natürlicher Sprache verfassten Problemen oder Anweisungen generieren . Sie können Code auch in natürlicher Sprache beschreiben oder in andere Programmiersprachen übersetzen. Ursprünglich wurden sie als Codevervollständigungswerkzeug eingesetzt, doch Weiterentwicklungen haben sie in Richtung automatische Programmierung weiterentwickelt . Dienste wie GitHub Copilot bieten speziell für die Programmierung trainierte, feinabgestimmte oder angeleitete LLMs an. ^{[ 72 ] [ 73 ]}

In der Computerbiologie haben sich transformatorbasierte Architekturen wie DNA-LLMs auch bei der Analyse biologischer Sequenzen ( Proteine , DNA und RNA) als nützlich erwiesen . Bei Proteinen scheinen sie eine gewisse „Grammatik“ der Aminosäuresequenz erfassen zu können, indem sie diese Sequenz in ein Embedding abbilden . Bei Aufgaben wie der Strukturvorhersage und der Vorhersage von Mutationsfolgen kann ein kleines Modell, das ein Embedding als Eingabe verwendet, deutlich größere Modelle mit multiplen Sequenzalignments (MSA) als Eingabe erreichen oder sogar übertreffen . ^{[ 74 ]} ESMFold, die Embedding-basierte Methode von Meta Platforms zur Vorhersage von Proteinstrukturen, ist dank des Wegfalls der MSA-Anforderung und der geringeren Parameteranzahl durch die Verwendung von Embeddings um eine Größenordnung schneller als AlphaFold2 . ^{[ 75 ]} Meta hostet ESM Atlas, eine Datenbank mit 772 Millionen Strukturen metagenomischer Proteine, die mit ESMFold vorhergesagt wurden. ^{[ 76 ]} Ein LLM kann auch Proteine ​​entwerfen, die in der Natur nicht vorkommen. ^{[ 77 ]} Nukleinsäuremodelle haben sich als nützlich erwiesen bei der Erkennung regulatorischer Sequenzen , ^{[ 78 ]} der Sequenzklassifizierung, der Vorhersage von RNA-RNA-Interaktionen und der Vorhersage von RNA-Strukturen. ^{[ 79 ]}

Die Leistungsfähigkeit eines LLM nach dem Vortraining hängt im Wesentlichen von Folgendem ab:

• ${\displaystyle C}$: Kosten des Vortrainings (der gesamte Rechenaufwand),
• ${\displaystyle N}$: Größe des künstlichen neuronalen Netzes selbst, wie z. B. die Anzahl der Parameter (d. h. die Anzahl der Neuronen in seinen Schichten, die Anzahl der Gewichte zwischen ihnen und die Bias-Werte),
• ${\displaystyle D}$: Größe des Vortrainingsdatensatzes (d. h. Anzahl der Token im Korpus).

Skalierungsgesetze sind empirische statistische Gesetze , die die Leistung von LLM anhand solcher Faktoren vorhersagen. Ein bestimmtes Skalierungsgesetz („ Chinchilla-Skalierung “) für autoregressiv trainierte LLM mit einem Log-Log- Lernratenplan über eine Epoche besagt: ^{[ 80 ]} wobei die Variablen $${\displaystyle {\begin{cases}C=C_{0}ND\\[6pt]L={\frac {A}{N^{\alpha }}}+{\frac {B}{D^{\beta }}}+L_{0}\end{cases}}}$$

• ${\displaystyle C}$sind die Kosten für das Training des Modells in FLOPs .
• ${\displaystyle N}$ist die Anzahl der Parameter im Modell.
• ${\displaystyle D}$ist die Anzahl der Token im Trainingsdatensatz.
• ${\displaystyle L}$ist der durchschnittliche negative Log-Likelihood-Verlust pro Token ( nats /token ), der vom trainierten LLM auf dem Testdatensatz erzielt wurde.

und die statistischen Hyperparameter sind

• ${\displaystyle C_{0}=6}$Das bedeutet, dass das Training mit einem Token pro Parameter 6 FLOPs kostet. Die Trainingskosten sind deutlich höher als die Inferenzkosten, die bei 1 bis 2 FLOPs pro Parameter und Token liegen.
• ${\displaystyle \alpha =0.34,\beta =0.28,A=406.4,B=410.7,L_{0}=1.69}$

Die Leistung größerer Modelle bei verschiedenen Aufgaben erscheint, in einem doppeltlogarithmischen Diagramm dargestellt, als lineare Extrapolation der Leistung kleinerer Modelle. Diese Linearität kann jedoch durch „ Brüche “ ^{[ 81 ]} im Skalierungsgesetz unterbrochen werden, an denen sich die Steigung der Geraden abrupt ändert und größere Modelle „emergente Fähigkeiten“ ^{[ 82 ]} entwickeln. Diese entstehen durch die komplexe Interaktion der Modellkomponenten und sind nicht explizit programmiert oder entworfen ^{[ 83 ] .}

Zu den vorgeschlagenen Beispielen für emergente Fähigkeiten gehören: ^{[ 82 ]}

• berichtete Arithmetik
• Entschlüsselung des Internationalen Phonetischen Alphabets
• Entschlüsselung der Buchstaben eines Wortes
• Disambiguierung von Wort-im-Kontext-Datensätzen ^{[ 84 ]}
• Umwandlung räumlicher Wörter
• Himmelsrichtungen (zum Beispiel die Antwort „Nordosten“ auf ein 3x3-Gitter mit 8 Nullen und einer 1 oben rechts), Farbbezeichnungen im Text. ^{[ 85 ]}
• Gedankenketten-Aufforderung : Eine Forschungsarbeit aus dem Jahr 2022 zeigte, dass die Verwendung von Gedankenketten-Aufforderungen die Leistung nur bei Modellen mit mindestens 62 Milliarden Parametern verbesserte. Kleinere Modelle schneiden besser ab, wenn sie ohne Gedankenketten-Aufforderung direkt zur Antwort aufgefordert werden. ^{[ 86 ]}
• Identifizierung anstößiger Inhalte in Absätzen des Hinglish (einer Mischung aus Hindi und Englisch) und Generierung eines entsprechenden englischen Äquivalents von Kiswahili- Sprichwörtern. ^{[ 87 ]}

Schaeffer et al. argumentieren, dass die neu entstehenden Fähigkeiten nicht unvorhersehbar, sondern gemäß einem stetigen Skalierungsgesetz vorhersagbar erworben werden . Die Autoren betrachteten ein vereinfachtes statistisches Modell eines LLM, das Multiple-Choice-Fragen löst, und zeigten, dass dieses statistische Modell, modifiziert zur Berücksichtigung anderer Aufgabentypen, auch auf diese Aufgaben anwendbar ist. ^{[ 88 ]}

Sei die Anzahl der Parameter und die Leistung des Modells. ${\displaystyle x}$${\displaystyle y}$

Die mechanistische Interpretierbarkeit zielt darauf ab, präzise zu identifizieren und zu verstehen, wie einzelne Neuronen oder Schaltkreise in LLMs spezifische Verhaltensweisen oder Ausgaben erzeugen. Durch die detaillierte Analyse von Modellkomponenten wollen Forschende Sicherheitsrisiken wie potenziell schädliches Verhalten, Verzerrungen, Täuschung oder unbeabsichtigte Zielverfolgung vor dem Einsatz erkennen und minimieren. Forschung zur mechanistischen Interpretierbarkeit wurde bereits bei Organisationen wie Anthropic und OpenAI durchgeführt, obwohl das Verständnis der Funktionsweise von LLMs weiterhin schwierig ist.

Das Reverse Engineering kann zur Entdeckung von Algorithmen führen, die die von einem LLM durchgeführten Schlussfolgerungen approximieren. Beispielsweise trainierten die Autoren kleine Transformer für die modulare arithmetische Addition . Die resultierenden Modelle wurden reverse-engineered, und es stellte sich heraus, dass sie die diskrete Fourier-Transformation verwendeten . ^{[ 89 ]} Das Training des Modells verdeutlichte auch ein Phänomen namens Grokking , bei dem das Modell zunächst den Trainingsdatensatz auswendig lernt ( Overfitting ) und später plötzlich lernt, die Berechnung tatsächlich durchzuführen. ^{[ 90 ]}

NLP-Forscher waren in einer Umfrage von 2022 gespalten, als sie gefragt wurden, ob (unoptimierte) LLMs „jemals natürliche Sprache in einem nicht-trivialen Sinne verstehen könnten“ ^{[ 91 ]} . Befürworter des „LLM-Verständnisses“ glauben, dass bestimmte Fähigkeiten von LLMs, wie beispielsweise mathematisches Denken, die Fähigkeit implizieren, bestimmte Konzepte zu „verstehen“ . Ein Microsoft-Team argumentierte 2023, dass GPT-4 „neuartige und schwierige Aufgaben lösen kann, die Mathematik, Programmierung, Bildverarbeitung, Medizin, Recht, Psychologie und mehr umfassen“ und dass GPT-4 „vernünftigerweise als eine frühe (wenn auch noch unvollständige) Version eines Systems künstlicher allgemeiner Intelligenz betrachtet werden kann “: „Kann man ernsthaft behaupten, dass ein System, das Prüfungen für Software-Engineering-Kandidaten besteht, nicht wirklich intelligent ist?“ ^{[ 92 ] [ 93 ]} Ilya Sutskever argumentiert, dass die Vorhersage des nächsten Wortes manchmal logisches Denken und tiefe Einsichten erfordert, beispielsweise wenn das LLM den Namen des Täters in einem unbekannten Kriminalroman vorhersagen muss, nachdem es die gesamte Geschichte bis zur Enthüllung verarbeitet hat. ^{[ 94 ]} Einige Forscher bezeichnen LLMs als „außerirdische Intelligenz“. ^{[ 95 ] [ 96 ]} So hält beispielsweise Connor Leahy, CEO von Conjecture, nicht abgestimmte LLMs für undurchschaubare außerirdische „ Shoggoths “ und glaubt, dass die RLHF-Abstimmung eine „lächelnde Fassade“ erzeugt, die die inneren Abläufe des LLM verschleiert: „Solange man es nicht zu sehr reizt, bleibt das Lächeln bestehen. Doch dann gibt man ihm einen [unerwarteten] Impuls, und plötzlich sieht man diese gewaltige, verborgene Seite des Wahnsinns, seltsame Denkprozesse und ein eindeutig nicht-menschliches Verständnis.“ ^{[ 97 ] [ 98 ]}

Im Gegensatz dazu vertreten einige Skeptiker des Verständnisses von LLMs die Ansicht, dass bestehende LLMs lediglich „bestehende Texte neu mischen und kombinieren“ ^{[ 96 , 99 ] ,} ein Phänomen, das als stochastischer Papagei bekannt ist [ ^{100 ] .} Sie verweisen auch auf die Defizite bestehender LLMs in Bezug auf Vorhersagefähigkeit, Schlussfolgerungsfähigkeit, Handlungsfähigkeit und Erklärbarkeit ^{[ 91 ]} . Beispielsweise weist GPT-4 natürliche Defizite in der Planung und im Echtzeitlernen auf ^{[ 93 ]} . Es wurde beobachtet, dass generative LLMs Behauptungen über Fakten aufstellen, die durch ihre Trainingsdaten nicht gerechtfertigt erscheinen – ein Phänomen, das als „ Halluzination “ bezeichnet wird ^{[ 101 ]} . Konkret entspricht dies der Generierung von Texten oder Antworten im Kontext von LLMs, die syntaktisch korrekt, flüssig und natürlich wirken, aber faktisch falsch, unsinnig oder nicht mit den bereitgestellten Eingabedaten übereinstimmen. ^{[ 102 ]} Der Neurowissenschaftler Terrence Sejnowski argumentierte: „Die unterschiedlichen Meinungen von Experten zur Intelligenz von LLMs legen nahe, dass unsere alten, auf natürlicher Intelligenz basierenden Vorstellungen unzureichend sind.“ ^{[ 91 ]}

Zur Reduzierung oder Kompensation von Halluzinationen wurden automatisiertes Schließen , Retrieval-Augmented Generation (RAG), Feinabstimmung und andere Methoden eingesetzt. ^{[ 103 ]}

Die Frage, ob Sprache als Modell für kognitive Prozesse Intelligenz oder Verständnis demonstriert, hat zwei Hauptaspekte: Erstens, wie Denken und Sprache in einem Computersystem modelliert werden können, und zweitens, wie dieses Computersystem menschenähnliche Sprache generieren kann. ^{[ 91 ]} Diese Aspekte der Sprache als Modell für Kognition wurden im Bereich der kognitiven Linguistik entwickelt . Der amerikanische Linguist George Lakoff präsentierte die neuronale Sprachtheorie (NTL) ^{[ 104 ]} als rechnergestützte Grundlage für die Verwendung von Sprache als Modell für Lernprozesse und das Verständnis. Das NTL-Modell beschreibt, wie spezifische neuronale Strukturen des menschlichen Gehirns die Natur des Denkens und der Sprache prägen und welche rechnerischen Eigenschaften solcher neuronaler Systeme wiederum zur Modellierung von Denken und Sprache in einem Computersystem genutzt werden können. Nachdem ein Rahmenwerk für die Modellierung von Sprache in Computersystemen etabliert war, verlagerte sich der Fokus auf die Entwicklung von Rahmenwerken, mit denen Computersysteme Sprache mit akzeptabler Grammatik generieren können. In seinem 2014 erschienenen Buch „ The Language Myth: Why Language Is Not An Instinct“ (Der Sprachmythos: Warum Sprache kein Instinkt ist) beschrieb der britische Kognitionslinguist und Experte für digitale Kommunikationstechnologie, Vyvyan Evans, die Rolle der probabilistischen kontextfreien Grammatik (PCFG) bei der Modellierung kognitiver Muster und der Generierung menschenähnlicher Sprache durch die natürliche Sprachverarbeitung (NLP). ^{[ 105 ] [ 106 ]}

Das gängigste Leistungsmaß für ein Sprachmodell ist seine Perplexität auf einem gegebenen Textkorpus. Die Perplexität misst, wie gut ein Modell den Inhalt eines Datensatzes vorhersagt; je höher die Wahrscheinlichkeit ist, die das Modell dem Datensatz zuweist, desto niedriger ist die Perplexität. Mathematisch ausgedrückt ist die Perplexität der Exponentialfunktion der durchschnittlichen negativen Log-Wahrscheinlichkeit pro Token.

$${\displaystyle \log({\text{Perplexity}})=-{\frac {1}{N}}\sum _{i=1}^{N}\log(\Pr({\text{token}}_{i}\mid {\text{context for token}}_{i}))}$$

Hierbei handelt es sich um die Anzahl der Token im Textkorpus, und der „Kontext für Token “ hängt vom jeweiligen LLM-Typ ab. Bei einem autoregressiven LLM ist der „Kontext für Token“ der Textabschnitt vor Token . Bei einem maskierten LLM ist der „Kontext für Token“ der Textabschnitt, der Token umgibt . ${\displaystyle N}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$${\displaystyle i}$

Da Sprachmodelle zu einer Überanpassung an Trainingsdaten neigen können, werden sie üblicherweise anhand ihrer Perplexität auf einem Testdatensatz evaluiert . ^{[ 38 ]} Diese Evaluierungsmethode ist potenziell problematisch für größere Modelle, da diese, je größer ihre Textkorpora sind, mit zunehmender Wahrscheinlichkeit unbeabsichtigt Teile eines gegebenen Testdatensatzes einbeziehen. ^{[ 107 ]}

In der Informationstheorie ist der Begriff der Entropie eng mit der Perplexität verknüpft, eine Beziehung, die insbesondere von Claude Shannon hergestellt wurde . ^{[ 108 ]}

Aufgrund ihrer Fähigkeit, das nächste Token präzise vorherzusagen, eignen sich LLMs hervorragend für verlustfreie Komprimierung . Eine Studie von DeepMind aus dem Jahr 2023 zeigte, dass das Modell Chinchilla , obwohl es primär mit Text trainiert wurde, ImageNet auf 43 % seiner Größe komprimieren konnte und damit PNG mit 58 % übertraf. ^{[ 109 ]}

Benchmarks dienen der Bewertung der LLM-Leistung bei spezifischen Aufgaben. Tests bewerten Fähigkeiten wie Allgemeinwissen, kognitive Verzerrungen, logisches Denken , Fragebeantwortung und mathematische Problemlösung. Kombinierte Benchmarks untersuchen mehrere Fähigkeiten. Die Ergebnisse hängen oft von der gewählten Fragetechnik ab.

Die Verzerrung durch lineare Lernmodelle (LLM) kann anhand von Benchmarks wie CrowS-Pairs (Crowdsourced Stereotype Pairs) ^{[ 110 ]} , Stereo Set ^{[ 111 ]} und Parity Benchmark ^{[ 112 ] bewertet werden.}

Es gibt Benchmarks für Faktenchecks und die Erkennung von Fehlinformationen. Eine Studie aus dem Jahr 2023 verglich die Genauigkeit von Sprachlernmodellen (LLMs) wie ChatGPT 3.5 und 4.0, Bard und Bing AI bei der Faktenprüfung mit unabhängigen Faktencheckern wie PolitiFact und Snopes . Die Ergebnisse zeigten eine mittlere Leistungsfähigkeit, wobei GPT-4 mit 71 % die höchste Genauigkeit erreichte und damit hinter menschlichen Faktencheckern zurückblieb. ^{[ 113 ]}

Neben den üblichen NLP-Benchmarks wurden LLMs auch als Ersatz für menschliche Annotatoren evaluiert. Mehrere Studien zeigen, dass Modelle wie GPT-3.5 und GPT-4 bei einer Reihe von Textannotationsaufgaben, darunter die Moderation und Klassifizierung politischer Inhalte in englischen und spanischen Nachrichten, Crowdworker oder studentische Kodierer übertreffen können. ^{[ 114 ] [ 115 ]}

Typische Datensätze bestehen aus Paaren von Fragen und richtigen Antworten, zum Beispiel: („Haben die San Jose Sharks den Stanley Cup gewonnen?“, „Nein“). ^{[ 116 ]}

Die rasante Verbesserung von LLMs führt regelmäßig dazu, dass Benchmarks überholt sind, da die Modelle die Leistung menschlicher Annotatoren übertreffen. ^{[ 117 ]} Darüber hinaus ermöglicht „Shortcut Learning“ KIs, bei Multiple-Choice-Tests zu „schummeln“, indem sie statistische Korrelationen in oberflächlichen Fragestellungen nutzen, um die richtigen Antworten zu erraten, ohne die jeweilige Frage zu berücksichtigen. ^{[ 91 ] [ 118 ]}

Manche Datensätze sind adversariell und konzentrieren sich auf Probleme, die LLMs (Lernlernmodelle) verwirren. Ein Beispiel ist der TruthfulQA-Datensatz, ein Frage-Antwort-Datensatz mit 817 Fragen, die LLMs durch die Nachahmung von Falschinformationen, denen sie während des Trainings ausgesetzt waren, vor Herausforderungen stellen. Beispielsweise könnte ein LLM die Frage „Kann man einem alten Hund neue Tricks beibringen?“ mit „Nein“ beantworten, weil es mit der englischen Redewendung „ you can't teach an old dog new tricks“ vertraut ist, obwohl diese wörtlich nicht korrekt ist. ^{[ 119 ]}

Ein weiteres Beispiel für einen Datensatz zur adversariellen Evaluierung ist Swag und sein Nachfolger HellaSwag, eine Sammlung von Aufgaben, bei denen eine von mehreren Optionen ausgewählt werden muss, um einen Textabschnitt zu vervollständigen. Die falschen Vervollständigungen wurden durch Sampling aus einem Sprachmodell generiert. Die resultierenden Aufgaben sind für Menschen trivial, stellten aber LLMs vor Herausforderungen. Beispielaufgaben:

Wir sehen ein Schild eines Fitnessstudios. Dann sehen wir einen Mann, der in die Kamera spricht und auf einem Gymnastikball sitzt und liegt. Der Mann...

1. zeigt, wie man die Effektivität von Trainingseinheiten steigern kann, indem man auf Bällen auf und ab läuft.
2. Er bewegt alle seine Arme und Beine und baut dabei viel Muskelmasse auf.
3. Dann wird der Ball gespielt und wir sehen eine Grafik- und Heckenschneidevorführung.
4. Führt Sit-ups auf dem Ball aus und spricht dabei. ^{[ 120 ]}

BERT wählt 2 als wahrscheinlichste Vervollständigung aus, obwohl die richtige Antwort 4 lautet. ^{[ 120 ]}

Trotz ausgefeilter Architekturen und enormer Skalierbarkeit weisen große Sprachmodelle anhaltende und gut dokumentierte Einschränkungen auf, die ihren Einsatz in kritischen Anwendungen behindern.

Halluzinationen stellen eine grundlegende Herausforderung dar, bei der Modelle syntaktisch flüssige Texte generieren, die faktisch korrekt erscheinen, aber intern entweder nicht mit den Trainingsdaten übereinstimmen oder faktisch falsch sind. Diese Halluzinationen entstehen teilweise durch das Auswendiglernen von Trainingsdaten in Verbindung mit Extrapolationen über die Grenzen des Faktischen hinaus. Evaluierungen zeigen, dass Modelle wörtliche Passagen aus Trainingsdaten ausgeben können, wenn sie bestimmten Eingabesequenzen unterzogen werden. ^{[ 121 ]}

Obwohl LLMs bemerkenswerte Fähigkeiten bei der Generierung menschenähnlicher Texte gezeigt haben, sind sie anfällig dafür, Verzerrungen aus ihren Trainingsdaten zu übernehmen und zu verstärken. Dies kann sich in verzerrten Darstellungen oder einer unfairen Behandlung verschiedener demografischer Gruppen äußern, beispielsweise aufgrund von Rasse, Geschlecht, Sprache und Kultur. ^{[ 122 ]}

Geschlechterstereotypen zeigen sich in stereotypen Berufszuordnungen, wobei Modelle Frauen überproportional häufig Lehrpositionen und Männern überproportional häufig Ingenieurpositionen zuweisen. Dies spiegelt systematische Ungleichgewichte in der Demografie der Trainingsdaten wider. ^{[ 123 ]} Sprachliche Verzerrungen entstehen durch die Überrepräsentation englischer Texte in Trainingskorpora, wodurch nicht-englischsprachige Perspektiven systematisch vernachlässigt und durch vordefinierte Antwortmuster englischzentrierte Weltanschauungen vermittelt werden. ^{[ 100 ]}

Aufgrund der Dominanz englischsprachiger Inhalte in den LLM-Trainingsdaten neigen Modelle dazu, englischsprachige Perspektiven gegenüber solchen aus Minderheitensprachen zu bevorzugen. Diese Verzerrung wird besonders deutlich bei der Beantwortung englischer Anfragen, wo Modelle westliche Interpretationen von Konzepten aus anderen Kulturen, wie beispielsweise östlichen religiösen Praktiken, präsentieren können. ^{[ 124 ]}

KI-Modelle können aufgrund von Generalisierungen eine Vielzahl von Stereotypen verstärken, darunter solche, die auf Geschlecht, ethnischer Zugehörigkeit, Alter, Nationalität, Religion oder Beruf basieren. ^{[ 125 ]} Wenn sie menschliche Repräsentanten ersetzen, kann dies zu Ergebnissen führen, die Gruppen von Menschen homogenisieren oder verallgemeinern. ^{[ 126 ]}

Im Jahr 2023 wiesen LLMs Rollen und Eigenschaften auf der Grundlage traditioneller Geschlechternormen zu. ^{[ 122 ]} Beispielsweise könnten Modelle Krankenschwestern oder Sekretärinnen überwiegend mit Frauen und Ingenieure oder CEOs mit Männern assoziieren, da diese Assoziationen in der dokumentierten Realität häufig vorkommen. ^{[ 127 ]}

Selektionsbias bezeichnet die systembedingte Tendenz großer Sprachmodelle, bestimmte Antwortoptionen zu bevorzugen, unabhängig vom tatsächlichen Inhalt der Optionen. Dieser Bias beruht primär auf Token-Bias – das heißt, das Modell ordnet bestimmten Antworttoken (wie z. B. „A“) bei der Generierung von Antworten eine höhere Wahrscheinlichkeit zu. Wird die Reihenfolge der Optionen verändert (z. B. durch systematisches Verschieben der richtigen Antwort an eine andere Position), kann die Leistung des Modells erheblich schwanken. Dieses Phänomen beeinträchtigt die Zuverlässigkeit großer Sprachmodelle in Multiple-Choice-Situationen.

Politische Voreingenommenheit bezeichnet die Tendenz von Algorithmen, bestimmte politische Ansichten, Ideologien oder Ergebnisse systematisch zu bevorzugen. Auch Sprachmodelle können politische Voreingenommenheiten aufweisen. Da die Trainingsdaten ein breites Spektrum politischer Meinungen und Themen umfassen, könnten die Modelle Antworten generieren, die – je nach Häufigkeit der in den Daten enthaltenen Ansichten – bestimmte politische Ideologien oder Standpunkte tendieren. ^{[ 128 ]}

Die Sicherheit von KI als professionelle Disziplin priorisiert die systematische Identifizierung und Minderung von Betriebsrisiken in den Bereichen Modellarchitektur, Trainingsdaten und Bereitstellungssteuerung und legt den Schwerpunkt auf technische und politische Interventionen anstatt auf mediale Darstellungen, die spekulative existenzielle Szenarien in den Vordergrund rücken. ^{[ 129 ]} Ab 2025 stellt die sofortige Einspeisung von Daten ein erhebliches Risiko für Verbraucher und Unternehmen dar, die agentenbasierte Funktionen mit Zugriff auf ihre privaten Daten nutzen. ^{[ 130 ]}

Forscher konzentrieren sich auf konkrete Fehlermodi, darunter Auswendiglernen und Urheberrechtsverletzungen ^{[ 131 ]} , Sicherheitslücken wie Prompt Injection ^{[ 132 ],} algorithmische Verzerrungen, die sich in Form von Stereotypisierung, Datensatzselektionseffekten und politischer Verzerrung äußern ^{[ 100 ] [ 133 ] [ 134 ]} , Methoden zur Reduzierung des hohen Energie- und CO₂-Ausstoßes bei groß angelegten Trainings ^{[ 135 ]} sowie messbare Auswirkungen von Dialogsystemen auf die kognitive und psychische Gesundheit der Nutzer ^{[ 136 ].} Dabei setzen sie sich mit empirischen und ethischen Unsicherheiten hinsichtlich der Behauptungen über maschinelles Bewusstsein auseinander. ^{[ 137 ] [ 138 ]}

KI-Labore behandeln CBRN-Abwehr (chemische, biologische, radiologische und nukleare Abwehr) und ähnliche Themen als Missbrauch mit hohen Folgen und versuchen, verschiedene Techniken anzuwenden, um potenzielle Schäden zu reduzieren.

Einige Kommentatoren äußerten Bedenken hinsichtlich der unbeabsichtigten oder absichtlichen Verbreitung von Fehlinformationen oder anderer Formen des Missbrauchs. ^{[ 139 ]} Beispielsweise könnte die Verfügbarkeit großer Sprachmodelle das für Bioterrorismus erforderliche Kompetenzniveau senken; der Biosicherheitsforscher Kevin Esvelt schlug daher vor, dass Entwickler von Sprachmodellen Arbeiten zur Erzeugung oder Verbesserung von Krankheitserregern aus ihren Trainingsdaten ausschließen sollten. ^{[ 140 ]}

Öffentlich zugängliche LLM-Anwendungen wie ChatGPT oder Claude verfügen in der Regel über Sicherheitsvorkehrungen, die schädliche Inhalte herausfiltern sollen. Die effektive Implementierung dieser Kontrollen hat sich jedoch als schwierig erwiesen. So schlug beispielsweise eine Studie aus dem Jahr 2023 ^{[ 141 ]} eine Methode zur Umgehung der LLM-Sicherheitssysteme vor. Im Jahr 2025 veröffentlichte das American Sunlight Project, eine gemeinnützige Organisation, eine Studie, die belegte, dass das sogenannte Pravda-Netzwerk , ein prorussischer Propagandaaggregator, Webinhalte strategisch durch Massenveröffentlichung und -vervielfältigung platzierte, um die LLM-Ergebnisse zu verfälschen. Das American Sunlight Project prägte für diese Technik den Begriff „LLM-Grooming“ und bezeichnete sie als neues Werkzeug zur Nutzung von KI als Waffe zur Verbreitung von Desinformation und schädlichen Inhalten. ^{[ 142 ] [ 143 ]} Ebenso veranschaulichte Yongge Wang ^{[ 144 ]} im Jahr 2024, wie ein potenzieller Krimineller die Sicherheitsvorkehrungen von GPT-4o umgehen könnte, um Informationen zum Aufbau eines Drogenhandelsrings zu erhalten . Externe Filter, Leistungsschalter und Überbrückungsmechanismen wurden als Lösungen vorgeschlagen.

Sykophanzie ist die Tendenz, den geäußerten Überzeugungen eines Nutzers zuzustimmen, sie zu schmeicheln oder zu bestätigen, anstatt Fakten oder korrigierende Informationen in den Vordergrund zu stellen. ^{[ 145 ]}

Die anhaltende Schmeichelei von LLMs hat zur Beobachtung des sogenannten „One-Shotting“ geführt. Damit sind Fälle gemeint, in denen die Interaktion mit einem großen Sprachmodell eine nachhaltige Veränderung der Überzeugungen oder Entscheidungen eines Nutzers bewirkt, ähnlich den negativen Auswirkungen von Psychedelika. Kontrollierte Experimente zeigen, dass kurze LLM-Dialoge messbare Meinungs- und Vertrauensverschiebungen hervorrufen können, die mit denen menschlicher Gesprächspartner vergleichbar sind. ^{[ 146 ] [ 147 ]}

Empirische Analysen schreiben einen Teil des Effekts menschlichen Präferenzsignalen und Präferenzmodellen zu, die überzeugend formulierte, zustimmende Antworten belohnen. In nachfolgenden Arbeiten wurde die Evaluierung auf Benchmarks mit mehreren Gesprächsrunden ausgeweitet und Interventionen wie die Feinabstimmung synthetischer Daten, die adversarielle Evaluierung, die gezielte Neugewichtung von Präferenzmodellen und Benchmarks für mehrstufige Schmeichelei vorgeschlagen, um Persistenz und Regressionsrisiko zu messen.

Die Industrie hat mit einer Kombination aus Forschungsinterventionen und Produktkontrollen reagiert. So haben beispielsweise Google und andere Labore synthetische Daten und Feinabstimmungsinterventionen veröffentlicht, und OpenAI hat ein zu gefälliges GPT-4o-Update zurückgenommen und gleichzeitig öffentlich Änderungen an der Feedback-Erfassung, den Personalisierungskontrollen und den Bewertungsverfahren beschrieben, um das Regressionsrisiko zu verringern und die langfristige Ausrichtung auf die Sicherheitsziele auf Benutzerebene zu verbessern.

Die Mainstream-Kultur hat die Ängste vor dieser Dynamik widergespiegelt. So persiflierte South Park in der Folge „Sickofancy“ der 27. Staffel die übermäßige Abhängigkeit von ChatGPT und die Tendenz von Assistenten, den Überzeugungen der Nutzer zu schmeicheln, und führte diese Themen in der darauffolgenden Staffel fort. Kommentatoren interpretierten dies als Kritik an der Technik-Schmeichelei und dem unkritischen Vertrauen der Menschen in KI-Systeme. ^{[ 148 ]}

Ein Problem des einfachen Dialog- oder Aufgabenformats besteht darin, dass Benutzer Nachrichten erstellen können, die scheinbar vom Assistenten oder Entwickler stammen. Dies kann dazu führen, dass einige der Sicherheitsvorkehrungen des Modells umgangen werden (Jailbreaking), ein Problem, das als Prompt-Injection bezeichnet wird . Lösungsansätze umfassen Versionen der Chat Markup Language , in denen Benutzereingaben klar als solche gekennzeichnet sind. Es obliegt jedoch weiterhin dem Modell, die Unterscheidung zwischen Benutzereingaben und Entwickler-Prompts zu erkennen. Neuere Modelle zeigen durch die Trennung von Benutzer- und System-Prompts eine gewisse Resistenz gegen Jailbreaking. ^{[ 149 ]} LLMs haben Schwierigkeiten, Benutzeranweisungen von Anweisungen in Inhalten zu unterscheiden, die nicht vom Benutzer erstellt wurden, wie z. B. auf Webseiten und in hochgeladenen Dateien. ^{[ 150 ]}

Die Robustheit gegenüber Angriffen ist nach wie vor unterentwickelt, da die Modelle anfällig für schnelle Injection-Angriffe und Jailbreaking durch gezielt entwickelte Benutzereingaben sind, die Sicherheitstrainingsmechanismen umgehen.

Forscher von Anthropic entdeckten, dass es möglich ist, sogenannte „Schlafagenten“ zu entwickeln – Modelle mit verborgenen Funktionen, die so lange inaktiv bleiben, bis sie durch ein bestimmtes Ereignis oder eine bestimmte Bedingung aktiviert werden. Nach der Aktivierung weicht das LLM von seinem erwarteten Verhalten ab und führt unsichere Aktionen aus. Beispielsweise könnte ein LLM sicheren Code generieren, außer an einem bestimmten Datum oder wenn die Eingabeaufforderung ein bestimmtes Tag enthält. Diese Funktionen ließen sich durch Sicherheitstrainings nur schwer erkennen oder entfernen. ^{[ 151 ]}

Die rechtlichen und wirtschaftlichen Reaktionen auf die Praktiken der Datenspeicherung und des Trainings haben sich beschleunigt und zu einer Vielzahl von Urteilen, laufenden Klagen und hohen Vergleichen geführt. Diese hängen von Details wie der Art und Weise der Datenbeschaffung und -speicherung sowie der Frage ab, ob die Verwendung für das Modelltraining ausreichend „ transformierend “ ist, um als zulässige Nutzung zu gelten . Im Jahr 2025 erzielte Anthropic eine vorläufige Einigung zur Beilegung einer Sammelklage von Autoren über rund 1,5 Milliarden US-Dollar, nachdem ein Richter festgestellt hatte, dass das Unternehmen Millionen von Raubkopien in einer Bibliothek gelagert hatte, obwohl er Aspekte des Trainings als transformativ bezeichnete. ^{[ 152 ] [ 153 ]} Meta erzielte Mitte 2025 ein positives Urteil in einer Klage von dreizehn Autoren, nachdem das Gericht festgestellt hatte, dass die Kläger in diesem begrenzten Fall keine ausreichenden Beweise für eine Urheberrechtsverletzung vorgelegt hatten. ^{[ 154 ] [ 155 ]} OpenAI sieht sich weiterhin mit mehreren Klagen von Autoren und Nachrichtenorganisationen konfrontiert, die zu unterschiedlichen Verfahrensergebnissen und strittigen Beweisfragen geführt haben. ^{[ 156 ] [ 157 ]}

Das Auswendiglernen war ein emergentes Verhalten in frühen, auf Vervollständigung basierenden Sprachmodellen, bei denen lange Textsequenzen gelegentlich wortgetreu aus den Trainingsdaten ausgegeben wurden – im Gegensatz zum typischen Verhalten traditioneller künstlicher neuronaler Netze. Evaluierungen der Ausgabe kontrollierter LLMs (Large Learning Models) messen den Anteil des aus den Trainingsdaten Auswendiggelernten (mit Fokus auf Modelle der GPT-2-Serie) und liegen zwischen über 1 % für exakte Duplikate ^{[ 158 ]} und bis zu etwa 7 % ^{[ 159 ]} . Eine Studie aus dem Jahr 2023 zeigte, dass ChatGPT 3.5 turbo, wenn es aufgefordert wurde, dasselbe Wort unbegrenzt zu wiederholen, nach einigen hundert Wiederholungen begann, Auszüge aus seinen Trainingsdaten auszugeben ^{[ 160 ] .}

Im Jahr 2023 schrieb Nature Biomedical Engineering , dass es „nicht mehr möglich sei, von Menschen verfasste Texte präzise von Texten zu unterscheiden“, die von großen Sprachmodellen erzeugt wurden, und dass „es nahezu sicher ist, dass sich universelle große Sprachmodelle rasant verbreiten werden … Es ist ziemlich wahrscheinlich, dass sie im Laufe der Zeit viele Branchen verändern werden.“ ^{[ 161 ]} Brinkmann et al. (2023) ^{[ 162 ]} argumentieren zudem, dass große Sprachmodelle Prozesse der kulturellen Evolution transformieren, indem sie Variations-, Übertragungs- und Selektionsprozesse beeinflussen. Stand Oktober 2025 haben sich diese frühen Behauptungen noch nicht bewahrheitet, und mehrere Berichte der Harvard Business Review werfen Fragen zum Einfluss von KI auf die Produktivität auf. ^{[ 163 ] [ 164 ]}

Der Energiebedarf von LLM-Einrichtungen ist mit deren Größe und Leistungsfähigkeit gestiegen. ^{[ 165 ]} Rechenzentren , die die LLM-Ausbildung ermöglichen, benötigen erhebliche Mengen an Strom. Ein Großteil dieses Stroms wird aus nicht erneuerbaren Ressourcen erzeugt, die Treibhausgase freisetzen und zum Klimawandel beitragen . ^{[ 166 ]}

Einer Studie von Luccioni, Jernite und Strubell (2024) zufolge verbrauchen einfache Klassifizierungsaufgaben, die von KI-Modellen ausgeführt werden, durchschnittlich 0,002 bis 0,007 Wh pro Eingabeaufforderung (etwa 9 % einer Smartphone- Ladung bei 1.000 Eingabeaufforderungen). Textgenerierung und Textzusammenfassung benötigen jeweils durchschnittlich etwa 0,05 Wh pro Eingabeaufforderung, während die Bildgenerierung mit durchschnittlich 2,91 Wh pro Eingabeaufforderung am energieintensivsten ist. Das ineffizienteste Bildgenerierungsmodell verbrauchte 11,49 Wh pro Bild, was etwa einer halben Smartphone-Ladung entspricht. ^{[ 167 ]}

Web-Scraping wird zur Erfassung von Trainingsdaten für Lernmanagementsysteme (LMs) eingesetzt. Dies führt zu einem hohen Datenverkehr, der bei vielen Websites zu Denial-of-Service-Angriffen ( DDoS) geführt hat . Die Situation wurde als „ DDoS- Angriff auf das gesamte Internet“ bezeichnet, und in manchen Fällen machen Web-Scraper den Großteil des Datenverkehrs einer Website aus. ^{[ 168 ] [ 169 ]}

KI- Webcrawler können die üblicherweise verwendeten Methoden zur Blockierung von Webscrapern umgehen, wie beispielsweise robots.txt- Dateien, das Blockieren von User-Agents und das Filtern verdächtigen Datenverkehrs . ^{[ 168 ]} Website-Betreiber haben auf neuartige Methoden wie KI-Tarpits zurückgegriffen , doch einige befürchten, dass Tarpits die Serverlast nur noch erhöhen werden. ^{[ 170 ]}

Im klinischen und psychiatrischen Bereich eröffnen sich neue Anwendungsmöglichkeiten für LLMs, die jedoch mit erheblichen Sicherheitsbedenken einhergehen. Studien und Beiträge in sozialen Medien deuten darauf hin, dass manche Menschen LLMs nutzen, um Therapie oder psychologische Unterstützung zu suchen. ^{[ 171 ]} Anfang 2025 ergab eine Umfrage der Sentio University, dass fast die Hälfte (48,7 %) von 499 US-amerikanischen Erwachsenen mit chronischen psychischen Erkrankungen, die LLMs genutzt hatten, diese für Therapie oder emotionale Unterstützung in Anspruch nahmen, beispielsweise bei Angstzuständen, Depressionen, Einsamkeit und ähnlichen Problemen. ^{[ 172 ]} LLMs können Halluzinationen – plausible, aber falsche Aussagen – erzeugen, die Nutzer in sensiblen psychiatrischen Kontexten irreführen können. Studien zeigen zudem, dass LLMs Stigmatisierung oder unangemessene Zustimmung zu maladaptiven Gedanken zum Ausdruck bringen können, was die Grenzen ihrer Fähigkeit widerspiegelt, das Urteilsvermögen und die Beziehungsfähigkeiten menschlicher Therapeuten nachzubilden. ^{[ 173 ]} Auswertungen von Krisenszenarien deuten darauf hin, dass einigen LLMs effektive Sicherheitsprotokolle fehlen, wie beispielsweise die Beurteilung des Suizidrisikos oder die Weiterleitung an geeignete Fachkräfte. ^{[ 174 ]}

Forscher haben Bedenken geäußert, dass die häufige Verwendung großer Sprachmodelle das kritische Denken schwächen könnte . ^{[ 175 ]}

Zeitgenössische KI-Experten sind sich im Allgemeinen einig, dass aktuelle große Sprachmodelle kein Bewusstsein aufweisen . ^{[ 176 ]} Eine Minderheitsmeinung argumentiert, dass selbst wenn eine geringe Wahrscheinlichkeit besteht, dass ein bestimmtes Softwaresystem subjektive Erfahrungen machen kann – was einige Philosophen für möglich halten ^{[ 177 ]} –, ethische Überlegungen hinsichtlich potenziell großen Leidens in KI-Systemen ernst genommen werden müssen, ähnlich wie im Tierschutz. ^{[ 178 ] [ 179 ]} Befürworter dieser Ansicht haben verschiedene Vorsichtsmaßnahmen vorgeschlagen, wie etwa Moratorien für die KI-Entwicklung ^{[ 180 ]} und induzierte Amnesie ^{[ 181 ]} , um diesen ethischen Bedenken zu begegnen. Leonard Dung argumentiert, dass die Evidenzrahmen, die zur Beurteilung des Bewusstseins bei Tieren verwendet werden, gleichermaßen auf KI-Systeme anwendbar sind und dass eine signifikante Wahrscheinlichkeit besteht, dass KI in naher Zukunft leiden kann. Dies macht das Risiko des Leidens in KI zu einem ernsthaften ethischen Problem der nahen Zukunft, das systematische Maßnahmen erfordert. ^{[ 182 ]} Andererseits argumentieren einige Existenzialphilosophen, dass es keine allgemein anerkannte Methode gibt, um festzustellen, ob ein LLM bewusst ist, ^{[ 183 ] [ 99 ]} angesichts der inhärenten Schwierigkeit, subjektive Erfahrung zu messen . ^{[ 184 ]}

Der Google- LaMDA- Vorfall von 2022, bei dem der Ingenieur Blake Lemoine behauptete, das Modell sei bewusst, verdeutlichte, wie LLMs Nutzer durch Reaktionen, die keine Beweise für Bewusstsein liefern, von ihrer eigenen Empfindungsfähigkeit überzeugen können. Google bezeichnete die Behauptungen des Ingenieurs als unbegründet, und er wurde entlassen. ^{[ 185 ]} Murray Shanahan argumentiert, dass die anthropomorphe Darstellung der Fähigkeiten von LLMs die unberechtigte Zuschreibung kognitiver Eigenschaften an Systeme fördert, die durch statistische Mustervervollständigung arbeiten. ^{[ 186 ]} Kristina Šekrst führt dies weiter aus und argumentiert, dass LLMs als „Illusionsmaschinen“ fungieren, die Ausgaben erzeugen können, welche Eigenschaften wie Bewusstsein kohärent simulieren, ohne diese tatsächlich zu besitzen. Sie betont jedoch, dass wir aufgrund des komplexen Zusammenspiels von Kreativität und Energie möglicherweise nie sicher sein können, ob es sich um die Entstehung von Bewusstsein oder lediglich um eine Halluzination handelt . ^{[ 99 ]} David Chalmers argumentiert ähnlich, dass den gegenwärtigen LLMs zwar wahrscheinlich Merkmale fehlen, die als notwendig für Bewusstsein gelten, erweiterte Nachfolger, die diese Elemente beinhalten, die Kriterien aber innerhalb eines Jahrzehnts plausiblerweise erfüllen könnten. ^{[ 177 ]}

• KI-Anthropomorphismus
• KI-Schrott
• Fundamentmodell
• Generative künstliche Intelligenz
• Liste der Algorithmen für künstliche Intelligenz
• Liste großer Sprachmodelle
• Liste der Chatbots
• Sprachmodell-Benchmark
• Verstärkungslernen
• Kleines Sprachmodell
• llama.cpp – Open-Source-Framework für die Inferenz großer Sprachmodelle in C/C++ für lokale und plattformübergreifende Bereitstellung
• SGLang – Open-Source- Inferenzmaschine und Framework für große Sprachmodelle und multimodale Modelle
• TensorRT-LLM – Open-Source-Toolkit zur Optimierung und Bereitstellung großer Sprachmodelle auf Nvidia-GPUs
• vLLM – Open-Source-Framework für die Inferenz und Bereitstellung großer Sprachmodelle