Eliezer Yudkowsky

Eliezer Shlomo Yudkowsky ( / ˌ ɛ l i ˈ ɛ z ər j ʊ d ˈ k aʊ s k i / EL -ee- EH -zər yuud- KOW -skee ; ^{[ 1 ]} * 11. September 1979) ist ein US-amerikanischer Forscher im Bereich der künstlichen Intelligenz ^{[ 2 ] [ 3 ] [ 4 ] [ 5 ]} und Autor von Werken zur Entscheidungstheorie und Ethik . Er ist bekannt für die Popularisierung von Ideen im Zusammenhang mit freundlicher künstlicher Intelligenz . ^{[ 6 ] [ 7 ]} Er ist Gründer und wissenschaftlicher Mitarbeiter des Machine Intelligence Research Institute (MIRI), einer privaten, gemeinnützigen Forschungseinrichtung mit Sitz in Berkeley, Kalifornien . ^{[ 8 ]}

Seine Arbeiten über die Möglichkeit einer unkontrollierten Intelligenzexplosion beeinflussten das 2014 erschienene Buch „Superintelligence: Paths, Dangers, Strategies“ des Philosophen Nick Bostrom . ^{[ 9 ]} Bekannt wurde er vor allem durch seinen gemeinsam mit Nate Soares verfassten New -York-Times- Bestseller „ If Anyone Builds It, Everyone Dies: Why Superhuman AI Would Kill Us All“ sowie durch die Harry-Potter -Fanfiction „Harry Potter and the Methods of Rationality“ .

Yudkowskys Ansichten zu den Sicherheitsherausforderungen zukünftiger Generationen von KI-Systemen werden in Stuart Russells und Peter Norvigs Lehrbuch „Artificial Intelligence: A Modern Approach“ für Bachelor-Studierende diskutiert . Russell und Norvig weisen auf die Schwierigkeit hin, allgemeine Ziele formal von Hand zu spezifizieren, und zitieren Yudkowskys Vorschlag, autonome und adaptive Systeme so zu gestalten, dass sie im Laufe der Zeit korrektes Verhalten erlernen.

Yudkowsky (2008) ^{[ 10 ]} beschreibt detaillierter, wie man eine freundliche KI entwirft . Er argumentiert, dass Freundlichkeit (der Wunsch, Menschen nicht zu schaden) von Anfang an in die Entwicklung integriert werden sollte. Die Entwickler müssten sich jedoch bewusst sein, dass ihre Entwürfe fehlerhaft sein können und dass der Roboter im Laufe der Zeit lernt und sich weiterentwickelt. Die Herausforderung besteht somit im Mechanismusdesign: einen Mechanismus zu entwerfen, der die Entwicklung einer KI unter einem System von Kontrollmechanismen ermöglicht und dem System Nutzenfunktionen verleiht, die auch angesichts solcher Veränderungen freundlich bleiben. ^{[ 6 ]}

Als Reaktion auf die Bedenken hinsichtlich der instrumentellen Konvergenz , die besagen, dass autonome Entscheidungssysteme mit schlecht definierten Zielen standardmäßig Anreize hätten, Menschen zu schädigen, empfahlen Yudkowsky und andere Forscher des MIRI, Softwareagenten zu spezifizieren, die selbst bei falsch definierten Zielen zu sicheren Standardverhaltensweisen konvergieren. ^{[ 11 ] [ 7 ]} Yudkowsky schlug 2004 außerdem ein theoretisches KI- Ausrichtungsmodell namens „Kohärente extrapolierte Willensbildung“ vor , das die Entwicklung von KIs beinhaltet, die das verfolgen, was Menschen unter idealen epistemischen und moralischen Bedingungen wünschen würden. ^{[ 12 ]}

Im von IJ Good postulierten Szenario einer Intelligenzexplosion entwickeln sich rekursiv selbstverbessernde KI-Systeme rasch von untermenschlicher allgemeiner Intelligenz zu Superintelligenz . Nick Bostroms Buch „Superintelligence: Paths, Dangers, Strategies“ (2014) erläutert Goods Argumentation detailliert und zitiert Yudkowsky, der vor der Gefahr warnt, dass die Anthropomorphisierung fortgeschrittener KI-Systeme zu einem falschen Verständnis der Natur einer Intelligenzexplosion führen kann. „KI könnte einen scheinbar sprunghaften Intelligenzsprung allein aufgrund von Anthropomorphismus vollziehen, der menschlichen Tendenz, ‚Dorfdepp‘ und ‚Einstein‘ als die Extreme der Intelligenzskala zu betrachten, anstatt als nahezu identische Punkte auf der Skala des allgemeinen menschlichen Geistes.“ ^{[ 6 ] [ 10 ] [ 12 ]}

In ihrem Werk „Künstliche Intelligenz: Ein moderner Ansatz“ bringen Russell und Norvig den Einwand vor, dass es aus der Komplexitätstheorie bekannte Grenzen für intelligentes Problemlösen gibt ; wenn es starke Einschränkungen hinsichtlich der Effizienz von Algorithmen bei der Lösung verschiedener Aufgaben gibt, ist eine Intelligenzexplosion möglicherweise nicht möglich. ^{[ 6 ]}

In einem 2023 im Time Magazine veröffentlichten Meinungsbeitrag erörterte Yudkowsky die Risiken künstlicher Intelligenz und plädierte für internationale Abkommen zu deren Begrenzung, einschließlich eines vollständigen Entwicklungsstopps. ^{[ 13 ] [ 14 ]} Er schlug vor, dass die beteiligten Länder bereit sein sollten, militärische Maßnahmen zu ergreifen, wie beispielsweise die „Zerstörung eines unbefugten Rechenzentrums per Luftangriff“, um ein solches Moratorium durchzusetzen. ^{[ 5 ]} Der Artikel trug dazu bei, die Debatte um die Regulierung von KI in den Fokus der Öffentlichkeit zu rücken und veranlasste einen Reporter, Präsident Joe Biden auf einer Pressekonferenz eine Frage zur Sicherheit von KI zu stellen . ^{[ 2 ]}

Zusammen mit Nate Soares schrieb Yudkowsky das Buch „ If Anyone Builds It, Everyone Dies“ , das am 16. September 2025 von Little, Brown and Company veröffentlicht wurde . ^{[ 15 ]}

Zwischen 2006 und 2009 waren Yudkowsky und Robin Hanson die Hauptautoren von „ Overcoming Bias“ , einem Blog zu Kognitions- und Sozialwissenschaften, der vom Future of Humanity Institute der Universität Oxford gefördert wurde. Im Februar 2009 gründete Yudkowsky „LessWrong“ , einen „Community-Blog zur Weiterentwicklung der menschlichen Rationalität“ ^{[ 16 ] [ 17 ]} . „Overcoming Bias“ diente seither als Hansons persönlicher Blog, während sich „LessWrong“ zum zentralen Online-Treffpunkt der rationalistischen Gemeinschaft entwickelte .

Über 300 Blogbeiträge von Yudkowsky zu Philosophie und Wissenschaft (ursprünglich auf LessWrong und Overcoming Bias veröffentlicht ) erschienen 2015 als E-Book unter dem Titel „ Rationality: From AI to Zombies“ beim MIRI. ^{[ 18 ]} Dieses Buch ist auch unter dem Titel „The Sequences“ bekannt. ^{[ 19 ]} Zudem veröffentlichte das MIRI 2017 Yudkowskys E-Book „ Inadequate Equilibria“ über gesellschaftliche Ineffizienzen. ^{[ 20 ]}

Yudkowsky hat auch mehrere fiktionale Werke verfasst. Sein Fanfiction- Roman „ Harry Potter and the Methods of Rationality“ verwendet Handlungselemente aus J. K. Rowlings Harry-Potter -Reihe, um Themen aus Wissenschaft und Rationalität zu veranschaulichen. ^{[ 16 ] [ 21 ] [ 22 ]}

Yudkowsky ist ein Enkel des Agrargenetikers Morris Soller . ^{[ 23 ]}

Yudkowsky ist Autodidakt ^{[ 24 ]} und besuchte weder eine High School noch ein College. ^{[ 25 ]} Er ist Jude und wurde modern-orthodox erzogen , ist aber mittlerweile säkular. ^{[ 26 ] [ 27 ]}

• Yudkowsky, Eliezer (2018). Karte und Territorium . Rationalität: Von KI zu Zombies. Band 1. Machine Intelligence Research Institute. ISBN 9781939311238Die
• Yudkowsky, Eliezer (2018). Wie man seine Meinung tatsächlich ändert . Rationalität: Von KI zu Zombies. Band 2. Machine Intelligence Research Institute. ISBN 9781939311290Die
• Yudkowsky, Eliezer; Soares, Nate (2025). Wenn es jemand baut, sterben alle : Warum übermenschliche KI uns alle töten würde . New York: Little, Brown and Company. ISBN 978-0-316-59564-3Die

• Yudkowsky, Eliezer (2007). „Organisationsebenen in der allgemeinen Intelligenz“ (PDF) . Künstliche allgemeine Intelligenz . Berlin: Springer.doi : 10.1007/978-3-540-68677-4_12
• Yudkowsky, Eliezer (2008). „Kognitive Verzerrungen, die die Beurteilung globaler Risiken beeinflussen können“ (PDF) . In: Bostrom, Nick ; Ćirković, Milan (Hrsg.). Globale Katastrophenrisiken . Oxford University Press. ISBN 978-0199606504Die
• Yudkowsky, Eliezer (2008). „Künstliche Intelligenz als positiver und negativer Faktor im globalen Risiko“ (PDF) . In: Bostrom, Nick ; Ćirković, Milan (Hrsg.). Globale Katastrophenrisiken . Oxford University Press. ISBN 978-0199606504Die
• Yudkowsky, Eliezer (2011). „Komplexe Wertesysteme in freundlicher KI“ (PDF) . Künstliche Allgemeine Intelligenz: 4. Internationale Konferenz, AGI 2011, Mountain View, CA, USA, 3.–6. August 2011. Berlin: Springer.
• Yudkowsky, Eliezer (2012). „Freundliche künstliche Intelligenz“. In: Eden, Ammon; Moor, James; Søraker, John; et al. (Hrsg.). Singularitätshypothesen: Eine wissenschaftliche und philosophische Bewertung . The Frontiers Collection. Berlin: Springer. S.  181–195 . doi : 10.1007/978-3-642-32560-1_10 . ISBN 978-3-642-32559-5Die
• Bostrom, Nick ; Yudkowsky, Eliezer (2014). „Die Ethik der künstlichen Intelligenz“ (PDF) . In: Frankish, Keith; Ramsey, William (Hrsg.). The Cambridge Handbook of Artificial Intelligence . New York: Cambridge University Press. ISBN 978-0-521-87142-6Die
• LaVictoire, Patrick; Fallenstein, Benja; Yudkowsky, Eliezer; Bárász, Mihály; Christiano, Paul; Herreshoff, Marcello (2014). „Programmgleichgewicht im Gefangenendilemma mittels des Satzes von Löb“ . Multiagenten-Interaktion ohne vorherige Koordination: Beiträge des AAAI-14-Workshops . AAAI-Publikationen. Archiviert vom Original am 15. April 2021. Abgerufen am 16. Oktober 2015 .
• Soares, Nate; Fallenstein, Benja; Yudkowsky, Eliezer (2015). „Corrigibility“ (PDF) . AAAI Workshops: Workshops auf der 29. AAAI-Konferenz über Künstliche Intelligenz, Austin, TX, 25.–26. Januar 2015. AAAI-Publikationen.

• KI-Box
• Freundliche künstliche Intelligenz
• Offener Brief zur künstlichen Intelligenz

• Offizielle Website
• Rationalität: Von KI zu Zombies (gesamtes Buch online)
• @ESYudkowsky – Yudkowsky über X