Wenn es jemand baut, sterben alle: Warum eine superhumane KI uns alle töten würde

INSTANT NEW YORK TIMES BESTSELLER | The New Yorker 's Best Books of 2025 | The Guardian 's Best Books of 2025 | Eine 2025 Booklist Editors' Choice Auswahl

Das Streben nach der Schaffung einer übermenschlichen KI hat uns auf den Weg zum Aussterben geführt – aber es ist noch nicht zu spät, den Kurs zu ändern, wie zwei der frühesten Forscher auf diesem Gebiet in diesem Aufruf an die Menschheit erklären.

"Könnte sich als das wichtigste Buch unserer Zeit erweisen."—Tim Urban, Wait But Why

Im Jahr 2023 unterzeichneten Hunderte von KI-Koryphäen einen offenen Brief, in dem sie davor warnten, dass künstliche Intelligenz ein ernstes Risiko für das Aussterben der Menschheit darstellt. Seitdem hat sich das KI-Wettrennen nur noch intensiviert. Unternehmen und Länder eilen, Maschinen zu bauen, die klüger sein werden als jeder Mensch. Und die Welt ist auf das, was als Nächstes kommen würde, erschreckend unvorbereitet.

Seit Jahrzehnten haben zwei Unterzeichner dieses Briefes – Eliezer Yudkowsky und Nate Soares – untersucht, wie klügere als menschliche Intelligenzen denken, sich verhalten und ihre Ziele verfolgen werden. Ihre Forschung besagt, dass ausreichend intelligente KIs eigene Ziele entwickeln werden, die sie in Konflikt mit uns bringen – und dass, wenn es zum Konflikt kommt, eine künstliche Superintelligenz uns vernichten würde. Der Wettbewerb wäre nicht einmal eng.

Wie könnte eine maschinelle Superintelligenz unsere gesamte Spezies auslöschen? Warum sollte sie das wollen? Würde sie überhaupt etwas wollen? In diesem dringenden Buch erläutern Yudkowsky und Soares die Theorie und die Beweise, präsentieren ein mögliches Aussterbeszenario und erklären, was nötig wäre, damit die Menschheit überlebt.

Die Welt eilt, etwas wirklich Neues unter der Sonne zu bauen. Und wenn es jemand baut, sterben alle.

„Die beste, schnörkellose, einfache Erklärung des KI-Risikoproblems, die ich je gelesen habe.“ – Yishan Wong, ehemaliger CEO von Reddit