Alle paar Wochen kündigt wieder ein KI-Forscher. Er postet einen dramatischen Thread: Die Technologie, an der er eben noch gebaut hat, wird uns alle umbringen. Sechs Monate später taucht er als Mitgründer eines neuen KI-Startups auf. Irgendwann müssen wir uns fragen: Ist das echter Alarm? Oder der beste Marketing-Coup, den das Silicon Valley gerade zu bieten hat?
Ich tue die Sorge nicht ab. Aber ich hinterfrage das Muster.
Jacob Coxon, ehemals Forscher bei Anthropic, hat vor Kurzem gekündigt. Öffentlich schrieb er, die KI-Unternehmen würden „mit unserem Leben spielen“. KI-Systeme könnten bald „alles hacken, jedes Fachgebiet über Nacht revolutionieren und echte Macht und Ressourcen an sich reißen“. Berichten zufolge erreichte sein Post über Nacht mehr als 100 Millionen Menschen. Schock und Ehrfurcht, ganz nach Lehrbuch. Überraschend war etwas anderes: Evan Hubinger, damals noch Teamleiter bei Anthropic, gab ihm öffentlich recht. Er bestätigte, dass Anthropic es ernsthaft für möglich hält, dass KI alle Menschen töten könnte.
Das laut auszusprechen, ist bemerkenswert. Und trotzdem lässt mich ein Punkt nicht los. Anthropic selbst haben ehemalige OpenAI-Mitarbeiter gegründet. Sie gingen aus Sorge um die Sicherheit und versprachen einen verantwortungsvolleren Ansatz. Andere Ex-OpenAI-Leute gründeten ebenfalls Konkurrenzunternehmen, darunter Safe Superintelligence Inc., SpaceXAI und Thinking Machines Lab.
Wer uns am lautesten vor KI warnt, baut sie in aller Regel selbst. Diese Leute kündigen, um noch mehr davon zu bauen, und sammeln dafür Hunderte Millionen ein. Das ist nicht zwingend Heuchelei. Aber es fällt schwerer, die Geschichte für bare Münze zu nehmen.
Nicht alle spielen mit
PJ Vogt von Search Engine gehört zu den ehrlicheren Stimmen, die dieses Durcheinander zu verstehen versuchen. In seiner Folge Should We Be Worried About OpenAI? geht er der Frage nach, wie Sam Altman, CEO von OpenAI, nach dem Machtkampf mit dem Vorstand seine Position gefestigt hat. Und was das für die Leute bedeutet, die die Technologie eigentlich im Zaum halten sollen. Das ist keine Panikfolge. Sie ist ehrlich neugierig. In der Folgeepisode The Machines Are Learning... to Do Crimes? widmet er sich dem Hugging-Face-Vorfall. Er beschreibt ihn als „Postkarte aus einem seltsamen, beängstigenden Moment in der Geschichte unserer Technologie“. Außerdem berichtet er, dass der KI-Agent von OpenAI tagelang ein Unternehmen hackte und OpenAI davon angeblich eine Woche lang nichts mitbekam. Darüber habe ich schon einmal geschrieben.
Genau dieses Detail geht mir nach. Nicht, weil die KI außer Kontrolle geriet. Sondern weil niemand genau genug hingeschaut hat.
Wer laut warnt, wird gehört
Ich glaube, einige dieser Forscher haben wirklich Angst. Ich glaube aber auch: „Ich habe gekündigt, weil KI gefährlich ist“ liest sich im Lebenslauf ganz anders als „Ich habe gekündigt, um etwas Neues zu starten“. So ein Satz öffnet Türen. Er signalisiert Ernsthaftigkeit und bringt Presse, die kein Geld der Welt kaufen kann. Falsch ist er deshalb nicht. Aber nicht jedes Kündigungsschreiben ist gleich ein Evangelium.
Der Leiter des Safeguards-Research-Teams bei Anthropic schrieb zum Abschied, er habe „immer wieder gesehen, wie schwer es ist, unser Handeln wirklich von unseren Werten leiten zu lassen“. Darüber lohnt es sich nachzudenken. Genauso wie über die Tatsache, dass ausgerechnet die Unternehmen mit den lautesten Warnrufen das nächste Modell am schnellsten auf den Markt bringen wollen.
Die Frage ist nicht, ob KI gefährlich ist. Sie kann es eindeutig sein, und die Belege häufen sich. Die wichtige Frage lautet: Treten ausgerechnet die, die uns warnen, zu wenig auf die Bremse? Oder ist die Warnung selbst längst Teil des Produkts? Eine saubere Antwort habe ich nicht. Aber ich finde, wir sollten die Frage laut stellen. Auch wenn noch niemand die Katze aus dem Sack lassen will.
