let's techle it

Anthropic-Insider warnt: KI-Branche spielt mit „unser aller Leben“

Wird die KI uns gefährlich?
Getty Images Für Unsplash+ Wird die KI uns gefährlich?
Erschienen
Lesezeit4 Min · 757 Wörter
Seite1 / 2

Jacob Coxon verlässt Anthropic mit der Warnung, die Branche rase auf eine „selbstverbessernde Superintelligenz“ zu. Forscher von OpenAI und Anthropic bestätigen die Sorge.

Jacob Coxon hat am Mittwoch seine Kündigung bei Anthropic öffentlich gemacht, mit einem X-Thread, der binnen Stunden Millionen Aufrufe erreichte, wie aus den vorliegenden Informationen hervorgeht. „Ich habe heute bei Anthropic gekündigt“, schreibt der 27-jährige Brite, der drei Jahre im Pretraining beider Unternehmen gearbeitet hat, zunächst bei OpenAI, zuletzt bei Anthropic.

Sein zentraler Vorwurf: Beide Firmen rasten auf eine sich selbst verbessernde Superintelligenz zu und „spielen dabei mit unser aller Leben“. Besonders bemerkenswert ist seine Behauptung, dass diese Einschätzung intern keine Randmeinung sei, sondern von vielen Führungskräften und leitenden Forschenden geteilt werde, die sich öffentlich lediglich gemäßigter äußerten. Solche Systeme würden laut Coxon bald „alles hacken, jedes Fachgebiet über Nacht revolutionieren und echte Macht und Ressourcen erlangen“ können und der Fortschritt in diesen Bereichen verlangsame sich nicht.

Zwei Konzerne unterschiedliche Risikologik

Coxon unterscheidet laut heise zwischen den Motiven der beiden Konzerne. Bei OpenAI hätten viele die zivilisatorische Tragweite ihrer Arbeit nicht verinnerlicht. Bei Anthropic seien die Risiken dagegen bekannt, das Unternehmen sehe sich aber in einem Wettlauf: Weil niemand sonst verantwortungsvoll handeln werde, müsse man selbst zuerst ankommen, trotz des Risikos. Diese Logik hält er für hybristisch.

Der Einstieg in das, was er das „Endgame“ nennt, dürfe nicht aus dem Slack-Kanal eines Privatunternehmens heraus gestartet werden, so Coxon den vorliegenden Informationen zufolge. Er fordert stattdessen eine rigorose Auseinandersetzung mit dem, was ein superintelligentes Trainingssystem tatsächlich bedeutet, bevor es gestartet wird. Wer versuche, das Alignment-Problem im Schnelldurchlauf zu lösen, müsse außerordentlich sicher sein, dass es keine besseren Wege gebe, schreibt er weiter.

Weitere Forscher teilen Coxons Sorge

Coxons Warnung steht nicht allein. Evan Hubinger ist Alignment‑Forscher bei Anthropic und leitet dort das Team für Alignment‑Stresstests. Auch OpenAI-Forschungschef Jakub Pachocki mahnte in einem Blogeintrag „extreme Vorsicht“ an: Man lasse moderne KI-Systeme eher „wachsen“, statt sie zu designen und Trainingsläufe seien Experimente, deren Ergebnisse man teils nicht erwarte.

Martin Wald

Tech & Security

Martin Wald analysiert die Schnittstelle zwischen Geld, Macht und Alltag. Seine Themen reichen von Rente, Sozialstaat und Gesundheit bis zu Wirtschaft, Märkten und technologischen Umbrüchen. Er zerlegt politische Entscheidungen, Urteile und Trends auf ihre ökonomischen Folgen und macht sichtbar, wer gewinnt, wer verliert und wo Risiken liegen. Der Blick ist pragmatisch, pointiert und nutzenorientiert. Keine Wohlfühltexte, sondern Einordnung für Menschen, die verstehen wollen, wie Systeme funktionieren und was das für ihre Entscheidungen bedeutet.