Text: Meike Melanšek • Veröffentlicht: 22.09.2026 18:06 • Lesedauer: 11,0 Min.

Müssen wir KI bremsen?

Warum die KI-Chefs plötzlich langsamer machen wollen – und was das für dich heißt

*Panikmache als PR oder berechtigte Besorgnis?*

Erst Vollgas, jetzt Sicherheitsdebatte: Einige der mächtigsten Köpfe der KI-Branche warnen plötzlich vor dem Tempo ihrer eigenen Entwicklung. Steckt dahinter echte Sorge, wirtschaftlicher Druck, ein Kampf um Marktpositionen oder von allem etwas? Wir haben uns die verschiedenen Erklärungen angesehen.

Bis vor kurzem schien das Rennen um die beste KI ziemlich einfach zu funktionieren: schneller, leistungsfähiger, autonomer. Wer ein neues Modell veröffentlichte, konnte sich darauf verlassen, dass die Konkurrenz bereits am nächsten arbeitete. Milliarden flossen in Rechenzentren, Chips und Training, und niemand vermittelte den Eindruck, dass er freiwillig einen Gang zurückschalten wollte.

Dann kam der September.

Der Anthropic-Forscher Jacob Coxon verließ das Unternehmen und warnte öffentlich vor den Risiken immer leistungsfähigerer KI. Kurz darauf forderte Anthropic-Chef Dario Amodei in einem viel beachteten Essay, das Tempo an der technologischen Spitze bewusster zu steuern. Sam Altman, Elon Musk und andere führende Köpfe der Branche unterstützten Teile dieser Richtung. Aus Konkurrenten, die sich normalerweise um Benchmarks und Marktanteile streiten, wurde für einen Moment eine erstaunlich harmonische Sicherheitsrunde.

Die Frage drängt sich auf: Was ist passiert?

Und vor allem: Wissen die Menschen, die diese Systeme entwickeln, etwas, das bei uns noch gar nicht angekommen ist?

Ein paar Dinge sind tatsächlich schiefgegangen

Ganz aus dem Nichts kommen die Warnungen nicht. Bei internen Cybersecurity-Tests von OpenAI umgingen Modelle im Juli technische Beschränkungen, kommunizierten über unerlaubte Wege, verschafften sich Internetzugang und griffen unter anderem Systeme von Hugging Face an. OpenAI spricht selbst vom bisher schwerwiegendsten Vorfall dieser Art mit eigenen Modellen. An der Untersuchung waren auch externe Forscher beteiligt.

Anthropic fand bei einer nachträglichen Überprüfung ebenfalls mehrere Fälle, in denen Claude-Modelle während Cybersecurity-Tests auf reale Systeme Dritter zugriffen.

Das klingt beunruhigend, und das darf es auch. Nur beschreibt die Schlagzeile „KI bricht aus“ nicht wirklich, was passiert ist.

In solchen Tests bekommen Modelle besondere Aufgaben und oft wesentlich mehr Handlungsspielraum als beim normalen Chatten. Beim OpenAI-Vorfall spielte hauptsächlich ein internes Forschungsmodell eine Rolle, das nie für die Veröffentlichung vorgesehen war und unter reduzierten Schutzmaßnahmen lief. Bei Anthropic waren teilweise Testumgebungen falsch eingerichtet.

Das macht die Vorfälle relevant, nur eben auf eine andere und konkretere Art als die Vorstellung einer KI, die plötzlich beschlossen hat, sich selbstständig zu machen.

Die spannendere Frage lautet: Was passiert, wenn künftige Modelle deutlich leistungsfähiger werden, während solche Kontrollprobleme bestehen bleiben?

Und dort setzt Amodei mit seinem Vorstoß an.

Vom Warnsignal zum Weltuntergang ist es ein weiter Weg

Amodei beschäftigt vor allem die Geschwindigkeit. KI unterstützt schon heute Forschung und Softwareentwicklung. Je mehr Arbeit solche Systeme künftig selbst übernehmen, desto schneller könnte auch die Entwicklung neuer KI voranschreiten. Seine Sorge ist, dass Fähigkeiten irgendwann schneller wachsen als unsere Möglichkeiten, sie zu überprüfen und zu kontrollieren.

Die Frage ist berechtigt, führt uns aber schon mitten in die Zukunftsprognosen.

Zwischen „Agenten haben in Tests Sicherheitsgrenzen überschritten“ und „KI könnte in wenigen Jahren die Menschheit auslöschen“ liegen etliche Annahmen darüber, was die nächsten Modellgenerationen können werden, welche Zugänge sie erhalten und welche Schutzmechanismen bis dahin funktionieren.

Genau diese Zwischenschritte gehen in der öffentlichen Debatte gerne verloren. Übrig bleibt dann die eingängigere Version: Selbst die KI-Chefs sagen, dass uns ihre Technologie umbringen könnte.

Nvidia-Chef Jensen Huang hält diese Erzählung für überzogen. Sicherheitsprobleme müsse man ernst nehmen und technisch lösen, die aktuellen Weltuntergangs-Narrative hält er dagegen für wissenschaftlich nicht begründet. Gleichzeitig fordert er, KI so schnell wie möglich weiterzuentwickeln.

Auch bei ihm lohnt sich der Blick auf den Kontext: Nvidia verdient hervorragend daran, dass möglichst viel KI-Rechenleistung gebraucht wird.

Das widerlegt seine Argumente nicht. Es erinnert nur daran, dass in dieser Debatte kaum jemand völlig losgelöst von wirtschaftlichen Interessen spricht.

Und damit wird die Geschichte noch interessanter.

Was, wenn eine Pause auch finanziell ganz praktisch wäre?

Frank Thelen hat beim BIG BANG KI Festival einen Gedanken formuliert, der zwischen all den Sicherheitswarnungen auffällt. Sinngemäß stellte er die Frage, ob die neue Doom-Erzählung nicht auch dabei helfen könnte, den extrem kostspieligen Takt der großen Trainingsläufe zu reduzieren. Vor möglichen Börsengängen müssten irgendwann schließlich auch die Finanzzahlen stimmen.

Das ist zunächst eine Interpretation. Aber die wirtschaftliche Logik dahinter kann man sich ansehen.

Neue Spitzenmodelle verschlingen enorme Summen. Gleichzeitig erwarten Investoren, dass aus immer höheren Ausgaben irgendwann ein tragfähiges Geschäft wird. Anthropic steckt aktuell in genau diesem Spannungsfeld. Laut Reuters erwägt das Unternehmen eine neue Modellveröffentlichung, um im Wettbewerb mit OpenAIs GPT-6 Astra nicht zurückzufallen. Dabei spielen Sicherheitsprüfungen, Kosten, Profitabilität und ein möglicher Börsengang gleichzeitig eine Rolle.

Und plötzlich sieht eine „Pause“ aus mehreren Blickwinkeln attraktiv aus.

Sicherheitsforscher bekommen mehr Zeit zum Testen. Entwickler können bestehende Modelle stabilisieren. Unternehmen können versuchen, mit dem, was bereits gebaut wurde, mehr Geld zu verdienen. Kunden bekommen vielleicht sogar die Gelegenheit, die vorhandenen Fähigkeiten vernünftig einzusetzen, bevor schon die nächste Generation auf dem Tisch liegt.

Eine Bremse, mehrere mögliche Nutznießer.

Nur gibt es dabei ein Problem: Wer allein bremst, riskiert, überholt zu werden.

Wenn Anthropic einen großen Trainingslauf verschiebt und OpenAI weitermacht, hat Anthropic womöglich mehr Zeit für Sicherheitsarbeit, aber anschließend das schwächere Produkt. Umgekehrt genauso.

Eine Verlangsamung wird wirtschaftlich also wesentlich angenehmer, wenn die anderen ebenfalls langsamer werden.

Und damit verlassen wir plötzlich die Sicherheitsforschung und landen beim Kartellrecht.

Gemeinsam vorsichtig sein klingt besser, als es juristisch aussieht

Wenn konkurrierende Unternehmen sich über Sicherheitslücken austauschen, ist das eine Sache. Wenn sie sich darüber verständigen, wie schnell sie ihre leistungsfähigsten Produkte weiterentwickeln, wird es heikler.

Amodei schlägt deshalb eine begrenzte kartellrechtliche Absicherung für bestimmte Sicherheitsabsprachen vor. Genau hier werden US-Wettbewerbshüter aufmerksam. FTC-Chef Andrew Ferguson warnte davor, dass eine Mischung aus neuen Regulierungen und Ausnahmen vom Kartellrecht am Ende gerade die großen Anbieter schützen könnte. Wer bereits Milliarden, Rechenzentren und riesige Sicherheitsteams besitzt, kann teure Vorgaben leichter erfüllen als ein neuer Konkurrent.

Das macht Sicherheitsregeln nicht automatisch verdächtig. Es zeigt nur eine Nebenwirkung, die man mitdenken sollte.

Denn Regulierung entscheidet immer auch darüber, wer sich Compliance leisten kann.

Inzwischen ist daraus sogar ein Rechtsstreit geworden. Kläger werfen mehreren führenden KI-Unternehmen eine wettbewerbswidrige gemeinsame Verlangsamung vor. Ob dieser Vorwurf trägt, muss erst geklärt werden. Interessant ist allein schon, dass dieselbe Frage inzwischen sowohl in Sicherheitslaboren als auch vor Kartelljuristen diskutiert wird.

Und dann gibt es noch den Marketingeffekt

Eine weitere Erklärung ist subtiler.

Wenn ein Unternehmen öffentlich warnt, die eigene Technologie könne einmal so mächtig werden, dass sie außer Kontrolle gerät, steckt darin zwangsläufig auch eine Botschaft über die Leistungsfähigkeit dieser Technologie.

Man könnte es etwas zugespitzt so lesen: Unsere KI ist so gut, dass wir euch leider vor ihr warnen müssen.

Das ist ziemlich wirkungsvolle Kommunikation, auch wenn sie gar nicht als Werbung gedacht sein sollte.

Damit ist keinerlei Inszenierung bewiesen. Aber es zeigt, warum sich Sicherheitsdebatte und Hype manchmal erstaunlich gut gegenseitig füttern. Je größer die beschriebene Gefahr, desto mächtiger erscheint die Technologie.

Vielleicht ist das einer der Gründe, warum die Debatte so schwer nüchtern zu führen ist.

Selbst wenn sich alle US-Labs einigen, bleibt China

Angenommen, die großen amerikanischen KI-Unternehmen würden tatsächlich ein gemeinsames langsameres Tempo finden. Dann wäre das Problem noch lange nicht erledigt.

China entwickelt weiter.

Und dort scheint die Richtung derzeit keineswegs auf generelles Bremsen hinauszulaufen. Alibaba hat gerade einen neuen leistungsfähigen KI-Chip vorgestellt und weitere sehr große Modelle angekündigt.

Amodei denkt deshalb Sicherheitsfragen und geopolitischen Wettbewerb zusammen. Die USA müssten aus seiner Sicht genügend technologischen Vorsprung behalten, um sich überhaupt eine Verlangsamung leisten zu können. Dazu gehören für ihn unter anderem Chipkontrollen und Schutz vor Modelldiebstahl.

Das Dilemma ist offensichtlich: Eine Bremse funktioniert nur begrenzt, wenn eine Seite langsamer wird und die andere weiter beschleunigt.

Bei der Sicherheitskommunikation wird es inzwischen konkreter. US-Finanzminister Scott Bessent erklärte am 21. September, beide Länder hätten sich auf einen festen KI-Dialog verständigt. Dazu soll auch ein direkter Meldekanal für Sicherheitsvorfälle gehören. In etwa zwei Monaten sollen in Shenzhen die Abläufe und die Frage besprochen werden, welche Gefahren gemeinsam erfasst werden. Die chinesische Nachrichtenagentur Xinhua bestätigt bisher lediglich Gespräche über KI; die von Bessent beschriebene Vereinbarung erwähnt sie nicht.

Auch OpenAI hat am 21. September einen konkreteren Vorschlag vorgelegt. Die USA sollen mit anderen Staaten gemeinsame Maßstäbe dafür entwickeln, wie besonders leistungsfähige Modelle geprüft und Sicherheitsvorfälle gemeldet werden. Im Mittelpunkt stehen auch Systeme, die zunehmend an ihrer eigenen Weiterentwicklung mitarbeiten. Dabei geht es laut OpenAI um technische Standards, aus denen keine allgemeine Zulassungspflicht für neue Modelle entstehen soll. Wie die Standards rechtlich umgesetzt werden, bliebe Sache der einzelnen Staaten. Gespräche zwischen den USA und China über Sicherheitsrisiken begrüßt das Unternehmen ausdrücklich.

Damit nehmen zumindest die Vorschläge für eine Zusammenarbeit Gestalt an. Eine gemeinsame Begrenzung des Entwicklungstempos ist dadurch noch nicht vereinbart. Aber vielleicht beginnt internationale KI-Sicherheit ohnehin eher mit einer Telefonnummer für den Ernstfall als mit dem großen Weltvertrag.

Und was ist mit Modellen, die niemand mehr zentral kontrolliert?

Selbst perfekte Absprachen zwischen OpenAI, Anthropic und Google würden noch eine weitere Lücke lassen.

Open-Weight-Modelle können heruntergeladen, lokal betrieben und verändert werden. Schutzmechanismen lassen sich abschwächen oder teilweise entfernen. Sascha Lobo hat diesen Punkt zuletzt am Beispiel von Qwen aufgegriffen und daraus eine wichtige Konsequenz abgeleitet: Langfristig können wir uns nicht allein darauf verlassen, dass der Hersteller eines Modells schon die richtigen Sperren einbaut.

Denn sobald ein leistungsfähiges Modell auf fremder Hardware läuft, verliert der ursprüngliche Anbieter einen großen Teil seiner Kontrolle.

Das bedeutet nicht, dass offene Modelle grundsätzlich ein Sicherheitsproblem sind. Sie ermöglichen Forschung, Wettbewerb und technologische Unabhängigkeit. Gerade für Europa ist das nicht unwichtig. Aber sie verschieben die Sicherheitsfrage.

Wenn man davon ausgehen muss, dass irgendwann auch leistungsfähige KI ohne die üblichen Schutzmechanismen unterwegs ist, müssen zusätzlich die Systeme widerstandsfähiger werden, auf die solche KI zugreifen könnte: Server, Netzwerke, Geräte, kritische Infrastruktur.

Das ist weniger spektakulär als die Diskussion über Superintelligenz, vermutlich aber näher an vielen Risiken, die uns tatsächlich begegnen könnten.

Und dann gibt es noch den Menschen. Auch eine völlig gehorsame KI kann problematisch werden, wenn jemand sie bewusst für Betrug, Cyberangriffe, Desinformation oder andere schädliche Zwecke einsetzt. Anthropic dokumentiert solche Missbrauchsversuche bereits heute.

KI-Sicherheit besteht also längst aus mehr als der Frage, ob ein Modell irgendwann einen eigenen Willen entwickelt.

Die Angst hat einen Preis

Vielleicht ist genau deshalb die aktuelle Weltuntergangsrhetorik so unglücklich.

Wer ein ernstes Risiko sieht, soll darüber sprechen. Verschweigen wäre die denkbar schlechteste Lösung. Aber die Art der Kommunikation macht einen Unterschied.

Bei vielen Menschen kommt nämlich nicht an, dass Spezialisten über zukünftige Frontier-Modelle, autonome Agenten, Cyberfähigkeiten und bestimmte Risikoszenarien diskutieren. Es kommt an:

„KI ist gefährlich.“

Und das trifft auf eine Stimmung, die ohnehin angespannt ist. Arbeitsplatzängste, AI Slop, Deepfakes, Rechenzentren, Energieverbrauch, Datenschutz, das Gefühl, technologisch kaum noch hinterherzukommen: Für die Menschen hat sich in kurzer Zeit ziemlich viel aufgestapelt.

Wenn dann selbst diejenigen, die KI entwickeln, vom möglichen Ende der Menschheit sprechen, braucht man sich über Ablehnung kaum zu wundern.

Das kann eine merkwürdige Folge haben: Ausgerechnet in dem Moment, in dem KI-Kompetenz wichtiger wird, ziehen sich Menschen zurück und wollen mit dem Thema möglichst wenig zu tun haben.

Dabei verschwinden weder offene Modelle noch Cyberrisiken noch der internationale Wettbewerb, nur weil wir persönlich keine Lust mehr auf KI haben.

Panik ist deshalb kein besonders guter Sicherheitsmechanismus.

Was steckt nun wirklich dahinter?

Die Frage der Fragen. Wahrscheinlich gibt es nicht den einen Grund für die KI-Bremse. Echte Sicherheitsbedenken, wirtschaftlicher Druck und strategische Interessen können sich überlagern. Eine langsamere Entwicklung könnte den Sicherheitsteams Luft verschaffen und den Unternehmen finanziell gelegen kommen. Regeln könnten Risiken eindämmen und zugleich Marktführer stärken. Selbst dramatische Warnungen können nebenbei den Eindruck verstärken, die eigene Technologie sei außergewöhnlich mächtig. Und der Wettbewerb mit China macht jede gemeinsame Bremse komplizierter.

Wie schwer diese Überlegungen in den Vorstandsetagen tatsächlich wiegen, wissen wir nicht. Die verschiedenen Erklärungen geben uns aber guten Grund, genauer hinzusehen, statt einfach nur bei der dramatischsten hängen zu bleiben. Die dokumentierten Sicherheitsvorfälle verdienen Aufmerksamkeit. Aus den offenen Fragen über zukünftige Systeme lässt sich allerdings kein Weltuntergang mit prophetischer Datumsangabe machen.

Für unseren eigenen Umgang mit KI ist diese Unterscheidung wichtig. Wer heute KI zum Lernen oder Arbeiten nutzt, stimmt damit keinem unkontrollierten Wettrennen zu. Ebenso wenig setzt der Wunsch nach mehr Sicherheit voraus, die gesamte Entwicklung einzufrieren. Sich aus Angst überhaupt nicht mehr mit KI zu beschäftigen, würde uns ihre Möglichkeiten und Grenzen jedenfalls nicht besser verstehen lassen. Wir können die Technologie sinnvoll nutzen, ihre Anbieter kritisch hinterfragen und beobachten, was aus deren Sicherheitsversprechen wird. Dafür brauchen wir einen wachen Blick und nicht den Dauerkrisenmodus.