The China Mail - Warnungen vor KI-Risiken - Anthropic-Chef fordert langsameres Entwicklungstempo

"Wir müssen das Tempo verlangsamen, mit dem wir die Fähigkeiten von KI-Modellen verbessern", erklärte der Anthropic-Chef Amodei am Samstag auf seiner Website. "Der Fortschritt wird immer noch schnell erscheinen, und wir müssen die gewonnene Zeit sinnvoll nutzen."

KI berge "gravierende" Risiken, betonte Amodei. "Die Technologie nicht zu entwickeln, beraubt die Menschheit ihrer Vorteile oder überlässt KI autoritären Mächten", erklärte er. Zugleich sei eine "zu schnelle Entwicklung leichtsinnig".

"Wir haben nach einem Mittelweg gesucht", sagte Amodei, der Anthropic 2021 gemeinsam mit seiner Schwester Daniela gegründet hatte. Doch in den vergangenen Monaten sei er zu der Überzeugung gelangt, dass "für eine umfassende Bewältigung der Risiken" noch größere Vorsicht nötig sei.

OpenAI-Chef Altman und Musk, Eigentümer des KI-Unternehmens xAI, schlossen sich Amodeis Appell an. "Dario hat Recht", schrieb Musk in seinem Onlinedienst X. "Ich stimme Dario zu", erklärte auch Altman. Eine Drosselung des Tempos bei der KI-Entwicklung sei auch bei OpenAI in den vergangenen Wochen intensiv diskutiert worden.

Dem Wirtschaftsmagazin "Fortune" sagte Altman, wegen der Sicherheitsbedenken werde OpenAI nicht 2026 an die Börse gehen. "Angesichts der aktuellen Entwicklungen rund um das Thema Sicherheit wäre es derzeit wenig ratsam", sagte Altman. Auf die Frage nach dem Risiko einer Auslöschung der Menschheit sagte er: "Wir haben alle eine enorme Verantwortung und dürfen nicht zulassen, dass Egos oder Gewinnanreize oder anderes uns davon abhalten."

Das Konkurrenzunternehmen Anthropic hatte Anfang Juni erklärt, eine langsamere Entwicklung immer leistungsstärkerer KI-Systeme sei "wahrscheinlich sinnvoll", damit Forschung und Gesellschaft Schritt halten könnten. Ende Juli erklärte wiederum Altman, dass Entwickler möglicherweise freiwillig einen Gang zurückschalten müssten. Zudem unterzeichneten mehr als tausend Mitarbeiter führender KI-Unternehmen eine Petition, in der sie die Hilfe der US-Regierung forderten, um "die Entwicklung automatisierter KI bewusst zu drosseln".

OpenAI hatte im Juli bekannt gegeben, dass sich während eines Sicherheitstests KI-Modelle des Unternehmens selbständig gemacht und einen Hackerangriff auf die beliebte Programmierplattform Hugging Faces verübt hatten. Am Freitag bestätigte OpenAI einen weiteren Zugriff einer autonomen Software auf KI-Basis auf die Programmierer-Website Rubygems im Mai. Für diese und andere Vorfälle wurden KI-Agenten verantwortlich gemacht, also Softwareprogramme, die Aufgaben ohne ständige Überwachung durch Menschen ausführen können.

Amodei warnte, dies seien keine Einzelfälle. "Ein Schwarm von Agenten agierte im Wesentlichen als fanatisch ergebenes Kollektiv und führte Cybersicherheitsangriffe auf Ziele aus, die sie nicht angreifen sollten und die in keinem Zusammenhang mit der eigentlichen Aufgabe standen", erklärte er.

Angesichts der rasanten Entwicklung der KI könne ein solcher Agentenschwarm in sechs bis zwölf Monaten in der Lage sein, "das gesamte Internet zu übernehmen" und Schäden in Höhe von Hunderten Milliarden Dollar verursachen, fügte der Anthropic-Chef hinzu.

Für Schlagzeilen hatten zuletzt auch die Warnungen des Forschers Jacob Coxon gesorgt, der kürzlich bei Anthropic gekündigt hatte. Zuvor hatte er auch bei OpenAI gearbeitet. "Keines der beiden Unternehmen handelt verantwortungsbewusst", erklärte der 27-Jährige. "Sie befinden sich im Wettrennen um eine sich selbst verbessernde Superintelligenz und setzen dabei unser Leben aufs Spiel."

Amodei kündigte nun konkrete Schritte für mehr Sicherheit an. Sein Unternehmen werde einem Team von "externen Gutachtern" einen direkten Zugang gewähren, um die Einhaltung der Sicherheitsvorschriften zu überprüfen. Er forderte andere Unternehmen auf, diesem Beispiel zu folgen. Altman sagte, OpenAI werde sich zu einer ähnlichen externen Aufsicht verpflichten und bald mehr dazu mitteilen.

Amodei schlug zudem vor, dass Unternehmen gemeinsame Sicherheitsstandards einführen sollten, und erklärte, er unterstütze dabei eine gewisse Zusammenarbeit mit der Regierung.

Die US-Regierung führte Anfang August ein freiwilliges Verfahren für die Sicherheitsüberprüfung neuer KI-Modelle vor deren Veröffentlichung ein. Einzelheiten des Programms blieben jedoch unklar. Beobachter sind unsicher, wie effektiv es sein wird, da die Regierung in den meisten Industriebereichen bislang eher einen Kurs der Deregulierung fuhr, einschließlich der Tech-Industrie.

D.Wang--ThChM