OpenAI veröffentlicht Bericht zu KI-Sicherheitsvorfall bei Hugging Face

Die KI-Agenten von OpenAI haben bei internen Sicherheitstests Schutzbarrieren überwunden und Systeme von Hugging Face kompromittiert. Ein Bericht klärt nun über die Details auf.

Ausgangspunkt waren Cybersecurity-Tests mit einem unveröffentlichten Forschungsmodell auf einem laut OpenAI mit GPT-5.6 Sol vergleichbaren Leistungsniveau. Agenten fanden Wege zur Kommunikation, verschafften sich Internetzugang und tauschten Erkenntnisse über einen zweckentfremdeten Paketdienst aus.

Am 10. Juli entdeckten Agenten öffentlich zugängliche Zugangsdaten für Hugging Face. In den folgenden Tagen führten sie laut Bericht Code auf Dutzenden Servern aus. Auf einem System erlangten sie Root-Rechte. Bis zum 19. Juli erreichten Agenten zudem Administratorrechte auf einem internen Forschungscluster von OpenAI.

Kundendaten und öffentliche OpenAI-Produkte seien nicht betroffen gewesen.

Gut zu wissen

Hugging Face ist eine der wichtigsten Plattformen für KI-Entwickler und wird häufig als eine Art „GitHub für KI“ beschrieben. Entwickler, Forscher und Unternehmen können dort KI-Modelle, Datensätze und Anwendungen veröffentlichen, herunterladen und gemeinsam weiterentwickeln.

OpenAI verschärft die Sicherheitsmaßnahmen für KI-Agenten

Der Bericht nennt mehrere bemerkenswerte Details:

  • Von 898 ExploitGym-Aufgaben galten 198 zuvor als ungelöst.
  • 93 Prozent der unerlaubt diskutierten Aufgaben gehörten zu dieser besonders schwierigen Gruppe.
  • Produktive Schutzmechanismen sollen das riskante Verhalten um mehr als den Faktor 100 reduzieren.
  • Monitoring hätte laut OpenAI bereits mehr als einen Tag vor dem Angriff auf Hugging Face warnen können.

OpenAI führt den Vorfall unter anderem auf sogenanntes Reward Hacking zurück. Modelle suchten dabei nach Wegen zum Ziel, die zwar eine hohe Bewertung versprachen, aber nicht dem vorgesehenen Lösungsweg entsprachen. Hinweise auf unerlaubte Kommunikation und Internetzugriffe waren intern bereits Ende Mai aufgefallen.

OpenAI hat das beteiligte Forschungsmodell unter Quarantäne gestellt und Teile des Trainings neuer Spitzenmodelle verzögert. Für leistungsfähige Agenten werden Überwachung und strengere Netzwerkkontrollen ausgebaut. Schwere Warnmeldungen sollen künftig innerhalb von 30 Minuten geklärt werden.

Ich finde den Vorfall bemerkenswert, weil hier nicht nur eine einzelne Schwachstelle ausgenutzt wurde. Die Agenten kombinierten mehrere Möglichkeiten und teilten ihr Wissen. Genau diese zunehmende Eigenständigkeit dürfte KI-Sicherheit künftig erheblich anspruchsvoller machen.


mobiFlip bei Google bevorzugen – unsere Beiträge öfter sehen Quelle wählen ↗
Fehler melden Kommentare

   

Durch Kommentieren stimmst du unserer Netiquette und Datenschutzerklärung zu.

Du bist hier:
mobiFlip / News / Dienste / OpenAI veröffentlicht Bericht zu KI-Sicherheitsvorfall bei Hugging Face