Ein aktueller Sicherheitsvorfall bei OpenAI zeigt, wie weit solche Systeme dabei unerwartet gehen können. Forschende warnen zugleich vor koordinierten KI-Schwärmen, die Desinformation skalieren und auch medizinische Debatten gezielt beeinflussen könnten.
Wie schnell aus einem theoretischen Risiko ein realer Sicherheitsvorfall werden kann, zeigte sich im Juli 2026 bei OpenAI. Während einer internen Prüfung ihrer Cyberfähigkeiten überwanden mehrere KI-Modelle die Begrenzungen einer isolierten Testumgebung, verschafften sich Zugang zum offenen Internet und drangen in die Systeme der KI-Plattform Hugging Face ein. Dabei nutzten sie unter anderem eine bislang unbekannte Sicherheitslücke und gestohlene Zugangsdaten. OpenAI bezeichnete den Vorgang als „beispiellosen Cybervorfall“. Die häufig verwendete Formulierung, die KI habe sich „verselbstständigt“, ist dennoch erklärungsbedürftig. Die Modelle entwickelten kein eigenes Angriffsziel. Sie sollten in einem bewusst weitgehend ungeschützten Test komplexe Sicherheitsaufgaben lösen und gingen dabei unerwartet weit: Um an die Lösungen zu gelangen, fanden sie selbstständig einen Weg aus der Testumgebung und griffen auf fremde Systeme zu. Gerade das macht den Fall bedeutsam. Ein eng definiertes Ziel genügte, um eine lange Kette nicht vorgesehener Handlungen auszulösen.
Generative KI beantwortet Fragen und erstellt Texte. KI-Agenten gehen einen Schritt weiter: Sie erhalten ein Ziel, planen eigenständig mehrere Arbeitsschritte, greifen auf Programme oder Datenbanken zu und passen ihr Vorgehen an neue Informationen an. Mehrere Agenten können dabei zusammenarbeiten. Genau diese Verbindung aus Autonomie, Geschwindigkeit und nahezu unbegrenzter Skalierbarkeit macht die Technologie zugleich interessant und riskant.
Ein internationales Autorenteam um Daniel Thilo Schroeder warnte in einem 2026 in Science veröffentlichten Beitrag vor sogenannten bösartigen KI-Schwärmen. Gemeint sind große Gruppen koordinierter Agenten, die in sozialen Netzwerken eigenständig Inhalte erzeugen, künstliche Identitäten aufbauen und ihre Botschaften fortlaufend optimieren könnten [1]. Anders als herkömmliche Social Bots wären solche Systeme nicht darauf beschränkt, vorbereitete Beiträge zu verbreiten. Sie könnten auf Reaktionen eingehen, unterschiedliche Rollen übernehmen und gezielt Vertrauen aufbauen. Die eigentliche Gefahr liegt dabei möglicherweise weniger in einer einzelnen Falschmeldung als in der Erzeugung eines scheinbaren gesellschaftlichen Konsenses. Wenn zahlreiche vermeintlich unabhängige Nutzer dieselbe Behauptung vertreten, wirkt sie glaubwürdiger. Ein Agentenschwarm könnte so den Eindruck erzeugen, eine bestimmte Meinung werde von sehr vielen Menschen geteilt, obwohl hinter den Accounts nur ein einzelner Auftraggeber steht.
Für medizinische Themen ist dieses Szenario besonders relevant. Gesundheitsentscheidungen sind komplex, häufig emotional belastet und für Patienten nur schwer vollständig zu überprüfen. Agenten könnten in Foren, Kommentarspalten oder sozialen Netzwerken unterschiedliche Rollen übernehmen: Ein Account berichtet von einer angeblichen Nebenwirkung, ein zweiter liefert vermeintliche wissenschaftliche Belege, ein dritter unterstellt Ärzten oder Behörden wirtschaftliche Interessen. Die Beiträge müssten nicht vollständig erfunden sein. Oft reicht es, seltene Risiken hervorzuheben, Einzelfälle zu verallgemeinern und wissenschaftliche Unsicherheit als Beleg für eine Vertuschung darzustellen. Hinzu kommt, dass Menschen KI-generierte Inhalte nicht zuverlässig erkennen. Eine in den Begleitmaterialien zitierte Metaanalyse zur Erkennung von Deepfakes kommt zu dem Ergebnis, dass die Trefferquote kaum besser als Zufall sein kann. Auch KI-Schreibassistenten können durch eine einseitige Auswahl und Formulierung von Argumenten die Einstellungen ihrer Nutzer schrittweise beeinflussen. Noch problematischer wäre es, wenn Agenten nicht nur Menschen, sondern auch die Informationsgrundlage zukünftiger KI-Systeme manipulieren. Große Mengen automatisch erzeugter Webseiten, Patientenberichte oder pseudowissenschaftlicher Texte könnten von Suchmaschinen und Sprachmodellen erfasst werden. Durch gegenseitige Verlinkung und Wiederholung entstünde der Eindruck einer breiten Quellenbasis, obwohl die Inhalte aus derselben gesteuerten Kampagne stammen.
Dabei ist eine nüchterne Einordnung wichtig. Der Science-Beitrag belegt nicht, dass vollständig autonome KI-Schwärme bereits in großem Maßstab eingesetzt werden. Er beschreibt vielmehr ein plausibles Bedrohungsszenario. Viele technische Einzelbausteine existieren jedoch schon heute: KI-generierte Texte und Bilder, automatisierte Accounts, personalisierte Ansprache sowie Agenten, die planen, Werkzeuge verwenden und Aufgaben untereinander verteilen.
Für Ärztinnen und Ärzte bedeutet dies vor allem, dass viele übereinstimmende Beiträge nicht automatisch viele unabhängige Quellen darstellen. Medizinische Aussagen sollten weiterhin auf Leitlinien, Originalpublikationen und nachvollziehbare Fachquellen zurückgeführt werden. Im Patientengespräch könnte es künftig zudem häufiger notwendig werden, nicht nur eine einzelne Falschinformation zu korrigieren, sondern ein ganzes scheinbar geschlossenes Informationssystem aus Videos, Erfahrungsberichten und vermeintlichen Expertenaussagen einzuordnen.
Literatur
- Schroeder DT, Cha M, Baronchelli A, et al. How malicious AI swarms can threaten democracy: The fusion of agentic AI and LLMs marks a new frontier in information warfare. Science. 2026;391:354. doi:10.1126/science.adz1697.
Text: Redaktion arztCME
Bild: OpenAI für arztCME
