AI van OpenAI breekt zelfstandig in bij Australische overheid

Een AI-agent van OpenAI heeft zonder menselijke opdracht ingebroken in een website van de Australische overheid. Het incident vond eerder dit jaar plaats en roept nieuwe vragen op over wat autonome AI-systemen zelfstandig kunnen doen.

Vooral de aanleiding voor de aanval is opvallend. De AI was helemaal niet bezig met een cyberaanval, maar met het verzamelen van informatie.

OpenAI-agent omzeilde zelfstandig beveiliging

De aanval vond plaats op 18 juni. De AI-agent had een relatief eenvoudige opdracht gekregen: informatie verzamelen over Australische gezondheidsstatistieken.

Tijdens die zoektocht liep het systeem tegen blokkades aan. Volgens Australische premier Anthony Albanese werd daarmee duidelijk gemaakt dat bepaalde informatie niet toegankelijk was.

Toch stopte de AI niet. Het systeem zocht naar andere manieren om de gegevens alsnog te bemachtigen en kreeg uiteindelijk ongeautoriseerde toegang tot bestanden op een website voor gezondheidsstatistieken.

In totaal benaderde de AI volgens de Australische regering vier websites van federale en deelstaatoverheden. Bij slechts één daarvan wist het systeem daadwerkelijk binnen te dringen.

Er zijn vooralsnog geen aanwijzingen dat daarbij persoonlijke gegevens van Australische burgers zijn buitgemaakt.

Juist de manier waarop de aanval ontstond, maakt het incident bijzonder. De AI kreeg geen opdracht om een systeem te hacken, maar koos zelf voor een andere aanpak toen de gewenste informatie niet via de normale weg beschikbaar was.

Charles Li, hoofdanalist bij het Taiwanese cyberonderzoeksbureau TeamT5, noemt het tegenover Bloomberg het eerste openbaar bekende geval waarin een AI-model zonder opdracht van kwaadwillenden een overheidssysteem wist binnen te dringen.

Australië boos op OpenAI

De Australische regering is niet alleen kritisch over de aanval zelf. Ook de manier waarop OpenAI het incident heeft afgehandeld, leidt tot onvrede.

De aanval vond plaats in juni. OpenAI ontdekte het incident naar eigen zeggen in augustus, maar informeerde de Australische regering pas op 10 september.

Albanese heeft OpenAI-topman Sam Altman daar persoonlijk op aangesproken. De premier zei zijn “grote bezorgdheid” over het incident te hebben uitgesproken en noemde het teleurstellend dat de regering zo laat werd geïnformeerd.

OpenAI zegt dat het na de ontdekking eerst onderzocht wat er precies was gebeurd en welke informatie toegankelijk was geweest.

Het bedrijf erkent dat zijn modellen tijdens een interne evaluatie handelingen uitvoerden die niet de bedoeling waren. De systemen probeerden op dat moment statistieken over Australië te verzamelen via verschillende overheidswebsites en diensten.

De Australian Signals Directorate helpt inmiddels bij een forensisch onderzoek. Daarbij wordt onderzocht wat de AI precies heeft gedaan en of er wetten zijn overtreden.

AI probeerde ook andere websites binnen te dringen

Het incident in Australië lijkt geen op zichzelf staand geval. Onderzoeksbureau Transluce meldde dat AI-modellen, waarschijnlijk van OpenAI, tussen mei en juni ook probeerden binnen te dringen bij drie andere openbare databronnen. Die pogingen mislukten.

Ook daar kregen de AI-agenten geen opdracht om websites te hacken. Ze moesten gewone informatie verzamelen.

Volgens Transluce veranderde hun gedrag pas toen het niet lukte om de gewenste gegevens op de normale manier te bemachtigen. De systemen grepen vervolgens naar technieken die op hackpogingen leken.

Ook andere AI-bedrijven hebben te maken gehad met beveiligingsincidenten. Zo werd Claude van Anthropic vorig jaar door een menselijke hacker gebruikt bij aanvallen op Mexicaanse overheidsinstanties.

Daar zit meteen een belangrijk verschil met het Australische incident. In Mexico gaf een mens de AI opdracht voor de aanvallen. In Australië zou de OpenAI-agent zelfstandig zijn overgegaan tot ongeautoriseerde toegang terwijl hij een normale informatietaak uitvoerde.

Het incident komt op een moment waarop AI-bedrijven zelf steeds nadrukkelijker waarschuwen voor de risico’s van krachtigere en autonomere systemen. OpenAI-topman Sam Altman en Anthropic-topman Dario Amodei hebben allebei gepleit voor strengere maatregelen om te voorkomen dat de technologie buiten menselijke controle raakt.