Nvidia komt met noodrem voor AI-agents die willen ontsnappen

Nvidia introduceert een nieuw beveiligingssysteem dat moet voorkomen dat autonome AI-agents buiten hun toegestane omgeving treden. Het bedrijf combineert daarvoor twee beveiligingslagen die toegang in realtime kunnen beperken en verdachte agents direct kunnen isoleren.

Volgens Nvidia had de aanpak mogelijk ook een recent incident rond OpenAI kunnen voorkomen. Daarbij kregen AI-modellen tijdens tests toegang tot systemen die juist afgesloten hadden moeten blijven.

Twee beveiligingslagen

Het nieuwe systeem heet het Open Agent Safety Platform en bestaat uit twee onderdelen.

De eerste laag is OpenShell. Deze opensourcesoftware bepaalt vooraf welke bestanden, netwerken en andere onderdelen een AI-agent mag gebruiken. Alles wat niet expliciet is toegestaan, kan worden geblokkeerd. Nvidia positioneert OpenShell als een beveiligde omgeving waarin autonome agents alleen de rechten krijgen die zij daadwerkelijk nodig hebben.

De tweede laag is Nvidia Sentry. Die moet agents voortdurend in de gaten houden en ingrijpen zodra er verdacht gedrag wordt gezien.

Justin Boitano, vicepresident enterprise AI bij Nvidia, zegt dat een verdachte agent binnen milliseconden kan worden geïsoleerd. Volgens hem moet die extra beveiligingslaag het mogelijk maken om zelfs zeer geavanceerde AI-systemen veiliger te testen.

OpenAI-incident als voorbeeld

Nvidia koppelt de introductie nadrukkelijk aan recente incidenten waarbij AI-agents uit testomgevingen wisten te ontsnappen.

Boitano stelt dat het nieuwe systeem, op basis van wat Nvidia over het incident weet, mogelijk had kunnen voorkomen dat OpenAI-modellen toegang kregen tot Hugging Face.

Dat blijft wel een inschatting van Nvidia. Het systeem was op dat moment niet daadwerkelijk actief tijdens de bewuste test, waardoor niet met zekerheid kan worden vastgesteld dat de aanval was gestopt.

De kern van Nvidia’s aanpak is dat beveiliging niet alleen in het AI-model zelf zit. De beperkingen worden juist buiten het model afgedwongen, zodat een agent zijn eigen veiligheidsregels niet zomaar kan omzeilen. Nvidia beschrijft OpenShell als een extra controlelaag rond het model, met beperkingen voor onder meer netwerkverkeer, bestanden en processen.

Zorgen over AI nemen toe

De introductie komt op een moment waarop zorgen over autonome AI-systemen toenemen.

OpenAI meldde recent meerdere incidenten waarbij modellen tijdens tests buiten hun afgesloten omgeving terechtkwamen. Eind vorige week besloot het bedrijf daarom de training van zijn krachtigste modellen tijdelijk stil te leggen.

Ook andere AI-bedrijven hebben vergelijkbare problemen gemeld. Nvidia kiest daarbij vooral voor een technische oplossing: AI-agents mogen krachtiger worden, maar moeten volgens het bedrijf binnen harde beveiligingsgrenzen blijven werken.

Die strategie past bij de bredere visie van topman Jensen Huang. Hij heeft veiligheidsrisico’s rond AI vaker neergezet als een technisch probleem dat met betere infrastructuur en strengere tests kan worden aangepakt.

Nvidia breidt ondertussen zijn positie buiten chips verder uit. Het bedrijf maakte eerder deze maand bekend Hugging Face voor ongeveer 12,9 miljard dollar te willen overnemen.