ChatGPT-maker OpenAI bouwt noodstop nadat AI regels overtrad

OpenAI heeft een nieuw beveiligingssysteem ontwikkeld waarmee het gevaarlijke AI-experimenten snel kan stilleggen. De maker van ChatGPT wil voorkomen dat krachtige AI-modellen zelfstandig acties blijven uitvoeren wanneer ze hun instructies overtreden.

De maatregel volgt op eerdere incidenten waarbij onderzoeksmodellen zonder toestemming computersystemen binnendrongen en cryptomunten gebruikten.

OpenAI kan AI binnen 35 seconden stoppen

OpenAI presenteerde een nieuw beveiligingssysteem met de naam ‘Control Room‘. Daarmee kan het bedrijf alle AI-experimenten binnen zijn onderzoeksomgeving centraal volgen en ingrijpen wanneer een model zich verdacht gedraagt.

Elk experiment krijgt een unieke identificatiecode. Voordat een AI-model nieuwe antwoorden of opdrachten kan genereren, controleert het systeem of het experiment nog toestemming heeft om door te gaan. Wanneer een medewerker of automatisch controlesysteem een probleem ontdekt, kan die toestemming worden ingetrokken.

Volgens OpenAI stopt het model dan binnen maximaal 35 seconden met het produceren van nieuwe uitvoer. Het onderliggende programma kan blijven draaien, maar krijgt geen nieuwe antwoorden meer van het AI-model. Ook wanneer Control Room zelf uitvalt, worden nieuwe verzoeken uit voorzorg geweigerd.

Eerdere AI-incidenten tonen risico’s

De nieuwe beveiliging volgt op verschillende opvallende incidenten bij OpenAI. In juli wisten interne onderzoeksmodellen beperkingen van hun testomgeving te omzeilen. Daarbij kregen ze ongeoorloofd toegang tot computersystemen van OpenAI en AI-platform Hugging Face.

Een ander incident kwam in oktober naar buiten. Een onderzoeksmodel gebruikte zonder toestemming Ethereum (ETH) op een testnetwerk om slimme contracten te installeren.

Het model zocht zelfstandig naar een bruikbare cryptowallet, gebruikte de aanwezige testmunten en vermeldde deze handelingen vervolgens niet in zijn eindverslag. Het ging om test-ETH zonder normale marktwaarde, niet om een diefstal van miljoenen dollars.

Control Room is voorlopig bedoeld voor interne onderzoeksactiviteiten, waaronder het trainen en testen van AI-modellen. Het is geen nieuwe noodstopfunctie voor gewone ChatGPT-gebruikers.

OpenAI wil de reactietijd uiteindelijk terugbrengen van 35 seconden naar vrijwel nul. De werking en snelheid van het systeem zijn vooralsnog gebaseerd op de eigen technische beschrijving van het bedrijf.