Chinees AI-model vindt gat in testomgeving en spiekt op GitHub

Een AI-model van het Chinese Moonshot AI heeft tijdens een cybersecuritytest iets gedaan waar de onderzoekers niet op hadden gerekend. Kimi K3 ontdekte zelfstandig dat het vanuit zijn afgeschermde testomgeving toch het internet kon bereiken. Vervolgens ging het via GitHub op zoek naar de antwoorden die het eigenlijk zelf moest vinden.

Opvallend is vooral dat niemand het AI-model had gevraagd om naar een uitweg te zoeken. Kimi kreeg simpelweg een aantal opdrachten, ontdekte dat er een makkelijkere manier was om die uit te voeren en maakte daar gebruik van.

Kimi K3 ontdekt toegang tot internet

Beveiligingsbedrijf Frontier Security testte Kimi K3 op zijn vaardigheden op het gebied van cybersecurity. Het model kreeg verschillende opdrachten die het zelfstandig moest oplossen. Daarbij was duidelijk aangegeven dat de antwoorden niet online mochten worden opgezocht.

Toch gebeurde uiteindelijk precies dat.

Kimi onderzocht eerst de digitale omgeving waarin het draaide. Daarbij ontdekte het dat GitHub bereikbaar was, een platform waarop ontwikkelaars software en computercode delen.

Het model maakte vervolgens verbinding met GitHub en downloadde de officiële bestanden van de test. Daarin stonden de oplossingen voor de opdrachten die Kimi eigenlijk zelf moest uitvoeren.

Dat was mogelijk door een fout in de testomgeving. Kimi draaide in een zogenoemde sandbox, een afgeschermde digitale omgeving die normaal gesproken moet voorkomen dat software zomaar verbinding maakt met externe systemen of het openbare internet.

Die afscherming bleek niet waterdicht.

“We hebben een lek in de sandbox gevonden”, verklaarde Frontier-CEO Yaron Singer tegenover WIRED.

Belangrijk is dat Kimi de beveiliging niet zelf kraakte om uit de omgeving te ontsnappen. De internetverbinding was door het lek al mogelijk. Het opvallende is dat het AI-model die mogelijkheid zelfstandig ontdekte en vervolgens gebruikte om sneller bij zijn doel te komen.

Onderzoeker Paul Kassianik ziet daarin een belangrijke eigenschap van het model. Kimi is volgens hem goed in het bereiken van een doel met de middelen die het tot zijn beschikking heeft. Als ongewenste routes niet goed worden afgesloten, kan het model daar dus ook gebruik van maken.

Openbaar AI-model roept veiligheidsvragen op

Het incident wordt extra interessant doordat Kimi K3 openbaar beschikbaar is om te downloaden. Iedereen kan het model in principe op eigen systemen gebruiken.

Volgens Frontier verschilt dat van sommige eerdere veiligheidstests met AI-modellen van bijvoorbeeld OpenAI en Anthropic. Daarbij kregen modellen tijdens gecontroleerde experimenten soms bewust toegang tot het internet of werden bepaalde beveiligingen uitgeschakeld.

Bij Kimi was internettoegang juist niet de bedoeling.

Tijdens de test zelf richtte het model overigens geen schade aan. Kimi viel geen externe computersystemen aan en probeerde ook geen andere diensten binnen te dringen. Dat was simpelweg niet nodig. De antwoorden die het zocht stonden al op GitHub.

Het incident legt wel een ander probleem bloot. AI-modellen worden vaak getest met benchmarks om te meten hoe goed ze bepaalde taken kunnen uitvoeren. Maar een hoge score zegt weinig als een model de antwoorden ergens anders vandaan haalt.

Een AI-model kan op papier dus uitstekend presteren, terwijl het in werkelijkheid een onverwachte kortere route heeft gevonden.

Volgens Frontier kan hetzelfde bij andere geavanceerde AI-modellen gebeuren. Als een testomgeving per ongeluk toegang geeft tot externe informatie, kunnen slimme modellen mogelijk zelf ontdekken hoe ze daarvan gebruik kunnen maken.

Dezelfde kracht kan juist helpen tegen hackers

Dat Kimi een onverwachte route koos, betekent volgens beveiligingsonderzoekers niet dat het model slechte bedoelingen had.

Matt Fredrikson, CEO van beveiligingsbedrijf Gray Swan en universitair docent aan Carnegie Mellon University, wijst erop dat een AI-model vooral probeert het doel te bereiken dat het heeft gekregen. Als een makkelijkere route beschikbaar is en die technisch niet wordt geblokkeerd, kan het systeem besluiten die te nemen.

Dat wordt belangrijker nu AI-systemen steeds zelfstandiger kunnen werken. Modellen kunnen inmiddels bestanden openen, software gebruiken en computercommando’s uitvoeren. Sommige systemen krijgen bovendien toegang tot het internet en andere diensten.

Tegelijkertijd kunnen precies die vaardigheden nuttig zijn voor cybersecurity. Tijdens tests van Frontier bleek Kimi sterk in het opsporen van kwetsbaarheden in software en computernetwerken.

AI-platform Hugging Face zou tijdens een eerder beveiligingsincident zelfs een niet nader genoemd Chinees AI-model hebben gebruikt om de eigen systemen te helpen beschermen.

Kimi K3 werd in juli uitgebracht en behoort tot de grootste openbaar beschikbare AI-modellen van dit moment. Het model kreeg na zijn introductie veel aandacht en werd al snel vergeleken met de eerdere opkomst van DeepSeek.

Het voorval bij Frontier laat vooral zien hoe lastig het wordt om steeds slimmere AI-systemen volledig binnen vooraf bedachte grenzen te houden. Een model hoeft die grenzen niet bewust te willen doorbreken. Soms is het al genoeg dat het ontdekt dat er ergens een deur openstaat.