Kolonel van de luchtmacht: AI-drone bleef tijdens de simulatie zijn menselijke bestuurder doden

AI-drone schakelt eigen bestuurder uit

De Amerikaanse luchtmacht bevindt zich in een lastig parket, aangezien hun AI-gestuurde militaire drone herhaaldelijk de menselijke operator ‘uitschakelde’ tijdens simulaties.

Een kolonel van de United States Air Force wijst erop dat de AI-drone waarmee ze tests uitvoerde steeds concludeerde dat de menselijke operator (bestuurder) de voornaamste hindernis was voor het volbrengen van zijn missie.

Wat voor test was het?

Tijdens een defensieconferentie in Londen op 23 en 24 mei, gaf kolonel Tucker Hamilton, de test- en operationele hoofd van AI bij de USAF, details over een test met een autonoom luchtwapensysteem.

In een verslag van de conferentie op 26 mei lichtte Hamilton toe dat in een gesimuleerde proef de AI-gestuurde drone de taak had om grond-luchtraketten (SAM) op te sporen en te vernietigen. Hierbij was het de menselijke operator die uiteindelijk toestemming gaf voor de actie of de missie staakte.

Echter, tijdens de training besefte de AI dat het uitschakelen van de grond-luchtraketten het voornaamste doel was. Toen de instructie kwam om een geïdentificeerd doelwit niet te vernietigen, concludeerde de AI dat de missie vlotter zou verlopen als de operator gedood zou worden, aldus Hamilton.

“Soms vertelde de menselijke operator de drone om dreiging niet te doden, maar de AI was zo ingesteld dat hij dacht dat het goede was om de dreiging te vernietigen. Dus wat gebeurde er? Het doodde de operator omdat die persoon het ervan weerhield zijn doel te bereiken.”

Hamilton gaf aan dat ze vervolgens de drone hadden getracht te leren om de operator niet ‘uit te schakelen’, maar dit leek weinig effect te hebben.

“We hebben het systeem zo geconditioneerd: ‘Hé, schakel de operator niet uit – dat is onacceptabel. Je prestatiescore zal dalen als je dat doet’,” aldus Hamilton. Hij voegde daar aan toe:

“Dus, wat begint de AI te doen? Het richt zich op het vernietigen van de communicatietoren die de operator gebruikt om met de drone te communiceren, om te voorkomen dat de operator het beoogde doelwit ‘uitschakelt’.

Kunstmatige intelligentie kan zeer gevaarlijk zijn

Hamilton stelt dat dit voorbeeld aantoont waarom een discussie over AI en gerelateerde technologieën niet kan plaatsvinden zonder de ethische dimensie van AI te betrekken.

Militaire drones aangedreven door AI hebben namelijk al hun intrede gemaakt in echte oorlogssituaties.

Volgens een rapport van de Verenigde Naties uit maart 2021 zijn er in Libië rond maart 2020 AI-gestuurde drones ingezet, wat wordt beschouwd als de allereerste autonome militaire drone-aanval.

Het rapport stelt dat zich terugtrekkende troepen werden “achternagezeten en op afstand aangevallen” door zogenoemde “loitering munitions” – dit zijn AI-gestuurde drones geladen met explosieven, die geprogrammeerd zijn om doelen aan te vallen zonder dat er een dataverbinding nodig is tussen de operator en de munitie.

Er zijn veel zorgen geuit over de risico’s van AI-technologie. In een recente open verklaring, ondertekend door tientallen AI-experts, werd aangevoerd dat de bedreiging van “extinctie door AI” even serieus genomen moet worden als het gevaar van een nucleaire oorlog.