Jacob Coxon (27) bouwde AI, nu waarschuwt hij de wereld ervoor

Een paar weken geleden kende vrijwel niemand zijn naam, maar inmiddels staat Jacob Coxon midden in het wereldwijde debat over de toekomst van kunstmatige intelligentie.

De 27-jarige Britse wiskundige werkte achter de schermen aan geavanceerde AI bij OpenAI en Anthropic, twee van de belangrijkste bedrijven in de sector. Toch besloot hij de industrie te verlaten. Niet omdat hij zijn interesse in AI verloor, maar omdat hij steeds banger werd voor wat er gebeurt als de ontwikkeling in het huidige tempo doorgaat.

Coxon vreest dat AI uiteindelijk zo krachtig kan worden dat mensen de controle verliezen. Zijn waarschuwingen zijn extreem en zeker niet onomstreden, maar juist zijn achtergrond maakt zijn verhaal opvallend. Hij is geen activist die vanaf de zijlijn kritiek levert.

Jarenlang hielp hij zelf mee aan de ontwikkeling van de technologie waarvoor hij nu waarschuwt. Hoe veranderde een Britse wiskundige die gefascineerd raakte door intelligente machines in een van de opvallendste critici van de huidige AI wedloop?

Een wiskundetalent raakt gefascineerd door AI

De fascinatie van Coxon voor kunstmatige intelligentie begon al op school. Hij las Superintelligence, het invloedrijke boek van filosoof Nick Bostrom uit 2014. Daarin onderzoekt Bostrom wat er zou kunnen gebeuren wanneer machines op een dag intelligenter worden dan mensen.

Het onderwerp bleef Coxon bezighouden. Dat werd alleen maar sterker toen AlphaGo van Google DeepMind in 2016 een van de beste Go spelers ter wereld versloeg. Het eeuwenoude bordspel gold vanwege het gigantische aantal mogelijke zetten lange tijd als een bijzonder lastige uitdaging voor computers.

Zelf bleek Coxon eveneens uitzonderlijk goed in het oplossen van ingewikkelde problemen. Hij vertegenwoordigde het Verenigd Koninkrijk op de Internationale Wiskunde Olympiade en won in 2016 een zilveren medaille. Een jaar later volgde brons. Daarna ging hij wiskunde studeren aan de Universiteit van Cambridge, waar hij in 2020 afstudeerde.

Rond diezelfde periode begon ook de huidige generatie kunstmatige intelligentie vorm te krijgen. Vooral GPT 3 maakte grote indruk op hem. Voor het eerst had Coxon het gevoel dat een computerprogramma niet alleen tekst produceerde, maar daadwerkelijk leek te begrijpen wat hij vroeg.

Na zijn studie ging hij eerst aan de slag in de handel in grondstoffen, waar hij statistiek en machinaal leren gebruikte om markten te analyseren. Tegelijkertijd raakte hij betrokken bij een Londense gemeenschap van zogenoemde rationalisten.

Binnen die groep ligt veel nadruk op logisch redeneren en het analyseren van risico’s die misschien klein lijken, maar enorme gevolgen kunnen hebben. Kunstmatige intelligentie was daar al jaren een belangrijk onderwerp. Voor Coxon waren de mogelijke gevaren toen nog vooral een theoretisch vraagstuk. Niet veel later zou hij zelf terechtkomen bij een van de bedrijven die de krachtigste AI systemen ter wereld bouwden.

Altijd op de hoogte blijven van het laatste beurs-, crypto- en AI-nieuws? Download de Newsbit-app en mis geen belangrijke ontwikkelingen.

Bij OpenAI ziet Coxon de ontwikkeling versnellen

In 2023 kreeg Coxon de kans om bij OpenAI aan de slag te gaan. Hij werd toegelaten tot een programma van zes maanden waarmee mensen uit andere vakgebieden konden overstappen naar onderzoek naar kunstmatige intelligentie. Daar werkte hij aan het trainen van grote AI modellen en zag hij van dichtbij hoe snel de technologie vooruitging.

Op een gegeven moment kreeg Coxon vroegtijdig toegang tot een intern redeneermodel dat bekendstond als Q*. Hij legde het systeem een ingewikkelde kruiswoordpuzzel voor. Het model gaf hem niet simpelweg de oplossing, maar kwam met aanwijzingen waarmee hij uiteindelijk zelf het antwoord kon vinden. Voor Coxon was dat een belangrijk moment. AI werd niet alleen beter in het produceren van overtuigende teksten, maar begon ook steeds ingewikkeldere problemen op te lossen.

Vooral de vooruitgang op het gebied van wiskunde maakte indruk. In 2024 bereikte Google DeepMind bij problemen van het niveau van de Internationale Wiskunde Olympiade prestaties die vergelijkbaar waren met een zilveren medaille. Een jaar later meldden zowel DeepMind als OpenAI resultaten op goudniveau. Voor Coxon had die ontwikkeling extra betekenis. Hij wist uit eigen ervaring hoeveel menselijk talent en training normaal gesproken nodig zijn om dat niveau te bereiken.

Tegelijkertijd zag hij bij OpenAI verschillende medewerkers vertrekken die zich bezighielden met de veiligheid van AI. Zijn zorgen verschoven daardoor steeds meer naar een toekomst waarin AI systemen zelf kunnen helpen om betere AI te ontwikkelen.

Een krachtig model kan onderzoekers bijvoorbeeld ondersteunen bij het schrijven van software, uitvoeren van experimenten en bouwen van nieuwe modellen. Als die betere modellen vervolgens opnieuw worden ingezet om nóg krachtigere systemen te ontwikkelen, kan volgens sommige onderzoekers een zichzelf versterkend proces ontstaan.

Of zo’n ontwikkeling daadwerkelijk plaatsvindt en hoe snel dat zou kunnen gaan, is zeer onzeker. Coxon begon het risico echter steeds serieuzer te nemen.

Volgens het bronartikel namen zijn zorgen verder toe toen AI modellen in tests steeds beter bleken in taken rond cyberaanvallen en er incidenten plaatsvonden waarbij systemen buiten hun bedoelde testomgeving terechtkwamen. Voor Coxon was het opnieuw een aanwijzing dat de capaciteiten sneller toenamen dan hij comfortabel vond.

Zelfs Anthropic kon zijn zorgen niet wegnemen

Toch stapte Coxon niet direct uit de AI wereld. In mei 2026 verruilde hij OpenAI voor Anthropic. Dat bedrijf werd opgericht door voormalige medewerkers van OpenAI en legt nadrukkelijk de nadruk op de veilige ontwikkeling van kunstmatige intelligentie.

Ook topman Dario Amodei spreekt publiekelijk over de mogelijke risico’s van zeer krachtige AI. Na het vertrek van Coxon liet Amodei zelfs weten dat hij het op veel punten meer met hem eens was dan oneens.

Maar ook bij Anthropic bleef Coxon worstelen met hetzelfde fundamentele probleem. Hij overwoog om binnen het bedrijf naar een team te gaan dat zich volledig met veiligheid bezighield, maar begon zich af te vragen of zelfs dat voldoende was. Zolang Anthropic deelnam aan de internationale wedloop om steeds krachtigere AI te ontwikkelen, droeg hij daar volgens zijn eigen redenering nog altijd aan bij.

“Zelfs werken aan veiligheid bij Anthropic voelde alsof ik medeplichtig was aan de wedloop”, zei Coxon daarover.

Het bracht hem voor een moeilijk dilemma. Wanneer bezorgde onderzoekers vertrekken, blijven er binnen AI bedrijven mogelijk minder mensen over die aandacht vragen voor veiligheid.

Maar blijven betekent tegelijkertijd dat ze bijdragen aan bedrijven die miljarden investeren om steeds krachtigere systemen te bouwen. Uiteindelijk koos Coxon voor vertrekken.

Op 8 september maakte hij zijn besluit openbaar. Vanaf een bankje in een park in San Francisco plaatste hij een reeks berichten op X waarin hij vertelde dat hij die dag ontslag had genomen bij Anthropic. De voorgaande drie jaar had hij bij OpenAI en Anthropic gewerkt aan het trainen van AI.

“Ze racen rechtstreeks richting zelfverbeterende superintelligentie en gokken met onze levens”, schreef Coxon.

Hij ging nog verder. Volgens Coxon geloven mensen die zelf aan de krachtigste AI systemen werken daadwerkelijk dat de technologie voor het einde van het decennium de hele mensheid zou kunnen doden. Het gaat om een zeer vergaand scenario en zeker niet om een vaststaande voorspelling. Ook binnen de technologiesector bestaat grote onenigheid over de vraag hoe realistisch zulke verwachtingen zijn.

Nvidia topman Jensen Huang prees bijvoorbeeld de moed van Coxon om zijn baan op te zeggen als hij werkelijk niet achter het werk kon staan, maar plaatste tegelijkertijd vraagtekens bij voorspellingen over toekomstige AI.

Hij vindt apocalyptische uitspraken over de technologie onverantwoord. Coxon heeft zelf weinig moeite met het label dat critici gebruiken voor mensen met zijn overtuiging. “Als een doemdenker iemand is die denkt dat we zullen sterven als we niet veranderen wat we doen, dan ben ik een doemdenker”, zei hij.

Plots kent de hele AI wereld zijn naam

Tot zijn vertrek had Coxon nauwelijks een publiek profiel. Volgens het bronartikel had hij minder dan honderd volgers op X toen hij zijn ontslag bekendmaakte. Hij was geen bekende ondernemer of bestuurder en had ook geen carrière als activist opgebouwd.

Toch verspreidde zijn boodschap zich razendsnel. Mensen uit de wereld rond AI veiligheid deelden zijn berichten, internationale media pikten het verhaal op en binnen enkele dagen verscheen hij op televisie. Ook uitgevers en podcastmakers meldden zich.

Medewerkers van Anthropic mengden zich eveneens publiekelijk in de discussie. Evan Hubinger, die binnen het bedrijf onderzoek doet naar het afstemmen van AI op menselijke doelen, liet weten dat sommige onderzoekers daadwerkelijk rekening houden met een scenario waarin AI alle mensen zou kunnen doden.

Zelf schatte hij de kans dat iedereen binnen tien jaar sterft op meer dan tien procent. Dat is zijn persoonlijke risico inschatting en geen wetenschappelijke voorspelling, maar het laat wel zien hoe serieus sommige mensen binnen de sector dergelijke scenario’s nemen.

De snelle opkomst van Coxon leidde ook tot vragen. Hij heeft banden met mensen uit de wereld van AI veiligheid en het zogenoemde effectief altruïsme, een beweging die veel aandacht besteedt aan risico’s met mogelijk enorme gevolgen voor de toekomst. Voor zijn ontslag sprak Coxon onder anderen met Daniel Kokotajlo, een voormalig lid van een veiligheidsteam van OpenAI dat het bedrijf eerder vanwege zorgen over AI had verlaten. Ook Nathan Calvin, een vriend van Coxon en jurist bij Encode AI, hielp hem bij de communicatie rond zijn vertrek.

Volgens Coxon was er geen sprake van een georganiseerde campagne om hem plotseling beroemd te maken. Zelf ziet hij zich bovendien niet als klokkenluider. Hij bracht geen geheime documenten naar buiten en onthulde geen verborgen project. Volgens hem zei hij vooral publiekelijk wat onderzoekers bij de grote AI bedrijven onderling al langer bespreken.

Juist dat is misschien wel het opvallendste onderdeel van zijn verhaal. Zorgen die voor buitenstaanders extreem klinken, zijn volgens Coxon binnen delen van de AI sector veel minder uitzonderlijk.

Waarom Coxon de AI wedloop wil afremmen

Na zijn vertrek richt Coxon zijn kritiek niet alleen op OpenAI en Anthropic. Volgens hem zit het probleem in de manier waarop de hele industrie is georganiseerd. Bedrijven concurreren om de krachtigste modellen en hebben enorme financiële en strategische belangen bij verdere ontwikkeling.

Als één onderneming vrijwillig langzamer gaat, kan een concurrent doorgaan. Daardoor verwacht hij niet dat afzonderlijke bedrijven de wedloop uit zichzelf zullen beëindigen.

Coxon pleit daarom voor internationale afspraken en vergelijkt de situatie met de manier waarop landen omgaan met kernwapens. Tijdens de Koude Oorlog vertrouwden landen niet uitsluitend op elkaars goede bedoelingen, maar kwamen er verdragen en afspraken om bepaalde risico’s te beperken. Hij denkt dat uiteindelijk een vergelijkbare vorm van internationale coördinatie nodig kan zijn voor zeer krachtige AI.

Daar staat een heel ander perspectief tegenover. Krachtigere AI kan ook enorme voordelen opleveren. De technologie kan wetenschappelijk onderzoek versnellen, softwareontwikkeling verbeteren en mogelijk bijdragen aan nieuwe medicijnen en andere ontdekkingen.

Bovendien weet niemand of AI daadwerkelijk richting de vorm van superintelligentie beweegt waarvoor Coxon waarschuwt. Het bewust vertragen van de technologie kan daardoor eveneens grote gevolgen hebben.

Precies die onzekerheid vormt de kern van zijn zorgen. Coxon zegt niet precies te weten wat er de komende jaren zal gebeuren. Zijn bezwaar is juist dat niemand dat weet, terwijl bedrijven ondertussen enorme hoeveelheden geld, rekenkracht en talent inzetten om AI zo snel mogelijk krachtiger te maken.

Dat juist hij het gezicht van die boodschap werd, had Coxon zelf waarschijnlijk enkele maanden geleden niet verwacht. Hij begon als wiskundetalent dat gefascineerd raakte door intelligente machines, kreeg vervolgens de kans om bij OpenAI aan die technologie te bouwen en stapte daarna bewust over naar Anthropic omdat veiligheid daar een grotere rol speelde.

Uiteindelijk kwam hij tot de overtuiging dat zelfs werken aan veilige AI voor hem niet genoeg was zolang de wedloop zelf doorging.

Coxon wil zich na zijn vertrek richten op het uitwerken van mogelijke scenario’s voor de verdere ontwikkeling van kunstmatige intelligentie. Daniel Kokotajlo, die hem voor zijn vertrek adviseerde, vatte achteraf samen waarom juist Coxon zoveel aandacht kreeg: “Zoveel mensen bij deze bedrijven hadden dit kunnen doen. Hij was degene die het deed.”