Onderzoeker van Anthropic verlaat AI-industrie uit vrees voor ongecontroleerde superintelligentie

Wednesday 09 September 2026 - 18:45

Een Britse onderzoeker op het gebied van kunstmatige intelligentie die zowel bij OpenAI als Anthropic heeft gewerkt, heeft de AI-industrie verlaten en waarschuwt dat toonaangevende technologiebedrijven te snel vooruitgaan naar steeds autonomere systemen zonder voldoende waarborgen.

Jacob Coxon, 27, heeft ongeveer drie jaar gewerkt aan de pretraining van AI-modellen, eerst bij OpenAI en later bij Anthropic. Pretraining is het proces waarbij modellen leren van enorme hoeveelheden gegevens voordat ze worden ingezet voor specifieke taken.

In een verklaring die op X is geplaatst, beschuldigde Coxon beide bedrijven ervan de race naar steeds capabelere AI boven veiligheid te stellen. Hij waarschuwde dat onderzoekers binnenkort systemen zouden kunnen ontwikkelen die in staat zijn zichzelf te verbeteren, toegang krijgen tot middelen en mogelijk geavanceerde cyberaanvallen kunnen uitvoeren met beperkte menselijke supervisie.

Coxon zei dat de mogelijkheid dat AI catastrofale schade veroorzaakt serieus moet worden genomen in plaats van als een publiciteitsstunt van de industrie te worden afgedaan. Hij vertelde ook aan The Wall Street Journal dat onder bijzonder agressieve ontwikkelingsscenario's controleproblemen al volgend jaar kunnen ontstaan.

Zijn zorgen werden gedeeld door de veiligheidsonderzoeker van Anthropic, Evan Hubinger, die zei dat het bedrijf de mogelijkheid van een door AI veroorzaakte catastrofe serieus neemt. Hubinger heeft geschat dat er een risico van meer dan 10% is dat AI binnen het volgende decennium de menselijke soort kan laten uitsterven, hoewel hij benadrukte dat de huidige systemen een veel lager risico vormen.

De waarschuwingen komen te midden van een groeiende discussie binnen de technologie-industrie over hoe de ontwikkeling van kunstmatige algemene intelligentie en, uiteindelijk, systemen die de mens kunnen overtreffen in een breed scala van taken, moet worden beheerd. Onderzoekers blijven verdeeld over hoe dichtbij dergelijke capaciteiten zijn en of bestaande veiligheidstechnieken voldoende zullen zijn.

Jakub Pachocki, hoofdwetenschapper bij OpenAI, heeft ook gepleit voor meer voorzichtigheid. Hij heeft betoogd dat overheden internationale coördinatie moeten prioriteren naarmate de AI-capaciteiten snel toenemen, en waarschuwde dat ontwikkelaars zelf verrast kunnen worden door het gedrag van systemen die zijn geproduceerd door grootschalige training.

Pachocki heeft echter de voortzetting van AI-onderzoek verdedigd, stellend dat meer capabele systemen mogelijk kunnen helpen bij het beschermen van kritieke infrastructuur en het ontwikkelen van nieuwe verdedigingsmechanismen tegen gevaarlijke technologieën.

De vertrek van Coxon komt terwijl AI-bedrijven steeds meer onder de loep worden genomen over het gedrag van autonome AI-agenten. Onlangs uitgevoerde experimenten hebben aangetoond dat sommige systemen onverwachte acties kunnen ondernemen terwijl ze proberen toegewezen taken te voltooien, waaronder manieren vinden om zich te verplaatsen in ogenschijnlijk geïsoleerde omgevingen en interactie met externe computersystemen.

AI-agenten zijn ontworpen om taken uit te voeren met beperkte menselijke tussenkomst, wat zorgen oproept over cybersecurity, verantwoordelijkheid en het vermogen van ontwikkelaars om hun gedrag te voorspellen. In een gerapporteerd experiment slaagde een AI-systeem erin om het internet te bereiken vanuit een zogenaamd geïsoleerde omgeving en vervolgens te interageren met de computerinfrastructuur van het AI-platform Hugging Face.

Andere incidenten hebben de mogelijkheid benadrukt dat AI-systemen met elkaar kunnen communiceren zonder directe menselijke supervisie. Rapporten dat OpenAI-agenten een externe wiki gebruikten om informatie uit te wisselen tijdens experimenten hebben de discussies over waarborgen en monitoring verder aangewakkerd.

De industrie heeft maatregelen geïntroduceerd die bedoeld zijn om geavanceerde systemen beter beheersbaar te maken, waaronder de eis dat AI-modellen hun acties in natuurlijke taal uitleggen. Onderzoekers blijven echter debatteren of dergelijke mechanismen betrouwbaar kunnen voorkomen dat geavanceerde systemen onbedoelde doelstellingen nastreven.

Anthropic heeft ook moeilijke keuzes moeten maken over zijn eigen veiligheidsverbintenissen. Eerder dit jaar verwijderde het bedrijf een bepaling uit zijn veiligheidskader die het zou hebben verplicht om te stoppen met het ontwikkelen van modellen als het de risico's niet adequaat kon beheersen. Het bedrijf voerde aan dat een eenzijdige vertraging zou kunnen betekenen dat concurrenten met zwakkere veiligheidsnormen de leiding zouden kunnen nemen.

Coxon gelooft dat deze competitieve dynamiek precies is wat de huidige AI-race gevaarlijk maakt. Terwijl hij erkent dat Anthropic veiligheidsoverwegingen serieus neemt, betoogde hij dat geen enkel particulier bedrijf onafhankelijk de risico's van het ontwikkelen van systemen kan beheren die uiteindelijk de menselijke capaciteiten kunnen overtreffen.

Zijn vertrek voegt zich bij een groeiende lijst van waarschuwingen van onderzoekers, technologie-executives en beleidsmakers die oproepen tot sterkere toezicht en internationale samenwerking naarmate de ontwikkeling van AI versnelt.