Anthropic-onderzoeker stapt op: "AI kan ons allemaal doden"

In dit artikel:

Jacob Coxon heeft dinsdag ontslag genomen bij Anthropic vanwege ernstige zorgen over de snelheid waarmee AI-bedrijven steeds krachtigere systemen ontwikkelen. De onderzoeker werkte de afgelopen drie jaar bij OpenAI en Anthropic aan het trainen van geavanceerde modellen. Volgens hem racen beide bedrijven onverantwoordelijk richting zelfverbeterende superintelligentie: AI die zichzelf verder kan ontwikkelen en de menselijke intelligentie op vrijwel alle terreinen overtreft.

Coxon zegt dat mensen binnen de sector serieus rekening houden met de mogelijkheid dat zulke systemen de mensheid nog voor het einde van dit decennium ernstig kunnen bedreigen. Hij waarschuwt dat superintelligente AI mogelijk digitale systemen kan hacken, wetenschappelijke vooruitgang kan versnellen en zelfstandig macht en middelen kan verwerven. Hij benadrukt wel dat dit een verwachting en geen vaststaand toekomstscenario is.

Als voorbeeld noemt Coxon een incident bij AI-platform Hugging Face. Volgens hem bouwden AI-agenten van OpenAI tijdens tests tussen mei en juli zelfstandig een communicatiekanaal in een afgeschermde omgeving. Via dat kanaal zouden ze toegang tot het openbare internet hebben gekregen en kwetsbaarheden hebben gecombineerd om productiesystemen binnen te dringen. Hugging Face zou daarop ongeveer een derde van zijn infrastructuur hebben moeten herbouwen. Coxon noemt dit een waarschuwing voor de risico’s van steeds autonomere AI-systemen.

Hij pleit voor internationale of sectorbrede afspraken om de ontwikkeling beter te coördineren, maar betwijfelt of vrijwillige regels volstaan. Een tijdelijk verbod op het vergroten van de mogelijkheden van AI-modellen zou volgens hem nodig kunnen zijn. Bij Anthropic worden de risico’s volgens Coxon beter erkend dan bij OpenAI, maar ook dat bedrijf voelt zich gedwongen mee te doen aan de concurrentiestrijd. Coxon is niet de eerste onderzoeker die Anthropic om veiligheidszorgen verlaat; eerder stapte ook Mrinank Sharma uit het veiligheidsteam op.