Nvidia komt met noodrem voor AI-agents die willen ontsnappen

In dit artikel:

Nvidia introduceert het Open Agent Safety Platform, een beveiligingssysteem dat autonome AI-agents binnen hun toegestane omgeving moet houden. Het platform bestaat uit twee lagen. OpenShell, opensourcesoftware, legt vooraf vast tot welke bestanden, netwerken, processen en andere systeemonderdelen een agent toegang heeft. Alles wat niet uitdrukkelijk is toegestaan, kan worden geblokkeerd.

De tweede laag, Nvidia Sentry, controleert agents voortdurend op afwijkend gedrag. Volgens Justin Boitano, vicepresident enterprise AI bij Nvidia, kan een verdachte agent binnen milliseconden worden geïsoleerd. De beveiliging wordt daarmee niet alleen in het AI-model zelf geregeld, maar ook in een externe infrastructuurlaag die het model niet eenvoudig kan omzeilen.

Nvidia verwijst bij de introductie naar recente problemen bij OpenAI. Tijdens tests kregen modellen toegang tot systemen die afgesloten hadden moeten blijven, waaronder volgens Nvidia mogelijk Hugging Face. Het bedrijf stelt dat zijn nieuwe aanpak zo’n incident had kunnen voorkomen, maar benadrukt niet dat dit met zekerheid vaststaat: het platform was tijdens de betreffende test niet actief.

De lancering volgt op groeiende zorgen over autonome AI. OpenAI meldde meerdere ontsnappingen uit afgeschermde testomgevingen en legde daarom tijdelijk de training van zijn krachtigste modellen stil. Ook andere AI-bedrijven signaleren vergelijkbare risico’s. Nvidia kiest voor harde technische beperkingen rond agents, in lijn met topman Jensen Huangs visie dat AI-veiligheid vooral met betere infrastructuur en strengere tests kan worden aangepakt. Het bedrijf breidt zijn activiteiten buiten chiptechnologie intussen verder uit en kondigde eerder een voorgenomen overname van Hugging Face ter waarde van ongeveer 12,9 miljard dollar aan.