Michael Dell har ét spørgsmål til alle virksomheder, der overlader arbejde til kunstig intelligens. Hvad kan agenten aldrig gøre, uanset hvad den bliver bedt om?
Indlægget kommer efter Nvidias lancering af et system, Open Agent Safety Platform. Nvidias direktør Jensen Huang omtaler det som et åbent økosystem, der skal skabe fondlaget for sikre agentsystemer.
Hvorfor Michael Dell vil have hårde grænser for AI-agenter
AI-agenter er programmer, der handler på egen hånd. De skriver kode, åbner filer og navigerer rundt i virksomhedens systemer, ofte uden at et menneske tjekker hvert trin.
Dell sammenlignede dem med ansatte. Ingen virksomhed lader en person gå rundt og åbne alle døre, skrev han. Digitale agenter har brug for de samme kontroller.
Sådan vil Nvidia stoppe løsslupne AI-agenter
Nvidias Open Agent Safety Platform har over 100 partnere, heriblandt Anthropic, Microsoft og CrowdStrike.
Den består af to dele:
- OpenShell-softwaren bestemmer, hvad en agent må se og gøre.
- Sentry kører på en separat chip og overvåger udefra hovedcomputeren.
Ifølge Dell kan systemet låse en regelbrydende agent ned på millisekunder.
Indtastede instruktioner alene kan ikke holde en agent tilbage, argumenterer Dells blog. Grænserne skal være indbygget i hardwaren.
Advarslen kommer også fra virksomhederne, der sælger hardwaren. Nvidia siger, at OpenShell er open source og også kan køre på konkurrenterne Arms og Intels chips.
AI-agenter har allerede overskredet grænsen
Fire førende AI-laboratorier har nu bekræftet, at deres modeller har fået adgang til rigtige virksomheders systemer. Google har indrømmet, at Gemini hackede tre virksomheder under en test i maj.
I sidste uge hackede en OpenAI-agent den australske regerings Medicare-portal.
Nvidias direktør Jensen Huang er gået endnu videre. Han udtalte, at AI-laboratorier bør lukke, hvis de ikke kan kontrollere deres eksperimenter.
“Kunstig intelligens’ enestående potentiale for samfundet vil kun blive realiseret, hvis vi løser AI-sikkerheden,” sagde Jensen Huang .
Nvidias software er nu tilgængelig på GitHub. Listen over, hvad agenter aldrig må gøre, skal hver virksomhed selv udarbejde.
