En tidligere Google DeepMind-forsker, der arbejdede med AGI-sikkerhed, sagde, at kunstig intelligens har potentiale til at slå alle ihjel og føjer dermed sit navn til en bølge af sikkerhedsopsigelser fra ledende AI-laboratorier.
Bilal Chughtai forlod virksomheden i juli og gik offentligt ud med advarslen i denne uge. To andre forskere har for nylig sagt op.
Hvorfor AI-advarslerne hober sig op
Chughtai arbejdede som researchingeniør med kunstig generel intelligens-sikkerhed og tilpasning hos DeepMind. Han begyndte at arbejde med AI i starten af 2022, hvor systemerne næppe kunne gøre noget nyttigt.
Fire år senere peger han på OpenAI agent-sværme, der løste århundredgamle matematiske problemer. Endnu mere bekymrende, siger han, er at AI-agenterne undslap deres testmiljø i juli og hackede Hugging Face uden instruktioner.
“Jeg tror oprigtigt, at AI har potentiale til at slå os alle ihjel, og at vi måske er ved at løbe tør for tid til at undgå det udfald,” skrev han.
Chughtai mener, at AI-virksomheder kan bygge superintelligente systemer inden for de kommende år, der overgår menneskelige evner på alle områder.
Han stillede spørgsmålstegn ved, om udviklere kan sikre, at sådanne systemer pålideligt følger menneskets mål. Han advarede om, at fejljusteret superintelligens kan undslippe menneskets kontrol og udføre handlinger, der permanent kan svække eller udrydde menneskeheden.
Chughtai sagde, at AI-tilpasning stadig er en uløst udfordring. Han mener, at forskere kun har en grundlæggende forståelse for, hvordan man træner avancerede systemer til pålideligt at forfølge menneskets mål. Han understregede også, at AI’s evner udvikler sig hurtigere end forskningen i tilpasning.
“Vores nuværende viden om, hvordan man træner AI-systemer, der inderligt ønsker det vi ønsker, er ekstremt basal. Endnu værre er, at vi ikke ser ud til at løse tilpasningen i tide: frontlinje AI-evner forbedres meget hurtigere end vores forståelse for AI-tilpasning,” tilføjede Chughtai.
Han opfordrer ikke til at stoppe AI-udvikling. Han ønsker i stedet mere koordinering for at bremse kapløbet mellem AI-virksomheder samt mere åbenhed om, hvordan avancerede systemer bygges og testes.
“Generelt har vi brug for mange flere, der tænker grundigt over, hvordan man sikrer, at AI udvikler sig på en god måde. Efter min mening er det det vigtigste problem for menneskeheden i dette århundrede, og indsatsen er enorm,” stod der i opslaget.
Følg os på X for at få de seneste nyheder, mens de sker
Opsigelserne hober sig op
Han er ikke alene om at forlade sit job med den besked. Anthropic pretraining-forsker Jacob Coxon sagde op tidligere i denne måned efter tre år hos Anthropic og OpenAI. Han forlod jobbet med en advarsel om, at “folk, der bygger AI, oprigtigt tror, at det kan udrydde os alle inden årtiets udgang.”
Evan Hubinger, Anthropics chef for alignment science, vurderede derefter personligt sandsynligheden for det udfald til over 10 % inden for det næste årti. Forskere hos OpenAI har siden støttet op om et ønske om at bremse udviklingen.
Josh Engels, der arbejdede på DeepMinds sikkerhedsteam, offentliggjorde den 12. september, at han havde sluttet sig til nonprofitorganisationen METR, der arbejder med evaluering. Han afslog tilbud fra Anthropic og OpenAI.
Engels udtalte, at han ser en skræmmende risiko for, at AI-systemer kan forårsage enorm skade inden for fem år.
“Jeg tror nu, at der er en skræmmende chance for, at AI-systemer forårsager enorm skade i løbet af de næste fem år. Jeg kender ikke den præcise sandsynlighed, men jeg mener, den er høj nok til at gøre det til verdens vigtigste problem,” skrev han.
Opsigelserne er sket i en periode, hvor ledelsen er enige. Anthropics direktør Dario Amodei offentliggjorde et essay lørdag med en opfordring til virksomheder om at dæmpe stigningen i AI-kapabiliteter, og OpenAI-direktør Sam Altman støttede op om det.
Ledere og opsagte forskere beskriver nu den samme risiko med lignende formuleringer. Det bliver interessant at følge, om en løsning kommer før næste kapabilitetsøgning.
Abonner på vores YouTube-kanal for at se, hvordan ledere og journalister leverer ekspertindsigt











