DeepSeek-R1, flagskibsmodellen til ræsonnement fra det kinesiske laboratorium DeepSeek, hallucinener 14,3% ifølge Vectaras HHEM 2.1-måling. Det er næsten fire gange højere end dens ikke-ræsonnerende forgænger DeepSeek-V3, der landede på 3,9%.
Forskellen rejser vigtige spørgsmål for kryptosektoren. En hastigt voksende gruppe af AI-agent tokens benytter nu ræsonnementsbaserede LLM’er til autonome handler, signaler og udførsel på kæden.
Vectara-data viser R1 ‘hjælper for meget’ med forkerte fakta
Vectara kørte begge DeepSeek-modeller gennem HHEM 2.1, laboratoriets eget system til vurdering af hallucination. Holdet dobbelttjekkede også resultater med Googles FACTS-metode. R1 lavede flere forkerte eller udokumenterede udsagn end V3 i alle testopsætninger.
Årsagen var ikke kun graden af ræsonnement. Vectaras analytikere opdagede, at R1 har tendens til at “hjælpe for meget.” Modellen tilføjer information, der ikke står i kildeteksten.
De ekstra detaljer kan i sig selv være korrekte, men tæller stadig som en hallucination. Denne adfærd smugler opfundet kontekst ind i ellers korrekte svar.
Vectara udtalte fundet direkte i et offentligt opslag på X.
“DeepSeek-R1 har en hallucinationsrate på 14,3%, næsten 4x højere end DeepSeek-V3,” skrev Vectara i et opslag.
Mønstret er ikke unikt for DeepSeek. Brancheobservatører bemærker den samme afvejning i andre laboratoriers ræsonnerende modeller. Forstærkningslæring, der styrker “chain-of-thought”, belønner samtidig modigere og mere selvsikre svar.
Hvorfor AI-tokens i krypto sidder med dette dilemma
Kryptomarkedet har nu hundredvis af AI-agent tokens, ledet af Virtuals Protocol (VIRTUAL), ai16z (AI16Z) og aixbt (AIXBT).
Kategorien har haft en vækst på omkring 39,4% den seneste måned. Virtuals alene har nu en markedsværdi over 576 millioner dollars.
De fleste af disse agenter lægger et stort sprogmodel-lag oven på forskellige værktøjer. Disse værktøjer lader agenten poste på sociale medier, udføre handler, lave tokens eller generere markedsanalyser.
Når den underliggende model opfinder et kursniveau, et partnerskab eller en kontraktadresse, kan det få konsekvenser direkte på kæden.
En analyse i BeInCrypto af AIXBT viste, at agenten havde shillet 416 tokens med 19% gennemsnitligt afkast. Samme mekanik udsætter dog følgere for dårlige anbefalinger, når modellen fejler.
Risikoen vokser med graden af autonomi. Læseagenters opsummeringer af stemning har lavere risiko, mens agenter der kan styre fondens nøgler, har langt større indsatser.
Ræsonnement-modeller er især attraktive til agenter, der planlægger over flere skridt. Det er også her, hvor Vectaras 14,3% rate gør mest ondt.
En enkelt opdigtet oplysning tidligt i en tankekæde kan forplante sig gennem alle efterfølgende handlinger.
LeCun mener, problemet er arkitekturelt
Yann LeCun, Metas chef for AI, har længe ment, at autoregressive LLM’er aldrig helt undgår hallucination. Ifølge ham mangler arkitekturen en jordnær model af virkeligheden.
Forstærkningslæring på “chain-of-thought” kan skjule problemet i snævre områder som matematik og kode, men selve årsagen bliver stående.
Andre førende laboratorier er uenige. De peger på løbende fremskridt i benchmark for hallucinationsrater via retrieval-udvidelse, eftertræning og verifikatormodeller. Udvikleres rapporter stemmer dog tit overens med tallene på leaderboardet.
AI-forsker xlr8harder, som skrev på X om en fejlfinding med R1, beskrev dagligdagen kortfattet:
“Deepseek R1 har en interessant løs forståelse af sine egne tankemønstre. … så den ender med at gaslighte mig med hallucinationer,” skrev vedkommende.
For udviklere af kryptoagenter er det praktiske spørgsmål risikostyring og ikke arkitekturens filosofi. Designs, hvor alle påstande skal verificeres, klarer sig formentlig bedre.
Det samme gælder agenter, der bruger mindre og mere konservative modeller til finansielle handlinger.
Næste runde på leaderboardet og afløserne til R1 vil vise, om balancen mellem ræsonnement og præcision bliver mindre.
Indtil videre er forskellen mellem 14,3% og 3,9% et operationelt detalje, der er værd at følge. Den kan adskille AI-agent tokens, der leverer virkelige produkter, fra dem med tomme løfter.
