Mainstream AI-modeller fejlede 57% af svarene på spørgsmål om privatøkonomi, ifølge det britiske fintech-firma Saturn. Fejlraten steg til 88% på sværere, mere komplekse forespørgsler.
Resultaterne kom, mens forbrugeres brug af chatbots til spørgsmål om penge er vokset markant.
Sværere spørgsmål knækkede næsten alle modeller
Undersøgelsen kørte 121 spørgsmål gennem 18 gratis og betalte modeller fra udbydere som ChatGPT, Gemini, Claude og Copilot. Hvert spørgsmål blev gentaget op til 5 gange, hvilket gav over 10.000 svar.
En besvarelse blev regnet som en fejl, hvis den indeholdt en faktuel fejl, sprang vigtige dele over eller undlod en nødvendig advarsel.
Gratis modeller klarede sig dårligst og fejlede på 63% af svarene, sammenlignet med 49% for betalte versioner. På de vanskeligste spørgsmål fejlede gratis modeller i 93% af tilfældene.
Claude Opus 5 i reasoning-tilstand klarede sig bedst. Men den fejlede stadig på 39% af svarene. Fejlene omfattede forkerte udregninger, oversete ændringer i skatteregler og regler, der slet ikke findes.
Et svar om skat på pension kunne have givet en opsparer en regning på £17.500 fra HM Revenue and Customs.
“Millioner stoler på AI-modeller til penge-råd, men de får forkerte svar, som kan koste dem penge,” Amal Jolly, Saturns administrerende direktør, udtalte.
Følg os på X for at få de seneste nyheder, lige når de sker
Tilliden til AI-chatbots stiger alligevel
I mellemtiden er brugen vokset på tværs af markeder og aldersgrupper. En global EY-undersøgelse blandt 18.000 forbrugere viste, at 49% havde brugt AI til at støtte spare- og investeringsbeslutninger.
Storbritanniens finansielle tilsynsmyndighed rapporterede i august, at fire ud af fem mindre erfarne investorer har brugt AI til investeringshjælp. Af de adspurgte sagde 56%, at de stoler på værktøjerne – mere end tv og radio, hvor 47% sagde det samme.
Samtidig viste samme research, at 44% fejlagtigt tror, at AI-genereret finansiel information er reguleret.
En PensionBee-undersøgelse af 1.000 amerikanske voksne viste, at næsten seks ud af ti ville følge økonomiske råd uden selv at tjekke det. Næsten en ud af fire sagde, at en chatbot allerede havde givet dem forkerte oplysninger om deres privatøkonomi.
Jolly sagde, at AI-finansrådgivning ikke er reguleret, så forbrugere er uden den kompensation, som en menneskelig rådgiver giver. Han opfordrede FCA til at tage hurtig handling.
Abonner på vores YouTube-kanal for at se ledere og journalister give eksperters indblik
