Elon Musk kaldte Grok 4.5 for en Opus-klasse model, der kører hurtigere og koster mindre. En uafhængig, agentstyret måling giver nu reel opbakning til det udsagn.
På Artificial Analysis’ AutomationBench-AA opnåede Grok 4.5 førstepladsen med en score på 51,4 % og en pris på $0,34 pr. opgave. Den slog både Claude Fable 5 (48,6 %) og Claude Opus 4.8 (48,5 %).
En uafhængig kontrol af Elon Musks udsagn
SpaceXAI gjorde Grok 4.5 offentlig tilgængelig i denne uge, baseret på dens V9-platform med 1,5 billioner parametre. Musks præsentation byggede på tidlige interne vurderinger.
AutomationBench-AA ændrer det. Artificial Analysis kører målingen uafhængigt og holder opgavesættet hemmeligt for at undgå forurening.
Testen dækker 657 opgaver på tværs af 40 simulerede apps, som Gmail, Slack, Salesforce og HubSpot. Den måler hvor stor en andel mål agenten løser uden at bryde sikkerhedsforanstaltninger.
Følg os på X for at få de seneste nyheder med det samme
Grok 4.5: Billigere, hurtigere og for det meste compliant
Grok 4.5’s $0,34 pr. opgave ligger langt under Fable 5’s $1,35 og Opus 4.8’s $1,46. Gemini 3.5 Flash kom tættest på med $0,49.
Modellen brugte ca. 8.000 output-tokens pr. opgave, omkring en fjerdedel af Opus 4.8’s forbrug. Den effektivitet står bag det meste af prisforskellen og bekræfter Musks vinkling fra lanceringen.
“Det samlede tokenforbrug på 0,44 mio. pr. opgave er blandt de laveste på listen. Den lave pris skyldes effektiviteten samt lave tokenpriser,” skrev Artificial Analysis .
Derudover fuldførte Grok 4.5 79,9 % af opgavernes mål og bestod fuldt ud 21,9 % af opgaverne. Inden for Finans, det vanskeligste felt, førte den med 71 %, foran Fable 5’s 64 % og Opus 4.8’s 62 %.
Men modellen brød flere regler end de tætteste konkurrenter. Den havde 0,63 regelbrud pr. opgave, over Opus 4.8’s 0,55 og Gemini 3.5 Flash’s 0,46.
Det hul betyder noget for firmaer, der benytter agenter i live finansielle systemer, hvor ét enkelt brud kan koste dyrt.
Abonnér på vores YouTube-kanal for at se ledere og journalister dele ekspertindsigter
