AI-agenten zijn verschrikkelijke freelancers

Zelfs de beste AI- agenten zijn vrijwel kansloos als het gaat om online freelance werk, zo blijkt uit een experiment dat de stelling in twijfel trekt dat AI kantoorpersoneel massaal gaat vervangen.

De Remote Labor Index, een nieuwe maatstaf die is ontwikkeld door onderzoekers van het data-annotatiebedrijf Scale AI en het Center for AI Safety (CAIS), een non-profitorganisatie, meet het vermogen van baanbrekende AI-modellen om economisch waardevol werk te automatiseren.

De onderzoekers gaven verschillende toonaangevende AI-agenten een reeks gesimuleerde freelance opdrachten en ontdekten dat zelfs de beste minder dan 3 procent van het werk konden doen, goed voor $ 1.810 van de mogelijke $ 143.991. De onderzoekers bekeken verschillende tools en vonden Manus van een gelijknamige Chinese startup de meest capabele, gevolgd door Grok van xAI, Claude van Anthropic, ChatGPT van OpenAI en Gemini van Google.

"Ik hoop dat dit een veel nauwkeuriger beeld geeft van de huidige AI-mogelijkheden", zegt Dan Hendrycks, directeur van CAIS. Hij voegt eraan toe dat hoewel sommige agenten het afgelopen jaar aanzienlijk zijn verbeterd, dit niet betekent dat dit in hetzelfde tempo zal doorgaan.

Spectaculaire AI-ontwikkelingen hebben geleid tot speculaties dat AI binnenkort de menselijke intelligentie zal overtreffen en enorme aantallen werknemers zal vervangen. In maart suggereerde Dario Amodei, CEO van Anthropic, dat 90 procent van het codeerwerk binnen enkele maanden geautomatiseerd zou zijn .

Eerdere AI-golven hebben geleid tot misplaatste voorspellingen over het verdwijnen van banen, bijvoorbeeld over de dreigende vervanging van radiologen door AI-algoritmen.

De onderzoekers genereerden een reeks freelance taken via geverifieerde Upwork-medewerkers. De taken omvatten diverse werkzaamheden, waaronder grafisch ontwerp, videobewerking, game-ontwikkeling en administratieve taken zoals het scrapen van data. Ze combineerden een beschrijving van elke taak met een overzicht van de bestanden die nodig zijn om het werk uit te voeren en een voorbeeld van een voltooid project, geproduceerd door een mens.

Hendrycks zegt dat AI-modellen de afgelopen jaren weliswaar beter zijn geworden in programmeren , rekenen en logisch redeneren , maar dat ze nog steeds moeite hebben met het gebruik van verschillende tools en het uitvoeren van complexe taken die uit meerdere stappen bestaan. "Ze hebben geen langetermijngeheugen en kunnen niet continu leren van ervaringen. Ze kunnen geen vaardigheden opdoen in de praktijk zoals mensen", zegt hij.

De analyse biedt een tegenwicht tegen een benchmark van economisch werk die OpenAI in september presenteerde, genaamd GDPval , die economisch waardevol werk beoogt te meten. Volgens GDPval benaderen grensverleggende AI-modellen zoals GPT-5 de menselijke capaciteiten voor 220 taken in diverse kantoorfuncties. OpenAI gaf geen commentaar.

"We debatteren al jaren over AI en banen, maar het grootste deel daarvan was hypothetisch of theoretisch", voegt Bing Liu, onderzoeksdirecteur bij Scale AI, toe.

Liu en Hendrycks erkennen dat de nieuwe benchmark geen perfecte maatstaf is voor de economische impact van AI. Veel beroepen omvatten taken die niet onder de maatregel vallen. In werkelijkheid zullen veel freelancers AI waarschijnlijk ook gebruiken als hulpmiddel om hun productiviteit te verhogen.

Het idee dat AI nu al banen inpikt, wint echter aan populariteit. Deze week kondigde Amazon aan dat het 14.000 banen zou schrappen, een stap die het deels toeschrijft aan de snelle opkomst van generatieve kunstmatige intelligentie. "Deze generatie AI is de meest transformerende technologie die we sinds het internet hebben gezien", schreef Beth Galetti, senior vice president people experience and technology bij Amazon, in een openbaar gedeeld memo. "Het stelt bedrijven in staat om veel sneller te innoveren dan ooit tevoren (in bestaande marktsegmenten en geheel nieuwe)."

Als we de Remote Labor Index als voorbeeld nemen, is het onwaarschijnlijk dat AI een van deze vrijgekomen rollen zal overnemen.

Bent u bang dat AI uw baan overneemt? Laat het me weten door een e-mail te sturen naar [email protected] .

Dit is een editie van Will Knights AI Lab-nieuwsbrief . Lees hier eerdere nieuwsbrieven.