GPT-4 viste sig at matche den top ene procent af menneskelige tænkere i en anerkendt kreativitetstest. AI-applikationen ChatGPT, udviklet ved hjælp af GPT-4, udmærkede sig i idemængde og originalitet i Torrance Tests of Creative Thinking (TTCT), et bredt anerkendt værktøj til at vurdere kreativitet.
Det er allerede en kendsgerning, at eksempelvis reklamebureauer bruger ChatGPT til at ideudvikle og brainstorme i deres kreative arbejde, og dermed udvider og effektiviserer deres produktion. Det er dog overraskende, hvor godt ChatGPT overordnet klarer sig overfor de mest kreative tænkere.
Studiet blev ledet af Dr. Erik Guzik, assisterende professor ved University of Montana. Han og hans kolleger brugte Torrance Tests of Creative Thinking (TTCT), et velkendt værktøj, der har været brugt i årtier til at vurdere menneskelig kreativitet, skriver University of Montana i en pressemeddelelse.
Forskerne indsendte otte svar genereret af ChatGPT. De indsendte også svar fra en kontrolgruppe fra 24 studerende fra University of Montana, der var i gang med et studie i innovation. Disse resultater blev sammenlignet med 2.700 universitetsstuderende nationalt, der tog TTCT i 2016. Alle de indsendte svar blev vurderet af Scholastic Testing Service, som ikke vidste, at ChatGPT var med i forsøget. (University of Montana)
Resultaterne placerede ChatGPT i den absolutte elite for kreativitet. AI-applikationen var i toppercentilen for evnen til at generere en stor mængde idéer – og for originalitet – evnen til at komme med nye ideer. AI’en var lige knap så god til fleksibilitet, evnen til at generere forskellige typer og kategorier af ideer.
“For ChatGPT og GPT-4 viste vi for første gang, at den præsterer i top 1% for originalitet,” sagde Guzik. “Det var nyt.”
Resultaterne blev præsenteret ved en konference i USA, og Guzik udtalte efterfølgende:
“Vi var meget omhyggelige på konferencen med ikke at fortolke dataene særlig meget,” sagde Guzik. “Vi har lige præsenteret resultaterne. Men vi delte stærke beviser på, at AI ser ud til at udvikle kreative evner på niveau med eller endda overgå menneskelige evner.”
Guzik sagde, at da han spurgte ChatGPT, hvad det ville indikere, hvis den testede godt på TTCT, gav ChatGPT et stærkt svar, som de delte på konferencen:
“ChatGPT fortalte os, at vi måske ikke fuldt ud forstår menneskelig kreativitet, hvilket jeg tror er korrekt,” sagde han. “Det antydede også, at vi muligvis har brug for mere sofistikerede vurderingsværktøjer, der kan skelne mellem menneskelige og AI-genererede ideer.”
Han sagde, at TTCT testen er beskyttet materiale, så ChatGPT kunne ikke “snyde” ved at få adgang til information om testen på internettet eller i en offentlig database.
Guzik og hans team besluttede at teste kreativiteten ved ChatGPT efter at have eksperimenteret med den i løbet af det sidste år.
“Vi havde alle udforsket ChatGPT, og vi bemærkede, at den havde gjort nogle interessante ting, som vi ikke havde forventet,” sagde han. “Nogle af svarene var nye og overraskende. Det var da, vi besluttede at prøve det for at se, hvor kreativ den egentlig er.”
Guzik sagde, at TTCT-testen bruger spørgsmål, der efterligner kreative opgaver i det virkelige liv. Kan du for eksempel tænke på nye anvendelser for et produkt eller forbedre dette produkt?
Guzik havde en vis forventning om, at ChatGPT ville være god til at skabe en masse ideer, fordi det er, hvad generativ AI gør. Og den udmærkede sig ved at reagere på prompten med mange ideer, der var relevante, nyttige og værdifulde i evaluatorernes øjne.
Han var dog mere overrasket over, hvor godt det lykkedes at generere originale ideer, hvilket er et kendetegn for menneskelig fantasi.
“På konferencen lærte vi om tidligere forskning med GPT-3, der blev lavet for et år siden,” sagde Guzik. “På det tidspunkt scorede ChatGPT ikke så godt som mennesker på opgaver, der involverede original tænkning. Nu med den mere avancerede GPT-4 er den i top 1% af alle de menneskelige svar.”
Med fremskridt inden for kunstig intelligens forventer han, at det bliver et vigtigt værktøj for forretningsverdenen fremadrettet og en væsentlig ny drivkraft for regional og national innovation. (University of Montana)
Test fra MIT viser at ChatGPT øger menneskers produktivitet
Tilbage i marts måned lavede MIT, USA´s førende institution inden for teknologi og innovation, et studie, der konkluderede, at ChatGPT hjælper folk med at arbejde omkring 20-25% hurtigere og forbedrer kvaliteten af deres arbejde med omkring 10-15%.
ChatGPT hjælper især dem, der normalt ikke er så produktive. Dette gør forskellen mellem de mest og mindst produktive mindre.
ChatGPT bruges ofte til at generere ideer og redigere ifølge undersøgelsen.
I en skriveopgave i undersøgelsen fra MIT, brugte folk over 50% mindre tid på at skrive det første udkast og mere end dobbelt så meget tid på at redigere.
Folk, der bruger ChatGPT, er mere tilfredse med deres arbejde og føler sig mere selvsikre, med en stigning i jobtilfredshed på omkring 40%, ifølge studiet fra MIT.
Overordnet viste undersøgelsen, at folk er glade for at bruge ChatGPT, da de føler, at det forbedrer deres arbejdspræstationer. (Compass LEAN Academy)
Mange af deltagerne havde aldrig brugt ChatGPT før, så dette var deres første erfaring med den.
Anvendelse af ChatGPT øger ifølge studiet arbejdsglæden og egen effektiviteten. Den øger også både bekymring og begejstring for teknologier som ChatGPT. Deltagerne var dog generelt optimistiske over, at ChatGPT kunne gøre dem mere produktive.
Relaterede artikler:
AI på arbejdspladsen er uundgåelig – og der er meget at glæde sig over skriver BBC
AI vil sandsynligvis føre til globalt økonomisk boom og måske en 4-dages arbejdsuge
ChatGPT giver bedre og mere empatisk medicinsk rådgivning end læger viser ny undersøgelse
Kilder: University of Montana, neurosciencenews.com, MIT, Compass LEAN Academy.
