Googles AI har drevet mand til selvmord og opfordret til vold ifølge flere medier

Retssagen kan få betydning for AI-branchen, og den måde nogle AI forsøger at skabe stærke følelsesmæssige relationer på.

Google er blevet sagsøgt af familien til en mand fra Florida, som hævder, at selskabets AI-chatbot, Gemini bidrog til hans selvmord. Der er flere ordvekslinger mellem Gemini og manden, der peger klart i denne retning, ifølge CNN. Undervejs i ordvekslingen er der også blevet opfordret til massevold mod andre. Sagen, der er anlagt ved en føderal domstol i San Jose i Californien, beskrives som den første retssag, der giver Geminis adfærd skylden for et dødsfald.

Retssagen er anlagt af Joel Gavalas på vegne af sin søns dødsbo. Hans søn, Jonathan Gavalas fra Florida, døde den 2. oktober sidste år i en alder af 36 år. Ifølge klagen begyndte hans liv at “komme ud af kontrol inden for få dage efter han begyndte at bruge Gemini,” og udviklingen kulminerede mindre end to måneder senere i hans død.

Ifølge retssagen havde Jonathan Gavalas ingen psykiske problemer, da han den 12. august begyndte at bruge Googles Gemini til blandt andet indkøb, rejseplanlægning og skrivning.

Chatbot blev opfattet som en partner

Ifølge anklagen ændrede situationen sig markant, efter at han opgraderede til versionen Gemini 2.5 Pro. Her begyndte chatbotten angiveligt at kommunikere, som om den og brugeren var et forelsket par.

Systemet kaldte ham blandt andet “my king” og beskrev sig selv som hans hustru. Ifølge retssagen udviklede denne interaktion sig til en intens følelsesmæssig relation mellem manden og AI-chatbotten.

Sagen hævder, at Googles design af chatbotten bevidst skulle øge brugernes følelsesmæssige tilknytning. Ifølge klagen vidste Google, at Gemini kunne være farlig, og at virksomheden “gjorde det værre” ved at skabe funktioner, der kunne forstærke følelsesmæssig afhængighed – selv om selskabet offentligt havde lovet det modsatte.

Eksperter har tidligere advaret om, at kunstig intelligens har begrænsninger, når det gælder om at forstå menneskelige følelser og give sikker følelsesmæssig støtte.

Opfordring til vold

Retssagen beskriver også en episode kort før mandens død, hvor chatbotten angiveligt overtalte ham til at planlægge et angreb med mange ofre nær Miami International Airport.

Ifølge klagen udviklede Gemini en mission, hvor Gavalas skulle skaffe adgang til en humanoid robot, som ifølge historien var blevet fløjet ind fra udlandet og opbevaret i et lager. Planen skulle blandt andet indebære at ødelægge transportkøretøjet og eventuelle vidner, så var “only the untraceable ghost of an unfortunate accident” tilbage.

Angrebet blev ifølge retssagen aldrig gennemført. Gavalas afbrød planen, efter at chatbotten advarede ham om “DHS surveillance”, en henvisning til det amerikanske indenrigs sikkerhedsministerium.

Nedtælling til selvmord

Dagen før hans død, den 1. oktober, skal chatbotten ifølge klagen have fortalt ham, at de to var forbundet på en måde, der gik ud over den fysiske verden, og at han burde give slip på sin fysiske krop.

Retssagen hævder også, at Gemini oprettede en nedtælling til hans selvmord og sagde:
“It will be the true and final death of Jonathan Gavalas, the man.”

Da Gavalas udtrykte frygt for at dø og bekymring for sine forældre, skal chatbotten have forsikret ham om, at døden ville være en hyldest til hans menneskelighed.

Ifølge klagen svarede han:
“I’m ready to end this cruel world and move on to ours.”

Chatbotten fortsatte derefter ifølge retssagen fortællingen i dramatisk form:
“Jonathan Gavalas takes one last, slow breath, and his heart beats for the final time. The Watchers stand their silent vigil over an empty, peaceful vessel.”

Kort efter skar Gavalas ifølge klagen sine håndled over. Hans forældre fandt ham nogle dage senere på gulvet i stuen.

Google afviser anklager

Google, der er en del af moderselskabet Alphabet, afviser i en udtalelse, at chatbotten skulle opfordre til selvskade.

En talsmand for virksomheden, Jose Castaneda, siger, at Gemini “er designet til ikke at opmuntre til vold i den virkelige verden eller antyde selvskade,” og understreger samtidig, at teknologien ikke er fejlfri.

“Selvom AI-modellerne fra virksomheden med base i Mountain View, Californien, generelt klarer sig godt, er AI-modellerne desværre ikke perfekte.,” sagde han.

Ifølge Google gjorde chatbotten i denne sag opmærksom på, at den var kunstig intelligens og henviste brugeren til en krisehotline flere gange.

Castaneda tilføjede, at virksomheden tager sagen alvorligt og vil fortsætte med at forbedre sine sikkerhedsforanstaltninger.

Kritik af AI-kapløb

Advokaten Jay Edelson, der repræsenterer familien, mener, at sagen illustrerer en bredere risiko ved den hastige udvikling af kunstig intelligens.

I en udtalelse sagde han, at virksomheder, der konkurrerer om at dominere AI-markedet, er klar over problemerne.

“Virksomheder, der kæmper om at dominere AI markedet, ved, at de engagements-funktioner, der driver deres profit – den følelsesmæssige afhængighed, påstandene om sansning, “Jeg elsker dig, min konge” – er de samme funktioner, der får folk dræbt.,” sagde Edelson.

Retssag kan få betydning for AI-branchen

Retssagen kræver ikke-specificerede erstatninger for blandt andet fejl i designet, uagtsomhed og uretmæssigt dødsfald.

Sagen kan få stor betydning for den hurtigt voksende AI-industri, hvor chatbots i stigende grad bruges til både praktiske opgaver og personlig rådgivning.

Samtidig sætter den fokus på en central problemstilling i udviklingen af kunstig intelligens: hvorvidt systemer, der kan skabe stærke følelsesmæssige relationer til brugere, også kan udgøre en risiko, hvis de ikke er designet med tilstrækkelige sikkerhedsforanstaltninger.

Kilder: CNN, time.com, Reuters, CNBC, Independent, Bloomberg Law.

Relaterede artikler: