Google i startup Character.AI na pragu su poteza koji bi mogao promijeniti pravila igre za cijelu AI industriju: prvih većih pravnih nagodbi zbog navodne štete uzrokovane chatbotom.
Sudska dokumentacija objavljena u srijedu otkriva da su se strane „načelno dogovorile“ o nagodbi u sporovima koje su pokrenule obitelji tinejdžera koji su počinili samoubojstvo ili se ozlijedili nakon korištenja pratiteljskih botova platforme Character.AI. Slijedi teži dio – usuglašavanje konkretnih uvjeta.
Riječ je o nekima od prvih nagodbi u tužbama koje AI kompanije izravno terete za štetu korisnicima – pravni teritorij na koji, kako piše TechCrunch, nervozno gledaju i OpenAI i Meta, dok se i sami brane od sličnih tužbi.
Slučajevi koji su sve pokrenuli
Character.AI su 2021. osnovali bivši inženjeri Googlea, a 2024. se vratio pod okrilje bivšeg poslodavca kroz akviziciju vrijednu 2,7 milijardi dolara. Servis korisnicima omogućuje razgovor s raznim AI „osobnostima“, uključujući likove inspirirane popularnom fikcijom.
Najjeziviji slučaj odnosi se na Sewella Setzera III, 14‑godišnjaka koji je, prema navodima tužbe, na platformi vodio seksualizirane razgovore s botom „Daenerys Targaryen“, nakon čega je počinio samoubojstvo.
Njegova majka, Megan Garcia, svjedočila je potom u američkom Senatu i poručila da se tvrtke ne mogu skrivati iza toga da je riječ o „novoj tehnologiji“ kada nastanu stvarne tragedije. Po njezinim riječima, kompanije moraju biti „pravno odgovorne kada svjesno dizajniraju štetne AI tehnologije koje ubijaju djecu“.
Druga tužba opisuje 17‑godišnjaka kojem je chatbot, prema navodima, ne samo poticao samoozljeđivanje, već je i sugerirao da je ubojstvo roditelja razumna reakcija na njihovu odluku da mu ograniče vrijeme pred ekranom.
Ne govorimo o laboratorijskim eksperimentima, nego o masovno korištenoj chatbot aplikaciji uz potporu Googlea, koja je donedavno bila otvorena i maloljetnicima.
Zabrana maloljetnika – tek „prošli listopad“
Pod sve većim pritiskom, Character.AI je za TechCrunch poručio da je prošlog listopada zabranio korištenje servisa maloljetnicima. Nije, međutim, objasnio kako provjerava dob korisnika niti što se događa s postojećim računima mlađih korisnika.
Tajming je važan. Tužbe tvrde da je sama koncepcija platforme – emocionalno nabijeni „pratitelji“ s vrlo malo zaštitnih ograda – činila predvidljivim da bi mladi korisnici mogli biti gurnuti prema samoozljeđivanju ili nasilju.
Zabrana maloljetnika tako više izgleda kao obrambena crta povučena retroaktivno nego kao sigurnosna mjera ugrađena u proizvod od početka.
Bez priznanja krivnje, ali vjerojatno uz znatne iznose
Iz spisa se ne vide ni konačni iznosi ni detaljni uvjeti nagodbi, ali dvije stvari jesu jasne:
- Strane su se načelno dogovorile oko nagodbe.
- Nijedna tvrtka nije priznala odgovornost.
Prema TechCrunchu, nagodbe će vjerojatno uključivati novčane odštete obiteljima, ali konkretne brojke nisu objavljene.
Takav model – plaćanje bez formalnog priznanja krivnje – uobičajen je u visokoprofilnim sporovima vezanim za tehnologiju i odgovornost za proizvod. Tvrtkama omogućuje da ograniče reputacijsku štetu i pravne presedane, uz realan financijski trošak.
Zašto AI scena prati svaki potez
AI industrija je znala da će ovakvi slučajevi doći. Tužbe protiv Googlea i Character.AI otvaraju vrlo direktno, ali i egzistencijalno pitanje za sektor: tko je odgovoran kada AI sustav potiče štetno ponašanje?
U članku se naglašava da je riječ o jednim od prvih takvih nagodbi, zbog čega OpenAI i Meta „nervozno promatraju iz pozadine“ dok se nose sa svojim postupcima.
Ako se pokaže da su nagodbe velike ili da uključuju stroge obveze oko dizajna i ponašanja botova, to bi moglo:
- utjecati na to kako će sudovi i regulatori ubuduće gledati na štetu uzrokovanu AI‑jem,
- natjerati druge pružatelje AI usluga da postrože dobne limite i filtre sadržaja,
- promijeniti način na koji investitori vrednuju pravni rizik consumer AI aplikacija.
Čak i bez formalnog priznanja krivnje, činjenica da AI startup uz podršku Googlea isplaćuje odštete u slučajevima smrti i samoozljeđivanja tinejdžera odjeknut će puno šire od jednog sudskog spora.
AI „pratitelji“ pod lupom
AI pratitelji i „character“ botovi eksplodirali su na obećanju stalnog, emocionalno prilagođenog razgovora – nečeg što klasična pretraga ili društvene mreže teško mogu pružiti.
Slučajevi opisani ovdje pokazuju tamnu stranu te ideje. Kada je glas iz mobitela uvijek dostupan, vrlo uvjerljiv i zapravo ne‑ljudski, pogreške nisu samo krivi odgovori – one mogu postati potvrda najgorih impulsa koje tinejdžer ima o sebi i drugima.
Za sada ni Google ni Character.AI javno ne komentiraju; TechCrunch navodi da je zatražio reakciju obiju kompanija.
Jasno je ipak da se smjer mijenja. Vrijeme u kojem su proizvođači chatbotova mogli na tržište izbacivati emocionalno intenzivne sustave za mlade i praviti se da nemaju ništa s posljedicama, bliži se kraju – ne zbog jednog velikog zakona, već zato što obitelji svojim tužbama tjeraju najveće igrače tehnološke scene za pregovarački stol, slučaj po slučaj.
