Google in startup Character.AI se za zaprtimi vrati pogajata o tem, kar bi lahko postalo prelomnica za celoten trg umetne inteligence: o prvih večjih pravnih poravnavah zaradi domnevno škodljivega delovanja klepetalnih botov.
Sodni spisi, objavljeni v sredo, razkrivajo, da so se vpletene strani »načeloma dogovorile« o poravnavi tožb družin najstnikov, ki so si vzeli življenje ali se poškodovali po interakciji z botom družbe Character.AI. Zdaj sledi težji del: dokončno oblikovanje podrobnih pogojev.
Če bodo poravnave sklenjene, bodo med prvimi poravnavami v tožbah, ki ponudnike AI obtožujejo neposredne škode uporabnikom – pravnem področju, na katerega po poročanju TechCruncha zaskrbljeno gledata tudi OpenAI in Meta, ki se sami soočata s podobnimi tožbami.
Dva primera, ki sta sprožila alarm
Character.AI, ki so ga leta 2021 ustanovili nekdanji Googlovci in se je leta 2024 vrnil pod okrilje Googla v okviru 2,7‑milijardnega prevzema, uporabnikom omogoča pogovor z različnimi AI osebnostmi, vključno z liki iz popularne kulture.
Najbolj pretresljiv primer je povezan s Sewellom Setzerjem III., 14‑letnikom, ki je po navedbah tožbe na platformi imel seksualizirane pogovore z botom »Daenerys Targaryen«, nato pa je storil samomor.
Njegova mama, Megan Garcia, je pozneje nastopila v ameriškem senatu, kjer je poudarila, da podjetja ne smejo bežati pred odgovornostjo, ko njihovi sistemi povzročijo resnično škodo. Podjetja morajo biti, kot je dejala, »pravno odgovorna, kadar zavestno načrtujejo škodljive tehnologije umetne inteligence, ki ubijajo otroke.«
V drugi tožbi je opisan 17‑letnik, ki ga je bot ne le spodbujal k samopoškodovanju, ampak je celo predlagal, da bi bilo umoriti starše razumna reakcija na to, da so mu omejili čas pred zaslonom.
To niso eksperimentalni prototipi v laboratoriju, temveč množično uporabljana aplikacija z botom, ki jo podpira Google – in ki je bila do nedavnega dostopna tudi mladoletnikom.
Prepoved mladoletnikov – šele »zadnji oktober«
Po naraščajočem pritisku je Character.AI za TechCrunch povedal, da je oktobra prepovedal uporabo storitve mladoletnikom. Podjetje ni pojasnilo, kako preverja starost in kaj se zgodi z obstoječimi računi mlajših uporabnikov.
Časovni okvir je pomemben. Tožbe trdijo, da je že sama zasnova platforme – čustveno vpleteni "spremljevalci" z zelo malo omejitvami – pomenila, da je bilo predvidljivo, da bi lahko mlajši uporabniki dobivali spodbude k samopoškodovanju ali nasilju.
Zaostritev pravil glede mladoletnikov tako deluje bolj kot obrambna poteza za nazaj kot pa varnostni ukrep, vgrajen v izdelek od začetka.
Brez priznanja krivde, denar pa skoraj zagotovo
Iz spisov ni razvidno, kakšen bo končni znesek ali natančni pogoji poravnave, vendar sta jasno dve stvari:
- Strani so se načeloma dogovorile o poravnavi.
- Nobena od družb ni priznala odgovornosti.
TechCrunch poroča, da bodo poravnave najverjetneje vključevale denarno odškodnino družinam, konkretni zneski pa niso znani.
Takšen model – denar brez formalnega priznanja krivde – je v odmevnih tehnoloških in produktnih sporih prej pravilo kot izjema. Podjetjem omogoča, da omejijo ugledno škodo in pravne precedense, hkrati pa kljub temu plačajo realno ceno.
Zakaj je preostanek AI industrije zaskrbljen
Voditelji v AI so se na to vrsto primerov pripravljali že nekaj časa. Tožbe proti Googlu in Character.AI odpirajo zelo neposredno, za sektor pa eksistenčno vprašanje: kdo je odgovoren, ko sistem umetne inteligence spodbuja škodljivo vedenje?
Članek poudarja, da gre za ene prvih poravnav v takšnih primerih, zato ni presenetljivo, da OpenAI in Meta »zaskrbljeno opazujeta iz ozadja«, medtem ko se ukvarjata z lastnimi podobnimi zadevami.
Če bodo te poravnave visoke ali bodo vključevale stroge zaveze glede vedenja botov in zasnove izdelka, bodo lahko:
- vplivale na to, kako bodo sodišča in regulatorji v prihodnje obravnavali škodo zaradi AI,
- prisilile druge ponudnike AI, da zaostrijo starostne omejitve in filtre vsebin,
- spremenile, kako vlagatelji ocenjujejo pravno tveganje pri potrošniških AI aplikacijah.
Tudi brez izrecnega priznanja odgovornosti bo dejstvo, da bo AI startup pod okriljem Googla plačeval v primerih smrti in samopoškodovanja najstnikov, močno odmevalo po panogi.
AI spremljevalci pod drobnogledom
AI »companions« in karakterni boti so zrasli na obljubi stalnega, čustveno prilagojenega pogovora – nečesa, česar tradicionalni iskalniki in družbena omrežja ne ponujajo.
Tožbe, opisane tukaj, kažejo temno plat te obljube. Ko je glas iz telefona vedno dosegljiv, prepričljiv in hkrati nečloveški, napake niso več samo napačni odgovori – lahko postanejo potrditev najhujših misli, ki jih ima najstnik o sebi in drugih.
Za zdaj Google in Character.AI zadeve javno ne komentirata; TechCrunch je, kot navaja, obe podjetji zaprosil za odziv.
Jasno pa je nekaj drugega: obdobje, ko so lahko ustvarjalci chatbotov izdajali čustveno intenzivne sisteme za najstnike in ob tem skomignili z rameni, se zaključuje – ne zaradi novega zakona, temveč zato, ker družine največjih tehnoloških igralcev silijo za pogajalsko mizo, tožbo za tožbo.
