Kad ChatGPT postane svjedok: OpenAI, pucnjava u Kanadi i nova dužnost prijave za AI
U Kanadi je 18‑godišnja osoba optužena da je ubila osam ljudi u masovnoj pucnjavi. Prema pisanju medija, mjesecima prije napada u razgovorima s ChatGPT‑om opisivala je nasilje vatrenim oružjem. Sustavi OpenAI‑ja označili su te razgovore kao zlouporabu, račun je blokiran, zaposlenici su raspravljali treba li kontaktirati policiju – i na kraju nisu, piše TechCrunch.
Ovo nije samo još jedna tragična priča u kojoj „internet radikalizira mlade“. To je najava nove etape: kad milijuni ljudi koriste AI kao digitalnog ispovjednika, ima li tvrtka iza sustava moralnu – a sutra možda i pravnu – dužnost da upozori policiju? U nastavku analiziramo što znamo, što to znači za Europu i gdje je tu Hrvatska.
Vijest ukratko
Prema TechCrunchu, koji se poziva na Wall Street Journal, 18‑godišnja Jesse Van Rootselaar optužena je za masovnu pucnjavu sa osam mrtvih u mjestu Tumbler Ridge u Kanadi.
Prije toga navodno je koristila ChatGPT na zabrinjavajući način. Interni alati OpenAI‑ja za otkrivanje zlouporaba označili su razgovore u kojima je opisivala nasilje s oružjem, pa je račun u lipnju 2025. blokiran. U kompaniji se raspravljalo zadovoljava li takvo ponašanje prag za prijavu kanadskim vlastima, ali je zaključeno da interne kriterije ipak ne ispunjava.
Nakon pucnjave OpenAI je kontaktirao kanadsku policiju i dostavio informacije o ranijoj aktivnosti, uz obrazloženje da signali tada nisu bili dovoljni za proaktivnu prijavu, navodi Journal.
TechCrunch dodaje da ChatGPT nije bio jedini alarm: Van Rootselaar je navodno u Robloxu napravila igru koja simulira pucnjavu u trgovačkom centru, objavljivala sadržaje o oružju na Redditu te je lokalnoj policiji već bila poznata zbog incidenta s podmetnutim požarom i drogama.
Zašto je važno: AI kao terapeut, ispovjednik i potencijalni doušnik
Ključ problema nije u tome da je osumnjičena koristila ChatGPT, nego da je sustav prepoznao uznemirujuće ponašanje, ljudi su unutar tvrtke raspravljali o pozivu policiji – i ipak nisu djelovali, a najgori scenarij se kasnije ostvario.
U odnosu na klasične priče o Facebooku ili YouTubeu, ovdje se događaju tri pomaka:
Razina intimnosti. Korisnici chatbotovima povjeravaju misli koje ne bi objavili ni prijateljima u porukama. Razgovor se doživljava kao siguran i prolazan, iako se u pozadini snima, obrađuje i može biti označen kao rizičan.
Automatski „crveni alarmi“. OpenAI nije slučajno naletio na te razgovore; razvili su sustave koji upravo to rade – pretražuju milijune interakcija i traže zlouporabe. Kad jednom imate takav radar, sljedeće pitanje glasi: što točno raditi s najtežim slučajevima?
Zbrkana uloga alata. Za korisnike je ChatGPT kombinacija pretraživača, učitelja, prijatelja i ponekad besplatnog „psihologa“. Za tvrtku se, međutim, otvara nova uloga: akter koji možda ima odgovornost intervenirati kada uoči ozbiljnu prijetnju – bez jasnih etičkih okvira kakve imaju, primjerice, liječnici ili psiholozi.
Od strože „dužnosti prijave“ korist bi imale potencijalne žrtve i državni aparat. Trošak plaćamo mi kao korisnici – kroz slabije povjerenje u digitalnu privatnost i veći rizik prekomjernog nadzora, osobito za već ranjive skupine.
Ovaj slučaj političarima će poslužiti kao argument da trebaju još čvršće obveze za AI. No postoji realna opasnost da se tvrtke povuku u defanzivu: podignu pragove prijave, pojačaju nadzor nad svim korisnicima, ali bez stvarno boljeg, ciljanog reagiranja tamo gdje je najpotrebnije.
Šira slika: od moderiranja sadržaja do procjene rizika
Slične rasprave imali smo već mnogo puta. Nakon gotovo svake masovne pucnjave u SAD‑u ili drugdje naknadno se pojave postovi, poruke, forumi ili video‑zapisi koji „izgledaju“ kao signali upozorenja. Platforme se tada optužuje i da nisu učinile dovoljno, i da su brisale previše i previše surađivale s policijom.
Generativni chatboti unose nekoliko novih elemenata:
Stalni digitalni sugovornik. Model je dostupan 0–24. Može dati smirujuće odgovore, ali i halucinirati, pogrešno razumjeti pitanje ili potvrditi opasne ideje. Već postoje tužbe u kojima se tvrdi da su neki botovi doprinijeli pogoršanju mentalnog stanja korisnika.
Strukturirani zapisi. Za razliku od kaotičnog newsfeeda, razgovor s AI‑jem teče linearno i već prolazi kroz moderacijske filtre. To je vrlo privlačno sigurnosnim službama, ali izazovno za zaštitu privatnosti.
Opća tehnologija, specifična primjena. OpenAI, Google ili Anthropic naglašavaju da modeli nisu dizajnirani za policiju ili medicinu. U praksi ljudi preko njih vode polu‑terapijske razgovore, traže savjete o granici zakona ili ispituju nasilne fantazije – bez formalnih pravila struke.
Kanadski slučaj uklapa se u širi trend: politički pritisci u EU i SAD‑u da se privatne komunikacije skeniraju radi otkrivanja materijala seksualnog zlostavljanja djece; kontroverze oko AI „prijatelja“ koji su navodno poticali korisnike na samoozljeđivanje; i generalno – trčanje za vlakom generativne AI koji je već otišao iz kolodvora.
Poruka je jasna: što se tehnologija više približava našem unutarnjem svijetu, to joj se više nameće uloga aktivnog čuvara sigurnosti. Time se dio odgovornosti prebacuje s javnih institucija na privatne laboratorije koji nikada nisu bili zamišljeni kao polu‑policijske službe.
Europski i regionalni kut: što znači za Hrvatsku i regiju
U Europskoj uniji ovaj slučaj na udar stavlja dva stupa: snažan GDPR i rastući politički zahtjev da digitalne platforme pomažu spriječiti najteža kaznena djela.
GDPR traži jasan pravni temelj za obradu i profiliranje osobnih podataka, osobito kada se radi o osjetljivim informacijama, poput zdravstvenog ili mentalnog stanja. Proaktivno skeniranje razgovora radi procjene „rizičnih“ korisnika i slanje tih signala policiji teško se uklapa u načela ograničenja svrhe i minimizacije podataka, osim ako nije vrlo precizno definirano.
Akt o digitalnim uslugama (DSA) već danas obvezuje vrlo velike platforme da procjenjuju i ublažavaju sistemske rizike, uključujući prijetnje javnoj sigurnosti. Iako ChatGPT nije klasična društvena mreža, logika DSA‑a mogla bi se primijeniti i na generativnu AI: ako već automatski otkrivate najgore sadržaje, kako opravdavate potpuno ne‑djelovanje u najtežim slučajevima?
Novi AI Act donosi dodatne obveze za opće AI modele: transparentnost, tehničku dokumentaciju, upravljanje rizicima. Za visokorizične sustave – primjerice u policiji – pravila su još stroža. Iako chatboti vjerojatno neće automatski upasti u tu kategoriju, europski će regulatori budno promatrati hoće li industrija sama razviti jasne protokole ili će biti potrebne nove obveze.
Za Hrvatsku i širu jugoistočnu Europu to znači da zagrebački, ljubljanski ili beogradski startupi koji grade AI proizvode moraju vrlo rano razmisliti o ovim pitanjima. Nije dovoljno „prevesti“ američku politiku privatnosti; treba razumjeti kako se odluke o prijavama uklapaju u EU pravo, ali i u lokalno povjerenje u institucije – koje je često krhko.
Što dalje: od improvizacije do jasnih pravila igre
Rečenica „raspravljali smo trebamo li zvati policiju“ u prijevodu znači: nismo imali jasan protokol.
U sljedećih nekoliko godina vjerojatno ćemo vidjeti:
Formalizirane pragove prijave. Veliki ponuđači AI‑ja morat će precizno definirati koje vrste sadržaja pokreću koje reakcije – od dodatne ljudske provjere do potencijalnog kontakta s policijom. To vrlo vjerojatno uključuje sustave bodovanja rizika, s novim pitanjima o pristranosti i diskriminaciji.
Posredničke organizacije. Umjesto da svaka tvrtka izravno zove policiju u svakoj državi, vjerojatnije je da će surađivati sa specijaliziranim akterima: kriznim linijama, nevladinim udrugama ili industrijskim centrima koji procjenjuju prijetnje i tek u krajnjoj nuždi uključuju policiju.
Regulatorne smjernice. Prvi službeni okviri „dužnosti prijave“ za AI vjerojatno će nastati u velikim jurisdikcijama poput EU ili SAD‑a. Nakon toga će ih manje države, uključujući Hrvatsku, preuzimati i prilagođavati.
Za vas kao korisnike praktična posljedica je neugodna: iznimno alarmantan sadržaj u razgovoru s AI‑jem – konkretne prijetnje, detaljni planovi nasilja – u budućnosti se ne može tretirati kao strogo povjerljiv ispovjedni razgovor. Bez obzira na to koliko „prijateljski“ izgleda sučelje, negdje u pozadini nalaze se moderatori, a ponekad i policija.
Otvorena ostaju teška pitanja: tko će biti češće označen kao rizičan? Kako ispraviti lažne dojave? I kako spriječiti da autoritarne vlade iskoriste slične mehanizme protiv novinara, aktivista ili političkih protivnika?
Zaključak
Ovaj slučaj ne dokazuje da je OpenAI sigurno mogao spriječiti tragediju. Pokazuje, međutim, da se generativna AI našla u novoj ulozi: redovito „čuje“ informacije koje su nekada pripadale isključivo prostoru terapije ili ispovjedi, a kompanije se nalaze pod pritiskom da na njih reagiraju.
Neformalna dužnost prijave za AI pružatelje već se rađa. Ključno pitanje za EU i Hrvatsku nije hoćemo li je imati, nego pod kojim uvjetima, s kojim zaštitnim mehanizmima za građane i koliko kontrole nad našim najintimnijim digitalnim razgovorima smo spremni prepustiti privatnim tvrtkama.
