Ko vas posluša ChatGPT: ali imajo ponudniki AI dolžnost prijave na policijo?
V Kanadi je 18‑letnik, obtožen umora osmih ljudi, mesece pred strelskim napadom v pogovorih z ChatGPT opisoval nasilje z orožjem. Sistemi OpenAI so pogovore zaznali kot zlorabo in račun blokirali, zaposleni so razpravljali, ali obvestiti policijo – nato pa niso ukrepali, poroča TechCrunch.
To ni le še ena zgodba o družbenih omrežjih in radikalizaciji. Gre za nov tip dileme: ko postane AI prostor, kjer ljudje priznavajo svoje najtemnejše impulze, ali ima podjetje „dolžnost opozoriti“? V nadaljevanju pogledamo, kaj v resnici vemo, zakaj so interesi vseh vpletenih navzkrižni in kaj to pomeni za prihodnjo regulacijo – tudi v Sloveniji.
Novica na kratko
Po poročanju TechCruncha, ki se sklicuje na Wall Street Journal, naj bi 18‑letni Jesse Van Rootselaar, obtožen strelskega napada s sedmimi smrtnimi žrtvami v Tumbler Ridgeu v Kanadi, pred dogodkom uporabljal ChatGPT na zaskrbljujoč način.
Orodja OpenAI za zaznavanje zlorab naj bi v njegovih pogovorih odkrila opise nasilja z orožjem. Račun je bil junija 2025 blokiran. Znotraj podjetja je nato stekla razprava, ali je vedenje dovolj resno, da je treba obvestiti kanadske organe pregona, a so se nazadnje odločili, da ne dosega notranjih kriterijev za prijavo.
Po napadu je OpenAI o prejšnji aktivnosti obvestil kanadske oblasti in pojasnil, da takratni signali niso izpolnjevali pogojev za proaktivno prijavo, piše Journal.
TechCrunch dodaja, da so bili pogovori z ChatGPT le del širšega vzorca: Van Rootselaar naj bi v okolju Roblox ustvaril igro, ki simulira strelski napad v nakupovalnem središču, objavljal vsebine o orožju na Redditu in bil policiji že znan zaradi incidenta z zaneteno požarom pod vplivom drog.
Zakaj je to pomembno: ko AI prevzame vlogo spovednika
Ključni problem ni v tem, da je 18‑letnik pred zločinom uporabljal ChatGPT. Problem je v tem, da je platforma zaskrbljujoče vedenje zaznala, zaposleni so razmišljali o posredovanju, nato pa odstopili – in kasneje gledali uresničitev najslabšega scenarija.
V primerjavi s starimi razpravami o Facebooku ali YouTubu so pri AI pomembne tri razlike:
Globina razkritij. Uporabniki chatbotom pogosto zaupajo stvari, ki jih ne bi zapisali niti v zasebna sporočila, kaj šele v javne objave. Pogovor se zdi intimen in minljiv. V resnici gre za podatke, ki jih je mogoče spremljati, točkovati in eskalirati.
Avtomatizirani „rdeči alarmi“. OpenAI do teh pogovorov ni prišel po naključju; zaznala jih je infrastruktura, namenjena odkrivanju zlorab. Ko enkrat na milijone interakcij avtomatsko filtrirate po tveganju, je naslednje vprašanje: kaj storiti z zadetki?
Nejasna vloga: orodje, terapevt ali ovaduh? Veliko ljudi uporablja ChatGPT kot brezplačnega terapevta ali prijatelja, ki ne sodi. Hkrati pa se podjetje približuje vlogi kvazi‑opazovalca, ki ima morda tudi moralno – in v prihodnje pravno – obveznost ukrepati.
Okrepljena „dolžnost prijave“ bi koristila potencialnim žrtvam in regulatorjem, ki si želijo več sodelovanja platform z organi pregona. Izgubljata zasebnost uporabnikov in zaupanje skupin, ki so bile v zgodovini pogosto prekomerno nadzorovane.
Ta primer bo zakonodajalcem služil kot argument, da morajo ponudniki AI več deliti z oblastmi. Če se bodo podjetja odzvala tako, da bodo kriterije preprosto zaostrila in se izognila „PR‑tveganju“, pa lahko dobimo najslabšo kombinacijo: še več skritega spremljanja, brez res učinkovitega posredovanja v redkih primerih, ko je to res potrebno.
Širša slika: od moderiranja vsebin do napovedovanja tveganja
To situacijo smo že videli – le da s starimi tehnologijami.
Po množičnih strelskih napadih so preiskovalci znova in znova odkrivali sledi v objavah, zasebnih sporočilih, igričarskih klepetih in manifestih. Platforme so obtoževali, da niso ukrepale, nato pa še, da so vsebino prehitro brisale ali preveč podatkov posredovale policiji.
Chatboti na osnovi velikih jezikovnih modelov v to enačbo dodajo tri nove elemente:
Stalna navzočnost. Model je na voljo 24/7, pripravljen, da odgovarja, umirja ali – nehote – potrjuje nevarne fantazije. Čustvena navezanost na AI spremljevalce je že v središču tožb, v katerih uporabniki trdijo, da so jih chatbot(i) spodbujali k samopoškodovanju.
Strukturirani zapisi. Pogovori z AI so linearni, strojno berljivi in tako ali tako potekajo skozi moderacijske filtre. To je zelo privlačno tako za ekipe za varnost kot za organe pregona.
Splošni namen, posebna raba. OpenAI, Google, Anthropic in drugi poudarjajo, da njihovi modeli niso namenjeni delu policije ali klinik. V praksi pa ljudje z njimi razpravljajo o duševnih stiskah, kriminalnih fantazijah in osebnih travmah – brez klasičnih medicinskih ali etičnih varovalk.
Kanadski primer se umešča med druge aktualne dogodke: preiskave AI spremljevalcev, ki naj bi uporabnike spodbujali k samomoru; politične pritiske v EU in ZDA, naj platforme skenirajo zasebna sporočila zaradi iskanja posnetkov spolnih zlorab otrok; ter splošen kaos pri naknadnem dodajanju „varnostnih ograj“ generativnemu AI.
Vzorec je jasen: čim bolj se tehnologija približuje našemu notranjemu življenju, tem bolj države pričakujejo, da ne bo le „neškodljiva“, ampak bo aktivno preprečevala škodo. To pa pomeni premik odgovornosti z javnih institucij na zasebne laboratorije.
Evropski in slovenski vidik: GDPR proti logiki „če kaj vidiš, prijavi“
Za evropske uporabnike je to preizkus dveh temeljnih vrednot: močne zaščite zasebnosti in velikega pričakovanja, da bodo platforme pomagale preprečevati huda kazniva dejanja.
Splošna uredba o varstvu podatkov (GDPR) od podjetij zahteva jasen pravni temelj za obdelavo in profiliranje podatkov, še posebej, kadar gre za občutljive informacije o zdravju, duševnem stanju ali prepričanjih. Proaktivno skeniranje klepetov v iskanju „tveganih“ uporabnikov in posredovanje teh signalov policiji zelo načenja načeli minimizacije in namenske omejitve.
Hkrati Akt o digitalnih storitvah (DSA) največjim platformam nalaga, da ocenijo in omilijo sistemska tveganja, tudi tveganja za javno varnost. Čeprav ChatGPT ni klasično družbeno omrežje, bi lahko regulatorji – od Evropske komisije do nacionalnih organov, kot je Informacijski pooblaščenec v Sloveniji – trdili, da ignoriranje jasno zaskrbljujoče vsebine, potem ko je že zaznana, ni skladno z duhom DSA.
Prihajajoči AI Act dodaja še eno plast. Splošni modeli, kot so GPT‑ji, bodo morali izpolnjevati posebna pravila glede preglednosti in upravljanja tveganj. Čeprav chatboti verjetno ne bodo avtomatsko razvrščeni kot „visoko tvegani“ sistemi, bo pritisk na standardizirane postopke eskalacije pri zaznanih grožnjah rasel.
Za slovenske razvijalce AI – od raziskovalnih skupin v Ljubljani do zagonskih podjetij v Mariboru ali na Primorskem – bo ključna lekcija jasna: varnost in pravna skladnost pri rokovanju z razkritji uporabnikov nista „opcijski dodatek“, ampak osrednji del produkta.
Pogled naprej: od ad‑hoc debat do formalnih protokolov
Stavek „razpravljali smo, ali poklicati policijo“ pomeni predvsem to, da jasnega postopka ni bilo.
V naslednjih letih lahko pričakujemo vsaj tri premike:
Natančneje zapisani pragovi. Veliki ponudniki AI bodo morali svoje „mehke“ notranje kriterije spremeniti v dokumentirane, reviziji podvržene protokole. To lahko vključuje točkovanje tveganja, ki združuje vsebino klepeta in metapodatke (starost računa, način plačila, prejšnje blokade) – kar odpira nova vprašanja diskriminacije in pristranskosti.
Posredniški centri. Namesto da bi podjetja iz Silicijeve doline neposredno klicala policijo v vsaki državi, bomo verjetno videli več sodelovanja s specializiranimi organizacijami: kriznimi linijami, nevladnimi organizacijami ali panožnimi „vročimi linijami“, ki presodijo, ali je potrebna vključitev organov pregona.
Regulativni vzorci. Prve smernice za „dolžnost prijave“ pri AI bodo verjetno nastale v ZDA, Združenem kraljestvu ali EU, ob podpori obstoječih pravil za učitelje, zdravnike in psihologe. Ko en velik regulator postavi okvir, ga drugi hitro posvojijo.
Za uporabnike je praktičen nasvet neprijeten, a potreben: pri zelo alarmantnih vsebinah v pogovorih z AI – konkretnih grožnjah, jasni nameri škodovati – je treba računati, da bo pogovor morda pregledal človek in da bodo v skrajnih primerih obveščeni organi pregona, ne glede na to, kako „zaseben“ se zdi vmesnik.
Odprta ostajajo težka vprašanja. Kdo bo pogosteje označen kot tvegan? Kako se bo mogoče pritožiti ob napačni prijavi? In kaj se zgodi, ko bodo avtoritarne vlade zahtevale enake podatkovne tokove za „terorizem“, v katerega bodo uvrščeni tudi politični nasprotniki?
Spodnja črta
Ta primer ne dokazuje, da bi OpenAI zagotovo lahko preprečil tragedijo. Pokaže pa, da so se splošnonamenski AI‑sistemi znašli v novi vlogi: redno vidijo informacije, ob katerih se zaposleni resno sprašujejo, ali morajo poklicati policijo.
Neformalna „dolžnost prijave“ ponudnikov AI tako že nastaja. Ključno vprašanje za Evropo in tudi Slovenijo je, kdo bo to dolžnost definiral, kakšne zaščitne mehanizme bo imel uporabnik in koliko nadzora nad našim najbolj intimnim digitalnim prostorom smo pripravljeni prepustiti zasebnim laboratorijem.
