Nazivaju se ‘umjetnicima‘ i ‘trenerima‘, a ono što rade s dječjim fotografijama je stravično

U posljednjih nekoliko godina svjedočimo pravoj digitalnoj revoluciji. Umjetna inteligencija nije više samo akademski pojam ili nešto što bismo vidjeli u znanstveno-fantastičnim filmovima, već je nešto što svatko od nas može imati na svom mobitelu. Premda su asistenti poput ChatGPT-a samo jedan mali dio svijeta umjetne inteligencije, oni su možda jedan od najboljih pokazatelja najširoj populaciji što je sve moguće s današnjom tehnologijom. Ti asistenti više ne mogu samo odgovarati šeprtljavo na naše upite, već su sposobni u svega nekoliko minuta napisati vrlo komplicirane dokumente s analizama i grafovima, mogu generirati videoisječke za koje im je potrebna samo jedna opisna rečenica, a fotografije i slike generiraju u svega nekoliko sekundi.

Međutim, umjetna inteligencija, kao i svaka tehnologija, ima i svoje mračne strane. Jedna od najmračnijih je u produkciji materijala dječje seksualne zloupotrebe (CSAM). Tehnološki napredak kojem danas svjedočimo otvorio je neslućene mogućnosti onima koji već godinama vrebaju na najranjivije. Zločinci danas koriste sofisticirane AI sustave za kreiranje, modificiranje i distribuciju iznimno uvjerljivih i teško prepoznatljivih slika i videa djece, čime su zakoračili korak (ili deset) ispred sigurnosnih mehanizama i zakona.

Alarmantan je i porast

Primeimages/Getty Images

Kako funkcionira proces?

Generativni modeli poput open-source Stable Diffusiona omogućuju svakome treniranje AI sustava na vlastitim podacima, bez nadzora. Time se zaobilaze postojeći filtri i regulacije, što zločincima otvara put za kreiranje uvjerljivog dječjeg CSAM-a.

Proces koji koriste zločinci zapravo je jednostavan. S dovoljnom količinom fotografija djeteta, stvorenih ili pronađenih na društvenim mrežama, korisnik može trenirati temeljni model za stvaranje personaliziranih rezultata. Na dark web forumima razmjenjuju se tutoriali i upute kako prilagoditi svaki softver na slike žrtava, a kvaliteta podataka za treniranje izravno određuje realizam finalnog AI-CSAM materijala. Sve češće se pronalaze i otvaraju javni katalozi, gdje je moguće preuzeti gotove modele za poznate žrtve. Čak se na forumima raspravlja o „najboljem” broju fotografija, balansiranju parametara i trikovima kako postići da generirane slike pokazuju specifične poze, ekspresije ili scene.

Na anonimnim hosting servisima, ali i kroz zaštićene poslužitelje na dark webu, dijele se stotine tisuća AI-generiranih datoteka. IWF (Internet Watch Foundation) statistike za 2025. godinu govore o četverostrukom porastu web stranica koje sadrže ovakav materijal, dok su AI-generirani videozapisi evoluirali od rijetke pojave do eksplozije od preko tisuću identificiranih slučajeva u samo pola godine. Popularnost i dostupnost AI CSAM-a znače da nema ograničenja u količini niti brzini s kojom počinitelji mogu generirati i distribuirati ovakav sadržaj.

Podjednako alarmantne su nudifying aplikacije koje automatski pretvaraju obične fotografije djece u gole slike, često generirajući neograničene varijacije nasilnih scena. Djevojčice su posebno ranjive jer modeli bolje reproduciraju ženska tijela, a žrtve ostaju trajno izložene digitalnoj reviktimizaciji.

Dark web forumi, pokazala je analiza, služe „umjetnicima", „trenerima" i „distributerima" AI-CSAM-a, koji razmjenjuju tutorijale, optimizirane parametre i liste anonimnih hostova. Komercijalizacija je u porastu: klijenti šalju fotografije, a zločinci generiraju i isporučuju prilagođene slike i videe za kriptovalute. Primjer britanskog studenta Hugh Nelson, osuđenog 2024. na 18 godina zbog generiranja i prodaje AI dječje pornografije uz zaradu od oko 5.000 funti, pokazuje financijsku motivaciju i regulatorne praznine.

Dark web forumi puni su "umjetnika", "trenera" i "distributera" AI-CSAM-a

Yuliya Taba/Getty Images

Domaća konferencija odgovara na ova pitanja

CyberGuard 2025 konferencija, koju organiziraju A1 Hrvatska i Centar za sigurniji Internet u okviru #BoljiOnline inicijative, predstavlja važan događaj na području digitalne sigurnosti i zaštite djece u online okruženju. Ova druga po redu konferencija okuplja vodeće stručnjake iz Hrvatske i svijeta, uključujući ICT stručnjake, edukatore, predstavnike državnih institucija i poduzetnike, s ciljem razmjene znanja, primjera iz prakse i konkretnih rješenja za izazove sigurnosti djece i poslovne otpornosti. Konferencija donosi bogat program s različitim panelima i predavanjima te nastavlja prošlogodišnji uspjeh s oko 400 sudionika.

Poseban fokus ovogodišnjeg izdanja stavljen je na zaštitu djece na internetu kroz suvremene prijetnje poput umjetne inteligencije i elektroničkog nasilja, što potvrđuju i predstavljeni rezultati nacionalnog znanstvenog istraživanja o vršnjačkom nasilju među djecom viših razreda osnovnih škola. CyberGuard 2025 održava se kao ekskluzivni događaj 2. listopada u Mozaik centru u Zagrebu, pružajući prostor za konstruktivnu raspravu i uključivanje svih sudionika u zajedničku misiju stvaranja sigurnijeg online okruženja za najmlađe korisnike.

CyberGuard 2025 odgovara na ključna pitanja i probleme vezane uz sigurnost djece u digitalnom svijetu, s posebnim naglaskom na teme dječje zaštite u online okruženju i prevenciju zlostavljanja.

Zašto je detekcija slaba?

Realizam AI-generiranih slika predstavlja glavnu prepreku za detekciju: više od 90% analiziranog materijala iz 2024. nije se razlikovalo od stvarnih fotografija, čak ni stručnim ocjenjivačima. Osim slika, AI alati poput automatskih tekstova i chatbotova koriste se za ciljano online zavođenje djece, prepoznajući i iskorištavajući ranjive profile. Tradicionalni sustavi bazirani na hashiranju i obrascima ne uspijevaju prepoznati nove, jedinstvene datoteke, a napadači dodatno ugrožavaju detekciju ubacujući namjerne pogreške ili vizualne glitcheve kako bi zbunili filtre.

Psihološki utjecaj koji digitalna reviktimizacija ima na preživjele je strašan. Ona pogoršava traumu jer žrtve ne mogu pobjeći od stalnog recikliranja zlostavljanja. Materijali pohranjeni u mrežama služe za treniranje novih modela, što perpetuira bol i poniženje. Online forumi dodatno normaliziraju nasilje, slaveći nove varijacije sadržaja žrtve. Istraživanja su pokazala i kako 10 posto tinejdžera u SAD-u poznaje nekoga tko je koristio AI za kompromitiranje vršnjaka, što pokazuje da problem postaje sve rašireniji.

Deset posto tinejdžera u SAD-u poznaje nekoga tko je koristio AI za kompromitiranje vršnjaka

Lenanet/Getty Images/istockphoto

Što nas čeka u budućnosti?

Dok tehnološki giganti ulažu milijarde u obranu, bolje hash funkcije i detekcijske algoritme, AI sustavi paralelno napreduju svakim danom. Modeli postaju pametniji, dostupniji, s automatskim generiranjem teksta, slika, videa i chat komunikacije. Internacionalne inicijative poput Safety by Design okupljaju Google, Meta, OpenAI i druge tech gigante koji obećavaju sigurnije okruženje, no pitanje je hoće li njihov tempo sustići ono što se događa na dark webu.

Sigurnosni izazovi zahtijevaju multisektorski pristup. Potrebne su hitne zakonodavne reforme, stroži zahtjevi za platforme, obvezna provjera dobi i zabrana nudifying aplikacija, uz stalnu edukaciju djece, roditelja i nastavnika. Uz to, nužna je suradnja tehnološke industrije i istražitelja na razvoju boljih alata za detekciju i prevenciju.

Sponzorirani sadržaj nastao u suradnji s Native Ad Studijem Hanza Medije i A1 Hrvatska.