U posljednje je vrijeme riječ “autonomno” postala iznimno popularna. Svi bruje, primjerice, o autonomnim vozilima, njihovim prednostima i rizicima, no što je s autonomnim oružjem? Riječ je o praktički istoj tehnologiji: algoritam koji identificira, prati i izbjegava pješaka lako se može prenamijeniti u onaj za identificiranje, praćenje i ciljanje protivnika u borbi.
Unatoč opsjednutosti autonomnim vozilima, upravo se tema autonomnog naoružanja probila ovih dana u središte pozornosti nakon što su vodeći znanstvenici koji se bave umjetnom inteligencijom odlučili bojkotirati poznato južnokorejsko sveučilište zbog zabrinutosti da će ono u novom istraživačkom centru, oformljenom u suradnji s jednim od najmoćnijih južnokorejskih proizvođača oružja, raditi na razvoju takozvanog robota ubojice, potpuno autonomnog oružja koje može birati i gađati mete bez potrebe za ljudskom intervencijom.
Pismo koje poziva na bojkot Korejskog naprednog instituta za znanost i tehnologiju (KAIST), jedne od vodećih svjetskih institucija na području robotike, potpisalo je 50 znanstvenika iz gotovo 30 država svijeta. Idejni pokretač inicijative je Toby Walsh, profesor i stručnjak za umjetnu inteligenciju sa Sveučilišta New South Wales. Pismo je objavljeno uoči jučerašnje konferencije Ujedinjenih naroda o razvoju autonomnog naoružanja u Ženevi.
“Ako autonomno oružje bude razvijeno, ono će omogućiti da rat bude brži i širih razmjera nego ikad prije. Ono ima potencijal postati oružje terora. Despoti i teroristi mogu ga koristiti protiv nevinog stanovništva, uklanjajući sva etnička ograničenja. Ako je otvorimo, tu će Pandorinu kutiju biti teško zatvoriti”, navodi se u pismu upućenom KAIST-u, koje su potpisali neki od vodećih svjetskih znanstvenika na području umjetne inteligencije, primjerice profesori Geoffrey Hinton, Yoshua Bengio i Jürgen Schmidhuber. Kad su potpisali pismo, obvezali su se suzdržati od bilo kakvog kontakta ili akademske suradnje sa sveučilištem sve dok ono ne zajamči da će sve oružje koje razvije podrazumijevati “značajnu ljudsku kontrolu”.
Naime, KAIST, koji probija granice na području umjetne inteligencije, prošli je mjesec udružio snage s Hanwha Systemsom, moćnim, ali spornim južnokorejskim proizvođačem oružja. Prema pisanju The Korean Timesa, cilj je tog centra uključiti se u globalnu utrku za razvoj autonomnog naoružanja - “razviti umjetnu inteligenciju koja će se primjenjivati u vojnom naoružanju” i koja će “tražiti i eliminirati mete bez ljudske kontrole”.
“Postoji mnogo odličnih stvari koje možete napraviti s umjetnom inteligencijom koja spašava živote, uključujući u vojnom kontekstu, ali to da otvoreno objavite da imate cilj razviti autonomno oružje te činjenica da imate takvog partnera uzrokuje veliku zabrinutost. Riječ je o vrlo cijenjenom sveučilištu s vrlo etički kontroverznim partnerom koji nastavlja kršiti međunarodne norme”, izjavio je Walsh, referirajući se na činjenicu da Hanwha i dalje proizvodi kasetno streljivo, zabranjeno prema konvenciji Ujedinjenih naroda. Zabranu kasetnog streljiva podržava 120 država svijeta, ali ne i SAD, Rusija, Kina te, kao što se može zaključiti i Južna Koreja.
Sung-Chul Shin, predsjednik KAIST-a, ustvrdio je da kao akademska institucija iznimno cijene ljudska prava i etičke standarde te negirao navode da planiraju proizvesti robota ubojicu.
“Želio bih ponoviti da KAIST nema nikakvu namjeru sudjelovati u razvoju smrtonosnih autonomnih sustava oružja i robota ubojica. KAIST neće provoditi nikakve istraživačke aktivnosti koje su protivne ljudskom dostojanstvu, uključujući autonomno oružje koje nema značajnu ljudsku kontrolu”, poručio je Sung-Chul Shin.
Strah od Terminatora
Nije sigurno do koje je mjere njegova izjava smirila one koji se užasavaju autonomnog naoružanja. Takvih nije malo.
Najnovija inicijativa nije izuzetak, niti je ovo jedino otvoreno pismo na temu rizika razvoja i upotrebe umjetne inteligencije u ratovanju. Pisma su se objavljivala i 2015. i 2017. godine. Među potpisnicima je svojedobno bio i jedan od najslavnijih suvremenih vizionara, Elon Musk.
“Na utrku u naoružanju na području autonomnog oružja upozorili smo još 2015. godine. Ta utrka u naoružanju je počela. Možemo vidjeti prototipove autonomnog oružja koje danas razvijaju mnoge države, uključujući SAD, Kinu, Rusiju i Ujedinjeno Kraljevstvo. Uključili smo se u utrku u naoružanju za koju nitko ne želi da se dogodi. Postupci KAIST-a samo će ubrzati tu utrku. To ne možemo tolerirati”, poručio je Walsh.
U kontekstu autonomnog naoružanja i umjetne inteligencije za borbene svrhe prva asocijacija veže se uz “Terminator” ili, noviji primjer, neki od zastrašujuće stvarnih scenarija iz serijala “Black Mirror”, primjerice epizode “Metalhead” s robotom ubojicom nalik na psa.
Prethodnica je već tu
Iako su scenariji tog tipa, slaže se većina upućenih, i dalje tek materijal za velike ili male ekrane, prethodnica je, potvrđuju na temelju svega što možemo vidjeti, već tu. Poluautonomni sustavi naoružanja već se naveliko koriste u vojnoj tehnologiji, primjerice proturaketni sustavi, poluautonomni roboti za uklanjanje i deaktivaciju eksplozivnih naprava ili bespilotne letjelice, iako postoje već i u cijelosti autonomna rješenja. Primjerice, britanska kompanija BAE Systems radi na autonomnoj bespilotnoj borbenoj letjelici Taranis.
Južnokorejski Dodaam Systems, pak, već neko vrijeme prodaje tzv. borbenog robota, Super aEgis II, automatiziranu strojnicu čija je autonomnost “suspendirana” na zahtjev kupaca zbog straha da bi mogla napraviti pogrešku. Zbog toga, da bi zapucala, i dalje treba unijeti lozinku i dati ručni pristanak. Ta ubojita naprava može detektirati metu na udaljenosti od tri kilometra, a u prodaji je od 2010. godine. Prema pisanju BBC-ja, košta 40 milijuna dolara i prodaje se dosta dobro te je prilično popularna na Bliskom istoku. Zna se, primjerice, da su nekoliko komada kupili Ujedinjeni Arapski Emirati i Katar.
To su samo neki od “novijih primjera”. Na razvoju autonomnog naoružanja radi se već godinama, a svjetske sile ne skrivaju ambicije. Roboti ubojice dugoročno znače uštedu i u novcu i u ljudskim životima. No, kako upozoravaju Walsh i deseci drugih, oni predstavljaju i golem rizik.
S obzirom na argumente za i protiv, ali i stvarno stanje - nejasna ili nepostojeća pravila i zahuktalu utrku u razvoju autonomnog naoružanja - postoji nekoliko suprotstavljenih tabora. Jedni, poput Walsha, traže potpunu zabranu korištenja autonomnog naoružanja i uvođenje strogih pravila. Drugi se protive zabrani i, primjerice, konvencijama koje bi uređivale to pitanje, a treća struja traži srednji put, primjerice privremeni moratorij jer, rezoniraju, ne možeš zabraniti nešto što još ne postoji.
Oni prvi, među kojima je i Walsh, tvrde da je zaustavljanje razvoja autonomnog naoružanja imperativ.
“Potpunim uklanjanjem ljudi autonomno oružje bit će oružje za masovno uništenje. Jedan programer moći će napraviti ono za što je prije trebala vojska ljudi. Industrijalizirat će ratovanje. To je razlog što se naziva trećom revolucijom ratovanja, nakon izuma baruta i nuklearnog oružja. Autonomno oružje bit će i oružje terora. Još ne znamo kako napraviti robote koji mogu slijediti međunarodno humanitarno pravo. A čak i da možemo, ima puno loših igrača tamo vani, terorista i odmetnutih država, koji će ukloniti bilo kakve etičke mjere zaštite. Autonomno naoružanje će također destabilizirati trenutačni poremećeni svjetski poredak.
Više nećete trebati biti supersila da biste imali moćnu vojsku. Bit će dovoljno nekoliko 3-D printera i skromni bankovni račun. A kad vas netko napadne, bit će vrlo teško saznati tko je to bio. Zarobite robota ubojicu. Otvorite ga. Sve što će reći je “Intel Inside”. To će samo ohrabriti one koji imaju zle namjere”, napisao je Walsh u svom komentaru za britanski Guardian, naslovljenom “Nije kasno da se spasi svijet od robota ubojica”.
Etička načela stroja
Činjenica koja doista zabrinjava jest nedostatak regulative u kombinaciji s nizom još uvijek neodgovorenih pitanja.
Primjerice, treba li se moć odlučivanja dati robotu, a ne čovjeku?
Kao primjer neki navode zrakoplove. Logično je, tvrde, da pilot ima kontrolu nad sustavom autopilota u zrakoplovu. No, mogli bi reći drugi, samo se prisjetite katastrofe iz 2015. godine kad je psihički nestabilan kopilot Germanwingsa Andreas Lubitz namjerno zabio zrakoplov u planinu i ubio 150 ljudi. Možda je ipak bolje da je autopilot “jači” od čovjeka?
Ili, kako uopće usaditi stroju etička načela, primjerice osjećaj za pravednost? Kako mu objasniti što to znači nanijeti nekome zlo? I kako mijenjati prethodno mu usađena načela? Kako naučiti i isprogramirati robota ubojicu da bude nepogrešiv na kaotičnom bojištu, da ispravno pokrije sve situacije, ne okrene se protiv svojih, prilagodi iznimci? Je li uopće moguće osigurati da se pridržava prvog zakona robotike koji je postavio kultni Isaac Asimov, onaj prema kojemu “robot ne smije ozlijediti ljudsko biće ili, svojim nedjelovanjem, dopustiti da se ljudskom biću nanese šteta”? A ako ga ozlijedi, primjerice na bojištu, tko je odgovoran? Programer, proizvođač, vojska?
Vremena za odgovor na ta pitanja sve je manje. Suvremena znanost i kompanije probijaju granice. Južnokorejski DoDaam je već davno shvatio.
“Kad smo počinjali ovaj biznis, vidjeli smo priliku. Automatizirano oružje je budućnost. Bili smo u pravu. Evolucija je bila brza. Već smo se pomakli od borbenih naprava na daljinsko upravljanje prema onome čemu se sad približavamo: pametnim napravama koje su sposobne donositi vlastite odluke”, rekli su još 2015. za BBC u toj kompaniji gdje inovativnost pripisuju specifičnom položaju i okruženju Južne Koreje.
“Zbog konstantne prijetnje imamo tradiciju razvijanja snažne vojske i inovativne tehnologije u ovoj zemlji. Naše oružje ne spava, kao što to ljudi moraju. Mogu vidjeti u mraku, što ljudi ne mogu. Naša tehnologija miče jaz u ljudskoj sposobnosti”, rekli su tada u kompaniji, inače samo jednom od igrača na svjetskoj pozornici.
Prema trenutačno dostupnim podacima, globalna potrošnja na vojnu robotiku iznosila je u 2015. godini 6,9 milijardi dolara. Do 2025. trebala bi dosegnuti 15 milijardi dolara.
Neke države dosad su otvoreno pozivale na potpunu zabranu autonomnog oružja. Druge se protive. Ujedinjeni narodi pričaju o toj temi od 2013., no nema stvarnog napretka po tom pitanju, unatoč činjenici da se, za razliku od nuklearnog naoružanja, a slično kemijskom, radi o nečemu što se može izraditi od proizvoda koji se, tvrde neki, mogu doslovno kupiti na polici u trgovini. Ništa se konkretno ne događa po pitanju zabrane, konvencije ili regulative, iako će ono, upozoravaju prestrašeni, biti dostupno, jeftino, savršeno za preprodaju na crnom tržištu.
U takvoj konstelaciji stvari, utrci za premoći i novcem, granica je tanja nego ikad. Iako bojištem (još) ne hoda “terminator”, njegovi manje humanoidni preci već su na mjestu.
“Ako netko dođe i zatraži proizvod bez postojećih mjera zaštite, mi bismo im, naravno, savjetovali drugačije i naglasili potencijalne probleme. No, oni će ultimativno odlučiti što žele”, ustvrdili su u DoDaamu još prije par godina.