Video je uznemirujuć. Dvojica muškaraca prijetećeg izgleda stoje pokraj bijelog kombija u polju i u rukama drže daljinske upravljače, piše Guardian.
Otvaraju stražnja vrata kombija, a zvukovi quadcopter dronova se pojačavaju. Pritisnu prekidač i dronovi se roje poput šišmiša iz špilje. Za nekoliko sekundi stižu do učionice fakulteta. Roboti ubojice upadaju kroz prozore i sve druge otvore. Studenti vrište od užasa, zarobljeni unutra, dok dronovi napadaju smrtonosnom silom. Lekcija koju film Slaughterbots pokušava prenijeti je jasna: sićušni roboti ubojice su već ovdje ili udaljeni tek mali tehnološki korak naprijed. Teroristi bi ih lako mogli upotrijebiti. A postojeća obrana je slaba ili je uopće nema.
Neki vojni stručnjaci tvrde da je Slaughterbots - film koji je kreirao Institut za budućnost života, organizacija koja istražuje egzistencijalne prijetnje čovječanstvu - senzacionalizirao ozbiljan problem, potpirujući strah tamo gdje je potrebna hladna glava. Ali što se tiče budućnosti rata, granica između znanstvene fantastike i industrijskih činjenica često je mutna. Američko ratno zrakoplovstvo predvidjelo je budućnost u kojoj će "specijalni timovi poslati mehaničke insekte opremljene video kamerama da se uvuku u zgradu tijekom talačke krize". Jedan „kreator mikrosustava“ već je stvorio Octoroacha, „izuzetno malog robota s kamerom i radio odašiljačem koji može prijeći i do 100 metara na zemlji“. To je samo jedno od mnogih „biomimetičkih“ oružja (oružja koja imitiraju prirodu) koja su na pomolu.
Tko zna kolika su druga štetna stvorenja sada modeli avangardnih vojnih teoretičara. Nedavni roman P.W. Singera i Augusta Colea, smješten u blisku budućnost u kojoj su SAD u ratu s Kinom i Rusijom, predstavio je kaleidoskopsku viziju autonomnih bespilotnih letjelica, lasera i otetih satelita. Knjiga se ne može otpisati kao tehnološko-vojna fantazija: uključuje stotine fusnota koje dokumentiraju razvoj svakog dijela hardvera i softvera koji opisuje.
Napredak u modeliranju robotskih strojeva za ubijanje nije ništa manje zabrinjavajuć. Ruska znanstveno-fantastična priča iz 60-ih, Crabs on the Island (Rakovi na otoku), opisuje svojevrsne Igre gladi za umjetnu inteligenciju, u kojima bi se roboti međusobno borili za resurse. Gubitnici bi bili uništeni, a pobjednici bi se mrijestili, dok neki od njih ne bi postali najbolji strojevi za ubijanje. Kad je vodeći informatičar spomenuo sličan scenarij američkoj Agenciji za napredne obrambene istraživačke projekte (Darpa), nazvavši ga "robotskim Jurskim parkom", tamošnji čelnik proglasio je njegovu ideju "izvedivom". Ne treba puno razmišljanja da bi se shvatilo da takav eksperiment može izmaći kontroli. Trošak je glavna prepreka eksperimentiranju velikih sila s takvim potencijalno destruktivnim strojevima. Softversko modeliranje može ukloniti čak i tu prepreku, dopuštajući simulacijama provjerenim u virtualnim bitkama da postanu nadahnuće za buduća vojna ulaganja.
U prošlosti su se države okupljale kako bi zabranile neko posebno jezivo ili zastrašujuće novo oružje. Sredinom 20. stoljeća međunarodne konvencije zabranile su biološko i kemijsko oružje. Zajednica naroda zabranila je i upotrebu zasljepljujuće laserske tehnologije. Snažna mreža nevladinih organizacija uspješno je pozvala UN da nagovori države članice da se slože sa sličnom zabranom robota ubojica i drugog oružja koje može samostalno, bez izravne ljudske kontrole, uništiti cilj (poznat i kao smrtonosni autonomni oružni sustav ili LAWS). I dok se raspravlja o definiciji takve tehnologije, svi možemo zamisliti neke posebno zastrašujuće vrste oružja za koje bi se sve države trebale složiti da ih nikada ne treba izrađivati ili koristiti. Bespilotna letjelica koja bi postepeno zagrijavala neprijateljske vojnike kršila bi međunarodne konvencije protiv mučenja; sonično oružje dizajnirano za uništavanje sluha ili ravnoteže neprijatelja trebalo bi imati sličan tretman. Zemlja koja bi dizajnirala i koristila takvo oružje trebala bi biti protjerana iz međunarodne zajednice.
Sažeto, možemo se složiti da je ostrakizam (postupak poznat iz atenske demokracije u kojem je svaki građanin mogao biti protjeran iz Atene na deset godina, op.u) - i stroža kazna - također primjeren za dizajnere i korisnike robota ubojica. Sama ideja stroja puštenog da kolje je jeziva. Pa ipak, čini se da neke od najvećih svjetskih vojski polako idu prema razvoju takvog oružja, slijedeći logiku odvraćanja: boje se da će ih AI suparnika slomiti ako ne budu mogle pokazati jednako snažnu silu. Ključ za rješavanje takve utrke u naoružanju možda ne leži u globalnim sporazumima, već u opreznom preispitivanju onoga za što se ratna AI može koristiti. Kako se "rat vraća kući", raspoređivanje vojnih snaga unutar zemalja poput SAD-a i Kine oštro je upozorenje njihovim građanima: bez obzira na to koje tehnologije nadzora i uništavanja dozvolite vašoj vladi da ih kupi za uporabu u inozemstvu, isto bi se u budućnosti moglo iskoristiti protiv vas.
Jesu li roboti ubojice jednako užasni kao i biološko oružje? Ne nužno, tvrde neki vojni teoretičari i informatičari. Prema Michaelu Schmittu s Američkog pomorskog ratnog koledža, vojni roboti mogli bi nadzirati nebo kako bi osigurali da se pokolji poput onog koje je Sadam Hussein organizirao protiv Kurda i Marsha Arapa, nikada ne ponovi. Ronald Arkin s Tehnološkog instituta u Georgiji vjeruje da autonomni oružni sustavi mogu "tehnologijom smanjiti čovjekovu neljudskost prema čovjeku", budući da robot neće biti izložen ljudskim napadima bijesa, sadizma ili okrutnosti. Predložio je da se ljude izuzme iz donošenja odluka o ciljanju te da se etička ograničenja kodiraju u robote. Arkin je također razvio klasifikaciju ciljeva kako bi zaštitio mjesta poput bolnica i škola.
U teoriji, sklonost kontroliranom strojnom nasilju, a ne nepredvidljivom ljudskom nasilju, može se činiti razumnom. Čini se da su masakri koji se događaju tijekom rata ukorijenjeni u iracionalnim osjećajima. Ipak, svoju duboku osudu često zadržavamo ne zbog nasilja počinjenog u žaru strasti, već zato što zamišljamo ubojicu koji je smireno planirao svoj napad. Povijest ratovanja nudi mnogo primjera pomno planiranih pokolja. I zasigurno će bilo koji robotski sustav oružja biti dizajniran s nekom vrstom mogućnosti da se zaobiđe protokol i upravljanje vrati u ruke ljudskih operatera, podložnih svim normalnim ljudskim strastima i iracionalnostima.
Svaki pokušaj ugrađivanja zakona i etike u robote ubojice stvara ogromne praktične poteškoće. Profesor informatike Noel Sharkey tvrdi da je nemoguće programirati robota-ratnika koji bi mogao regirati na beskrajan niz situacija koje mogu nastati u žaru sukoba. Poput autonomnog automobila onesposobljenog snijegom koji ometa njegove senzore, autonomni naoružani sustav u ratnoj magli, također je opasan.
Većina vojnika posvjedočila bi da su svakodnevno ratno iskustvo zapravo dugi dijelovi dosade isprekidani iznenadnim, zastrašujućim trenucima nereda. Standardiziranje izvještaja o takvim incidentima kako bi se kasnije pomoću toga navodilo robotsko oružje, moglo bi biti posve nemoguće. Učenje strojeva najbolje je funkcioniralo tamo gdje postoji ogroman skup podataka s jasno shvaćenim primjerima dobrog i lošeg, ispravnog i pogrešnog. Na primjer, tvrtke s kreditnim karticama poboljšale su mehanizme otkrivanja prijevara stalnim analizama stotina milijuna transakcija, gdje se lažno negativni i lažno pozitivni podaci lako prepoznaju s gotovo stopostotnom točnošću. Bi li bilo moguće "podatkovno podesiti" iskustva vojnika u Iraku, koji su donosili odluke hoće li pucati na neprijatelje? Čak i da jest, koliko bi takav skup podataka bio relevantan za prostor, recimo, Sudana ili Jemena (dvije od mnogih država s nekom vrstom američke vojne nazočnosti)?
S obzirom na ove poteškoće, teško je izbjeći zaključak da je ideja o etičkim robotskim strojevima za ubijanje nerealna i da vjerojatno podupire opasne fantazije o ratovima s gumbima i klanju bez krivnje.
Međunarodno humanitarno pravo, koje uređuje oružane sukobe, postavlja pred proizvođače autonomnog oružja još veće izazove. Ključno etičko načelo ratovanja bilo je načelo diskriminacije koje zahtijeva od napadača razlikovanje boraca od civila. No, gerilski ili pobunjenički ratovi postaju sve češći posljednjih desetljeća, a borci u takvim situacijama rijetko nose uniforme, zbog čega ih je teško razlikovati od civila. S obzirom na poteškoće s kojima se ljudski vojnici suočavaju u tom pogledu, lako je uočiti još veći rizik koji predstavljaju robotski sustavi oružja.
Pristalice takvog oružja inzistiraju na tome da strojevi imaju sve bolju sposobnosti diskriminacije. Čak i ako je to tako, potreban je ogroman skok u logici kako bi se pretpostavilo da će zapovjednici koristiti taj tehnološki napredak za razvijanje pravednih načela diskriminacije u ratnim vihorima. Kao što je napisao francuski mislilac Grégoire Chamayou, kategorija "borca" (legitimna meta) već je imala tendenciju da se "proširi na bilo koji oblik članstva, suradnje ili pretpostavljene simpatije prema nekoj militantnoj organizaciji".
Načelo razlikovanja boraca od civila samo je jedan od mnogih međunarodnih zakona koji uređuju ratovanje. Također postoji pravilo da vojne operacije moraju biti "proporcionalne" - mora se uspostaviti ravnoteža između potencijalne štete za civile i vojne prednosti koja bi mogla proizaći iz akcije. Američko ratno zrakoplovstvo opisalo je pitanje proporcionalnosti kao "suštinski subjektivnu odluku koja se rješava od slučaja do slučaja". Bez obzira na to koliko tehnologija dobro prati, otkriva i neutralizira prijetnje, nema dokaza da se može uključiti u vrstu suptilnih i fleksibilnih obrazloženja bitnih za primjenu čak i sasvim malo dvosmislenih zakona ili normi.
Čak i kad bismo pretpostavili da tehnološki napredak može smanjiti uporabu smrtonosne sile u ratovanju, bi li to uvijek bilo dobro? Istražujući rastući utjecaj načela ljudskih prava na sukobe, povjesničar Samuel Moyn uočava paradoks: ratovanje je odjednom postalo "humanije i teže ga je završiti". Za napadače, roboti štede političarima brigu zbog žrtava koje potpiruju opoziciju kod kuće. Željezna šaka u baršunastoj rukavici napredne tehnologije, bespilotne letjelice mogu izvršiti nadzor dovoljan samo za smirivanje okupiranih područja, istodobno izbjegavajući razorno krvoproliće koje bi izazvalo revoluciju ili međunarodnu intervenciju.
U ovoj robotiziranoj viziji "humane dominacije", rat bi sve više ličio na vanteritorijalnu policijsku akciju. Neprijatelji bi bili zamijenjeni osumnjičenim osobama koje su podvrgnute mehaniziranom pritvoru umjesto smrtonosne sile. Koliko god života bi na taj način bilo spašeno, Moyn smatra da velika razlika koju bi donijela tehnološka okupacija, nije pravi temelj za legitimni međunarodni poredak.
Chamayou je također skeptičan. U svojoj knjizi 'Teorija bespilotnih letjelica' podsjeća čitatelje na pokolj 10.000 Sudanaca 1898. godine od strane anglo-egipatskih snaga naoružanih mitraljezima, koja je sama pretrpjela tek 48 žrtava. Chamayou dronove naziva "oružjem amnezijskog postkolonijalnog nasilja". Također sumnja da bi napredak robotike doista rezultirao vrstom preciznosti koju obećavaju ljubitelji robota ubojica. Civile rutinski ubijaju vojni dronovi kojima pilotiraju ljudi. Uklanjanje te mogućnosti može značiti jednako mračnu budućnost u kojoj računalni sustavi provode tako intenzivan nadzor nad stanovništvom da mogu procijeniti prijetnju koju predstavlja svaka pojedina osoba (i u skladu s tim je likvidirati ili poštedjeti).
Zagovornici dronova kažu da je oružje ključno za diskriminirajuće i humanije ratovanje. Ali za Chamayoua, "isključivanjem mogućnosti borbe, dron uništava i samu mogućnost bilo kakve jasne razlike između boraca i neboraca". Chamayouova se tvrdnja može činiti hiperbolom, ali razmotrite situaciju na terenu u Jemenu ili pakistanskim zaleđima: Postoji li zaista ozbiljan otpor koji "militanti" mogu pružiti protiv stotina ili tisuća bespilotnih letjelica koje patroliraju nebom? Tako kontrolirano okruženje predstavlja uznemirujuću fuziju rata i rada policije, lišeno ograničenja i zaštitnih mjera koje su uspostavljene da barem pokušaju utvrditi odgovornost.
Kako bi globalni vođe trebali odgovoriti na mogućnost uvođenja ovih opasnih novih vojnih tehnologija? Jedna od mogućnosti je pokušati se okupiti i izravno zabraniti određene metode ubijanja. Vrijedno je pogledati prošlost kako bismo razumjeli mogu li takvi međunarodni sporazumi o kontroli naoružanja funkcionirati ili ne. Protupješadijska mina, namijenjena ubijanju ili sakaćenju svakoga tko je stao na nju ili blizu nje, bila je rano automatizirano oružje. To je prestrašilo borce u Prvom svjetskom ratu. Jeftine i jednostavne za distribuciju, mine su se i dalje koristile u manjim sukobima širom svijeta. Do 1994. godine vojnici su postavili 100 milijuna nagaznih mina u 62 zemlje.
Mine nastavljaju uništavati i zastrašivati stanovništvo i nakon prestanka neprijateljstava. Žrtve mina obično su izgubile barem jednu nogu, ponekad i dvije, te pretrpjele razderotine, infekcije i traume. 1994. godine, jedan od 236 Kambodžanaca izgubio je barem jedan ud zbog detonacija mina.
Sredinom 90-ih postojao je rastući međunarodni konsenzus da nagazne mine treba zabraniti. Međunarodna kampanja za zabranu nagaznih mina vršila je pritisak na vlade širom svijeta da ih zabrane. Nagazna mina nije ni približno smrtonosna kao mnoga druga oružja, ali za razliku od drugih primjena sile, mogla bi osakatiti i ubiti civile i dugo nakon završetka borbi. Do 1997. godine, kada je kampanja za zabranu nagaznih mina dobila Nobelovu nagradu za mir, deseci zemalja potpisali su međunarodni ugovor obvezujući se da neće proizvoditi, skladištiti ili postavljati takve mine.
SAD je u ovome oklijevao i do danas nisu potpisali Konvenciju protiv mina. U vrijeme pregovora, američki i britanski pregovarači inzistirali su na tome da je pravo rješenje problema s nagaznim minama osigurati da sve buduće mine automatski budu isključene nakon određenog vremenskog razdoblja ili da imaju neke mogućnosti daljinskog upravljanja. To bi značilo da se uređaj može daljinski isključiti nakon prestanka neprijateljstava. Mogao bi se, naravno, i ponovno uključiti.
Američka tehnološka solucija prikupila je malo pristaša. Do 1998. desetine zemalja potpisale su ugovor o zabrani mina. Više se zemalja pridruživalo svake godine od 1998. do 2010., uključujući velike sile poput Kine. Iako je Obamina administracija poduzela neke važne korake prema ograničavanju mina, Trumpov ministar obrane ih je preokrenuo. To je samo jedna od strana ratobornog nacionalizma koja će vjerojatno ubrzati automatizaciju ratovanja.
Umjesto zabrana robota ubojica, američki vojni establišment preferira propise. Zabrinutost zbog kvarova, bugova ili drugih nenamjernih posljedica automatiziranog naoružanja, iznjedrila je odmjereni diskurs reforme oko vojne robotike. Primjerice, P.W. Singer iz Zaklade New America omogućio bi robotu da "autonomno koristi samo nesmrtonosno oružje". Tako bi autonomni dron mogao patrolirati pustinjom i, recimo, omamiti borca ili ga zarobiti mrežom, ali "odluka o ubijanju" bila bi prepuštena isključivo ljudima. Prema ovom pravilu, čak i ako je borac pokušao uništiti drona, dron ne bi mogao uništiti njega.
Takva bi pravila pomogla u tranziciji rata na održavanje mira što bi na koncu postalo zadatak policije. Vrijeme između donošenja odluka o hvatanju i ubijanju, moglo bi omogućiti pravni postupak potreban za procjenu krivnje i određivanje kazne. Singer također naglašava važnost odgovornosti, tvrdeći da "ako programer greškom digne u zrak cijelo selo, trebao bi biti kazneno gonjen".
Iako neki vojni teoretičari žele kodirati robote etikom algoritama, Singer se mudro nadovezuje na naše stoljetno iskustvo reguliranja osoba. Kako bi osigurali preuzimanje odgovornost za raspoređivanje "ratnih algoritama", vojske bi trebale osigurati da roboti i algoritamski postupci budu sljedivi te da se njihovi tvorci mogu identificirati. U domaćem kontekstu, znanstvenici su predložili "registarsku pločicu za dronove", kako bi se sve nepromišljene ili nesavjesne radnje povezale s vlasnikom ili kontrolorom drona. Logično je da bi slično pravilo - nešto poput "Robot uvijek mora naznačiti identitet svog tvorca, upravljača ili vlasnika" - trebalo poslužiti kao temeljno pravilo ratovanja, a njegovo kršenje kažnjavalo bi se strogim sankcijama.
No, koliko je doista vjerojatno da će programeri robota ubojica biti stvarno kažnjeni? 2015. američka vojska bombardirala je bolnicu u Afganistanu, usmrtivši 22 osobe. Čak i dok se bombardiranje događalo, osoblje bolnice grčevito je zvalo svoje kontakte u američkoj vojsci da ih zamole da prestanu. Ljudi su izravno odgovorni za napade dronovima na bolnice, škole, svatove i druge neprikladne ciljeve, bez adekvatnih posljedica. "Ratna magla" opravdava sve vrste nemara. Ne čini se vjerojatnim da će domaći ili međunarodni pravni sustavi nametnuti veću odgovornost programerima koji uzrokuju slične pokolje.
Oružje je oduvijek bilo velik biznis, a AI utrka u naoružanju obećava veliku dobit tehnološki pametnim i politički dobro povezanim pojedincima i grupama. Savjetovanje protiv utrke u naoružanju može izgledati krajnje nerealno. Napokon, nacije ulažu ogromne resurse u vojne aplikacije umjetne inteligencije, a mnogi građani to ne znaju ili ih nije briga. Ipak, taj se stav s vremenom može promijeniti, kako se ubrzava domaća upotreba AI nadzora, a ta se tehnologija sve više poistovjećuje s ne posve jasnim uređajima kontrole, umjesto s demokratski odgovornim lokalnim vlastima.
Vojna i nadzorna umjetna inteligencija ne koristi se samo, pa čak ni prvenstveno, za strane neprijatelje. Namijenjen je i identificiranju i borbi protiv unutarnjih neprijatelja. Iako se u SAD-u gotovo dva desetljeća nisu pojavili napadi poput onog 11. rujna, snage domovinske sigurnosti potiho su okrenule protuterorističke alate prema kriminalcima, prevarantima na osiguranju, pa čak i prema prosvjednicima. U Kini je vlada prenaglasila prijetnju "muslimanskim terorizmom" da bi značajan postotak svojih Ujgura zatočila u kampove za preodgoj i zastrašila druge stalnim telefonskim inspekcijama i procjenama rizika. Nitko se ne bi trebao iznenaditi ako se otkrije da je neka kineska oprema u osnovi američkog obavještajnog aparata, dok kineska vlada velike američke tehnološke tvrtke kooptira u paralelne projekte nadzora.
Napredak korištenja umjetne inteligencije u vojsci, policiji, zatvorima i sigurnosnim službama nije toliko rivalstvo među velikim silama, koliko unosan globalni projekt korporativnih i vladinih elita za održavanje kontrole nad nemirnim stanovništvom u zemlji i inozemstvu. Jednom raspoređene za daleke bitke i okupacije, vojne metode žele pronaći put natrag na domaću frontu. Prvo se koriste protiv nepopularnih ili relativno nemoćnih manjina, a zatim se šire na druge skupine. Službenici američkog Ministarstva domovinske sigurnosti darovali su lokalnim policijskim upravama tenkove i oklopna vozila. Šerifi će biti još entuzijastičniji da umjetnom inteligencijom vrše procjenu prijetnji. Ali važno je zapamtiti da postoji mnogo načina za rješavanje socijalnih problema. Ne zahtijevaju svi stalni nadzor i mehaniziranu prijetnju silom.
Zapravo, to je možda i najmanje učinkovit način ostvarenja sigurnosti, bilo na nacionalnom ili međunarodnom planu. Dronovi su omogućili SAD-u da zadrže prisutnost u raznim okupiranim zonama mnogo dulje nego što bi to činila vojska. Stalna prisutnost robotskog čuvara, sposobnog upozoriti vojnike na svako prijeteće ponašanje, oblik je ugnjetavanja. Američke obrambene snage mogu inzistirati na tome da su prijetnje u dijelovima Iraka i Pakistana dovoljno velike da opravdaju stalnu budnost, ali zanemaruju činjenicu da takve autoritarne akcije mogu izazvati sam bijes koji žele ugušiti.
Trenutačno nas vojno-industrijske organizacije ubrzano guraju prema razvoju rojeva dronova koji djeluju neovisno o ljudima, navodno jer će samo strojevi biti dovoljno brzi da predvide neprijateljske protu-strategije. Ovo je samoispunjavajuće proročanstvo, koje nastoji potaknuti neprijateljev razvoj same tehnologije koja navodno opravdava militarizaciju algoritama. Da bismo izašli iz ove autodestruktivne petlje, moramo propitati cjelokupni reformistički diskurs prenošenja etike vojnim robotima. Umjesto marginalnih poboljšanja i natjecanja u ratnim sposobnostima, potreban nam je drugačiji put - do suradnje i mira, koliko god krhko i teško bilo njegovo postizanje.
U svojoj knjizi 'Kako je sve postalo ratom i kako je vojska postala sve', bivša dužnosnica Pentagona, Rosa Brooks, opisuje rastuću spoznaju američkih stručnjaka za obranu da su razvoj, upravljanje i humanitarna pomoć jednako važni za sigurnost kao i gola sila, ako ne i važniji. Svijet s više stvarnih resursa ima manje razloga za vođenje ratova. Također će biti bolje opremljen za borbu protiv prirodnih neprijatelja, poput novih koronavirusa. Da su SAD dio svoje vojne potrošnje uložile u javnozdravstvene kapacitete, gotovo sigurno bi izbjegle desetke tisuća smrtnih slučajeva 2020. godine.
Da bi prevladalo ovo humanije razmišljanje, njegovi zagovornici moraju u vlastitim zemljama pobijediti u bitci ideja o pravilnoj ulozi vlade i paradoksima sigurnosti. Moraju pomaknuti političke ciljeve s dominacije u inozemstvu na zadovoljavanje ljudskih potreba kod kuće. Promatrajući rast američke nacionalne sigurnosti - tj. ono što smatra "carstvom grabežljivcem" - autor Ian G.R. Shaw pita: "Zar ne vidimo uspon kontrole nad suosjećanjem, sigurnosti nad potporom, kapitala nad brigom i rata nad dobrobiti?" Zaustavljanje tog uspona trebao bi biti primarni cilj suvremene umjetne inteligencije i robotike.
(Priredila: Silvija Novak)