Nacional donosi ulomak iz knjige ‘Kao čovjek’ u kojem Stuart Russell, jedan od najcjenjenijih stručnjaka za umjetnu inteligenciju, upozorava da čovjek mora hitno uspostaviti nadzor nad strojevima kako oni ne bi ispunjavali svoje umjesto naših ciljeva

Suosjećajno i ushićeno korištenje kozmičkom zadužbinom čovječanstvazvuči sjajno, no moramo voditi računa i o užurbanoj stopi inovacije u sektoru kriminala. Ljudi zlih namjera tako brzo osmišljavajunove načine zloporabe umjetne inteligencije da će i ovo poglavlje vjerojatno biti zastarjelo prije nego što uopće krene u tisak. Ipak, cilj ovih redaka nije da vam prouzroče depresiju, nego da vas potaknu da djelujete prije nego što bude prekasno.

Automatizirani Stasi

Istočnonjemački Ministerium fur Staatsicherheit, koji bolje poznajemo pod nazivom Stasi, naširoko se smatra „jednom od najučinkovitijih i najrepresivnijih tajnih policijskih agencija u povijesti.”

Vodio je spise o velikoj većini istočnonjemačkih kućanstava. Nadzirao je telefonske razgovore, otvarao i čitao pisma i podmetao skrivene kamere u stanove i hotele. Bio je neumoljivo učinkovit u identificiranji eliminiranju disidentskih aktivnosti. Njegov je omiljeni modus operandi bilo psihološko uništavanje, a ne zatvorske kazne ili smaknuća.

Međutim, ta je razina kontrole nosila veliku cijenu: prema nekim procjenama više od četvrtine odraslih građana bili su doušnici Stasija. Dokumentacija koju su prikupili procjenjuje se na dvadeset milijardi stranica, a zadatak procesiranja tih golemih tokova podataka – a zatim i djelovanja na temelju toga znanja – u jednom je trenu postao prevelik zalogaj za bilo koju ljudsku organizaciju.

Zato nas ne bi trebalo iznenaditi da su obavještajne službe uočile potencijal umjetne inteligencije za svoje potrebe. Već dugi niz godina one primjenjuju jednostavne oblike tehnologije umjetne inteligencije, kao što je prepoznavanje glasova i identificiranje ključnih riječi i fraza u govornom i tekstualnom obliku. Sustavi umjetne inteligencije sve bolje razumiju što ljudi govore i rade, bilo u govoru, tekstu ili na videosnimkama. U režimima u kojima se ta tehnologija upotrebljava radi kontrole, svaki će građanin imati vlastitog operativca Stasija koji ih promatra dvadeset i četiri sata na dan.

Možda ste čitali neke članke o autonomnim oružanim sustavima: obično ih nazivaju robotima ubojicama i ispunjeni su fotografijama iz filmova o Terminatoru, a to je netočno

Čak i u građanskoj sferi u relativno slobodnim državama i dalje smo pod sve učinkovitijom prismotrom. Korporacije prikupljaju i prodaju podatke o našoj kupnji, korištenju internetom i društvenim mrežama, upotrebi električnih kućanskih aparata, telefonskim pozivima i porukama, zaposlenju i zdravstvenom stanju. Naša se lokacija može pratiti preko naših mobitela i automobila spojenih na internet.

Kamere prepoznaju naše lice na ulicama. Sve te podatke, i još mnogo drugih, inteligentni sustavi za integraciju podataka mogu spojiti i proizvesti gotovo potpunu sliku svega što radimo, kako živimo, kogavolimo i ne volimo, i za koga ćemo glasati. Stasiji u usporedbi s time izgledaju kao amateri.

Kontrola nad vašim ponašanjem

Kad se ti sustavi nadziranja uspostave, idući je korak modificirati vaše ponašanje kako bi odgovaralo onima koji upravljaju tom tehnologijom.

Jedna relativno neprofinjena metoda svodi se na automatizirane i personalizirane ucjene: sustav koji razumije što radite – tako što vas prisluškuje, promatra ili čita što pišete – vrlo lako može uočiti sve ono što ne biste trebali raditi. Kad nešto pronađe, počet će se dopisivati s vama u pokušaju da od vas iskamči što više novca (ili vas natjera na neki oblik ponašanja, ako mu je cilj politička kontrola ili špijunaža). Zarađivanje novca na taj način savršen je signal nagrade za algoritam pojačanog učenja, pa možemo očekivati da će se sustavi umjetne inteligencije brzo popraviti u sposobnosti da identificiraju neželjene oblike ponašanja i na njima profitiraju.

Početkom 2015. godine rekao sam jednom stručnjaku za računalnu sigurnost da bi automatizirani sustavi za ucjenjivanje, potaknuti pojačanim učenjem, ubrzo mogli postati upotrebljivi. On se samo nasmijao i rekao da se to već događa. Prvi bot za ucjenjivanje o kojem se naširoko raspravljalo bio je Delilah, identificiran u srpnju 2016.

Nešto je suptilniji način da utječemo na ljudsko ponašanje modificiranje informacija dostupnih u njihovom okolišu, čime ćemo ih natjerati da promjene uvjerenja i donose drukčije odluke. Naravno, oglašivači to rade već stoljećima, utječući tako na kupovne odluke pojedinaca. Propaganda kao oružje rata i političke dominacije ima još i dulju povijest.

Što se onda promijenilo danas? Kao prvo, budući da sustavi umjetne inteligencije na internetu mogu pratiti čitalačke navike pojedinca, njegove preferencije i vjerojatnu razinu znanja i informiranosti, mogu oblikovati specifične poruke koje će imati maksimalni učinak na tog pojedinca, a pritom minimizirati rizik da će njihova informacija biti odbačena kao neistina.

Kao drugo, sustav umjetne inteligencije zna je li pojedinac pročitao poruku, koliko ju je dugo čitao, i je li slijedio druge poveznice priložene u poruci. Zatim se koristi tim signalima kao povratnim informacijama o uspjehu ili neuspjehu svojeg pokušaja da utječe na svakog pojedinca; time brzo uči kako biti što učinkovitiji u svojem zadatku. Na taj su način algoritmi za odabir sadržaja na društvenim medijima postigli svoj perfidni utjecaj na politička mišljenja.

Nedavno je došlo do još jedne promjene: kombinacijom umjetne inteligencije, računalne grafike i sinteze govora moguće je generirati takozvane deepfake snimke: realistične videozapise i audiozapise na kojima bilo koja osoba može govoriti ili raditi bilo što. Ubrzo ta tehnologija neće zahtijevati ništa više od verbalnog opisa željenog događaja, pa će je stoga moći upotrebljavati gotovo bilo tko na svijetu.

Snimka na kojoj Senator X prihvaća mito od dilera kokainom Y u nekom sumnjivom lokalu? Nema problema. Takvi sadržaji mogu stvoriti nepokolebljivo uvjerenje u događaje koji se nikada nisu zbili. Nadalje, sustavi umjetne inteligencije mogu stvoriti milijune lažnih identiteta– takozvane vojske botova – koje svakog dana mogu proizvesti milijarde komentara, tweetova i preporuka, i time nadglasati pokušaje stvarnih ljudskih bića da razmijene istinite informacije. Online tržnice kao što su eBay, Taobao i Amazon, koje se oslanjaju na sustave reputacije kako bi izgradile povjerenje između kupaca i prodavača neprekidno su u ratu s vojskama botova čiji je cilj zagaditi tržišta.

Švicarsko ministarstvo obrane već je izgradilo i iskušalo stvarnog Slaughterbota, napredno autonomno oružje, i ustanovilo da je ta tehnologija i ostvariva i ubojita

Naposljetku, metode kontrole mogu biti i izravne ako vlada uspije nametnuti sustav nagrada i kazni utemeljen na ponašanju građana.

Takav sustav tretira ljude kao algoritme za pojačano učenje i trenira ih da optimiziraju postizanje ciljeva koje određuje država. Postoji iskušenje da vlada, pogotovo ako je sklona autoritativnom, inženjerskom mentalitetu, razmišlja ovako: bilo bi najbolje kad bi se svi pristojno ponašali, imali domoljubni stav i pridonosili napretku naše države; tehnologija nam omogućava mjerenje ponašanja, stavova i doprinosa pojedinca; dakle, svima bi bilo bolje kad bismo postavili tehnološki sustav motrenja i kontrole utemeljen na nagradama i kaznama.

Postoji nekoliko problema s tom linijom razmišljanja. Prvo, ona zanemaruje psihički danak življenja pod jarmom sustava koji te neprestano i neumoljivo motri i prisiljava na određene oblike ponašanja: vanjski sklad koji prikriva unutarnju bijedu daleko je od idealnog stanja države. Svako dobro djelo prestaje biti dobro djelo i postaje promišljeni potez u svrhu maksimiziranja osobne ocjene, a kao takvog ga doživljava i osoba kojoj ste iskazali to dobročinstvo.

Ili još gore, sami koncept dobrovoljnog dobrog djela postupno postaje samo davno sjećanje na nešto što su ljudi nekoć davno činili.

U takvom sustavu posjet bolesnom prijatelju u bolnicu gubi svaki moralni značaj i emocionalnu vrijednost i postaje ništa više od zaustavljanja na crvenom svjetlu. Kao drugo, takav sustav pati od istog nedostatka kao i standardni model umjetne inteligencije jer pretpostavlja da je zadani cilj istovjetan istinskoj, pozadinskoj svrsi.

Neizbježno će prevladati Goodhartov zakon, po kojem pojedinci optimiziraju službenu mjeru vanjskog ponašanja, baš kao što su sveučilišta naučila optimizirati „objektivna” mjerila „kvalitete” koja upotrebljavaju sustavi za rangiranje sveučilišta, umjesto da rade na poboljšanju svoje stvarne (ali nemjerljive) kvalitete. Naposljetku, nametanje uniformiranih mjerila željenog ponašanja zanemaruje činjenicu da se uspješno društvo može sastojati od širokog spektra različitih pojedinaca, od kojih svaki pridonosi na vlastiti način.

Pravo na mentalnu sigurnost

Jedno od velikih postignuća naše civilizacije je postupno poboljšanje ljudske fizičke sigurnosti. Većina nas može očekivati da će svakodnevni život voditi bez stalnog straha od ozljeda i smrti. U trećem članku Opće deklaracije o ljudskim pravima iz 1948. godine stoji da „Svatko ima pravo na život, slobodu i osobnu sigurnost.”

Želio bih predložiti da bi svatko trebao imati i pravo na mentalnu sigurnost – pravo na život u okruženju koje se u najvećoj mogućoj mjeri sastoji od istinitih informacija. Ljudi imaju tendenciju vjerovati dokazima koje prikupljamo svojim očima i ušima. Vjerujemosvojim obiteljima, prijateljima, učiteljima i (nekim) medijskim izvorima da će nam govoriti samo ono za što vjeruju da je istina. Iako ne očekujemo da će nam preprodavači rabljenih automobila i političari govoriti istinu, katkad nam je teško povjerovati da nam zaista ponekad bezočno lažu. Stoga smo iznimno podložni tehnologiji dezinformacije.

S autonomnim oružjem možete ubijati milijun puta učinkovitije ako kupite milijun puta više oružja – baš zato što je to oružje autonomno i ne treba mu ljudsko nadgledanje da bi obavilo svoj posao

Čini se da pravo na mentalnu sigurnost nije ozakonjeno u Općoj deklaraciji. Članak 18. i Članak 19. uspostavljaju prava na „slobodu misli” i „slobodu mišljenja i izražavanja”. Naša su mišljenja i stavovi, naravno, djelomično pod utjecanjem informacija koje primamo iz okoline, koja je pak podložna Članku 19. koji uspostavlja „pravo… širenja informacija i ideja putem bilo kojeg medija i bez obzira na granice”. Drugim riječima, bilo tko, bilo gdje na svijetu, ima pravo širiti lažne informacije koje će utjecati na vas. U tome leži velik izazov: demokratske nacije, posebice Sjedinjene Države, uglavnom nevoljko sprječavaju širenje lažnih informacija – ili im ustav to zabranjuje – u pitanjima od javne važnosti, zbog opravdanih strahova u vezi s vladinom kontrolom govora. Umjesto da se vode idejom da ne postoji sloboda mišljenja bez pristupa istinitim informacijama, demokracije su se naizgled odlučile naivno pouzdati u ideju da će istina na kraju pobijediti, pa smo sada ostali nezaštićeni.

Njemačka je iznimka: nedavno je njemački sabor izglasao Zakon o zaštiti mreža, koji obvezuje mrežne platforme da uklone govor mržnje i lažne vijesti, no i ta je odluka pretrpjela mnoge kritike jer se čini neprovedivom i nedemokratskom.

Stoga barem zasad možemo očekivati da će naša mentalna sigurnost i dalje biti pod napadom, a jedinu zaštitu pružit će joj komercijalni i volonterski izvori. Ti izvori uključuju mrežne stranice za provjeru činjenica kao što su factcheck.org i snopes.com – no, naravno, sve se češće pojavljuju i nove stranice za „provjeru podataka” koje tvrde da su istine laži, a laži istine.

Najveće službe za informacije, kao što su Google i Facebook, pod sve su većim pritiskom u Europi i SAD-u da „poduzmu nešto u vezi s time”. Eksperimentiraju s načinima na koje mogu označiti ili ukloniti netočne informacije – koristeći se umjetnom inteligencijom i ljudskim promatračima – i usmjeriti korisnike prema provjerenim izvorima koji neutraliziraju učinke dezinformacija. Na kraju će se svi ti napori svesti na cirkularne sustave reputacije jer će izvori biti pouzdani zato što pouzdani izvori tvrde da su pouzdani.

Ako sustav preplavi dovoljno lažnih informacija, i ti sustavi reputacije mogu propasti: izvori koji su zapravo pouzdani mogu doći na glas kao nepouzdani i obrnuto, kao što se danas naizgled u SAD-u događa s velikim medijskim kućama kao što su CNN i Fox News.

Aviv Ovadya, tehnolog koji se bavi suzbijanjem dezinformacija, nazvao je te događaje „infopokalipsom – katastrofalnim neuspjehom tržišta ideja.”

Jedan način da zaštitimo funkcioniranje sustava reputacije bio bi da u sustav dodamo izvore koji su najbliži istinitom stanju na terenu.

Jedna činjenica koja je neosporivo istinita može nadglasati velik broj izvora koji su tek djelomično pouzdani ako ti izvori šire informacije koje su u suprotnosti s poznatim činjenicama. U mnogim državama javni bilježnici služe kao izvori osnovne istine na terenu kako bi se održao integritet pravnih i zemljišnih informacija; oni su najčešće neutralne treće stranke u svim transakcijama i licencirala ih je vlada ili stručna organizacija. (U gradu Londonu tu ulogu još od 1373. godine obavlja takozvani Worshipful Company of Scriveners, što daje naslutiti da je određena stabilnost nužno povezana s ulogom čuvara istine.) Ako se uspostave formalni standardi, profesionalne kvalifikacije i procedure licenciranja za mrežne stranice za provjeru informacija, to bi pomoglo očuvanju valjanosti toka informacija na koje se oslanjamo.

Organizacije kao što su skupine W3C Credible Web i Credibility Coalition namjeravaju razviti tehnološke i crowdsourcing metode za procjenjivanje pružatelja informacija, koje bi zatim omogućile korisnicima da filtriraju nepouzdane izvore.

Drugi način da zaštitimo sustave reputacije bio bi da nametnemo cijenu za pružanje krivih informacija. Primjerice, neke stranice za ocjenjivanje hotela prihvaćaju recenzije hotela samo od gostiju koji su preko te stranice rezervirali sobu u tom hotelu, dok druge stranice prihvaćaju recenzije od bilo koga. Neće vas iznenaditi da su ocjene na prvoj stranici znatno manje pristrane nego na potonjem jer postoji cijena (to jest, cijena iznajmljivanja neiskorištene sobe) za objavljivanje lažnih recenzija. Regulacijske kazne nešto su kontroverznije: nitko ne priželjkuje osnivanje Ministarstva istine, a njemački Zakon o zaštiti mreža kažnjava samo platformu sa sadržajem, a ne osobu koja je na njoj objavila lažne vijesti. S druge strane, baš kao što mnoge nacije i američke države zabranjuju snimanje telefonskih poziva bez dopuštenja, trebalo bi barem biti moguće nametnuti kazne za stvaranje fiktivnih audiosadržaja i videosadržaja koji prikazuju stvarne osobe.

Neki od važnih sudionika pregovora koji se vode o zabrani autonomnih oružanih sustava (SAD, Kina, Rusija, i u određenoj mjeri Izrael i Ujedinjeno Kraljevstvo) bacili su se u natjecanje u razvijanju tog smrtonosnog oružja

Naposljetku, postoje dvije druge činjenice koje nam idu u korist. Kao prvo, gotovo nitko aktivno i svjesno ne želi da mu se laže. (Time ne želim reći da roditelji uvijek temeljito preispituju iskrenost sugovornika koji hvale inteligenciju i dražest njihove djece; samo će manje revno tražiti takve komplimente od nekoga tko je notorni lažljivac.) To znači da ljudi svih političkih uvjerenja imaju poticaj za usvajanje alata koji će im pomoći da razlikuju istinu od laži. Kao drugo, nitko ne želi biti na glasu kao lažljivac, najmanje novinske agencije. To znači da izvori informacija – barem oni kojima je stalo do reputacije – imaju poticaj da se udruže u udruge koje predstavljaju njihovu industriju i obvežu se na kodeks ponašanja koji zagovara govorenje istine. Nadalje, platforme društvenih medija korisnicima mogu ponuditi opciju da im prikazuju samo sadržaj koji dolazi iz pouzdanih izvora koji slijede taj kodeks ponašanja i koji pristaju na to da ih provjeravaju neutralne službe za provjeru podataka.

Smrtonosno autonomno oružje

Ujedinjeni narodi definiraju autonomne smrtonosne oružane sustave kao oružane sustave koji „lociraju, odabiru i eliminiraju ljudske mete bez ljudske intervencije”. Te se sustave opisuje, i to s dobrim razlogom, kao „treću revoluciju u ratovanju”, nakon baruta i nuklearnog oružja.

Možda ste u medijima već čitali neke članke o autonomnim oružanim sustavima: takvi ih članci obično nazivaju robotima ubojicama i ispunjeni su fotografijama iz filmova o Terminatoru. To je netočno iz barem dva razloga: prvo, sugerira da je autonomno oružje prijetnja jer bi moglo zavladati svijetom i uništiti ljudsku vrstu; drugo, sugerira da će takvo oružje biti humanoidno, svjesno i zlo.

Krajnji učinak medijskih prikaza ovog problema bio je da nam se ta tehnologija čini kao znanstvena fantastika. Čak je i njemačka vlada nasjela na tu priču: nedavno su objavili izjavu da je „sposobnost učenja ili razvijanja samosvijesti neizbježno svojstvo kojim se pojedine funkcije ili oružani sustavi definiraju kao autonomni.” (To je otprilike jednako smisleno kao da kažemo da projektil nije projektil ako ne putuje brže od brzine svjetlosti.)

U stvarnosti, autonomno oružje ima jednaku autonomiju kao program za igranje šaha kojem je dodijeljen zadatak da pobijedi u partiji šaha, a sam može odlučiti samo kako da pomiče svoje figure i koje neprijateljske figure da eliminira.

Autonomni oružani sustavi nisu znanstvena fantastika. Oni već postoje. Možda je najjasniji primjer izraelski Harop, takozvano lutajuće streljivo s rasponom krila od tri metra koje nosi bojevu glavu od dvadeset i dva kilograma. To oružje može do šest sati pretraživati određeno geografsko područje u potrazi za bilo kojom metom koja zadovoljava određene kriterije, a zatim je uništiti.

Ti kriteriji mogu biti bilo što od „emitira radarski signal koji nalikuje na protuzrakoplovni radar” do „izgleda kao tenk“.