Nel 1983, il militare russo Stanislav Petrov salvò il mondo da una catastrofe nucleare quando scelse di non fidarsi di un computer. La tecnologia militare di oggi, però, fa sempre più affidamento all’automazione e ad algoritmi di intelligenza artificiale in grado di escludere la necessità di un controllo umano.
In piena Guerra Fredda, un centro di allerta nucleare russo scattò in allarme a seguito dell’identificazione di un attacco missilistico nucleare americano. Il sistema di difesa consentiva all’Unione Sovietica di reagire a un attacco nemico con una rappresaglia, ma quel giorno era di stazione il tenente colonnello Stanislav Petrov, il quale ebbe sufficiente tempo per pensare al da farsi, nella calma che solo le sirene spiegate a tutto volume e le luci rosse lampeggianti sanno trasmettere. La sua decisione, al limite delle prerogative che gli erano imposte, fu quella di considerare l’allerta come un falso segnale e, quindi, di non far nulla. Più tardi si scoprì che i sistemi informatici a bordo dei satelliti sovietici avevano scambiato alcuni riflessi della luce del sole sulle nuvole per missili balistici intercontinentali. La scelta di Petrov evitò un conflitto nucleare mondiale.
Questa storia insegna un paio di cose. La prima è l’importanza del controllo umano nel momento in cui diventa necessario confermare un attacco bellico; se il sistema di difesa sovietico avesse avuto l’opportunità di rispondere in autonomia alla minaccia americana, nessuno sarebbe qui a leggere questo articolo. L’uomo, per quanto fallace, ha l’abitudine di prendere decisioni che si muovono lente nello spazio di una scelta per valutare le prove a sostegno di essa, quelle che sfuggono, le ambiguità e i dubbi. Il valore del tempo, infatti, è la seconda lezione, ma il tempo diventa quasi insignificante quando è contratto dall’efficienza fulminea delle macchine. In caso di errore, l’intervento umano arriverà sempre troppo in ritardo e ogni tentativo di correzione viene bruciato dalla velocità di una macchina.
Hasta la vista, baby
La tecnologia militare basata su armi autonome è sorprendente. Gli Stati Uniti, ad esempio, hanno sviluppato l’X-47B, un caccia senza pilota in grado di atterrare e decollare dalle portaerei anche in condizioni di forte vento, capace di fare rifornimento in volo e con una portata dieci volte maggiore rispetto ai velivoli con pilota. Inoltre, hanno dispiegato la Sea Hunter, una nave transoceanica senza equipaggio, dotata di una propria flotta di sottomarini, che ha già dimostrato di poter solcare in autonomia le acque dell’Oceano Pacifico. La Russia, invece, ha completamente automatizzato i T-14 Armata, una tipologia avanzata di carro armato, mentre l’azienda Kalashnikov ha sviluppato moduli di combattimento in grado di selezionare e colpire bersagli in completa autonomia e che possono essere montati su tradizionali pezzi di artiglieria e carri armati già esistenti. Anche la Cina ha progettato un aereo senza pilota chiamato Anjian, traducibile con “Spada Oscura”, un modello da combattimento supersonico in grado di effettuare virate di indicibile velocità, la cui forza di accelerazione ucciderebbe un pilota umano. Queste armi si contraddistinguono per la loro autonomia nel riconoscere bersagli ostili con cui ingaggiare il combattimento. Se è divertente pensare che una Tesla possa confondere il logo di Burger King per un segnale di stop, potrebbe essere diverso se fosse un chiosco di hot dog a essere confuso per un carro armato antagonista.
L’uomo, per quanto fallace, ha l’abitudine di prendere decisioni che si muovono lente nello spazio di una scelta per valutare le prove a sostegno di essa, quelle che sfuggono, le ambiguità e i dubbi.
Diverse organizzazioni non governative si sono unite nella “Campaign to Stop Killer Robots”, per impedire la proliferazione di macchine da guerra automatizzate. La campagna denuncia una serie di rischi che non possono essere ignorati, come ad esempio l’imprevedibilità di risposta tra due sistemi automatizzati senza controllo, programmati con algoritmi segreti che risultano sconosciuti alla controparte. Uscendo dall’ambito bellico, il mondo ha già assistito ai risultati di una guerra algoritmica: per esempio su Amazon, nel 2011, due venditori offrivano un libro fuori stampa, The Making of a Fly, a circa 50 dollari più 3,99 dollari di spedizioni. Un programma consentiva di alzare il prezzo quando l’altro venditore faceva altrettanto, ma siccome entrambi i librai possedevano algoritmi simili, prima che chiunque se ne accorgesse il prezzo del libro è salito a 23’698’655,93 dollari più 3,99 di dollari di spedizione. Se immaginiamo questo incremento esponenziale in uno scenario di guerra alimentato da lanci missilistici e rappresaglie, il risultato potrebbe assomigliare alla desolazione dipinta dalle parole di Cormac McCarthy nel suo romanzo “La Strada”. Inoltre, sistemi di difesa come il jamming (disturbo del segnale) o lo spoofing (la falsificazione della posizione) annullerebbero ogni residua possibilità di intervento umano.
Stop killer robots
Le ONG impegnate in questo campo puntano a un trattato internazionale che impedisca lo sviluppo e la produzione di armi automatiche senza controllo umano, poiché solo un essere umano può essere consapevole degli esiti che può avere un attacco, in relazione al suo contesto, alla sua legittimità e alla sua necessità. Stati Uniti e Russia si oppongono al concetto di “controllo umano”, preferendo al suo posto “livelli appropriati di giudizio umano” che, in determinati contesti, potrebbero prevedere la totale assenza di controllo umano qualora fosse giudicato appropriato.
Nel capitolo “Peace Walker” di una saga videoludica che amo molto, Metal Gear Solid, un espediente narrativo retro-fantascientifico immagina macchine dotate di intelligenza artificiale in tempi di Guerra Fredda. Per rendere perfetto il concetto di deterrenza nucleare, un’agenzia governativa decide di affidare a un’IA il compito di rispondere a un eventuale attacco nemico, secondo la convinzione che l’uomo sarebbe troppo esitante e non premerebbe mai il famigerato bottone rosso in caso di allarme (e se pensiamo a Stanislav Petrov, non hanno tutti i torti). La sceneggiatura del gioco, però, stravolge tutte le aspettative: a lanciare l’offensiva nucleare è proprio un essere umano, ma l’arma dotata di intelligenza artificiale non considera legittimo l’attacco e decide di inabissarsi durante il countdown per annullarlo. Si tratta di una visione romantica sulla genuinità delle macchine, oppure è un indizio sul fatto che siano le scelte umane a essere le più pericolose?
Approfondimento disponibile su le Scienze, Giugno 2020
Disclaimer: l’articolo contiene link affiliati Amazon
Questo articolo fa parte della rubrica 404 Human Not Found
