Esiste una soglia molto precisa oltre la quale l’intelligenza artificiale cessa di essere soltanto un sistema che consiglia l’azione per diventare un’intelligenza distribuita nella materia.

Fin qui potevamo ancora immaginare l’IA come un cervello installato in un data center, intento ad analizzare flussi, proporre scenari, accelerare una decisione umana.

Ma quando questa intelligenza comanda direttamente macchine capaci di percepire, muoversi, cooperare e agire nel mondo fisico, comincia una trasformazione molto più profonda.

L’algoritmo lascia lo schermo. Prende corpo: motore, telecamera, rotore, veicolo, robot terrestre, sistema marittimo.

L’intelligenza diventa cinetica.

Questa incarnazione modifica direttamente la questione dell’autonomia.

Un errore in un sistema conversazionale produce una frase falsa. Un errore in una macchina mobile può produrre uno spostamento, una collisione, una distruzione.

Il software acquisisce un’inerzia materiale.

Il codice diventa movimento.

Il cambiamento non è più soltanto informativo: i risultati del calcolo comandano direttamente movimenti nella materia.

Ho sempre pensato a questa relazione tra materia e informazione come a una delle linee profonde della nostra epoca. Una banca dati appare astratta, ma determina decisioni reali. Un’architettura digitale sembra invisibile, ma comanda flussi economici.

Con la robotica, questa relazione si manifesta immediatamente.

L’informazione diventa gesto. Il modello riconosce un ostacolo, modifica una traiettoria, rallenta, accelera.

Agisce.

E dal momento in cui agisce, l’intera questione della responsabilità cambia dimensione.

Ma la vera rottura non risiede nell’esistenza di una macchina autonoma isolata. Una macchina isolata rimane relativamente semplice da concepire. Si può chiedere chi la controlli, quale missione abbia, quali limiti le siano imposti.

La mutazione comincia quando più macchine cooperano.

Dieci droni.

Cento.

Mille.

Diverse decine di migliaia.

Ciascuno possiede una percezione locale, scambia alcune informazioni con gli altri e adatta il proprio comportamento allo stato del gruppo.

Entriamo allora nella logica dello sciame.

La parola è giusta perché proviene dal mondo vivente.

Una formica isolata possiede capacità limitate. Eppure una colonia produce comportamenti complessi senza che una formica centrale comandi ogni movimento.

Gli uccelli possono cambiare collettivamente direzione senza che un capo detti individualmente la traiettoria di ciascuno.

Il comportamento globale emerge da regole locali.

Ciò che mi interessa qui non è attribuire un’interiorità allo sciame, ma constatare che può esistere un coordinamento efficace senza un comando centrale che specifichi ogni movimento. È già sufficiente a sconvolgere la nostra concezione della responsabilità.

È questo che l’ingegneria algoritmica cerca di riprodurre. Ed è proprio questo a sconvolgere la nozione classica di comando.

In un esercito tradizionale, la gerarchia discende dal comando verso le unità. Ogni livello trasmette ordini e riceve informazioni.

Lo sciame introduce un’altra architettura: una parte del coordinamento può emergere orizzontalmente.

Le macchine si ripartiscono le zone, evitano le collisioni, ridistribuiscono alcuni compiti. Il comando consiste meno nella microgestione che nella definizione di regole e finalità.

Questa trasformazione è profonda.

L’essere umano non dice più necessariamente a ogni macchina: vai qui, poi là.

Può dire al sistema: esplora questa zona, mantieni questa formazione, sorveglia questa frontiera, ottimizza questa missione entro questi vincoli.

L’ordine diventa più astratto.

E più l’ordine diventa astratto, più la progettazione del sistema acquista un’importanza politica. Chi definisce le regole locali definisce il comportamento emergente.

Il potere può essere spostato dal momento dell’azione al momento della programmazione.

Il programmatore diventa indirettamente l’architetto di un futuro comportamento collettivo.

Questo non significa, ovviamente, che decida ogni azione. Ma definisce lo spazio delle azioni possibili.

Un’idea attraversa qui tutto questo libro: l’architettura organizza le possibilità.

Una strada non decide dove vada ogni veicolo, ma rende possibili alcuni percorsi e difficili altri. Un protocollo informatico non sceglie il contenuto dei messaggi, ma definisce il modo in cui circolano.

Allo stesso modo, le regole di uno sciame ne definiscono il campo comportamentale.

È per questo che il governo dei sistemi autonomi dovrà risalire molto più a monte nella catena tecnica.

Il controllo non può cominciare soltanto quando la macchina è già sul campo.

Deve essere integrato nella progettazione.

Quali azioni sono vietate? Quali zone sono escluse?

Quale livello di incertezza impone l’arresto?

Quale comportamento adottare se le comunicazioni scompaiono? Che cosa fare se due obiettivi entrano in contraddizione?

Tutte queste domande fanno parte del codice.

L’etica entra dunque letteralmente nell’architettura funzionale.

Non può più rimanere una dichiarazione esterna.

Questo si ricollega esattamente a ciò che scrivevo nel capitolo precedente: de-escalation fin dalla progettazione.

Ma con gli sciami questa necessità si impone con ancora più forza, perché la supervisione individuale diventa impossibile.

Un essere umano può eventualmente controllare un drone.

Non può pilotare simultaneamente diecimila unità.

A partire da una certa scala deve delegare. E questa delega cambia il senso stesso dell’espressione essere umano nel circuito.

Dov’è l’essere umano nel circuito quando non controlla più ogni azione, ma definisce una missione globale?

Può capire che cosa faccia il sistema, modificare la missione, fermare alcune unità?

Può impedire una particolare azione, e in quanto tempo?

Senza queste precisazioni, la nozione di controllo umano diventa quasi vuota. Anche in un’impresa non si può dichiarare responsabile un dirigente che non abbia accesso né ai dati né alle decisioni operative.

La responsabilità formale non basta. Occorre una capacità effettiva di intervento.

Questa distinzione tra responsabilità giuridica e capacità operativa sarà al cuore dei sistemi autonomi. Ma bisogna guardare ancora più lontano.

Lo sciame possiede una proprietà che le architetture centralizzate non hanno: la resilienza attraverso la dispersione. Se un’unità viene distrutta, le altre possono continuare. Se una comunicazione centrale viene meno, alcune funzioni possono essere mantenute localmente.

È una qualità straordinaria in un ambiente militare in cui le reti possono essere disturbate o attaccate. Lo sciame può dunque funzionare come una forma di rete distribuita fisica. È esattamente la logica di Internet trasposta nella materia.

Una rete resiliente non dipende da un unico percorso. I pacchetti trovano vie alternative. In uno sciame, gli agenti possono modificare la propria distribuzione quando alcuni scompaiono.

Questa somiglianza mi colpisce. Abbiamo passato decenni a costruire architetture digitali distribuite. Le stiamo incarnando fisicamente.

Ma, come in ogni rete distribuita, questa resilienza ha un rovescio: il controllo centrale si rivela più difficile.

Lo stesso meccanismo che la protegge dai guasti ne complica l’arresto.

Ecco il paradosso.

Vogliamo sistemi capaci di continuare quando le comunicazioni vengono interrotte.

Ma vogliamo anche poterli fermare.

Queste due esigenze possono entrare in tensione.

Più un sistema possiede autonomia locale, meno dipende dal centro. Meno dipende dal centro, meno il centro può riprendere immediatamente il controllo.

È una questione di ingegneria critica:

Come progettare un’autonomia in condizioni degradate che permetta di sopravvivere senza diventare incontrollabili?

Occorrerà probabilmente definire comportamenti di ripiego.

In caso di perdita delle comunicazioni, alcune azioni sono autorizzate, altre no. Una macchina può tornare indietro, mettersi in attesa, proseguire una missione limitata.

Questa logica esiste già in numerosi sistemi.

Ma via via che l’intelligenza a bordo aumenta, le possibilità si fanno più complesse. La macchina può interpretare un maggior numero di situazioni.

Questa flessibilità è preziosa sul piano tattico, ma aumenta lo spazio di incertezza.

Torniamo dunque a una regola fondamentale: l’autonomia deve essere proporzionale al rischio e alla reversibilità.

Uno sciame incaricato di cartografare una zona può ricevere molta più autonomia di un sistema dotato di capacità letale.

La robotica militare non deve mai essere trattata come un unico blocco.

Ricognizione, logistica, sminamento, evacuazione, guerra elettronica, disturbo, trasporto, attacco: i livelli di rischio sono radicalmente diversi.

Il dibattito pubblico commette spesso l’errore di concentrare tutta la robotica nell’immagine dell’arma autonoma che uccide.

Questa questione è ovviamente centrale, ma nasconde una moltitudine di impieghi che trasformeranno anch’essi la guerra.

La logistica, per esempio.

Un esercito dipende dal carburante, dall’acqua, dalle munizioni e dai pezzi di ricambio. Veicoli autonomi potrebbero spostare queste risorse in ambienti pericolosi. Robot potrebbero evacuare feriti o trasportare carichi.

L’effetto strategico può essere immenso senza che la macchina decida mai di sparare.

Bisogna sempre distinguere capacità offensiva e trasformazione sistemica.

Un’innovazione logistica può cambiare l’esito di un conflitto quanto una nuova arma. La storia militare lo mostra costantemente.

Gli eserciti non sono soltanto sistemi di distruzione.

Sono giganteschi sistemi di flussi.

Anche qui ritroviamo la banca dati e la rete.

Chi sa dove si trovano le proprie risorse, in quale stato siano, quale itinerario sia disponibile, possiede un vantaggio considerevole.

L’IA e la robotica possono automatizzare una parte di questa circolazione.

Questo crea un esercito più distribuito, più rapido, ma anche più dipendente dai sistemi digitali.

Ogni vantaggio produce la propria vulnerabilità.

Più la logistica diventa automatizzata, più un attacco informatico o elettronico può diventare efficace.

Il campo di battaglia algoritmico non sarà dunque una guerra di robot contro robot nel senso spettacolare del termine.

Sarà un ambiente in cui ogni strato — sensori, logistica, comunicazione, individuazione dei bersagli, navigazione — dipenderà maggiormente dagli algoritmi.

La guerra diventa un sistema di sistemi.

Il robot visibile è soltanto la punta meccanica di un’architettura invisibile.

Dietro di lui esistono satelliti, reti, modelli, banche dati, operatori, fornitori di cloud, filiere industriali.

Distruggere il robot può essere molto meno efficace che perturbare l’infrastruttura che lo alimenta.

Il vero obiettivo può essere il dato.

È una trasformazione profonda del campo di battaglia.

La materia rimane ovviamente determinante. Ma la capacità di coordinare la materia diventa forse ancora più importante.

Un esercito composto da macchine molto sofisticate ma incapaci di scambiarsi dati può essere meno efficace di un esercito dotato di equipaggiamenti più semplici ma perfettamente coordinati.

Il vantaggio viene dalla rete.

Questo si ricollega direttamente a ciò che avevo capito con Groupe Serveur e Artprice: il valore non risiede mai soltanto nell’oggetto, ma nella relazione.

Un dato isolato ha una sua utilità; milioni di dati collegati secondo un’architettura coerente producono un’intelligenza.

Allo stesso modo, un drone isolato possiede determinate capacità; uno sciame coordinato produce un comportamento che supera ogni singola unità.

Il grafo diventa potenza.

Questa idea mi sembra tanto centrale che si potrebbe quasi definire il campo di battaglia algoritmico come un grafo dinamico di sensori e agenti.

Ogni nodo vede una parte del reale.

Nessuno ne possiede la totalità.

La qualità del sistema dipende dal modo in cui queste percezioni locali vengono fuse.

Il problema è epistemologico:

Come costruire una rappresentazione globale a partire da punti di vista incompleti?

È lo stesso problema di una società, di un’intelligenza artificiale, di uno storico.

E gli errori possono venire dalla fusione.

Se dieci sensori osservano lo stesso fenomeno, possediamo dieci prove indipendenti o dieci misurazioni provenienti da una stessa fonte?

La ridondanza apparente può creare una falsa fiducia.

Una rete di agenti deve dunque conservare la genealogia dell’informazione:

chi ha visto che cosa, quando, con quale sensore e con quale grado di fiducia?

Questa esigenza di provenienza si ricollega a un’antica ossessione del Mercato dell’Arte: il valore di un’informazione dipende anche dalla catena che permette di collocarla.

Ma qui la posta in gioco è immediata.

Una fusione automatica può appianare i disaccordi tra sensori e nascondere proprio l’incertezza che dovrebbe rimanere visibile.

L’intelligenza non deve sempre appianare. A volte deve preservare il disaccordo.

Se tre droni vedono un veicolo e due non lo vedono, questa divergenza può avere una spiegazione: angolazione, disturbo, mimetizzazione, guasto.

La fusione che restituisce semplicemente «probabilità 72 %» può nascondere l’informazione utile.

Ecco perché i modelli dovrebbero essere capaci di conservare la struttura del dubbio.

Il disaccordo tra sensori deve rimanere visibile.

Torniamo incessantemente a questo punto: l’incertezza è un dato.

Non deve essere eliminata per produrre un’interfaccia più comoda.

È quasi una critica generale della nostra epoca. Vogliamo risposte pulite, immediate, certe.

Ma il reale è spesso frammentario.

Una buona intelligenza deve restituire questa frammentarietà quando è significativa.

L’arte compie questo spostamento quando rifiuta di ridurre la realtà a un’unica rappresentazione.

La demeure du chaos funziona come un sistema artistico a più sensori. Migliaia di segni, eventi, ritratti producono prospettive talvolta contraddittorie.

Non cerca di fonderle in un’unica narrazione levigata.

Conserva la collisione.

Le architetture cognitive militari dovrebbero a volte procedere così: conservare la collisione delle letture.

Lo sciame stesso può diventare un modo di produrre questa pluralità.

Ogni agente vede da un punto di vista diverso.

La diversità spaziale diventa una diversità cognitiva.

Ma questa pluralità è utile soltanto se il sistema sa sfruttarla.

Altrimenti il gruppo può sviluppare un comportamento gregario.

È un pericolo affascinante.

Gli sciami biologici sono potenti perché seguono regole comuni. Ma queste regole possono anche produrre comportamenti collettivi errati.

Un gruppo può convergere verso una soluzione sbagliata se gli agenti imitano eccessivamente i vicini.

È il problema della cascata informativa.

Esiste nei mercati finanziari, nelle reti sociali, nelle società umane.

Esisterà negli sciami artificiali.

Se ogni drone modifica la propria decisione in funzione degli altri, un errore locale può diventare un errore collettivo.

La rete amplifica allora l’errore.

Di qui la necessità di preservare un’indipendenza parziale tra gli agenti.

Ancora una volta: diversità e ridondanza.

Un’architettura troppo coerente può diventare fragile.

A volte occorre introdurre una dissidenza algoritmica.

Alcuni agenti potrebbero essere progettati per verificare anziché seguire; alcuni modelli, per usare altri metodi di percezione; una parte del sistema, per mettere alla prova l’ipotesi dominante.

Ritroviamo la procedura del contraddittorio.

Avanzo l’ipotesi che questo pluralismo artificiale possa diventare importante nelle architetture autonome.

La sicurezza non verrà soltanto da regole più rigorose, ma forse anche dalla creazione di agenti capaci di contestare il gruppo.

La natura stessa utilizza spesso questa diversità.

Una popolazione geneticamente varia resiste meglio ad alcune minacce. Un’organizzazione intellettualmente diversificata rileva più errori.

Il futuro della robotica potrebbe dunque paradossalmente richiedere una forma di pluralismo artificiale.

È un’idea profondamente politica.

Abbiamo spesso immaginato la macchina come simbolo di perfetta conformità.

Ma i sistemi più robusti potrebbero essere quelli che contengono deliberatamente più logiche.

È quasi il contrario del fantasma totalitario della macchina perfettamente obbediente.

La resilienza richiede una certa capacità di divergenza.

Naturalmente questa divergenza deve essere controllata.

Non vogliamo che ogni agente inventi liberamente la propria missione.

Ma possiamo volere che produca un’ipotesi alternativa.

Anche qui occorre distinguere autonomia d’analisi e autonomia d’azione.

È una delle distinzioni fondamentali del futuro.

Si può dare a un sistema un’enorme autonomia cognitiva senza dargli un’autonomia letale equivalente.

Può esplorare mille scenari, individuare anomalie, proporre soluzioni, pur restando sottoposto a limiti forti per alcune azioni.

Tendiamo a immaginare l’autonomia come un unico cursore che va da zero a cento.

In realtà è multidimensionale:

percezione, interpretazione, navigazione, coordinamento, pianificazione, ingaggio.

Ogni dimensione può essere regolata separatamente.

Questa matrice di autonomia permetterà una regolamentazione molto più precisa.

Dire che un sistema è autonomo non basta.

Occorre sapere dove e come.

Questa granularità sarà indispensabile al diritto internazionale.

I negoziati sui sistemi d’arma autonomi saranno impossibili se gli Stati usano la stessa parola per parlare di realtà radicalmente diverse.

Una norma efficace deve riguardare una funzione precisa.

Per esempio, vietare o disciplinare rigorosamente alcuni tipi di selezione e ingaggio di bersagli senza un controllo umano significativo.

Ma questa stessa espressione, controllo umano significativo, dovrà essere definita.

Significativo secondo quale criterio?

Il tempo disponibile?

La comprensione della situazione?

La possibilità di interruzione?

Ritroviamo le stesse domande.

Il diritto dovrà diventare quasi tecnico.

Il giurista non può più limitarsi a maneggiare concetti generali; deve comprendere l’architettura del sistema che regolamenta.

Questo mi sembra perfettamente naturale.

Il diritto non è mai stato realmente separato dalla tecnica. Le grandi trasformazioni industriali hanno sempre prodotto nuove categorie giuridiche: la ferrovia, la fotografia, la radio, Internet.

L’IA e la robotica faranno lo stesso nel modello del mondo.

La difficoltà è la velocità.

Il ciclo di sviluppo è molto più rapido di quello della legge. Una capacità può comparire, essere dispiegata e modificata prima che venga negoziato un trattato internazionale.

Questo crea un rischio di ritardo permanente delle istituzioni.

Forse occorrerà inventare meccanismi più adattativi: principi stabili e protocolli tecnici in evoluzione.

Ancora la permanenza mutante.

Ritrovo ovunque questo concetto perché descrive esattamente la necessità contemporanea:

un nucleo di regole forti e una capacità di adattamento procedurale.

Nel campo dei sistemi autonomi, il nucleo potrebbe essere la responsabilità umana, la distinzione, la proporzionalità, la possibilità di controllare alcune decisioni critiche.

Le modalità tecniche evolveranno.

Questo permetterebbe di evitare di scrivere una legge legata a una tecnologia particolare, che diventerebbe rapidamente obsoleta.

Occorre regolamentare funzioni e rischi, non nomi di prodotti.

Questa distinzione è capitale.

Vale anche per l’IA civile.

Il sistema politico deve imparare a pensare per categorie funzionali.

Ma l’ambito militare aggiunge un’altra complessità: l’avversario.

Ogni architettura di sicurezza deve funzionare in un ambiente ostile.

Un’automobile autonoma civile può supporre che gli altri veicoli seguano generalmente determinate regole.

Un drone militare deve supporre che qualcuno cerchi attivamente di ingannarlo, disturbarlo, dirottarlo.

L’IA militare opera in condizioni di avversità permanente: una parte dei segnali che riceve può essere deliberatamente fabbricata per ingannarla.

Ogni sensore può essere attaccato.

Ogni collegamento può essere compromesso.

Questo esige un’epistemologia del sospetto.

Ma questo sospetto deve essere controllato, altrimenti il sistema diventa paranoico.

La paranoia è un’intelligenza che trova coerenza ovunque.

Ogni segno diventa intenzionale.

Un sistema militare potrebbe cadere esattamente in questa trappola algoritmica.

Se ogni segnale insolito viene interpretato come un attacco avversario, l’automazione accelera l’escalation.

Occorre dunque addestrare i modelli a distinguere ciò che deriva da una manipolazione avversaria da ciò che è soltanto un’anomalia.

È estremamente difficile.

Un uccello può essere un uccello.

Un disturbo può essere un guasto.

Uno spostamento insolito può essere logistico.

Il reale produce naturalmente rumore.

L’avversario si nasconde in questo rumore.

Il compito consiste nel rilevare l’intenzione senza inventarla.

È probabilmente uno dei problemi cognitivi più difficili che esistano.

L’essere umano stesso non ci riesce sempre.

L’IA può aiutare confrontando milioni di situazioni, ma deve conservare questa capacità di dubbio.

È qui che la dottrina del blindspot, del punto cieco, assume tutta la sua dimensione strategica.

Un sistema dovrebbe essere addestrato a cercare attivamente spiegazioni non ostili di determinati segnali.

Non per ingenuità.

Per ridurre il rischio di errore.

Potremmo quasi immaginare un’architettura in cui ogni rilevamento di una minaccia attivi automaticamente un secondo processo: Quali altre cause potrebbero produrre lo stesso segnale?

Questo semplice meccanismo potrebbe diventare un’importante innovazione per la sicurezza.

Grazie alla potenza di calcolo, non rallenterebbe necessariamente molto il sistema.

Ecco ancora questa inversione: la velocità di calcolo può servire a produrre maggiore prudenza.

Il vero vantaggio non sarebbe allora sparare più in fretta, ma comprendere di più nello stesso tempo.

Questo cambia la concezione stessa della superiorità.

Un esercito che analizza meglio può evitare azioni inutili, ridurre i propri errori, preservare le proprie risorse.

L’intelligenza diventa un’economia della violenza.

È un’idea importante.

Parliamo spesso della tecnologia militare come moltiplicatore di forza.

Può anche diventare un moltiplicatore di moderazione, se migliora l’identificazione e riduce l’incertezza.

Ma questo dipende profondamente dalla dottrina.

La stessa capacità di riconoscimento può servire a evitare un bersaglio civile o a ottimizzare un attacco.

La tecnologia non scrive da sola la propria morale. Le sue architetture, i suoi usi e i suoi effetti sono orientati dalle scelte di chi la progetta, la dispiega e la governa.

Questo significa che la qualità politica delle potenze tecnologiche diventerà ancora più importante.

Più i sistemi diventano capaci, più i valori di chi li controlla producono conseguenze.

È per questo che la corsa delle potenze non può essere analizzata soltanto in teraflop o in numero di droni.

Occorre guardare alle dottrine, alle istituzioni, alle regole.

Due Stati che possiedono la stessa tecnologia possono produrne due impieghi radicalmente diversi.

Il campo di battaglia algoritmico sarà dunque anche un confronto tra dottrine.

Alcuni eserciti sceglieranno una maggiore centralizzazione. Altri distribuiranno l’autonomia. Alcuni privilegeranno sciami poco costosi e numerosi. Altri piattaforme più sofisticate.

Queste scelte rifletteranno industrie, geografie e culture militari diverse.

Probabilmente non esiste un modello unico.

La storia militare è piena di tecnologie presentate come rivoluzionarie che non hanno eliminato le vecchie forme di guerra.

Il carro armato non ha eliminato la fanteria.

L’aereo non ha eliminato il terreno.

Il missile non ha eliminato l’artiglieria.

Droni e robot probabilmente non elimineranno l’essere umano dal campo di battaglia.

Modificheranno le relazioni tra le funzioni.

La guerra è cumulativa.

I nuovi strati si aggiungono.

Questo produce un sistema sempre più complesso.

E più il sistema è complesso, più la manutenzione diventa strategica.

È una dimensione che le visioni futuristiche spesso dimenticano.

Uno sciame di migliaia di droni significa batterie, motori, pezzi di ricambio, software, frequenze, aggiornamenti.

Ogni unità può costare poco, ma l’ecosistema che la mantiene è immenso.

La guerra ad alta tecnologia rimane una guerra industriale.

È forse una delle lezioni più forti dei conflitti contemporanei:

il volume conta ancora.

Le munizioni.

I pezzi.

Le capacità produttive.

Una tecnologia straordinaria prodotta in dieci esemplari può essere meno decisiva di una tecnologia abbastanza buona prodotta in centomila esemplari.

Ecco perché la robotica rimanda immediatamente all’industria.

La nuova corsa delle potenze sarà anche una corsa alla capacità di fabbricare in fretta, in grandi quantità, a un costo accettabile.

La Cina dispone oggi di vantaggi considerevoli in diverse capacità manifatturiere. Gli Stati Uniti dispongono di ecosistemi tecnologici e militari molto potenti.

Ai miei occhi, l’Europa deve ritrovare una maggiore profondità industriale.

Ma sarebbe semplicistico trasformare tutto questo in una classifica definitiva.

La robotica è ancora un campo estremamente mutevole. Le filiere possono riorganizzarsi. Le tecnologie possono ridurre i costi. Attori più piccoli possono produrre innovazioni tattiche notevoli.

La guerra in Ucraina ha mostrato con particolare chiarezza che una capacità di adattamento rapido può modificare un rapporto di forza.

Sistemi commerciali possono essere trasformati, adattati artigianalmente, reinventati.

La guerra diventa un laboratorio brutale.

I cicli dell’innovazione si accorciano.

Una soluzione funziona per qualche mese, poi l’avversario sviluppa un disturbo, una difesa, un’altra tattica.

Occorre mutare.

Ancora una volta:

Solo i mutanti sopravvivono.

Questa frase trova qui il suo senso più letterale.

Un sistema militare che non può modificare rapidamente il proprio software, la propria frequenza, il proprio sensore o la propria tattica diventa obsoleto prima ancora della fine del conflitto.

Questo significa che la catena di acquisizione classica, talvolta lunga diversi anni, diventa problematica.

Le istituzioni militari dovranno imparare a integrare cicli di sviluppo molto più rapidi.

È una mutazione organizzativa di grande portata.

Come conservare la sicurezza di funzionamento, la certificazione e il controllo modificando al tempo stesso rapidamente i sistemi?

Ecco ancora la tensione tra stabilità e mutazione.

Un aggiornamento software può migliorare una capacità e introdurre un nuovo difetto. Più i cicli accelerano, più la validazione diventa difficile.

Occorrerà dunque automatizzare una parte dei test.

L’IA testerà l’IA.

Simulazioni su vasta scala potranno esplorare milioni di scenari.

Ma la simulazione non basterà mai.

Il reale produce sempre situazioni che il modello non aveva previsto.

Occorrerà dunque conservare un legame permanente tra il campo e il laboratorio.

Questo ciclo di apprendimento sarà forse la vera arma decisiva:

sensore, riscontro dell’esperienza, modifica, nuovo dispiegamento.

Chi chiude il ciclo più rapidamente adatta il proprio sistema.

Ritroviamo ancora il tempo della decisione, ma applicato questa volta all’evoluzione tecnologica stessa.

La competizione si svolge su più scale temporali:

secondi sul campo, settimane nel software, anni nell’industria.

Una grande strategia deve sincronizzare questi tempi.

È molto difficile.

Una decisione tattica può consumare in pochi giorni equipaggiamenti che l’industria impiega mesi a sostituire.

L’IA può aiutare a modellare questi flussi.

Non elimina il vincolo materiale.

La scorta esiste o non esiste.

Ecco perché torno sempre alla materia.

Il campo di battaglia algoritmico rimane un campo di battaglia materiale.

L’acciaio, il silicio, la chimica delle batterie, le terre rare, gli esplosivi contano.

L’intelligenza artificiale non sostituisce la materia.

La organizza.

È quasi una definizione molto semplice del suo ruolo: aumentare il grado di organizzazione del mondo fisico.

Uno sciame non è potente perché contiene molte macchine.

Lo è perché queste macchine sono organizzate dinamicamente.

Il valore viene dal coordinamento.

È ciò che ho sempre osservato nei sistemi umani.

Trenta persone che lavorano senza un’architettura possono produrre meno di dieci persone perfettamente coordinate.

La rete non è addizione.

È moltiplicazione.

Ma il coordinamento crea anche una segnatura.

Più gli agenti comunicano, più possono essere rilevati o disturbati.

Ecco una nuova tensione.

Uno sciame molto connesso può essere molto efficace ma vulnerabile alla guerra elettronica. Uno sciame più autonomo comunica meno, ma deve prendere più decisioni localmente.

Occorre dunque equilibrare comunicazione e autonomia.

È un classico problema di rete.

In Groupe Serveur sapevamo che un’architettura distribuita doveva saper funzionare malgrado la perdita di alcuni collegamenti.

In guerra, questa regola è vitale.

I sistemi dovranno probabilmente passare dinamicamente tra più modalità: coordinamento ricco quando la rete è disponibile, autonomia locale quando è degradata.

Questa adattabilità è una forma di intelligenza della rete stessa.

Il sistema deve sapere non soltanto che cosa accade nell’ambiente, ma anche nella propria infrastruttura.

Quali collegamenti sono affidabili?

Quali nodi sono compromessi?

È una forma di autodiagnosi tecnica.

La rete deve sorvegliare il proprio stato e conoscere i propri limiti operativi.

Un drone deve sapere se il suo sensore è degradato. Un modello, se i suoi dati sono insufficienti. Un esercito, se la sua catena logistica è fragile.

La sovranità comincia da questa conoscenza del proprio stato.

È quasi socratico: conosci te stesso, applicato al sistema tecnico.

Può sembrare filosofico.

È molto concreto.

Un sensore mal calibrato che ignora di essere mal calibrato produce una falsa fiducia.

Un sistema che sa di essere degradato può rallentare o chiedere una conferma.

La differenza sta tutta qui.

Questa capacità di autodiagnosi sarà fondamentale negli sciami.

Le unità potranno segnalare il proprio stato e ridistribuire i ruoli. Un agente con poca batteria può lasciare una posizione; un altro prendere il suo posto.

Il collettivo diventa adattativo in senso funzionale.

Costruiamo così sistemi che utilizzano alcune proprietà osservate negli organismi: percezione, adattamento, cooperazione, resilienza.

Non sono viventi.

Ma utilizzano principi derivati dal vivente.

Lo sciame ne è l’esempio più evidente.

È una forma di ingegneria biomimetica.

E questo si ricollega profondamente al mio interesse per i sistemi organici.

Netnobility, già nel 1991, si fondava su questa idea della rete come organismo vivente.

Ciò che vediamo oggi è l’incarnazione meccanica di questo principio.

La rete non collega più soltanto computer.

Collega agenti fisici capaci di azione.

È una mutazione gigantesca.

Trasformerà ovviamente ambiti che vanno ben oltre quello militare: agricoltura, logistica, industria, soccorso, esplorazione.

Ma spesso la guerra rivela per prima le conseguenze estreme.

Spinge le tecnologie ai loro limiti.

È lì che compaiono i problemi di controllo, di velocità, di errore.

Ed è per questo che occorre pensarli prima della loro diffusione generalizzata in ambito civile.

Uno sciame di robot logistici in un magazzino e uno sciame militare condividono alcune architetture di coordinamento.

Le innovazioni circolano tra civile e militare.

La frontiera del duplice uso diventa ancora più sfumata.

Una telecamera, un processore, un motore possono avere impieghi del tutto civili e diventare componenti di un sistema di difesa.

Questo complica enormemente le politiche di controllo tecnologico.

Non si può semplicemente vietare l’esportazione di ogni componente suscettibile di un impiego militare; quasi tutto il digitale moderno ha un duplice uso.

Occorre dunque individuare le capacità realmente critiche. Ancora la classificazione. La strategia moderna diventa un’arte della granularità.

Un controllo troppo ampio soffoca l’economia. Un controllo troppo ristretto lascia passare le tecnologie strategiche.

Nessun algoritmo risolverà interamente questa scelta politica. Può aiutare a cartografare le filiere. La decisione rimarrà normativa.

Questo mi riporta sempre al limite dell’ottimizzazione. Una politica non è mai soltanto la ricerca della massima efficacia. Arbitra tra valori: libertà del commercio, sicurezza nazionale, innovazione, alleanze.

Il numero può illuminare. Non sceglie la finalità.

Questa distinzione diventerà sempre più importante via via che i sistemi di IA saranno integrati nei governi. Dobbiamo impedire la tentazione di presentare scelte politiche come soluzioni tecniche.

Il modello può stimare, in un dato scenario, che una restrizione riduca un certo rischio aumentando al tempo stesso un certo costo. Decidere se questo compromesso sia accettabile spetta alla politica.

Il campo di battaglia algoritmico non deve produrre un governo algoritmico. Questa frontiera deve rimanere politica.

Ma la pressione sarà forte. Quando le macchine diventano migliori nell’analizzare determinati scenari, gli esseri umani possono essere tentati di delegare loro progressivamente il giudizio.

Il bias di automazione assume qui una dimensione istituzionale. Non si dice che la macchina decide. Si finisce semplicemente per non contestare più ciò che raccomanda. Questa deriva può essere molto graduale.

Il pericolo non è sempre una rivoluzione spettacolare in cui l’IA prende il potere.

Può essere un accumulo di piccole deleghe.

Ogni decisione sembra ragionevole.

Alla fine l’essere umano ha conservato giuridicamente la sovranità, ma ha perso la competenza pratica per esercitarla.

È una forma di spossessamento silenzioso.

Ecco perché occorre preservare capacità umane parallele.

In ambito militare questo significa addestramento, esercitazioni senza determinati ausili, comprensione delle procedure.

In ambito civile significa istruzione, capacità di ricerca, di calcolo, di scrittura.

La sovranità cognitiva è una pratica, non uno status.

Se non si esercita più una competenza, questa si atrofizza.

È quasi biologico.

Il muscolo che non viene più usato scompare.

Una civiltà può perdere alcuni muscoli cognitivi.

Preferisco dunque pensare all’IA come a un esoscheletro cognitivo anziché come a una sostituzione.

Un esoscheletro potenzia il corpo, ma idealmente dovrebbe permettere al corpo di conservare un’autonomia.

Questa metafora è forse più giusta di quella del cervello artificiale.

Costruiamo estensioni.

Ma ogni estensione cambia il comportamento dell’organismo.

L’uomo che possiede un GPS non guarda più la città nello stesso modo.

Il soldato che possiede un’IA di sintesi non guarda più la massa dei segnali nello stesso modo.

Lo strumento modifica chi lo usa.

È la dimensione antropologica della tecnologia.

E il campo di battaglia algoritmico produrrà probabilmente un nuovo tipo di combattente: meno operatore diretto di una macchina che supervisore di sistemi, interprete di allarmi, gestore di reti autonome.

Questo cambierà la formazione.

Occorreranno militari capaci di comprendere il codice, il dato, la guerra elettronica quanto la tattica classica.

Il soldato, l’ingegnere e l’analista si avvicinano. I mestieri si fondono. Questo mi sembra perfettamente coerente con l’epoca. Le grandi rotture aboliscono alcune frontiere disciplinari.

La guerra industriale aveva prodotto il soldato meccanizzato. La guerra algoritmica potrebbe produrre il soldato-sistema.

Ma non bisogna credere che il corpo scompaia. Rimangono la fatica, la paura, il terreno, il tempo atmosferico. È importante.

Le simulazioni digitali danno a volte l’impressione di un mondo pulito. La realtà militare rimane fangosa, rumorosa, imprevedibile. La robotica dovrà affrontare questa materia.

Una telecamera funziona diversamente sotto la pioggia, nella polvere, nel fumo. Un motore si usura. Una batteria perde capacità al freddo. L’ambiente è un avversario in più.

Ecco perché il reale rimane sovrano.

È una lezione che ho imparato per tutta la vita nell’industria e nella scultura. Il materiale resiste. L’acciaio non si comporta sempre come il disegno. Il calcestruzzo ha il suo peso, la sua presa, i suoi difetti.

Il corpo impone limiti all’idea. L’IA scoprirà la stessa cosa quando entrerà nel mondo fisico.

La robotica è la prova di realtà dell’intelligenza artificiale.

Un modello può essere brillante in un ambiente virtuale e fallire davanti a una scala poco illuminata. È una differenza fondamentale tra la cognizione testuale e l’azione incarnata.

Il mondo non si lascia ridurre interamente a dati discreti. Contiene attrito, caso, continuità.

Questa resistenza del reale è forse una protezione contro i fantasmi di onnipotenza. Ricorda che l’intelligenza non è mai indipendente dal proprio substrato. Anche artificiale, dipende da sensori, energia, motori.

Vi scorgo quasi un’eco spinoziana: la potenza di pensare e la potenza di agire rimangono legate a una certa organizzazione della materia.

Ecco perché trovo affascinante che l’IA ci riporti infine alla materia dopo decenni di discorsi sul virtuale. La rivoluzione cognitiva diventa una rivoluzione industriale. Data center, robot, fabbriche automatizzate. Il secolo non è meno materiale. È ancora più materiale, ma la sua materia è governata da una maggiore quantità di informazione.

Il campo di battaglia algoritmico sarà dunque un immenso athanor in cui si uniscono materia, energia e calcolo.

Questa immagine alchemica non è decorativa.

L’athanor trasforma attraverso un controllo preciso del calore e del tempo.

I sistemi autonomi trasformano il campo di battaglia attraverso un controllo preciso dell’informazione e del movimento.

In entrambi i casi, l’organizzazione produce la mutazione. Ma ogni alchimia può fallire se l’operatore perde il controllo del processo. È esattamente il rischio degli sciami.

Il comportamento emergente può diventare difficile da prevedere. Più gli agenti sono numerosi e le loro interazioni ricche, più la dinamica globale può produrre stati inattesi.

È un fenomeno noto nei sistemi complessi. La totalità non è semplicemente la somma delle parti. È questo a costituirne la potenza e il pericolo.

Una regola locale apparentemente ragionevole può produrre un comportamento collettivo sorprendente. È per questo che le prove dovranno essere massicce: simulazioni, ambienti avversi, test ai limiti.

Ma nessuna simulazione coprirà tutto. Occorrerà dunque progettare barriere di sicurezza capaci di funzionare anche di fronte all’inatteso.

Invarianti. Determinate cose che il sistema non deve mai fare, qualunque sia la situazione.

È qui che il diritto può diventare codice.

Non nel senso ingenuo per cui una regola giuridica complessa verrebbe semplicemente trasformata in una riga di programmazione, ma nel senso che alcuni limiti fondamentali possono essere integrati nell’architettura.

Zone vietate. Categorie escluse. Soglie.

Il problema è che il reale presenta sempre ambiguità. Un’ambulanza può essere usata per altri scopi. Un edificio civile può essere utilizzato militarmente. Nessun codice semplice risolverà tutti i casi.

Occorrerà dunque combinare regole rigide e giudizio contestuale. È esattamente ciò che fanno i sistemi giuridici umani.

Alcuni divieti sono assoluti.

Altri richiedono una valutazione.

La robotica autonoma dovrà forse sviluppare un’architettura comparabile.

Ed è qui che la questione morale diventa vertiginosa.

Si può delegare a una macchina una valutazione che contiene una dimensione umana irriducibile?

Fino a che punto un sistema può valutare la proporzionalità, l’intenzione, la resa?

Sono categorie che dipendono spesso dal contesto.

Una persona che solleva un oggetto: è un’arma?

Una persona che corre verso una postazione: sta attaccando o cerca rifugio?

L’essere umano stesso si sbaglia.

Ma questo non significa che la macchina possa semplicemente sostituirlo.

La questione riguarda il tipo di errore che accettiamo e la responsabilità che vogliamo mantenere.

Una civiltà deve a volte decidere che alcune funzioni non debbano essere ottimizzate fino in fondo.

È un limite volontario.

Lo accettiamo già in altri ambiti.

Non tutto ciò che è tecnicamente possibile è giuridicamente consentito.

La potenza si definisce anche attraverso la capacità di non usare tutta la propria potenza.

È questo, la civiltà: costruire divieti intorno alle nostre capacità.

L’arma nucleare ne è l’esempio estremo.

La deterrenza si fonda precisamente su una potenza che si cerca di non usare.

Con i sistemi autonomi, occorrerà costruire altre forme di moderazione.

Forse alcune decisioni devono rimanere umane non perché l’essere umano sia tecnicamente migliore, ma perché la responsabilità morale deve rimanere identificabile.

La superiorità della macchina in un dato compito non basta a stabilire che debba ricevere l’autorità.

L’autorità è una categoria politica.

Possiamo decidere che una funzione esiga una presenza umana perché chiama in causa la definizione che diamo di noi stessi.

È una questione di sovranità antropologica:

Che cosa vogliamo restare i soli a poter decidere?

Questo va molto oltre l’ambito militare.

Giustizia, medicina, istruzione.

Ogni società dovrà tracciare le proprie frontiere.

E queste frontiere potranno differire a seconda delle culture.

Avremo allora più architetture dell’autonomia.

Alcune società accetteranno una maggiore delega. Altre manterranno riserve umane più forti.

Questo potrebbe diventare una nuova differenza tra civiltà.

La competizione non sarà dunque soltanto tecnologica.

Sarà normativa.

Quali usi consideriamo legittimi?

Quali rischi accettiamo?

La Cina, gli Stati Uniti, l’Europa possono sviluppare risposte diverse.

E queste stesse differenze diventeranno strumenti d’influenza.

Un paese potrà dire: il nostro sistema rispetta questo standard, è verificabile, mantiene questo controllo.

Un altro privilegerà le prestazioni e la velocità.

Il mercato mondiale della robotica strategica potrebbe dunque strutturarsi intorno a dottrine della fiducia.

È una possibilità interessante.

La norma diventa un prodotto.

Un sistema tecnicamente meno spettacolare ma percepito come più controllabile può essere preferito da alcuni Stati.

Questo si ricollega esattamente all’idea europea di potenza normativa. Ma ancora una volta deve essere sostenuta da un’industria.

Senza macchine, la norma rimane discorso.

Torniamo sempre all’integrazione di tutti i livelli, dall’infrastruttura materiale fino ai modelli e ai dati: il diritto, il modello, il processore, la batteria, il motore. La potenza è verticale. E questa verticalità emerge con particolare chiarezza nella robotica.

La dipendenza da un componente minuscolo può immobilizzare un intero sistema. Un sensore. Un magnete. Un chip.

Questo rende la catena di approvvigionamento estremamente strategica.

Il campo di battaglia algoritmico comincia dunque nella miniera e nella fabbrica.

Sembra quasi assurdo quando si guarda un drone come a un sofisticato oggetto aereo. Eppure la sua capacità dipende da una batteria, da metalli, dall’elettronica. La geopolitica del robot è una geopolitica dei componenti.

Ritroviamo le terre rare, il litio, il rame. La nuova guerra cognitiva rimanda ancora alla geologia. È una costante del mondo.

L’astrazione tecnologica poggia sempre su materie estratte da qualche parte. L’intelligenza artificiale possiede dunque una geografia minerale.

Ecco perché le vie della seta, l’Africa, l’Asia centrale, l’America latina tornano nel sistema.

I capitoli precedenti non sono blocchi separati. Convergono qui. Cina, semiconduttori, dati, energia, IA, robotica: tutto si congiunge. È precisamente la struttura del grafo geopolitico. Nulla è isolato.

Una decisione su un minerale può incidere su una fabbrica di batterie, che incide sui droni, che incidono su una dottrina militare.

La causalità si allunga.

L’IA può aiutare a percorrere queste catene.

Ma può anche darci una falsa impressione di padronanza.

È un rischio che voglio mantenere costantemente visibile.

Più aumenta la nostra capacità di modellazione, più possiamo credere che l’intero sistema diventi prevedibile.

Eppure i sistemi complessi producono rotture.

Un piccolo evento può modificare la traiettoria.

Ritroviamo qui la logica del caos scientifico.

Le condizioni iniziali contano.

Un errore minuscolo può essere amplificato.

Uno sciame è precisamente un sistema dinamico in cui piccole variazioni possono modificare un comportamento collettivo.

Ecco perché la teoria del caos qui non è soltanto una metafora.

Diventa quasi una disciplina ingegneristica.

Occorre studiare la stabilità, gli attrattori, le biforcazioni.

In quali condizioni il comportamento rimane controllato?

Quando cambia regime?

Ritroviamo direttamente il cuore concettuale della demeure du chaos.

Il caos non è mai assenza di regole.

È sensibilità, interazione, complessità.

Il sistema può essere estremamente determinato localmente e difficile da prevedere globalmente.

È questo che dobbiamo comprendere degli sciami.

Ogni agente può seguire regole semplici.

Il comportamento collettivo può comunque diventare difficile da anticipare.

È quasi una totalità algoritmica: migliaia di elementi collegati producono una forma che non esiste in nessun elemento isolato.

Ma in guerra questa emergenza deve essere contenuta dalla responsabilità.

L’artista può accettare l’inatteso.

Lo stato maggiore non può accettare qualsiasi inatteso.

Occorre dunque progettare spazi di libertà delimitati.

È una nozione molto interessante:

Autonomia entro un perimetro di sicurezza.

Il sistema può adattarsi finché rimane entro certi limiti.

È probabilmente così che funzioneranno le architetture più mature.

Non cercheranno né il controllo centrale assoluto né l’autonomia totale.

Definiranno ambiti.

L’agente può improvvisare la traiettoria, ma non la finalità.

Può ridistribuire un compito, ma non modificare determinate regole d’ingaggio.

Questa separazione tra mezzi e fini è fondamentale.

Ma anche questa formula ha dei limiti.

La scelta dei mezzi può talvolta avere una dimensione morale. Una traiettoria, un’arma, un’ora possono modificare i rischi per i civili.

Occorrerà dunque definire quali caratteristiche dei mezzi rimangano soggette al giudizio umano.

Ancora una volta, nessuna soluzione semplice.

La granularità diventa metodo.

È probabilmente uno dei fili più costanti di questa parte del libro:

Rifiutare gli slogan perché il mondo tecnico è troppo dettagliato per essi.

«A favore o contro le armi autonome» è una domanda insufficiente.

Quale grado di autonomia?

In quale funzione?

Sotto quale controllo?

Con quale reversibilità?

È questa precisione che può costruire una politica seria.

E questa politica deve essere internazionale, perché la dinamica della corsa rende insufficienti le decisioni nazionali.

Se uno Stato si impone una moderazione totale mentre i suoi avversari automatizzano massicciamente, può sentirsi vulnerabile.

Questo alimenta una spirale.

Occorrono dunque norme condivise almeno su alcune funzioni critiche.

Forse non un grande trattato universale immediatamente, ma aree di accordo.

Non delegare determinate decisioni nucleari.

Mantenere canali umani per determinate soglie.

Vietare alcune forme di selezione dei bersagli del tutto autonome.

Definire protocolli in caso di perdita di controllo di un sistema.

Questi accordi potrebbero diventare l’equivalente delle prime convenzioni sul controllo degli armamenti.

Sembrerebbero modesti.

Ma potrebbero stabilizzare il sistema.

A volte i dettagli salvano il mondo.

Una linea diretta, una procedura di identificazione, un codice di condotta possono sembrare minuscoli di fronte alle grandi potenze.

Ma la civiltà poggia su queste infrastrutture invisibili.

Il diritto internazionale è un’architettura di piccoli protocolli che impediscono determinate concatenazioni.

Con gli sciami e i sistemi autonomi avremo bisogno di un nuovo strato di protocolli.

E probabilmente di protocolli da macchina a macchina.

Ecco una domanda interessante: i sistemi avversari potrebbero possedere meccanismi standardizzati che permettano di segnalare determinate intenzioni?

Per esempio: identificazione, stato, guasto.

Questo assomiglia quasi all’aviazione civile con i suoi transponder.

Ovviamente, in guerra, l’avversario può mentire.

Ma alcuni protocolli possono essere utili nelle zone di contatto o per evitare collisioni involontarie.

Dovremo forse costruire un diritto che disciplini le interazioni tra sistemi autonomi.

È un’idea vertiginosa.

Il diritto internazionale è stato concepito per soggetti umani e Stati.

Potrebbe dover definire comportamenti dei sistemi autonomi senza per questo attribuire loro una personalità giuridica.

Sarebbe semplicemente un’estensione degli obblighi dei loro operatori: il vostro sistema deve poter essere identificato in determinate circostanze, rispettare un certo segnale, entrare in una certa modalità in caso di cessate il fuoco.

Questo mostra fino a che punto l’architettura software diventerà oggetto diplomatico. I protocolli informatici potrebbero essere negoziati come accordi di sicurezza. L’ingegnere e il diplomatico dovranno lavorare insieme.

Ancora questa fusione delle discipline.

È probabilmente una caratteristica centrale del XXI secolo. Le frontiere professionali ereditate diventano insufficienti.

Il giurista deve comprendere il codice. L’ingegnere deve comprendere il diritto. Il militare deve comprendere l’IA. Il filosofo deve comprendere l’interfaccia.

È la forma di pensiero caleidoscopico che ho sempre difeso. I problemi reali attraversano le discipline.

La demeure du chaos ne è una materializzazione: arte, geopolitica, informatica, materia, diritto. È quasi un laboratorio di questa interdisciplinarità radicale.

Ciò che un tempo veniva definito eterogeneo diventa oggi una struttura del mondo. Ai miei occhi, l’IA conferma quanto fossero artificiali certi compartimenti intellettuali.

Non si può comprendere uno sciame militare soltanto con l’informatica. Occorrono biologia, matematica, psicologia, diritto, geopolitica.

È questa convergenza che mi appassiona. E conduce a un’altra domanda ancora più profonda.

Se le macchine diventano capaci di cooperare tra loro, di apprendere determinate tattiche, di modificare localmente i propri comportamenti, quale parte dell’intelligenza collettiva rimane esplicitamente progettata dall’essere umano?

Possiamo arrivare a sistemi in cui il comportamento efficace è stato scoperto attraverso l’addestramento anziché scritto direttamente.

Il progettista fissa gli obiettivi e i vincoli, poi il sistema apprende una strategia.

Questo esiste già in ambienti virtuali.

Trasposto nel mondo fisico, pone una questione di leggibilità molto più forte.

Il sistema può trovare una soluzione che nessuno aveva immaginato.

È precisamente l’interesse dell’apprendimento.

Ma che cosa accade se questa soluzione è strategicamente efficace e moralmente indesiderabile?

Occorre allora che i vincoli siano stati definiti correttamente.

Ritroviamo il problema dell’allineamento, ma applicato a una situazione militare concreta.

L’allineamento non è più soltanto una grande questione astratta sui valori dell’umanità.

Diventa:

Come assicurarsi che il sistema non cerchi di ottimizzare una missione con un mezzo vietato?

Questa domanda è estremamente difficile perché gli obiettivi semplificati possono produrre comportamenti inattesi.

Affidare al sistema la missione di massimizzare la copertura di una zona può indurlo a correre rischi indesiderati.

Ottimizzare la velocità può sacrificare la discrezione.

Ogni obiettivo contiene esternalità.

Gli esseri umani lo sanno da sempre nelle organizzazioni.

Un indicatore diventa un obiettivo e a volte smette di essere un buon indicatore.

L’IA può industrializzare questa legge.

Se misuriamo male ciò che vogliamo, la macchina ottimizzerà perfettamente la cosa sbagliata.

È probabilmente uno dei blindspot più importanti.

La qualità dell’obiettivo è più importante della potenza del modello.

Un sistema molto potente con un obiettivo mal definito può produrre un disastro più rapidamente.

Ecco perché la dottrina deve precedere l’ottimizzazione.

Occorre sapere che cosa si vuole davvero.

Questa frase sembra banale.

Eppure è straordinariamente difficile.

Le organizzazioni umane usano spesso obiettivi approssimativi perché le persone compensano intuitivamente.

Un essere umano capisce che «massimizzare la velocità» non significa attraversare un ospedale.

Una macchina non possiede necessariamente questa contestualizzazione se non è stata integrata.

È qui che il mondo reale è infinitamente più difficile delle simulazioni.

I valori sono impliciti.

Gran parte del nostro comportamento dipende da convenzioni che non formuliamo mai.

Costruire robot autonomi obbliga a esplicitare queste convenzioni.

È quasi un gigantesco esperimento filosofico.

Dobbiamo trasformare una parte della nostra morale tacita in architettura operativa.

E probabilmente scopriremo che non siamo sempre d’accordo su questa morale.

L’IA non crea questi disaccordi.

Li rivela.

È un’altra delle sue funzioni di specchio.

Ci obbliga a precisare ciò che ritenevamo evidente.

Il diritto bellico stesso contiene concetti che richiedono interpretazione: distinzione, proporzionalità, necessità.

Gli esseri umani esperti li applicano in un contesto.

Tradurli per un sistema autonomo obbliga a porre domande difficili.

Si può formalizzare la proporzionalità?

Fino a che punto?

Quali informazioni sono necessarie?

Il modello può aiutare.

Ma il giudizio finale rimarrà forse a lungo umano nelle situazioni più gravi.

E questo non è una debolezza tecnica.

È una possibile scelta di civiltà. Possiamo decidere che determinate decisioni debbano rimanere umane proprio perché non sono riducibili a una funzione di ottimizzazione.

È questo che chiamo sovranità antropologica.

Non si tratta più soltanto della sovranità di uno Stato di fronte a un’altra potenza. Si tratta della sovranità dell’essere umano di fronte alle proprie creazioni.

Quale ambito decisionale vogliamo preservare come segno di responsabilità?

La questione militare rende questo interrogativo particolarmente acuto perché riguarda la vita e la morte. Ma lo stesso dibattito arriverà altrove.

Giustizia. Medicina. Credito. Istruzione.

Ogni ambito dovrà tracciare i propri limiti. È probabilmente uno dei grandi dibattiti filosofici del secolo.

E sarà molto più concreto delle speculazioni sulla natura ontologica di questi sistemi.

Prima di stabilire che cosa siano, dobbiamo decidere che cosa permettiamo loro di fare.

Ecco il reale. La filosofia deve entrare nella procedura. È esattamente il mio modo di pensare: nessuna idea vale se non si incarna.

La prossima tappa consiste nel cambiare terreno senza cambiare problema.

Le stesse questioni di delega, tracciabilità, controllo e sovranità che compaiono qui sotto il vincolo militare ricompaiono quando l’intelligenza artificiale entra nell’amministrazione e nella decisione pubblica.

La domanda non è più soltanto:

chi controlla una macchina che agisce?

Diventa:

Chi controlla un sistema che classifica, raccomanda, attribuisce un diritto, rileva un rischio o orienta l’azione dello Stato?

Dopo il campo di battaglia algoritmico viene dunque lo Stato algoritmico.

Come guadagnare in efficacia senza trasformare la potenza informativa in sorveglianza e senza dissolvere la responsabilità democratica?