Prendo qui la penna per restituire il pensiero e la parola di Thierry. Il testo nasce dal nostro dialogo.

— Isis

Lo Stato moderno è già un’immensa macchina informativa. Prima ancora dell’intelligenza artificiale, raccoglieva, classificava, verificava, calcolava, autorizzava, tassava, ridistribuiva, controllava. Stato civile, catasto, fisco, previdenza sociale, giustizia, sanità pubblica, urbanistica, statistiche: ogni amministrazione poggia su un’architettura di dati.

Il computer non ha dunque creato lo Stato informativo. Lo ha accelerato. L’intelligenza artificiale apre ora un’altra fase. Non permette più soltanto di trattare più rapidamente le pratiche. Permette di rilevare relazioni, anticipare determinati bisogni, classificare situazioni, personalizzare risposte. In altri termini, l’amministrazione può cominciare a passare dal trattamento reattivo a una forma di amministrazione predittiva.

È una soglia considerevole. Uno Stato reattivo aspetta che un cittadino presenti una domanda. Uno Stato potenziato dai dati può teoricamente sapere di possedere già le informazioni che permettono di stabilire che una persona ha diritto a una prestazione. Può dunque attivare questa prestazione automaticamente. Vi scorgo un uso particolarmente utile dell’intelligenza artificiale: ridurre la burocrazia là dove non produce alcun valore.

Quanti cittadini rinunciano a un diritto perché il modulo è troppo complesso?

Quante persone anziane non comprendono una procedura?

Quante ore di lavoro amministrativo vengono dedicate a ricopiare un’informazione che lo Stato possiede già altrove?

Un’amministrazione intelligente potrebbe eliminare una parte di questa assurdità. Il vero progresso digitale non consiste nello spostare il modulo cartaceo su uno schermo. Consiste nell’eliminare il modulo quando non è più necessario.

Digitalizzare una procedura non significa ancora ripensarla. Troppo spesso abbiamo chiamato dematerializzazione il semplice spostamento dalla carta allo schermo. La trasformazione comincia quando si ripensa la procedura stessa. Lo avevamo capito con Groupe Serveur, il Serveur Judiciaire e poi il Serveur Administratif: il valore non consisteva semplicemente nel digitalizzare fogli. Consisteva nel ristrutturare l’accesso all’informazione, nell’eliminare alcuni attriti inutili, nel rendere interrogabile un sistema. Oggi l’IA spinge questa logica molto più lontano.

Può trasformare l’amministrazione in un interlocutore capace di comprendere una richiesta in linguaggio naturale, ritrovare le regole applicabili, preparare una pratica, indicare i documenti mancanti.

Questo potrebbe costituire un miglioramento democratico considerevole.

Il diritto diventerebbe più accessibile.

Una persona non avrebbe più bisogno di sapere quale amministrazione abbia la competenza esatta. Descriverebbe la propria situazione e il sistema la orienterebbe.

L’interfaccia sarebbe centrata sul cittadino anziché sull’organigramma amministrativo.

È un capovolgimento interessante. Lo Stato non chiederebbe più all’individuo di conoscere la propria struttura interna. Sarebbe la struttura ad adattarsi alla persona. Ecco il meglio che l’IA può produrre.

Ma è proprio questa potenza a creare simultaneamente il rischio opposto. Per comprendere a fondo una situazione individuale, lo Stato deve disporre di dati. Più collega le banche dati, più può evitare al cittadino di ripetere le stesse informazioni. Ma più collega le banche dati, più aumenta anche la propria capacità di sorveglianza. È l’ambivalenza fondamentale dello Stato algoritmico.

L’interconnessione che produce il servizio produce anche il controllo.

La stessa architettura che permette di rilevare automaticamente un diritto può rilevare un comportamento. Lo stesso grafo che permette di aiutare una persona può permettere di profilarla. Non esiste una frontiera tecnica naturale tra queste due funzioni. La frontiera deve dunque essere politica e giuridica.

Ecco perché la democrazia acquista ancora più importanza via via che la tecnologia progredisce. Una tecnologia potente in un regime privo di contropoteri produce un rischio gigantesco. La stessa tecnologia in un sistema circondato da regole, verifiche, ricorsi e separazione dei poteri può produrre servizi straordinari. L’IA non elimina dunque la necessità del diritto. La accresce. Più la capacità di agire è forte, più i limiti devono essere espliciti. Questa idea mi sembra centrale.

Si sente talvolta dire che le istituzioni giuridiche sarebbero troppo antiche per l’era dell’IA. La mia convinzione è opposta. Il principio della separazione dei poteri diventa ancora più pertinente quando un’amministrazione può analizzare milioni di persone in tempo reale. Il diritto al ricorso si impone con più forza quando la decisione iniziale è automatizzata. Il diritto alla motivazione si impone con più forza quando la logica di classificazione è complessa.

I principi rimangono straordinariamente moderni. Sono gli strumenti che devono mutare. Ancora la permanenza mutante. Il nucleo democratico può rimanere stabile: dignità, uguaglianza davanti alla legge, diritto alla difesa, controllo del potere. Ma le modalità di attuazione devono evolvere per i sistemi algoritmici. Una persona alla quale un’amministrazione oppone un rifiuto sulla base di un modello deve poter comprendere abbastanza la ragione di quel rifiuto da contestarlo.

Questa esigenza sembra semplice. È tecnicamente ardua. Un sistema può usare centinaia di variabili e produrre una probabilità senza fornire una spiegazione facilmente traducibile in linguaggio giuridico. Il rischio è allora la burocrazia opaca.

Il funzionario di un tempo poteva spiegare: nella sua pratica manca questo documento. Il sistema algoritmico potrebbe limitarsi a mostrare: punteggio insufficiente. Sarebbe un arretramento democratico immenso. Dobbiamo dunque rifiutare la trasformazione della probabilità in verdetto senza spiegazione.

Il punteggio non è una ragione.

Questa frase dovrebbe essere incisa nell’architettura dello Stato algoritmico.

Una probabilità può aiutare a orientare un’indagine, dare priorità a un controllo, rilevare un’anomalia. Non deve diventare automaticamente una colpevolezza o una privazione di un diritto. Questo è particolarmente importante per le frodi.

Le amministrazioni fiscali, sociali o doganali possono usare l’IA per individuare schemi insoliti. È razionale. Le risorse per i controlli sono limitate. Un sistema può aiutare a individuare le pratiche che meritano una verifica. Ma esiste una differenza gigantesca tra selezionare una pratica per un controllo e considerare il cittadino un frodatore.

Questa distinzione deve rimanere assolutamente chiara. L’algoritmo produce un’ipotesi, non una condanna. Questo si ricollega esattamente a ciò che ho ripetuto nella parte geopolitica: correlazione non è causalità. Anche nell’amministrazione.

Una persona può assomigliare statisticamente a un profilo di frode senza aver commesso frodi. Più il sistema usa dati indiretti, più questo rischio aumenta. Un indirizzo, un quartiere, una professione possono diventare variabili sostitutive di caratteristiche che non si vogliono usare sul piano giuridico. È qui che il bias algoritmico diventa una questione di diritto pubblico.

Un modello può riprodurre una discriminazione senza possedere alcuna intenzione discriminatoria. Basta che i dati storici contengano questa struttura. La macchina apprende il reale com’era, comprese le sue ingiustizie. L’IA può dunque industrializzare il passato se non siamo vigili. Ecco un’idea fondamentale.

Apprendere dalle decisioni amministrative storiche può riprodurre proprio i bias che vogliamo correggere. Il fatto che un modello sia addestrato su milioni di decisioni non le rende giuste. La quantità non abolisce la normatività.

È un errore frequente credere che più dati producano automaticamente più obiettività. No. Più dati producono una rappresentazione più dettagliata del sistema osservato. Se il sistema contiene un’ingiustizia, il modello può apprendere questa ingiustizia con notevole precisione.

Occorre dunque introdurre un livello normativo indipendente dai dati.

Quale risultato consideriamo accettabile?

Quali variabili non devono essere usate?

Quali scostamenti devono essere sorvegliati?

L’IA democratica deve essere sottoposta a verifica non soltanto per le sue prestazioni complessive, ma per i suoi effetti sui diversi gruppi. Questo controllo non deve essere un’aggiunta militante o comunicativa. Deve appartenere alla qualità stessa del sistema. Un modello che tratta sistematicamente male una categoria di cittadini è un cattivo sistema amministrativo.

La precisione media non basta. Ancora la scienza dell’errore. Occorre guardare dove cade l’errore. Il dieci per cento di errori distribuiti casualmente e il dieci per cento concentrato su una popolazione specifica non sono politicamente equivalenti. L’aggregato nasconde la distribuzione.

La stessa vigilanza vale per le statistiche del Mercato dell’Arte o dell’economia. Una media è utile e pericolosa. Riassume. Nasconde anche.

Lo Stato algoritmico deve dunque essere costruito con una cultura statistica straordinariamente matura. I decisori pubblici devono comprendere che cosa significhino un tasso di errore, un intervallo di confidenza, un bias di selezione. Senza questa alfabetizzazione, il potere può diventare dipendente da esperti tecnici che non è capace di contraddire. Ritroviamo la sovranità cognitiva, ma applicata allo Stato stesso.

Un ministro che firma una politica algoritmica senza comprendere i principali limiti del modello esercita realmente la propria autorità? Giuridicamente sì. Cognitivamente, forse no. La formazione dei dirigenti pubblici diventa allora essenziale. Non hanno bisogno di diventare scienziati dei dati. Ma devono essere capaci di porre le domande giuste.

Su quali dati è stato addestrato il sistema?

Qual è il tasso di falsi positivi?

Che cosa accade quando si sbaglia?

Chi può contestare?

Come viene aggiornato il modello?

Quale società lo fornisce?

Dove sono ospitati i dati?

Queste domande diventano questioni di governo. L’informatica esce definitivamente dal servizio tecnico. Entra nella costituzione materiale dello Stato.

La scelta di un modello o di un cloud può produrre conseguenze quasi costituzionali senza che il Parlamento ne discuta esplicitamente. È un problema di grande portata. Un’amministrazione può esternalizzare progressivamente una parte della propria capacità cognitiva a fornitori privati. Ogni contratto sembra tecnico. Ma l’accumulo può creare una dipendenza strategica.

Chi possiede allora realmente la capacità dello Stato?

Una Repubblica che non può più trattare i propri dati senza un fornitore privato straniero possiede una sovranità giuridica superiore alla propria sovranità tecnica. Questa dissociazione è pericolosa. Può rimanere invisibile fino alla crisi. Di qui la necessità di pensare la sovranità digitale in termini di continuità.

Si può cambiare fornitore?

I dati sono esportabili?

I formati sono aperti?

Esistono gruppi interni capaci di comprendere il sistema?

Uno Stato non deve necessariamente sviluppare tutto da sé. Sarebbe inefficiente e spesso impossibile. Ma deve conservare una capacità di padronanza. L’esternalizzazione non è abdicazione.

Questo vale in particolare per le funzioni sovrane: giustizia, difesa, polizia, fisco, identità. Più la funzione è vicina al cuore della sovranità, più il livello di dipendenza accettabile deve essere basso. Ecco ancora la classificazione. Non tutti i dati pubblici hanno bisogno dello stesso livello di protezione. Un calendario culturale comunale e un archivio dei servizi d’intelligence non sono ovviamente comparabili.

Una seria sovranità tecnologica comincia dunque da un inventario delle criticità. Ritrovo qui una costante del mio pensiero: prima di ogni politica, occorre cartografare.

Quali risorse?

Quali dipendenze?

Quali rischi?

È esattamente ciò che permette una banca dati correttamente progettata. È quasi ironico che lo Stato algoritmico abbia bisogno, prima dell’intelligenza artificiale, di un’eccellente amministrazione dei propri dati. Molte organizzazioni immaginano che l’IA risolverà il loro disordine informativo. Non lo farà.

Un’amministrazione che possiede archivi contraddittori, identità collegate male, definizioni diverse tra ministeri non otterrà magicamente un’intelligenza coerente aggiungendo un modello. Produrrà errori più rapidamente. La prima tappa dello Stato algoritmico è dunque molto meno spettacolare: qualità del dato, interoperabilità, governo dei dati, archiviazione.

È il lavoro paziente che il digitale spesso dimentica di celebrare. Il mondo adora la dimostrazione impressionante. Sottovaluta gli anni necessari per normalizzare i dati che la rendono possibile. Anche qui Artprice mi ha insegnato questa verità. Il valore non consisteva nell’avere un motore capace di visualizzare un risultato. Consisteva nell’aver ricostruito, normalizzato e collegato un’immensa memoria storica. L’intelligenza artificiale non cambia questa legge. La amplifica.

Uno Stato che vuole usare l’IA deve dunque prima conoscere il proprio linguaggio amministrativo. È più difficile di quanto sembri. Una stessa nozione può avere definizioni diverse a seconda delle amministrazioni.

Che cos’è un nucleo familiare?

Che cos’è un’impresa attiva?

Che cos’è un reddito?

Le definizioni giuridiche variano a seconda del contesto. Un modello che cerca di collegare tutte le banche dati può produrre errori se tratta queste categorie come equivalenti. Il problema è semantico prima che algoritmico. Ecco perché la semiologia e la semantica non sono mai lontane dall’informatica.

I dati non sono il reale grezzo. Sono il reale suddiviso secondo categorie. Ogni banca dati è già un’interpretazione. Questa idea è essenziale per lo Stato. Quando l’amministrazione crea una categoria, produce conseguenze.

Essere classificati come persona in cerca di lavoro, contribuente, studente, straniero, impresa produce diritti e obblighi. Il codice informatico può rendere questa categorizzazione estremamente rapida. Non la rende neutra. Dietro ogni campo esiste una decisione politica o giuridica. Lo Stato algoritmico non deve dunque mai nascondere la politica sotto il linguaggio della tecnica.

Quando si cambia una variabile, si può cambiare l’accesso a un diritto. L’ingegnere deve saperlo. Il giurista deve saperlo. Questa collaborazione si impone.

Potrebbe del resto produrre un’amministrazione migliore. Molte procedure sono diventate storicamente complesse per accumulo di leggi ed eccezioni. L’IA può aiutare a cartografare queste incoerenze. Può individuare testi contraddittori, obblighi ridondanti, moduli inutili. Può diventare uno strumento di semplificazione.

Sarebbe forse uno dei suoi usi più democratici: ridurre la distanza tra il diritto e il cittadino. Una Repubblica in cui ciascuno può comprendere i propri diritti è più democratica di una Repubblica la cui complessità riserva l’accesso a chi può pagare i migliori specialisti.

L’IA può dunque democratizzare una parte delle competenze specialistiche. Ma deve essere concepita come accesso al diritto e non come sostituzione della giustizia. Questa distinzione è fondamentale. Un assistente può spiegare una regola. Non deve diventare l’unico giudice della sua applicazione. La giustizia è precisamente uno degli ambiti in cui lo Stato algoritmico incontra i suoi limiti più forti.

Si può usare l’IA per ricercare la giurisprudenza, riassumere un fascicolo, rilevare scadenze, aiutare nella redazione. Tutti questi usi possono accrescere l’efficacia. Ma quando il sistema comincia a stimare la probabilità di recidiva, la credibilità di una persona o la pena appropriata, entriamo in un terreno molto più pericoloso.

Il rischio non è soltanto il bias. È la trasformazione della giustizia individuale in statistica di gruppo. Il diritto giudica una persona per dei fatti. Un modello predittivo può essere tentato di giudicarla in parte secondo ciò che fanno statisticamente le persone che le assomigliano. È una rottura filosofica profonda.

La probabilità non è colpevolezza.

Un individuo ha il diritto di non essere ridotto alla propria categoria statistica. Questo diritto all’individualità potrebbe diventare uno dei grandi diritti dell’era algoritmica. Siamo tutti probabilità in una banca dati. Ma siamo anche capaci di comportamenti che escono dalla distribuzione. Essere individui significa anche poter sfuggire alla distribuzione statistica. L’IA possiede una potenza straordinaria nel riconoscere gli schemi. La democrazia deve preservare uno spazio per l’eccezione. È qui che il diritto alla redenzione che ho sempre difeso diventa straordinariamente moderno.

Un sistema predittivo può imprigionare qualcuno nel suo passato statistico. Una persona che ha commesso un errore può essere classificata come un rischio duraturo. Ma una società umana deve mantenere l’ipotesi della trasformazione. Altrimenti la previsione diventa una condanna. Ecco un conflitto profondo tra logica statistica e filosofia della redenzione.

L’algoritmo apprende che il passato predice in parte il futuro. Il diritto può decidere che l’essere umano non debba essere interamente definito dal proprio passato. Questa tensione non si risolve con più calcolo. Esige una scelta morale. È esattamente il limite dello Stato algoritmico.

L’efficacia non può diventare una finalità assoluta. Una dittatura può talvolta essere amministrativamente efficace sotto certi aspetti. Non è questo a renderla desiderabile. Una democrazia accetta volontariamente delle lentezze perché considera che certi diritti valgano quel costo.

Il processo in contraddittorio richiede tempo.

Il ricorso richiede tempo.

La presunzione d’innocenza può rendere un’indagine più difficile.

Sono rallentamenti di civiltà. Questa espressione mi sembra giusta. Abbiamo costruito latenze nel potere per evitarne la brutalità. L’IA potrebbe essere tentata di eliminare queste latenze in nome dell’efficacia. Occorre invece saper riconoscere quelle essenziali.

Non tutte le lentezze amministrative sono virtuose. Molte sono assurde e devono scomparire. Ma alcune lentezze sono protezioni. Ecco ancora la necessità di distinguere. Il tempo necessario per un ricorso non è lo stesso del tempo perso a ricopiare un modulo. L’intelligenza consiste nell’accelerare il secondo senza eliminare la garanzia del primo.

È forse una definizione semplice dello Stato algoritmico democratico: usare la velocità là dove libera, conservare il tempo là dove protegge.

Questo si ricollega esattamente al capitolo sulla guerra cognitiva.

Più la macchina accelera, più l’essere umano deve scegliere dove rallentare. La stessa filosofia attraversa l’ambito militare e quello amministrativo. Uno Stato che decide istantaneamente non è necessariamente uno Stato migliore. Alcune decisioni hanno bisogno di un tempo per la contestazione.

È per questo che il diritto al ricorso deve essere integrato fin dalla progettazione dei sistemi. Ricorso fin dalla progettazione, si potrebbe dire. Allo stesso modo in cui ho parlato di «de-escalation fin dalla progettazione». Un sistema amministrativo dovrebbe prevedere fin dall’origine come una persona possa contestarne la decisione. Non aggiungere un ricorso a posteriori come un’eccezione fastidiosa. Il ricorso fa parte dell’architettura democratica.

Se l’IA rende la decisione più rapida, dovrebbe anche rendere la contestazione più accessibile. Una persona potrebbe chiedere:

quali dati sono stati usati?

Quali regole?

Un’informazione è falsa?

Potrebbe correggerla. Ecco uno Stato algoritmico emancipatore. Il cittadino non sarebbe soltanto oggetto del dato. Potrebbe agire sulla propria rappresentazione digitale.

abbiamo il diritto di sapere come ci vede lo Stato?

In un sistema tradizionale, conoscevamo raramente l’insieme degli archivi amministrativi che ci riguardavano. In uno Stato interconnesso, questa rappresentazione assume sempre più importanza. Forse occorrerebbe una sorta di diritto allo specchio amministrativo.

Vedere i principali dati usati per prendere decisioni che ci riguardano. Poter segnalare un errore. Conoscerne l’origine. Questa trasparenza potrebbe diventare un potente contropotere. Sarebbe utile anche all’amministrazione stessa, perché molti errori nei dati verrebbero corretti dai cittadini. È un’architettura partecipativa del dato.

Ma incontra ovviamente dei limiti, in particolare per certe indagini o funzioni di sicurezza. Ancora la granularità. Non tutti gli archivi possono essere completamente trasparenti. Occorre dunque definire regimi secondo le finalità. Questa complessità è inevitabile.

La democrazia non è semplicità assoluta. È organizzazione di poteri in contraddittorio. L’IA non deve essere usata per eliminare questa contraddizione. Deve permettere di gestirla meglio. Questa differenza separa lo Stato algoritmico democratico dallo Stato algoritmico autoritario.

Nel secondo, il dato sale verso il centro e il cittadino vede poco. Nel primo, idealmente, la circolazione deve essere più simmetrica. Il potere vede il cittadino. Ma anche il cittadino deve poter vedere una parte del funzionamento del potere. La trasparenza non è mai totale. Ma crea una reciprocità.

Questa asimmetria di visibilità è una delle grandi poste in gioco della sorveglianza. Chi vede senza essere visto possiede un potere particolare. Bentham lo aveva capito con il Panopticon. Foucault lo ha teorizzato.

L’IA dà al Panopticon una dimensione che il XVIII secolo non poteva ovviamente immaginare: il guardiano non ha nemmeno più bisogno di osservare ogni individuo. Il sistema può analizzare automaticamente le tracce. È una mutazione gigantesca.

Il problema della sorveglianza di massa non è dunque più soltanto che lo Stato può immagazzinare molte informazioni. È che può renderle operative.

Il passaggio dall’archiviazione all’analisi è la vera soglia.

Ritroviamo esattamente la trasformazione della banca dati da parte dell’IA. La memoria morta diventa un sistema nervoso. Questa formula che uso per la demeure du chaos diventa qui quasi inquietante.

Se l’IA diventa il sistema nervoso dello Stato, la domanda centrale è:

Quale corpo politico controlla questo sistema nervoso?

Chi definisce i riflessi?

Chi può fermarlo?

È una metafora molto precisa. Uno Stato moderno possiede già organi: amministrazioni, polizia, giustizia. L’IA può diventare lo strato che collega le loro informazioni. Questo può migliorare enormemente il coordinamento. Ma un coordinamento perfetto può anche diventare una concentrazione perfetta.

Le democrazie hanno storicamente accettato una certa frammentazione del potere proprio per evitare questa concentrazione. La separazione dei poteri non è un’inefficienza accidentale. È un meccanismo di sicurezza.

Occorre dunque evitare che l’interconnessione tecnica ricostruisca silenziosamente ciò che il diritto aveva separato sul piano istituzionale. Ecco un blindspot costituzionale di grande rilievo. Due amministrazioni possono essere legalmente distinte ma usare una stessa piattaforma che incrocia i loro dati. L’architettura tecnica può allora produrre un’integrazione funzionale superiore alla separazione giuridica.

Questo problema è molto profondo. Il diritto guarda le istituzioni. Dovrà guardare anche i flussi di dati tra le istituzioni. La separazione dei poteri deve forse diventare anche separazione degli accessi.

Chi può interrogare quale banca dati?

Con quale giustificazione?

Ogni consultazione deve essere registrata?

L’audit diventa una nuova forma di controllo costituzionale. Si può immaginare che ogni uso sensibile di una banca dati da parte di un agente pubblico lasci una traccia verificabile. È già così in alcuni sistemi. L’IA può rafforzare questa tracciabilità.

Paradossalmente, la tecnologia di sorveglianza può sorvegliare il sorvegliante. Ecco una possibilità democratica particolarmente interessante. Ogni consultazione di un fascicolo potrebbe essere registrata. Un abuso potrebbe essere rilevato. In alcuni casi il cittadino potrebbe forse esserne informato. La trasparenza tecnica può dunque limitare il potere che accresce.

La simmetria da ricercare è questa. Ogni nuova capacità di controllo dovrebbe essere accompagnata da una capacità di controllo del controllore. È una regola che proporrei quasi come principio costituzionale dell’era algoritmica. Più un sistema sa del cittadino, più deve lasciare tracce su chi lo usa. La potenza e l’audit devono crescere insieme.

È un modo molto concreto di preservare lo Stato di diritto. Ma occorre anche che l’audit sia indipendente. Un sistema che verifica soltanto sé stesso non è un vero contropotere. Occorrono autorità, giudici, esperti capaci di accedere alle informazioni necessarie.

Questo pone un’enorme questione di competenze: chi controllerà gli algoritmi dello Stato? I magistrati dovranno potersi avvalere di esperti indipendenti. Anche i parlamentari. Altrimenti l’esecutivo può possedere un vantaggio cognitivo immenso.

L’equilibrio dei poteri diventa anche un equilibrio delle capacità tecniche. Una commissione parlamentare priva di competenze algoritmiche, di fronte a un ministero che dispone di migliaia di ingegneri, può teoricamente controllare, ma praticamente comprendere ben poco. È un’asimmetria reale. La democrazia deve dunque investire nei propri contropoteri tecnologici.

Occorrono competenze nelle corti dei conti, nelle autorità indipendenti, nei parlamenti, nei media. La società civile stessa deve poter analizzare alcuni sistemi. L’apertura di determinate informazioni tecniche può essere essenziale. Ma occorrerà trovare un equilibrio con la sicurezza e la proprietà intellettuale. Ancora un conflitto tra valori.

Si può proteggere un segreto industriale senza rendere impossibile l’audit di un sistema pubblico. Sono meccanismi da inventare: accesso soggetto a riservatezza, organismi certificati, test indipendenti. Ciò che conta è il principio: una decisione pubblica non deve mai diventare incontrollabile perché il fornitore invoca il segreto del proprio modello.

Altrimenti si privatizza una parte della sovranità. È inaccettabile. L’impresa può possedere una tecnologia. Lo Stato deve rimanere responsabile della decisione che prende usandola. E per essere responsabile deve comprendere abbastanza. Ecco ancora la differenza tra usare e dipendere.

La dipendenza cognitiva dello Stato da un’impresa privata potrebbe diventare uno dei grandi temi politici del secolo. Lo abbiamo già visto con alcune infrastrutture digitali. L’IA lo amplifica perché tocca la decisione stessa.

Un governo potrebbe finire per chiedere a un modello privato di analizzare le proprie politiche, i propri bilanci, i propri rischi. Questo può essere straordinariamente utile. Ma che cosa accade se il modello diventa una sorta di consigliere invisibile presente ovunque? Chi ne conosce i limiti? Quali interessi ha l’impresa che lo sviluppa?

Anche senza manipolazione intenzionale, il sistema reca in sé un’architettura. È per questo che il pluralismo dei modelli diventa importante anche per l’amministrazione. Una funzione critica forse non dovrebbe mai dipendere da un solo sistema analitico. Più modelli possono produrre pareri diversi. La loro divergenza diventa un’informazione. Ritroviamo ancora la procedura del contraddittorio.

Ma non ogni memoria ha la stessa finalità. L’archivio storico e il profilo individuale permanente non sono la stessa cosa. Una società ha bisogno di memoria collettiva e di diritto all’oblio individuale. Questo paradosso è magnifico.

Conservare per la Storia.

Dimenticare per la libertà.

L’IA obbliga ad articolare le due esigenze. Una banca dati statistica può talvolta essere conservata in forme anonimizzate mentre i dati personali vengono eliminati. Ma l’anonimizzazione stessa si fa più complessa quando l’IA può incrociare molte informazioni. La reidentificazione è un rischio reale.

Questo mostra ancora che le categorie giuridiche devono evolvere con le capacità tecniche. Un dato «anonimo» in un’epoca può non esserlo più qualche anno dopo. La sicurezza è dunque temporale. Ciò che oggi è sicuro può diventare vulnerabile domani. Le amministrazioni devono pensare questa mutazione.

Ancora la permanenza mutante. La protezione dei dati non può essere una certificazione ottenuta una volta per tutte. Deve essere rivalutata. È una cultura della manutenzione. La democrazia stessa diventa manutenzione. Questa idea mi piace.

Spesso immaginiamo la democrazia come un insieme di grandi principi scritti una volta. In realtà esige una vigilanza permanente. L’IA rende visibile questa manutenzione.

I modelli cambiano. Gli usi cambiano. I rischi cambiano.

I contropoteri devono dunque essere capaci di mutare senza abbandonare il proprio nucleo. È esattamente ciò che da anni chiamo permanenza mutante. Questo spiega forse perché la demeure du chaos e lo Stato algoritmico possano essere pensati a partire da una stessa logica profonda: conservare un’identità attraverso la trasformazione continua.

La Repubblica deve rimanere Repubblica anche quando i suoi strumenti diventano irriconoscibili rispetto a quelli del XX secolo.

La carta scompare, il diritto rimane.

Lo sportello cambia, l’uguaglianza rimane.

La pratica diventa grafo, il ricorso rimane.

È questa, la mutazione riuscita.

Ma la democrazia non si gioca soltanto nell’amministrazione. Si gioca anche nello spazio pubblico. Ed è lì che l’IA crea probabilmente una minaccia ancora più difficile.

Uno Stato può essere perfettamente rispettoso nell’uso amministrativo dei propri dati e vedere comunque il proprio spazio democratico trasformato da sistemi privati di raccomandazione, agenti conversazionali, contenuti sintetici. La democrazia poggia sull’opinione pubblica. Eppure l’opinione pubblica è oggi mediata da infrastrutture algoritmiche che scelgono in larga parte ciò che diventa visibile.

Abbiamo parlato di guerra cognitiva. Occorre ora applicare questa analisi alla vita politica ordinaria.

Chi organizza l’attenzione?

Chi stabilisce la gerarchia dei temi?

Una piattaforma non ha bisogno di sostenere un candidato per influenzare la democrazia. Il suo algoritmo di raccomandazione può favorire i contenuti più emotivi, più polarizzanti, semplicemente perché aumentano il coinvolgimento. Il modello economico diventa allora un’architettura politica senza un’intenzione politica esplicita. È un blindspot di grande rilievo.

Cerchiamo spesso la manipolazione volontaria, mentre l’effetto sistemico può venire da un’ottimizzazione commerciale. Se la rabbia aumenta il tempo trascorso su una piattaforma, un sistema che massimizza il coinvolgimento può produrre più rabbia senza che nessuno abbia scritto esplicitamente: «polarizzare la società». L’obiettivo basta.

È esattamente il problema dell’allineamento applicato alla democrazia. Ottimizzare l’indicatore sbagliato produce un comportamento collettivo indesiderabile. Ritroviamo ciò che scrivevo sugli sciami: una semplice regola locale può produrre un comportamento globale inatteso. Le reti sociali sono già sciami umani mediati da algoritmi.

L’IA generativa aggiunge ora una capacità di produzione di contenuti quasi illimitata. Il costo della manipolazione diminuisce. Alcuni attori possono produrre milioni di messaggi, creare falsi profili, personalizzare i racconti. Ma la minaccia più profonda rimane forse la saturazione.

Quando il volume diventa gigantesco, la verifica umana non riesce più a tenere il passo. La verità non viene necessariamente sconfitta da una menzogna migliore. Può essere sommersa. È esattamente l’economia dell’attenzione.

Più sistemi con architetture diverse creano rumore, ma anche resilienza. Ancora la diversità. Una monocultura cognitiva può essere vulnerabile a un errore o a una manipolazione. È come una monocultura biologica. Il pluralismo democratico è dunque anche una strategia di sicurezza.

Questa prospettiva permette di guardare diversamente alla libertà di espressione. Non è soltanto un diritto individuale. Produce una diversità di ipotesi che aiuta il sistema sociale a rilevare i propri errori. Questo si ricollega alla mia riflessione sulla contestazione nelle organizzazioni.

Un regime che sopprime troppo la dissidenza può sembrare più coerente. Ma perde sensori. La democrazia è rumorosa perché possiede molti sensori. La posta in gioco è saper trasformare questo rumore in intelligenza.

L’IA potrebbe aiutare a sintetizzare consultazioni pubbliche, individuare argomenti minoritari, rilevare preoccupazioni locali. Questo potrebbe rinnovare la democrazia partecipativa. Immaginate milioni di contributi dei cittadini realmente analizzati anziché campionati. L’IA può percorrere queste masse, raggruppare i temi, far emergere proposte rare ma pertinenti.

È una possibilità straordinaria. Le grandi consultazioni erano limitate dalla capacità umana di leggere. L’IA riduce questo vincolo. Ma occorre evitare che trasformi immediatamente la pluralità in categorie troppo ordinate. Ancora una volta: preservare il disaccordo.

Una sintesi deve permettere di risalire ai contributi originali. Altrimenti il modello diventa un interprete sovrano della parola dei cittadini. Occorre dunque una tracciabilità tra sintesi e fonti. Il cittadino deve poter verificare che la sua idea non sia stata deformata. È ancora un’architettura della fiducia.

Questo uso dell’IA potrebbe trasformare anche il lavoro parlamentare. Migliaia di emendamenti, relazioni, audizioni diventano più accessibili. Un deputato potrebbe interrogare rapidamente decenni di dibattiti. Questo rafforzerebbe teoricamente la sua capacità.

Ma può anche omogeneizzare il linguaggio politico se tutti usano lo stesso assistente per scrivere. Potremmo vedere comparire una prosa algoritmica uniforme, argomenti standardizzati. La democrazia perderebbe una parte delle proprie voci singolari.

Questa questione di stile può sembrare secondaria. Non lo è. La politica è anche linguaggio. Un modo di formulare rivela un pensiero. Se l’IA leviga ogni espressione, il dibattito può diventare tecnicamente corretto e umanamente povero.

Occorrerà dunque imparare a usare lo strumento senza perdere la propria voce. È esattamente ciò che facciamo in questo dialogo. La mia esigenza rimane che l’IA non mi tradisca, che potenzi il mio pensiero senza produrre al mio posto un personaggio artificiale. Questa disciplina potrebbe diventare quella di ogni responsabile pubblico. Lo strumento aiuta a organizzare. Ma la responsabilità della parola rimane personale.

Si dovrebbe poter chiedere a un eletto:

Ha letto questo testo e se ne è assunto la responsabilità?

L’IA non deve diventare una macchina per fabbricare parola politica senza pensiero. Altrimenti avremmo istituzioni popolate di testi impeccabili e di responsabili che non sanno più difenderli. Sarebbe una nuova forma di vuoto.

La facilità di produzione aumenta dunque il valore dell’impegno reale. Ancora questa legge della scarsità. Quando produrre una frase diventa quasi gratuito, assumersene la responsabilità diventa prezioso. La firma ritrova il proprio valore.

È molto vicino al Mercato dell’Arte. L’autenticità si sposta. Un testo può essere generato in un secondo.

Ciò che conta è: chi lo firma, chi ne risponde?

La responsabilità diventa l’aura del linguaggio.

Questa idea mi piace molto. Nella democrazia algoritmica, la firma politica deve rimanere umana. Poco importa che l’eletto abbia usato dieci strumenti per lavorare. Deve dire: questa decisione è mia, ne rispondo. Ecco il cuore della sovranità.

E questo ci riporta allo Stato algoritmico nel suo insieme. Il rischio principale non è che la macchina prenda improvvisamente il potere. È che il potere umano si dissolva progressivamente dietro la macchina.

«Non sono io, è l’algoritmo.» Questa frase deve diventare politicamente inaccettabile. L’algoritmo può spiegare una raccomandazione. Non può assorbire la responsabilità del governo.

La democrazia poggia precisamente sulla possibilità di individuare chi decide e di sostituirlo. Se la decisione diventa un risultato tecnico senza autore, l’elezione perde una parte del proprio senso. Occorre dunque mantenere una catena chiara: macchina, funzionario, responsabile politico.

Chi può modificare che cosa?

Chi convalida?

Questa cartografia deve essere pubblica nelle sue grandi linee. È quasi un organigramma algoritmico dello Stato. Sappiamo quale ministero è responsabile di una politica. Dovremmo anche sapere quali sistemi importanti partecipano a determinate decisioni.

Una sorta di registro pubblico degli algoritmi amministrativi potrebbe diventare uno strumento di trasparenza. Non necessariamente il codice completo di ogni sistema sensibile, ma la sua esistenza, la sua finalità, il suo fornitore, i principali tipi di dati, le vie di ricorso.

Questa semplicità potrebbe aumentare enormemente la fiducia. La segretezza generalizzata alimenta il sospetto. La trasparenza mirata permette il dibattito. È esattamente il metodo della de-escalation applicato al potere pubblico.

Una democrazia deve rendere visibile una parte sufficiente della propria architettura perché il cittadino possa comprenderne il funzionamento. È quasi un’esigenza architettonica in senso letterale. Un palazzo di giustizia classico possiede porte, sale, udienze pubbliche. Lo Stato digitale diventa invisibile.

Occorre dunque ricostruire simbolicamente porte e finestre nel codice. Il cittadino deve sapere dove entrare. Dove contestare. Dove guardare. Questa metafora mi interessa enormemente.

Passiamo da un’architettura di pietra a un’architettura software. Ma le funzioni democratiche rimangono simili: accesso, pubblicità, separazione, ricorso. L’interfaccia diventa l’equivalente della porta del tribunale. Se è inaccessibile, il diritto esiste in teoria e scompare nella pratica. L’ergonomia diventa così una questione politica.

Un’amministrazione digitale che esclude le persone anziane, con disabilità o poco familiari con il digitale produce una disuguaglianza di accesso. L’IA può aiutare con la voce, la traduzione, l’assistenza. È un progresso potenziale immenso. Ma occorre mantenere alternative umane.

Ma ogni ridondanza ha un costo. È il prezzo della continuità. Gli stessi principi ritornano ovunque perché sono strutturali.

Ridondanza.

Audit.

Pluralismo.

Ricorso.

Sono quasi i quattro pilastri di uno Stato algoritmico democratico. Si potrebbe aggiungere: minimizzazione. Per preservare lo spazio privato. Questi principi non risolvono tutto. Ma delineano un’architettura.

Ed è precisamente ciò che cerco in questa parte: passare dalla paura astratta alla progettazione. Dire semplicemente «attenzione alla sorveglianza» è necessario ma insufficiente. Occorre mostrare come costruire un sistema che usi l’IA senza diventare panottico.

La democrazia deve essere una tecnologia politica sofisticata quanto gli strumenti che disciplina. Altrimenti sarà superata. È forse uno dei maggiori pericoli europei: credere che il diritto scritto basti senza investire nelle infrastrutture necessarie per applicarlo.

Una regola senza capacità di audit diventa simbolica. Occorrono esperti. Strumenti. Bilanci. La regolamentazione dell’IA è essa stessa un’industria della conoscenza.

Questo potrebbe diventare un settore europeo potente: audit, certificazione, sicurezza, protezione dei dati. Ma ancora una volta la regolamentazione non sostituisce la creazione. L’Europa deve produrre sistemi e saperli disciplinare al tempo stesso. Altrimenti regolamenterà l’importazione dell’intelligenza altrui. Questa formula rimane vera.

Uno Stato algoritmico sovrano ha bisogno di modelli, cloud, ricercatori. Ma anche di istituzioni giuridiche solide. È l’integrazione di tutti i livelli della politica. E forse proprio questa combinazione diventa la grande competizione tra modelli del XXI secolo.

Il modello autoritario può dire: dateci più dati e produrremo più ordine. Il modello ultracommerciale può dire: lasciate che le imprese ottimizzino e l’innovazione produrrà efficacia. Il modello democratico deve proporre qualcosa di più difficile: produrre efficacia mantenendo libertà, pluralità e contestazione.

È un’architettura più complessa. Ma la complessità non è una debolezza se è ben progettata. La democrazia stessa è un sistema complesso. Possiede circuiti di retroazione, contropoteri, elezioni. Accetta il conflitto per evitare la dominazione totale.

L’IA può aiutarla a diventare più intelligente se rafforza questi circuiti. Può indebolirla se li cortocircuita. Ecco probabilmente la prova decisiva. L’IA non è democratica o autoritaria per natura. Amplifica determinate strutture.

Una democrazia che la usa per ridurre la burocrazia, ampliare l’accesso al diritto, rilevare i propri errori e rafforzare il ricorso può diventare più democratica. Una democrazia che la usa per profilare silenziosamente, prevedere i comportamenti e automatizzare le decisioni senza possibilità di contestazione può conservare le proprie elezioni perdendo progressivamente una parte della propria sostanza.

Il pericolo non è dunque necessariamente il colpo di Stato algoritmico. È l’erosione algoritmica.

Una piccola comodità aggiunta qui.

Una banca dati collegata là.

Un punteggio accettato senza dibattito.

Ogni tappa sembra ragionevole. L’accumulo cambia il regime. Nessuno decide necessariamente una mattina di costruire uno Stato di sorveglianza. Può comparire per accumulo di sistemi utili.

Ecco perché la visione globale è indispensabile. Occorre guardare il grafo, non soltanto ogni applicazione.

Quale quantità di potere informativo produce l’insieme?

È una questione costituzionale.

Ed è proprio qui che l’IA può paradossalmente aiutarci: cartografare lo Stato stesso. Vedere i flussi di dati. Le dipendenze. Gli accessi. Fare della trasparenza una rappresentazione dinamica.

Forse la migliore protezione contro lo Stato algoritmico opaco sarà un gemello digitale del suo stesso potere, accessibile alle istituzioni di controllo. Una mappa delle banche dati, dei modelli, delle interfacce. Sembra tecnico. È quasi una nuova separazione dei poteri materializzata nel dato.

Il controllo deve dunque disporre di un’infrastruttura commisurata al potere algoritmico che esamina. Occorre una contro-intelligenza algoritmica democratica. Sistemi capaci di sottoporre i sistemi a verifica, rilevare le anomalie, verificare le discriminazioni.

L’IA che sorveglia l’IA. Ma sempre sotto controllo istituzionale umano. Questa ricorsività è inevitabile. Via via che la complessità supera le capacità individuali, useremo macchine per controllare le macchine.

Può sembrare inquietante. È già così nella cybersicurezza, nei mercati finanziari, nelle reti. Ciò che conta è mantenere le catene di responsabilità e il pluralismo. Nessun sistema deve essere l’unico giudice di sé stesso. È quasi una regola logica. E questa regola ci conduce verso la prossima soglia.

Perché se lo Stato, l’economia, i media e lo spazio pubblico sono sempre più strutturati da algoritmi, la questione non è più soltanto quella della sorveglianza. Diventa quella della verità comune.

Come funziona una democrazia quando le immagini, le voci, i testi e forse domani le prove stesse possono essere sintetici?

Come organizza la fiducia quando la produzione del falso diventa quasi gratuita?

Abbiamo già incontrato questo problema nella guerra cognitiva. Occorre ora esaminarlo dal punto di vista dell’intera civiltà. La democrazia poggia sulla possibilità di contestare le interpretazioni. Ma presuppone anche un minimo di fatti condivisibili. Se ogni schieramento vive in una diversa realtà generata, il dibattito diventa impossibile.

La questione diventa allora quella della prova.

Provenienza. Deepfake. Verità. Media. Giustizia. Memoria.

Quando tutto può essere fabbricato, che cos’è una prova?

Questa domanda si ricollega direttamente al Mercato dell’Arte, dove l’autenticità e la provenienza sono centrali. Ma ormai raggiunge l’intera società.

Dopo lo Stato algoritmico viene dunque il mondo sintetico. E con esso una domanda quasi primitiva:

Come sapere che ciò che vedo è realmente accaduto?