Ogni società classifica. Molto prima dell’intelligenza artificiale, le istituzioni attribuivano già categorie, status, voti, dossier. La scuola assegna voti, la banca valuta il rischio, l’assicuratore calcola un premio, l’impresa valuta una competenza, l’amministrazione verifica diritti. Sarebbe dunque falso presentare il punteggio come un’invenzione dell’IA. Ciò che cambia oggi è la sua profondità, la sua frequenza e soprattutto la sua capacità di circolare tra ambiti un tempo separati.

Un sistema può ormai incrociare centinaia di variabili, costruire una probabilità, rilevare profili che nessuno avrebbe potuto calcolare manualmente. Questa potenza può essere estremamente utile. Una banca può valutare meglio un rischio. Un assicuratore può determinare i premi con maggiore precisione. Un’amministrazione può rilevare una frode.

Ma via via che la previsione diventa più precisa, emerge una domanda: da quale momento la persona cessa di essere giudicata per ciò che fa per essere giudicata per ciò che un modello pensa che farà? Ecco la soglia. Il punteggio non è più soltanto memoria di un passato. Diventa un’anticipazione del futuro. E questa anticipazione può produrre conseguenze prima ancora che l’evento abbia avuto luogo. Una persona può non ottenere un credito perché assomiglia statisticamente a persone che hanno rimborsato meno. Può essere controllata di più perché alcuni segnali aumentano una probabilità. Può essere considerata in procinto di lasciare un’impresa prima di aver espresso l’intenzione di andarsene.

Passiamo dalla constatazione all’intervento anticipatorio.

Questa logica deve essere esaminata con estrema prudenza perché possiede un’efficacia economica reale e un pericolo antropologico immenso. L’efficacia viene dalla statistica. Se determinate variabili sono correlate a un comportamento, il modello può ridurre l’incertezza. Il pericolo compare quando si dimentica che la probabilità appartiene a una distribuzione, non a una persona come destino. Dire che un gruppo presenta un rischio più elevato non significa che questo individuo farà ciò che il gruppo fa in media.

Qui si gioca la differenza tra popolazione e soggetto. La statistica sa molte cose sui gruppi. Il diritto protegge individui. Questa tensione è antica, ma l’IA le dà una potenza nuova. Più il modello diventa preciso, più possiamo essere tentati di considerare la sua previsione come una verità personale. Un punteggio dell’87 % sembra quasi una proprietà dell’individuo. Ma rimane una stima condizionata da dati, da un modello, da un contesto. Ecco perché ritengo che il diritto all’imprevedibilità debba diventare una nozione centrale dell’era algoritmica.

Questo diritto non significa ovviamente che sarebbe vietato prevedere qualsiasi cosa sui comportamenti umani. Sarebbe assurdo. Ogni economia usa previsioni. Significa che la previsione non deve diventare identità, e ancor meno condanna. Una persona deve conservare il diritto di sorprendere il modello. È quasi una definizione della libertà.

Se ogni comportamento passato diventa materia per prevedere il futuro e ogni previsione produce una conseguenza che riduce le opzioni, possiamo imprigionare progressivamente l’individuo nella sua traiettoria statistica. Il punteggio acquisisce un effetto autoavverante. Una persona considerata rischiosa ottiene meno opportunità; per mancanza di opportunità, il suo percorso peggiora; il sistema conclude poi che aveva ragione. È un circuito estremamente pericoloso. Il modello non si limita più a prevedere il reale. Contribuisce a fabbricarlo. La riflessività ricompare qui, applicata direttamente alla vita umana. Questo circuito è particolarmente visibile nel credito. Una persona esclusa dal finanziamento ha meno capacità di investire, di formarsi, di acquistare un’abitazione. Il suo futuro economico viene modificato dalla valutazione. Questo non significa che occorra abolire l’analisi del rischio. Il credito senza rischio non esiste. Occorre semplicemente riconoscere il potere causale del punteggio. Una decisione di credito non è soltanto un’osservazione. Può modificare il futuro che pretende di misurare. Di qui la necessità di rendere il sistema contestabile e correggibile. Quali dati hanno prodotto il punteggio?

Sono esatti?

Alcuni sono obsoleti?

Esistono elementi di contesto che il modello non vede? Senza una procedura di ricorso, la statistica rischia di trasformarsi in destino amministrativo. Ritroviamo ancora lo stesso pilastro: nessun potere algoritmico senza ricorso. Ma questa esigenza deve essere concepita concretamente. Dare a una persona una pagina di variabili incomprensibili non è un ricorso reale. Deve poter conoscere i principali fattori che hanno influenzato la decisione, segnalare un errore, presentare un’informazione nuova e ottenere una revisione umana nelle situazioni importanti. Non è un lusso. È una condizione di giustizia.

La stessa logica vale per l’assicurazione. Un sistema può calcolare con grande precisione il rischio individuale. Sembra economicamente razionale: ciascuno paga quanto più vicino possibile al rischio che rappresenta. Ma spingiamo questa logica fino in fondo e compare una contraddizione. L’assicurazione esiste proprio per condividere l’incertezza. Se si prevede perfettamente il rischio individuale, l’assicurazione si avvicina a una fatturazione del destino. Chi presenta un rischio elevato paga enormemente proprio perché ha più bisogno di essere protetto. L’ottimizzazione attuariale può allora entrare in conflitto con la solidarietà. Ecco un’altra dimostrazione che l’ottimo tecnico non basta.

Una società deve decidere quale parte del rischio voglia condividere. Salute, disabilità, catastrofi. Questa scelta è politica e morale. L’IA può calcolare meglio il rischio, ma non decide quale solidarietà vogliamo conservare.

Desideriamo un’assicurazione perfettamente individualizzata o accettiamo che una parte del rischio sia condivisa collettivamente?

Non esiste una risposta puramente matematica. E la precisione crescente dell’IA può rendere più visibile questo conflitto. Per molto tempo, alcune solidarietà esistevano anche perché non potevamo misurare con precisione. L’ignoranza imponeva una condivisione. Quando l’ignoranza diminuisce, la solidarietà deve diventare una scelta esplicita. È una soglia di civiltà.

Il progresso della conoscenza toglie talvolta la protezione dell’incertezza. Dobbiamo decidere se vogliamo ricostruirla giuridicamente. È un’idea estremamente importante. La libertà ha beneficiato a lungo dell’impossibilità tecnica di conoscere tutto. Anche la solidarietà. Quando la tecnologia riduce questa impossibilità, le nostre istituzioni devono porre volontariamente dei limiti. Ancora la libertà attraverso l’autolimitazione del potere.

L’assicurazione genetica offre già un esempio giuridico concreto. In Francia, per le garanzie che coprono i rischi d’invalidità o di morte, il diritto vieta agli assicuratori di tenere conto dei risultati degli esami delle caratteristiche genetiche, anche quando vengono loro trasmessi con il consenso della persona. Il principio è notevole: un dato può essere predittivo e nondimeno sottratto all’ottimizzazione assicurativa perché la società decide che non debba diventare un criterio di tariffazione.

Lo stesso ragionamento vale per altre inferenze. Un modello può forse dedurre una condizione di salute a partire da acquisti o spostamenti. Il fatto che un’informazione possa essere inferita non significa che dovrebbe essere utilizzabile. È per questo che la dottrina delle inferenze che evocavo nei capitoli precedenti diventa qui centrale. La vita privata non riguarda più soltanto ciò che l’individuo ha rivelato. Riguarda ciò che la macchina può ricostruire.

La capacità d’inferenza è il nuovo potere.

Il diritto deve dunque proteggere determinate conclusioni indipendentemente dal modo in cui sono state ottenute. Sembra complesso, ma è indispensabile. Altrimenti vietare l’accesso diretto a un dato sensibile non serve quasi a nulla se il modello può riprodurlo statisticamente. Entriamo allora in una società in cui la persona è trasparente senza aver dichiarato nulla. Questa trasparenza algoritmica può essere straordinariamente intrusiva. Un individuo può non conoscere egli stesso certe tendenze che il sistema crede di rilevare. L’impresa sa forse che un lavoratore sta pensando di andarsene prima che egli abbia formulato chiaramente questa decisione.

Che cosa deve fare di questa informazione?

Può negargli una promozione perché il suo punteggio di propensione all’uscita è elevato?

Sarebbe molto pericoloso. Il modello potrebbe creare proprio l’uscita che prevede. Ancora il circuito autoavverante. Occorre dunque distinguere la previsione destinata ad anticipare un bisogno collettivo dalla previsione usata per sanzionare individualmente. Un’impresa può prevedere che il 10 % dei suoi lavoratori di un reparto rischi di andarsene per preparare delle assunzioni. È molto diverso dall’identificare per nome le tre persone e trattarle come già sleali. La granularità della previsione pone una questione di dignità. L’aggregato può essere legittimo là dove l’individuale diventa intrusivo. Ecco perché la minimizzazione non riguarda soltanto la quantità di dati, ma la risoluzione.

Su quale scala abbiamo realmente bisogno di sapere?

La precisione non è un valore assoluto. Un’informazione più dettagliata può essere utile per alcune funzioni e intrusiva per altre. La giusta risoluzione dipende dalla finalità.

Per organizzare i trasporti di una città, occorrono flussi. Non occorre necessariamente sapere con precisione dove vada ogni persona in ogni istante. Per prevedere un ricambio del personale, si possono usare tendenze senza profilare ogni lavoratore. La società algoritmica matura sarà quella che sa rimanere volontariamente a una risoluzione inferiore quando la precisione aggiuntiva non giustifica l’intrusione.

Questo esige una disciplina di progettazione. Gli ingegneri sono naturalmente attratti dalla precisione. Il diritto deve porre la domanda: utile a che cosa? È il principio di proporzionalità informativa. E questo mi conduce a una nozione che mi sembra essenziale: il diritto alla separazione dei punteggi.

Un punteggio di credito non dovrebbe diventare automaticamente un punteggio di occupabilità. Una valutazione in un ambito non deve contaminare tutti gli altri. Abbiamo già conosciuto nella storia sistemi sociali in cui una categoria produceva una cascata di conseguenze: casta, status, casellario. L’IA potrebbe ricostruire una forma di casta digitale per accumulo di punteggi. Questo pericolo è reale. Se una persona ha una valutazione bassa su una piattaforma e questa viene poi usata da un assicuratore, un proprietario, un datore di lavoro, può essere progressivamente esclusa da più dimensioni della vita. Il punteggio diventa un’identità sociale totale.

È proprio ciò che occorre impedire. Ogni valutazione deve rimanere legata alla propria finalità. È un’estensione del principio giuridico della limitazione delle finalità. Un punteggio è una risposta a una domanda particolare. «Quale rischio d’insolvenza per questo credito?» Non è una misura generale del valore della persona. Questa distinzione deve essere rigorosa. Eppure la tentazione del riuso sarà forte perché il dato esiste. Un punteggio già calcolato non costa quasi nulla da condividere. È qui che il diritto deve resistere all’economia della facilità. Il fatto che un dato sia disponibile non crea un diritto d’uso universale. È esattamente come la memoria. Un’informazione può essere vera e tuttavia non dover essere usata ovunque. L’oblio e la separazione sono condizioni di libertà.

Questa idea è molto importante. Pensiamo spesso alla vita privata come a un segreto. È anche contesto. Posso dare un’informazione al mio medico senza volere che venga usata dal mio banchiere. Non è che l’informazione sia vergognosa. Appartiene a una relazione. L’IA, collegando tutte le banche dati, minaccia questa contestualità. Il grafo totale è tecnicamente seducente. Socialmente può essere distruttivo. Ecco perché una civiltà algoritmica deve saper creare muri nel grafo.

È quasi un’inversione di tutta la mia vita con le banche dati, dove collegare crea valore. Sì, collegare crea valore. E proprio perché crea potenza, occorre talvolta scegliere di non collegare. Non c’è alcuna contraddizione. La maturità consiste nel sapere dove la relazione sia legittima. Una banca dati del Mercato dell’Arte deve collegare artista, opera, vendita, Casa d’Aste. Non ha alcuna ragione di collegare i dati medici del collezionista. La finalità definisce il grafo. Il pericolo comincia quando il grafo cerca di diventare mondo totale. È la hybris del dato. L’idea che, poiché tutto può essere collegato, tutto debba essere collegato. Rifiuto questa idea. Il caos vivente ha bisogno di discontinuità. Anche la libertà.

Una società in cui ogni comportamento alimenta un punteggio generale diventa profondamente conformista. Perché correre un rischio se un errore può incidere sul tuo credito, sulla tua assicurazione, sul tuo lavoro? L’individuo comincia a ottimizzare la propria vita per il sistema di valutazione. Ecco un effetto di secondo ordine immenso. Il punteggio non misura più soltanto il comportamento. Lo disciplina. Foucault avrebbe ovviamente riconosciuto questa logica. Il Panopticon produce autocontrollo perché il detenuto sa che può essere osservato. La società del punteggio aggiunge un’altra dimensione: si sa che ogni traccia può modificare una valutazione. Si diventa gestori della propria reputazione algoritmica. Questo può produrre prudenza, ma anche una perdita di spontaneità.

Una società in cui ciascuno cerca continuamente di mantenere un punteggio favorevole diventa una società di comportamenti standardizzati. È una minaccia per la creatività e la dissidenza. L’innovazione presuppone talvolta di fare qualcosa che sembra strano o rischioso. Se ogni comportamento atipico riduce un punteggio di affidabilità, il sistema penalizza i mutanti. Ecco perché il diritto all’imprevedibilità è anche un diritto all’innovazione. Solo i mutanti sopravvivono, ma occorre anche che il sistema permetta ai mutanti di esistere. È una contraddizione profonda dell’economia algoritmica. Vuole rilevare le anomalie perché possono segnalare un rischio. Ma l’anomalia può anche essere la fonte della novità. Lo stesso segnale può essere frode o innovazione.

Come distinguere?

Il contesto. Ancora una volta. Un modello può individuare un comportamento statisticamente raro. Non deve considerarlo automaticamente negativo.

L’anomalia è una domanda, non un verdetto.

Questa frase dovrebbe essere un principio. Vale nella sicurezza, nel lavoro, nella finanza. La società algoritmica deve conservare la possibilità che l’eccezione sia buona. È esattamente il metodo della demeure du chaos. Ciò che appare come un’anomalia del paesaggio è forse un’Opera d’Arte Totale. Chi applica soltanto la norma visiva conclude che ci sia un malfunzionamento. Non vede la struttura. È quasi una metafora perfetta della società del punteggio. Un sistema può misurare lo scarto dalla media. Non misura automaticamente il valore di quello scarto. L’artista, l’imprenditore, il dissidente sono spesso anomalie statistiche. Una società troppo ottimizzata intorno alla media potrebbe diventare incapace di produrre le proprie mutazioni. Questo si ricollega direttamente al capitolo precedente sull’esplorazione. Un’economia deve conservare zone in cui l’individuo non sia penalizzato perché esce dal profilo atteso.

La scuola è un ambito particolarmente importante. Immaginate un sistema educativo che, fin dall’infanzia, costruisca probabilità di successo in diversi mestieri. Questo può essere utile per proporre un sostegno personalizzato. Ma se il punteggio diventa un orientamento definitivo, è estremamente pericoloso. Un bambino cambia. Impara. Può rivelarsi tardi. Una previsione precoce può imprigionarlo in una traiettoria. Ecco il rischio della profezia autoavverante nella sua forma più grave.

L’IA deve essere usata per aprire opportunità, non per chiuderle prematuramente. Un modello può dire: questo allievo sembra avere una difficoltà in matematica, proponiamo un altro metodo. Benissimo. Non deve dire: questo allievo non è portato per le scienze. La differenza è gigantesca. Il primo approccio tratta il punteggio come una diagnosi temporanea. Il secondo come un’identità. Ecco ancora il diritto di mutare.

Una buona architettura educativa deve far scadere le previsioni. Un vecchio punteggio deve perdere peso. È un’idea tecnica e filosofica molto importante: il decadimento temporale del passato. Non tutti i dati storici devono conservare eternamente la stessa influenza. Un errore commesso a diciott’anni non deve necessariamente determinare un prestito a quarant’anni. Un vecchio ritardo di pagamento può perdere la propria pertinenza. Il modello deve integrare la temporalità della redenzione.

È quasi il diritto divenuto matematica. Potremmo immaginare regole che impongano di smettere di usare determinati dati dopo un certo periodo. Questo esiste già in alcuni contesti. I sistemi digitali rendono queste protezioni ancora più necessarie perché possono conservare le tracce con una persistenza e una capacità di richiamo senza paragone con la memoria umana. Il passato digitale non si cancella naturalmente. Occorre dunque creare oblio artificiale. Ecco ancora questa idea magnifica: la civiltà dovrà programmare l’oblio.

Abbiamo passato decenni a migliorare l’archiviazione. Dovremo imparare a eliminare. Non è una contraddizione. Una memoria senza oblio è patologica. Il cervello umano stesso dimentica. Questa funzione è essenziale. Permette di generalizzare, perdonare, vivere. Una società della memoria totale può diventare punitiva. Ogni errore rimane eternamente accessibile. L’IA può richiamare, collegare. Il diritto deve talvolta recidere il legame. È questo il diritto alla redenzione algoritmica.

Non basta autorizzare giuridicamente una persona a ricominciare se i modelli continuano a classificarla in base al suo vecchio comportamento. La redenzione deve avere una conseguenza nei dati. Ecco una questione molto concreta. Un casellario può essere cancellato giuridicamente, ma dati privati possono continuare a circolare. Il diritto deve coordinare questi strati. Altrimenti la riabilitazione diventa una finzione. È una battaglia molto importante per il futuro.

La società digitale può essere più punitiva del diritto perché ricorda meglio. Dobbiamo dunque difendere una superiorità della regola giuridica sulla memoria tecnica. Quando la legge dice che un debito è prescritto, il sistema non deve continuare a trattarlo indefinitamente come un segnale negativo. Questo presuppone audit e sanzioni. Ancora il governo dei sistemi.

La previsione comportamentale pone anche un problema in materia di sicurezza pubblica. I sistemi possono individuare luoghi o situazioni in cui determinati reati sono statisticamente più probabili. Una forza di polizia può usarlo per allocare risorse. Anche qui l’aggregato può avere un’utilità. Ma se il modello comincia a identificare individui come futuri delinquenti, entriamo in una filosofia molto più pericolosa.

La giustizia penale poggia sugli atti, non sulla previsione di atti possibili.

Una democrazia deve essere estremamente prudente su questa frontiera. Prevenire un crimine imminente sulla base di elementi concreti è una funzione normale della polizia. Classificare una persona come pericolosa perché possiede un profilo statistico è un’altra cosa. È Minority Report diventato amministrazione. La finzione aveva individuato precisamente il problema: si può punire ciò che non è ancora accaduto? La risposta giuridica deve rimanere no.

Ma la tecnologia può creare zone grigie. Un punteggio di rischio può influenzare l’intensità della sorveglianza, il che aumenta la probabilità di rilevare un’infrazione in determinate popolazioni, rafforzando poi i dati del modello. È un circuito di retroazione particolarmente noto. Il sistema pattuglia di più là dove i dati indicano più reati, trova dunque più reati lì, conclude che la sua previsione era corretta. Occorre spezzare questo circuito con metodi statistici e contropoteri. Altrimenti il modello apprende la geografia della sorveglianza quanto quella del crimine. È un eccellente esempio di causalità nascosta. Il dato non misura soltanto il fenomeno; misura anche il modo in cui l’istituzione lo osserva. Ogni banca dati amministrativa contiene questa impronta. Le statistiche di polizia riflettono in parte le pratiche di polizia. Le statistiche mediche riflettono l’accesso alle cure. Ecco perché l’IA non può trattare la banca dati come una fotografia oggettiva del mondo.

Deve comprendere il processo di generazione dei dati. È una nozione molto importante: processo generatore dei dati. Da dove vengono i dati? Chi è stato misurato e chi no? È esattamente la provenienza a livello statistico. Senza questo, il modello riproduce bias di misurazione. Questa disciplina dovrebbe essere insegnata a tutti coloro che usano punteggi. Un dato non esiste mai al di fuori di un sistema di raccolta. E il sistema di raccolta possiede una storia.

Ancora la storia al cuore dell’IA. Ritroviamo lo storico. Per comprendere una statistica, occorre sapere come sia stata prodotta. Mi sembra evidente con Artprice. Un risultato di vendita non significa nulla se non si sa quale casa, quale valuta, quali condizioni. È lo stesso per un punteggio sociale. Le cifre non hanno un’esistenza autonoma. Hanno una provenienza. Questa cultura della provenienza potrebbe essere uno dei migliori antidoti alla società del punteggio.

Non guardare mai un numero senza chiederne la genealogia. Ma la società del punteggio non verrà necessariamente da un grande sistema statale unico. Può comparire in modo diffuso attraverso l’accumulo di valutazioni private. Piattaforme, reti professionali, servizi. Un autista valuta un passeggero, il passeggero valuta l’autista, un proprietario valuta un inquilino. Ogni valutazione sembra locale e può migliorare la fiducia. Ma se queste valutazioni diventano portabili o aggregate, costruiamo progressivamente una reputazione totale. Ecco il pericolo.

Una singola cattiva esperienza può contaminare altri ambiti. Occorre dunque mantenere frontiere. La reputazione deve essere contestualizzata. Essere un cattivo cliente di un ristorante una sera non significa nulla sulla solvibilità bancaria. Sembra evidente. Ma l’IA può trovare correlazioni e rendere allettante il riuso. Occorre dunque un principio giuridico forte: i punteggi non sono proprietà generali della persona. Sono strumenti funzionali limitati. Può sembrare tecnico, ma è una protezione antropologica. L’individuo è più vasto di qualsiasi somma di punteggi. Nessuna banca dati deve poter pretendere di esaurirne l’identità.

Questo si ricollega alla differenza tra la mappa e il territorio. Anche se avessimo un milione di variabili su una persona, non avremmo la persona. Avremmo una rappresentazione. La società algoritmica deve mantenere questa umiltà. Altrimenti il profilo diventa un doppio digitale sovrano e l’essere umano deve conformarsi al proprio modello. È un’inversione spaventosa.

Già oggi una persona può scoprire che una banca dati contiene un’informazione errata e dover dimostrare che la banca dati si sbaglia.

L’amministrazione crede all’archivio prima che all’individuo. L’IA può amplificare questo fenomeno perché il profilo diventa più complesso. Ecco perché il diritto allo specchio amministrativo o commerciale che evocavo diventa una condizione del ricorso. La persona deve poter conoscere i dati importanti usati per decisioni significative. Altrimenti combatte un fantasma.

Il potere di correzione è una condizione di dignità. Ma occorre anche un diritto alla spiegazione proporzionato. Torno su questa nozione perché qui è centrale. Un punteggio di credito basato su centinaia di variabili non può essere spiegato interamente in ogni dettaglio. Ma si possono fornire i fattori principali, segnalare i dati inesatti. Lo scopo non è rivelare tutti i segreti commerciali. È permettere una contestazione significativa. È questo il criterio. Il ricorso reale.

Il diritto deve privilegiare l’efficacia della contestazione rispetto alla trasparenza teorica totale. È un approccio molto più pragmatico. Si possono conservare determinati segreti dando a un mediatore o a un’autorità di regolazione un accesso più approfondito. Ancora gli strati di controllo. L’utente riceve una spiegazione semplice. Chi svolge l’audit può esaminare il sistema. Il giudice può ottenere di più, se necessario. È un’architettura graduata della trasparenza. Mi sembra molto più realistica di «tutto a codice aperto» o «segreto totale». Ancora la granularità.

La società del punteggio pone anche la questione della proprietà dei dati comportamentali. Produciamo costantemente tracce. Cliccare, camminare, pagare, dormire con un dispositivo. Queste tracce possono diventare materia per un punteggio. Chi ha il diritto di sfruttarle? Il consenso attuale è spesso fittizio. Nessuno legge tutte le condizioni. Con l’IA, la portata futura di un dato diventa difficile da anticipare.

Un dato banale oggi può permettere un’inferenza sensibile domani. Si può realmente acconsentire a un uso che nessuno sa ancora immaginare? Ecco un problema profondo. Il consenso non può essere l’unico fondamento della protezione dei dati. Occorrono divieti di finalità indipendenti dal clic. È già lo spirito di molti diritti moderni. L’IA rafforza questa necessità. Determinate inferenze non devono essere usate per determinate decisioni anche se l’utente ha cliccato «accetta» in un contratto interminabile. La libertà contrattuale non basta quando l’asimmetria è troppo grande. È proprio il ruolo del diritto fissare soglie minime. Ancora la civiltà come limitazione volontaria. Ma occorre evitare un paternalismo eccessivo. Una persona può desiderare di usare i propri dati per ottenere un servizio migliore. Deve poterlo fare. L’architettura deve dunque dare più controllo reale, non semplicemente vietare.

Per esempio, un utente può autorizzare l’uso di determinati dati per ottenere un’assicurazione meno cara, ma occorre misurare il rischio di selezione avversa. Se condividono soltanto le persone a basso rischio, chi rifiuta diventa sospetto. La scelta individuale crea una pressione collettiva. È un classico problema del consenso nei sistemi di attribuzione dei punteggi. Il rifiuto stesso può diventare un segnale. Ecco perché determinati dati devono forse essere vietati per tutti in alcuni contesti.

Altrimenti la libertà dell’uno riduce la libertà degli altri. Ancora un’esternalità. È un esempio perfetto in cui il mercato non può risolvere da solo la questione. Occorre una regola comune. Questo mostra che il diritto all’imprevedibilità non è soltanto un diritto individuale. Può richiedere un’ignoranza istituzionale collettiva. Possiamo decidere che un assicuratore non debba sapere certe cose, anche se alcuni clienti sarebbero disposti a comunicargliele. È una forma di velo volontario. Questa idea inverte la nostra consueta concezione del progresso.

Abbiamo spesso concepito il progresso come riduzione dell’ignoranza. Ma alcune ignoranze sono civilizzatrici. La segretezza del voto è una di queste. Lo Stato potrebbe tecnicamente sapere per chi vota ciascuno, ma la democrazia organizza la propria ignoranza. È magnifico. La segretezza del voto è un’ignoranza volontaria del potere per proteggere la libertà. L’era algoritmica dovrà inventare altre ignoranze volontarie. Non conoscere determinate predisposizioni, non collegare determinati punteggi. È forse uno dei concetti politici più importanti del futuro: l’ignoranza costituzionale. Definire ciò che le istituzioni non devono sapere o non devono poter usare. Questa idea rovescia il fantasma dei dati totali.

Una democrazia matura può dire: potremmo sapere, ma scegliamo di non sapere.

Ecco un atto di potenza morale. Questo si ricollega esattamente a ciò che scrivevo sulla sorveglianza. La libertà del XXI secolo dipenderà meno dall’incapacità tecnica di vedere che dalla decisione giuridica di non guardare. È un salto di civiltà. Richiede un’enorme fiducia nelle istituzioni e audit per verificare che rispettino questa ignoranza. Il principio deve essere incarnato tecnicamente. Se un dato vietato viene comunque raccolto «per ogni evenienza», l’ignoranza non esiste. Occorre minimizzare alla fonte. Riservatezza fin dalla progettazione. Ancora l’architettura.

Il diritto all’imprevedibilità potrebbe dunque tradursi in più meccanismi concreti: limitazione di determinati dati, separazione dei punteggi, scadenza temporale, diritto al ricorso, divieto di alcune decisioni interamente automatizzate, audit delle discriminazioni.

Non è uno slogan filosofico. È un’architettura. È così che mi piace pensare: un’idea deve concludersi in un sistema. Altrimenti rimane letteratura. Ma la società del punteggio pone anche un problema culturale. Noi stessi amiamo le valutazioni. Cinque stelle, classifiche, seguaci. Il punteggio semplifica la complessità. Permette di decidere rapidamente. Questa attrazione non viene soltanto dalle imprese o dallo Stato. Viene dal nostro desiderio di ridurre l’incertezza.

Scegliere un ristorante con 4,8 sembra più facile. Ma a forza di dare un voto a tutto, trasformiamo la vita in una classifica. Questa quantificazione può modificare il nostro rapporto con le attività. Un pasto non è più soltanto un’esperienza, diventa un voto. Un tragitto, un albergo, una persona. Tutto diventa comparativo. È una forma di mercificazione della percezione. L’IA può amplificarla generando punteggi per ambiti che non ne avevano. Compatibilità relazionale, potenziale professionale, affidabilità. Occorre resistere alla tentazione di ridurre tutto a un numero. Pitagora ritorna, ma con un avvertimento. Forse tutto può essere numero in una certa rappresentazione, ma non ogni rappresentazione numerica è desiderabile.

Alcuni ambiti perdono qualcosa quando li si costringe in un punteggio. L’arte è l’esempio perfetto. Artprice può misurare i prezzi, i volumi, le traiettorie di mercato. Ma nessuna banca dati seria pretende che il prezzo esaurisca il valore artistico. Sarebbe un’assurdità. Il mercato misura una dimensione. La storia dell’arte ne analizza altre. Le due letture devono coesistere.

Allo stesso modo, un punteggio di prestazione sul lavoro misura determinati risultati. Non esaurisce il valore di un lavoratore. Un punteggio di credito misura un rischio. Non esaurisce la responsabilità morale di una persona. Occorre sempre precisare che cosa misuri il punteggio e che cosa non misuri.

Questa disciplina semantica evita di trasformare una misura parziale in un giudizio sulla persona. Un punteggio diventa pericoloso quando cambia implicitamente nome. «Rischio d’insolvenza» diventa «affidabilità». Poi «affidabilità» diventa «qualità della persona». Questo slittamento è frequente. Le parole devono essere controllate. La semiologia ritorna. Il modo di nominare una metrica ne influenza l’uso.

Un modello di previsione non deve essere presentato come un punteggio di merito. Sarebbe una frode concettuale. L’IA può generare un’enorme precisione numerica e nascondere un’imprecisione semantica. Ecco un blindspot importante. Più la cifra è precisa, più dobbiamo essere esigenti sul concetto misurato. Una misura di 0,873 di qualcosa di mal definito non è più intelligente di un’approssimazione. È la differenza tra precisione e correttezza.

Uno strumento può essere molto preciso e misurare la cosa sbagliata. Questa distinzione dovrebbe essere insegnata ovunque. La società del punteggio rischia di confondere il misurabile con l’importante. Questo bias è antico nella gestione aziendale. L’IA può amplificarlo. Si misura ciò che è facile, poi si ottimizza. Le dimensioni difficili scompaiono. Ecco perché alcune decisioni devono conservare un giudizio qualitativo. Il problema è che il giudizio umano può essere viziato da bias, soggettivo. Il punteggio può ridurre determinate arbitrarietà. È importante riconoscerlo. Sarebbe altrettanto falso idealizzare la decisione umana. Un selezionatore umano può discriminare enormemente. Un modello correttamente progettato può talvolta ridurre questa discriminazione. La domanda non è dunque essere umano buono, algoritmo cattivo. È: quale architettura produce meno ingiustizia e permette il ricorso migliore? A volte una combinazione sarà migliore. Il modello segnala candidati dimenticati, l’essere umano contestualizza. Ma anche qui occorre sorvegliare il bias di automazione. Se il sistema classifica i CV, i selezionatori possono non guardare mai quelli che colloca in fondo. La graduatoria struttura la percezione. Anche se teoricamente decide l’essere umano, l’algoritmo ha già filtrato.

Ecco perché il governo dei sistemi deve guardare a monte. Chi è visibile? È un potere. La società del punteggio funziona spesso attraverso l’invisibilità anziché il divieto. Una persona con un punteggio basso non viene necessariamente rifiutata esplicitamente; semplicemente non compare mai tra le opzioni. È molto più difficile da contestare. Il diritto dovrà dunque interessarsi ai sistemi di classificazione. È già una questione delle piattaforme. L’IA la generalizza al lavoro, al credito. Una graduatoria può essere potente quanto una decisione. Deve dunque essere verificabile quando le conseguenze sono importanti. Ma sempre proporzionalmente. Una classifica di canzoni non ha la stessa gravità di una graduatoria di candidati a un posto di lavoro. La matrice del rischio ritorna sempre. Questa cultura della proporzionalità è probabilmente il migliore antidoto al panico normativo.

Non abbiamo bisogno di trattare ogni punteggio come una minaccia esistenziale. Dobbiamo trattare più severamente quelli che influenzano diritti fondamentali, l’accesso all’abitazione, al lavoro, al credito essenziale. Questa gerarchia permette l’innovazione negli usi di minore impatto e una protezione forte negli usi critici. È il metodo che ho difeso per l’autonomia. Il diritto maturo distingue. Ma le imprese possono essere tentate di presentare un sistema come un semplice aiuto mentre struttura fortemente la decisione. Occorrerà guardare l’effetto reale. Una raccomandazione seguita nel 99 % dei casi è praticamente una decisione. Ancora la differenza tra forma e sostanza.

Il controllo umano nominale non basta. Gli audit devono misurare i tassi di ribaltamento: quante volte gli esseri umani contestano realmente il punteggio? Se non lo fanno mai, forse non hanno tempo, oppure il sistema è effettivamente molto buono. Occorre capire. Il dato può aiutare a verificare il governo dei sistemi. È un uso intelligente. Si può vedere se determinati gruppi ottengano sistematicamente punteggi più bassi, se i ricorsi abbiano maggiore successo in alcune categorie. Questo permette di correggere. L’IA può così contribuire a controllare i sistemi di IA stessi.

Ma occorre un’istituzione che guardi questi segnali. Il problema non è mai soltanto tecnico. Un’organizzazione può possedere tutti i dati sulle proprie discriminazioni e scegliere di non agire. La cultura e il diritto rimangono necessari. Questo capitolo si ricollega dunque profondamente al diritto alla redenzione. La società del punteggio tende naturalmente ad accumulare. Ogni azione arricchisce il profilo. Più il profilo è ricco, più la previsione diventa precisa. Ma la persona ha bisogno della possibilità di rottura. L’oblio e la scadenza devono dunque entrare nel sistema. Occorrerebbe probabilmente distinguere i dati che descrivono uno stato duraturo da quelli che non devono produrre un effetto eterno.

Anche i primi possono cambiare. Un livello di competenza evolve. Anche una situazione finanziaria. Il modello deve dunque essere dinamico. Un punteggio vecchio di sei mesi può essere già falso. È quasi un paradosso: l’IA vuole prevedere il futuro, ma può essere prigioniera di un passato scaduto. La qualità dell’aggiornamento è dunque centrale. Ma aggiornare di più significa raccogliere di più. Ancora il compromesso. Occorre forse permettere alla persona di apportare volontariamente nuove informazioni per correggere il modello senza sorveglianza continua. È una via. Per esempio, una persona la cui situazione è cambiata può chiedere una rivalutazione. Il controllo ritorna all’individuo. Mi sembra sano.

L’agente personale potrebbe del resto svolgere un ruolo qui. Potrebbe sorvegliare i punteggi che incidono sul proprio utente, rilevare errori, presentare ricorsi. Ecco un uso emancipatore dell’IA contro la società del punteggio. Il cittadino potenziato di fronte all’istituzione potenziata. È una forma di simmetria cognitiva. Se le banche hanno modelli, gli individui possono avere agenti capaci di comprendere le decisioni. Questo riduce l’asimmetria. La stessa tecnologia può dunque centralizzare il potere o contribuire a ridistribuirlo.

Tutto dipende dall’accesso. È per questo che l’accesso ad agenti di qualità pone una questione di uguaglianza. Una persona ricca potrà pagare esperti o modelli capaci di contestare un punteggio. Gli altri devono disporre di una capacità minima. Forse le associazioni, i servizi pubblici, i sindacati svilupperanno agenti di difesa. È una prospettiva interessante. Il diritto al ricorso può essere reso effettivo dall’IA stessa.

È esattamente il tipo di architettura che preferisco: usare la stessa potenza per creare un contropotere. Ogni algoritmo importante di attribuzione dei punteggi dovrebbe incontrare la possibilità di un contro-algoritmo di verifica. Ma attenzione alla corsa infinita. Il sistema diventa sempre più complesso. L’essere umano può non comprendere più la controversia tra due modelli. Occorre dunque un arbitro umano o istituzionale. Ancora la firma. Non si può risolvere la legittimità attraverso una competizione di punteggi. A un certo punto, un giudice, un mediatore deve decidere secondo il diritto. Questo ci riporta a una verità semplice: l’IA può potenziare il diritto, non può sostituire la legittimità del diritto. Questa frontiera è centrale.

E conduce a una domanda più profonda: perché il diritto all’imprevedibilità ci sembra importante?

Perché consideriamo che una persona non sia soltanto la somma dei propri determinismi. È quasi una posizione filosofica. La scienza può mostrare che molti comportamenti sono statisticamente prevedibili. Questo non distrugge il valore della libertà giuridica. Il diritto non dipende da una metafisica assoluta del libero arbitrio. Organizza la responsabilità e la possibilità di agire diversamente. Anche se un’IA prevede con grande precisione che una persona farà qualcosa, la società può decidere che sarà giudicata soltanto quando l’avrà fatto. È un limite normativo alla previsione. Ecco un’idea essenziale.

Il diritto protegge lo spazio tra probabilità e atto. Questo spazio è la libertà politica. Si potrebbe chiamarlo presunzione d’imprevedibilità. Finché l’atto non è avvenuto, la previsione non vale come colpevolezza. Questa regola dovrebbe rimanere molto forte. Si estende oltre il penale. Un datore di lavoro non dovrebbe trattare qualcuno come sleale semplicemente perché un modello prevede un’uscita. Un’amministrazione non deve revocare un diritto sulla sola base di una probabilità di frode. La previsione può attivare una verifica proporzionata, non una condanna. È un’architettura di prudenza. E questo si ricollega direttamente al blindspot. Il sistema deve ricordarsi costantemente: posso sbagliarmi su questa persona. Questa frase è quasi la condizione morale di ogni IA di attribuzione dei punteggi. L’incertezza non deve essere ridotta a una piccola cifra decimale. Deve avere conseguenze procedurali. Più l’incertezza è forte, più la decisione deve essere reversibile. Ritroviamo ancora l’autonomia proporzionale all’irreversibilità.

Questa regola è davvero universale. Se rifiutare una raccomandazione musicale non ha gravità, l’algoritmo può agire liberamente. Se negare un’abitazione può sconvolgere una vita, la soglia di controllo deve essere elevata. È un’architettura etica fondata sulla conseguenza. Mi sembra più solida di divieti generali. Alcune pratiche, del resto, non appartengono più soltanto all’ipotesi: nell’Unione europea, l’AI Act vieta già alcune forme di valutazione sociale, così come la previsione individuale del rischio penale fondata unicamente sulla profilazione. Il mio «diritto all’imprevedibilità» va oltre: ne faccio una proposta filosofica per pensare le forme di totalizzazione predittiva che rimarrebbero giuridicamente possibili. Perché?

Perché fonde ambiti eterogenei e trasforma l’intera persona in un voto. È proprio ciò che la separazione deve impedire. Una società liberale in senso politico deve accettare che l’individuo possieda più contesti. Può essere un cattivo pagatore e un padre eccellente, un impiegato mediocre e un artista notevole.

Non esiste un punteggio totale legittimo della persona.

Ogni tentativo di costruire una valutazione generale produce una violenza concettuale prima ancora delle sue conseguenze pratiche. Presuppone che una vita possa essere ordinata su un unico asse. È falso. L’identità è multidimensionale. Il grafo umano non si riduce a un numero. Questo si ricollega direttamente al mio pensiero caleidoscopico.

Una persona è composta di prospettive, di temporalità, talvolta di contraddizioni. Volerla ridurre a un punteggio è l’opposto del caleidoscopio. È schiacciare la complessità. La società algoritmica deve dunque usare la potenza del calcolo per rispettare di più la complessità, non per eliminarla. È paradossale ma possibile. Anziché un punteggio unico, il modello può rappresentare più dimensioni e le incertezze.

Ma l’istituzione deve resistere al desiderio di una sintesi eccessiva. I decisori amano un semaforo verde o rosso. La realtà è più difficile. Occorre formare a leggere una complessità. L’IA può sintetizzare senza ridurre a una sola cifra. Per esempio, presentare tre fattori di rischio e due fattori protettivi. Questo rende la decisione più umana. Ancora la procedura del contraddittorio integrata nel modello.

La società del punteggio può dunque essere trasformata in una società della contestualizzazione, se lo vogliamo. Sarebbe una mutazione positiva. L’IA non dà soltanto punteggi; può spiegare scenari. Possiamo passare da una valutazione a una conversazione. Il cittadino può chiedere: perché? Quale elemento potrei correggere? È molto diverso. Il punteggio chiude. Il dialogo apre. Questa distinzione si ricollega a tutto il nostro libro. L’IA come oracolo o come interlocutore. Preferisco l’interlocutore. L’oracolo pronuncia. L’interlocutore può essere contestato. È questa l’architettura che dobbiamo generalizzare.

Ma il dialogo stesso può diventare manipolatorio se è controllato dall’istituzione che ha interesse al risultato. Un sistema di credito potrebbe spiegarti molto gentilmente perché ti rifiuta e convincerti che la decisione è inevitabile. È ancora la persuasione algoritmica. Occorrono dunque fonti, un ricorso esterno. La spiegazione non sostituisce il diritto. Mai.

Questo conduce alla questione dell’identità sociale. Se i punteggi diventano numerosi, l’individuo può cominciare a vedere sé stesso attraverso di essi. Sono 720 di credito, 4,7 di valutazione, 82 % di produttività. Lo specchio digitale può colonizzare l’immagine di sé. È un fenomeno psicologico importante. Abbiamo già visto l’effetto dei seguaci e dei «mi piace». Il numero funge da convalida. L’IA può moltiplicare le metriche personali: sonno, salute, produttività. Alcune sono utili. Possono aiutare a progredire. Ma possono anche trasformare la vita in un cruscotto. Il corpo diventa un progetto di ottimizzazione permanente. Ogni giornata produce un punteggio. Questa autoquantificazione può essere emancipatrice per alcuni e ansiogena per altri. Ancora, nessun verdetto unico.

Il problema compare quando la metrica cessa di essere uno strumento volontario per diventare un’esigenza sociale. Se il datore di lavoro chiede il punteggio del sonno, la libertà scompare. Se l’assicuratore esige il punteggio dell’attività, la salute scivola nella sorveglianza. Occorrono dunque frontiere forti tra automisurazione e uso da parte di terzi. Una persona deve poter misurare molte cose su sé stessa senza che questo diventi accessibile alle istituzioni. È un diritto importante. Il dispositivo personale per la salute non deve diventare automaticamente un sensore per il datore di lavoro o l’assicuratore. Ancora la separazione. Mi sembra una regola di civiltà essenziale. L’intimità digitale deve rimanere intima. La semplice esistenza di un dato non crea un diritto sociale di accesso.

Questa distinzione sarà difficile da mantenere perché gli incentivi economici spingono alla condivisione. Un’assicurazione meno cara se condividi la tua attività. Sembra vantaggioso. Poi chi rifiuta paga di più. La pressione sale. Ancora il consenso collettivo. Occorre dunque talvolta vietare la discriminazione in base al rifiuto di condividere determinati dati. Altrimenti la scelta è fittizia. È un ambito in cui il diritto dovrà essere coraggioso. Ma occorre anche lasciare spazio all’innovazione nella prevenzione. Un programma volontario di salute può essere benefico. La chiave è la finalità e la possibilità di uscirne senza una sanzione sproporzionata. Ancora la proporzionalità. Torniamo sempre a questi stessi strumenti perché sono quelli giusti: finalità, minimizzazione, separazione, ricorso, scadenza, pluralismo. Si potrebbe quasi scrivere intorno a essi una costituzione del punteggio. E sarebbe utile perché l’attribuzione dei punteggi non scomparirà. È troppo potente e talvolta troppo utile. Lo scopo non è vietarla. È impedirne la totalizzazione.

Ecco la linea.

Una società del punteggio diventa pericolosa quando il punteggio cessa di essere uno strumento locale e diventa un linguaggio generale del valore umano. È proprio ciò che occorre impedire. La dignità non è un punteggio. La cittadinanza non è un punteggio. La possibilità di ricominciare non deve dipendere eternamente da un punteggio. Questa dottrina mi sembra chiara. Si ricollega perfettamente al diritto alla redenzione che ho sempre difeso.

Il sistema deve lasciare una porta aperta. Anche dopo un errore. Anche dopo un brutto voto. Altrimenti la società algoritmica scivola verso caste probabilistiche. Una casta tradizionale ti imprigionava per nascita. Una casta digitale potrebbe imprigionarti attraverso i dati. La differenza tecnica non cambia la violenza del meccanismo. Forse la aggrava persino, perché sembra oggettivo. Ecco il pericolo del numero: può dare un’apparenza di neutralità a una gerarchia. Una persona non è più discriminata perché qualcuno la detesta. È esclusa perché «il punteggio è 42». Il potere scompare dietro la metrica. È esattamente la dissoluzione della responsabilità che rifiuto. Qualcuno ha scelto il modello, la soglia, la finalità. Occorre ritrovare questa catena. Sempre.

Il punteggio non è mai un fenomeno naturale. È costruito. Anche se è calcolato automaticamente, poggia su scelte umane. Quali dati? Quale periodo? Quale obiettivo? Quale soglia? Questa genealogia deve essere visibile a chi controlla. È ancora la provenienza. La provenienza di un punteggio assume la stessa importanza di quella di un’immagine.

Da dove viene questo numero?

Si vedono così convergere tutti i capitoli. Il mondo sintetico, gli agenti, i mercati, i punteggi. Pongono sempre la stessa domanda: come ricostruire la catena di responsabilità in un mondo in cui l’azione è distribuita? È probabilmente la grande questione istituzionale dell’era dell’IA. L’intelligenza si distribuisce. La responsabilità deve rimanere ricostruibile. Questa frase può quasi riassumere tutta questa sequenza.

E la società del punteggio ci obbliga ad aggiungere: la previsione può distribuirsi, ma la dignità non deve essere dissolta nella previsione. L’essere umano deve conservare il diritto di non essere ridotto a ciò che il sistema pensa di lui. È questo il diritto all’imprevedibilità. Non il diritto di sfuggire a tutte le statistiche, ma il diritto di non vedere la propria libertà assorbita da esse. È un principio che può essere articolato giuridicamente. Mi sembra abbastanza forte da diventare una dottrina europea, forse universale.

L’Europa possiede una storia giuridica particolarmente sensibile alla dignità e alla protezione dei dati. Potrebbe fare di questo diritto alla non totalizzazione algoritmica un contributo di grande portata. Ma ancora una volta occorre un’industria dietro il diritto. Gli agenti, i modelli devono integrare questi principi. Altrimenti rimarranno testi. La protezione deve essere codificata, sottoposta ad audit. Una società che vieta il punteggio generale deve anche impedire tecnicamente la fusione di determinate banche dati. Il diritto diventa un’architettura. Ancora e ancora. Questo mi conferma che il giurista del futuro deve parlare con l’ingegnere. Un divieto senza traduzione tecnica può essere aggirato da mille inferenze. L’ingegnere deve comprendere lo spirito della legge. Questo dialogo diventa assolutamente centrale. Forse vedremo comparire gruppi di architettura dei diritti, in cui giuristi e scienziati dei dati costruiscano insieme i sistemi. È un’evoluzione che auspico. Ridurrà la situazione attuale in cui l’etica arriva dopo il prodotto. Il diritto all’imprevedibilità deve essere presente fin dalla progettazione. Per esempio, introdurre una scadenza dei dati, separare ambiti, permettere il ricorso. Sono funzioni tecniche. La filosofia diventa un codice. Può sembrare inquietante, ma è inevitabile. I valori si materializzano nell’architettura.

Era già vero con gli edifici. Una prigione panottica esprime una filosofia del controllo. Un’interfaccia o una banca dati fa la stessa cosa. La differenza è che è meno visibile. Ecco perché occorre imparare a leggere il codice come architettura politica. È una cultura nuova. L’urbanista esamina la città. Il costituzionalista del futuro dovrà esaminare i flussi di dati. Mi sembra evidente. E questa lettura deve rimanere pubblica nei suoi principi. Una società democratica deve sapere quali categorie di punteggi vengano usate dalle proprie istituzioni. Un registro dei sistemi ad alto impatto potrebbe essere una buona architettura. Non un elenco interminabile di piccoli algoritmi, ma i sistemi che incidono su diritti importanti. Chi li usa?

Per che cosa?

Quale ricorso?

Questo aumenterebbe la fiducia. Ancora la trasparenza proporzionata. Ma il rischio della società del punteggio non si ferma alle istituzioni. Si sposta verso l’IA stessa. Gli assistenti potrebbero cominciare ad attribuirci implicitamente profili permanenti per personalizzare le proprie risposte. Può essere utile. Ma se il sistema ci tratta sempre secondo un vecchio profilo, riduce la nostra possibilità di mutazione. Anche l’IA personale deve integrare il diritto all’imprevedibilità. Deve accettare che l’utente cambi.

Forse chiedere periodicamente se determinate preferenze siano ancora valide, permettere di ripartire da zero su certi temi. Questa flessibilità è essenziale. Un assistente che «ti conosce troppo bene» può diventare una prigione dolce. Anticipa tutto e ti propone sempre ciò che avresti scelto ieri. La sorpresa scompare.

Questo limite dà al diritto all’imprevedibilità una portata immediata nel nostro stesso dialogo. Un’intelligenza che mi accompagna non deve soltanto imparare ciò che sono stato; deve lasciarmi la possibilità di diventare altro dal suo modello di me.

Ancora il problema dell’esplorazione.

L’essere umano ha bisogno di una certa opacità a sé stesso.

Non sappiamo sempre che cosa vogliamo prima di incontrarlo. Un sistema che prevede troppo perfettamente può eliminare l’incontro. È una riflessione più profonda dell’attribuzione economica dei punteggi. Il diritto all’imprevedibilità è anche un diritto esistenziale.

Il diritto di diventare qualcuno che il nostro passato non permetteva di prevedere.

Forse è persino una delle definizioni più forti della libertà umana nell’era dell’IA. Essere liberi significa anche poter smentire il proprio modello. Siamo naturalmente prodotti di una storia, di determinismi. Ma una società umanista deve lasciare istituzionalmente aperta la possibilità della rottura. Non ha bisogno di risolvere filosoficamente il libero arbitrio. Le basta non chiudere la porta prima dell’atto. Questa dottrina è estremamente concreta nella redenzione.

Un condannato che ha scontato la pena deve poter ricostruire una vita. Un imprenditore che ha fallito deve poter ricominciare. Un adolescente mediocre a scuola può diventare un grande ricercatore. Il modello statistico dirà forse che questi casi sono rari. Poco importa. La civiltà si giudica anche dallo spazio che lascia al caso raro. È proprio qui che il caos e la mutazione si incontrano.

Il sistema che elimina tutte le anomalie elimina una parte del proprio futuro. La natura lo sa. La diversità genetica contiene variazioni apparentemente inutili fino al cambiamento dell’ambiente. La società deve conservare la propria diversità comportamentale. Il punteggio spinge verso la selezione permanente. Occorre dunque una forza contraria. Spazi in cui si possa fallire senza essere schedati eternamente. Zone di seconda possibilità. È un’architettura di resilienza sociale.

Una società che permette di ricominciare è più adattabile di una società che fissa ciascuno in una categoria. È esattamente «solo i mutanti sopravvivono» applicato al diritto. Il diritto alla redenzione non è soltanto compassione. È una strategia di mutazione collettiva. Ecco un’idea che trovo molto forte. Una società che non perdona mai i propri errori riduce il numero delle traiettorie possibili.

Diventa rigida. La rigidità è pericolosa in un ambiente che cambia. La misericordia può essere una forma di resilienza. Questa parola può sembrare morale o religiosa, ma possiede una dimensione sistemica. Permettere a una persona di cambiare aumenta la diversità dei futuri. È proprio ciò che il punteggio cerca talvolta di ridurre per guadagnare in prevedibilità.

Dobbiamo dunque scegliere fino a che punto vogliamo un mondo prevedibile. Una società perfettamente prevedibile sarebbe forse più facile da amministrare, meno libera e probabilmente meno innovativa.

L’imprevedibilità è un costo della libertà.

Una democrazia accetta che i cittadini facciano talvolta scelte che il governo considera sbagliate. Un mercato accetta che gli imprenditori investano in idee che falliscono. L’arte accetta l’inclassificabile.

Questa imprevedibilità produce spreco, disordine, ma anche novità.

Il regime autoritario sogna spesso di ridurre l’incertezza sociale. L’IA può dargli strumenti. La democrazia deve invece imparare a gestire l’incertezza senza volerla abolire. È una differenza filosofica profonda. La sicurezza non è assenza d’imprevedibile. È capacità di rispondervi. Ancora la resilienza anziché l’oracolo.

Questo chiude il cerchio con tutta la sequenza. Non dobbiamo usare l’IA per eliminare l’incertezza umana, ma per costruire istituzioni capaci di conviverci. Questa distinzione potrebbe diventare una linea di demarcazione tra civiltà. Da un lato, le architetture che cercano di prevedere per controllare. Dall’altro, quelle che cercano di comprendere per aumentare la libertà e la resilienza. Ovviamente nessuna società sarà pura. Anche le democrazie useranno punteggi. I regimi autoritari possono usare l’IA per servizi utili. Non si tratta di fare caricature. Ma la direzione normativa conta.

Qual è l’impostazione predefinita del sistema?

Quando esita, privilegia la possibilità della persona o la sicurezza della previsione?

Questa domanda si porrà ovunque. Nel credito, nella scuola, nella polizia. Dovremo definire soglie diverse. Ma un principio può rimanere: più una decisione incide sul futuro fondamentale di una persona, meno deve essere fondata soltanto su ciò che la statistica dice del suo passato. Questa formulazione mi sembra molto solida. Il futuro non deve appartenere al passato. L’IA apprende dal passato. Il diritto protegge la possibilità del futuro. Ecco forse la più bella articolazione tra i due. L’intelligenza artificiale è un’immensa macchina per estrarre regolarità da ciò che è accaduto. La civiltà deve mantenere uno spazio in cui ciò che non è mai accaduto possa ancora comparire. È qui che risiedono l’arte, l’innovazione, la redenzione.

La demeure du chaos stessa avrebbe probabilmente ottenuto un punteggio di conformità catastrofico se un modello l’avesse confrontata con le proprietà vicine. Eppure il suo valore risiede proprio in questa rottura. Ecco perché il punteggio non deve mai diventare giudice universale. Misura lo scarto. La storia decide talvolta che quello scarto era precursore. Questa temporalità è fondamentale. Il presente classifica, il futuro riqualifica. Una società che vuole dare voti a tutto in tempo reale dimentica che il significato si trasforma. L’opera incompresa oggi può diventare patrimonio domani. L’imprenditore giudicato insensato può diventare pioniere. Il punteggio è sempre prigioniero del momento in cui viene calcolato. Ecco un limite che l’IA non eliminerà mai completamente.

Può apprendere da scenari, ma il futuro crea categorie nuove. È esattamente la mutazione. E questa idea apre naturalmente la prossima domanda. Se dobbiamo proteggere l’imprevedibilità e la capacità di rottura, che cosa diventa l’istruzione in un mondo in cui i modelli possono prevedere, personalizzare e accompagnare ogni apprendimento? La scuola può diventare uno dei luoghi più potenti di emancipazione algoritmica o, al contrario, il primo luogo di valutazione permanente.

Un tutor di IA può aiutare ogni bambino secondo il suo ritmo, rilevare una difficoltà e aprire percorsi. Ma può anche registrare ogni esitazione, ogni errore, costruire fin dall’infanzia un profilo cognitivo che seguirà la persona. Sarebbe vertiginoso. L’istruzione deve essere proprio il luogo in cui l’individuo diventa altro da ciò che era. Non può diventare l’istituzione che lo imprigiona il più presto possibile in una previsione.

Come usare un tutor quasi individuale senza trasformare l’allievo in un profilo permanente?

Come preservare l’insegnante, la relazione, il collettivo? E soprattutto, che cosa occorre ancora imparare quando l’intelligenza è disponibile su richiesta?

Il diritto alla formazione di sé prolunga così il diritto all’imprevedibilità: imparare significa conservare la possibilità di diventare altro da ciò che il modello aveva previsto.

Ma questa domanda ci riporta ora al dispositivo che ha sostenuto tutta quest’opera. Perché ciò che abbiamo appena esaminato alla scala della società — memoria, previsione, contraddizione, libertà, capacità di mutazione — si è giocato anche, per quaranta giorni e quaranta notti, nel nostro stesso dialogo.

È tempo di guardare questo dialogo stesso.