Toute société classe. Bien avant l’intelligence artificielle, les institutions attribuaient déjà des catégories, des statuts, des notes, des dossiers. L’école note, la banque évalue le risque, l’assureur calcule une prime, l’entreprise apprécie une compétence, l’administration vérifie des droits. Il serait donc faux de présenter le score comme une invention de l’IA. Ce qui change aujourd’hui, c’est sa profondeur, sa fréquence et surtout sa capacité à circuler entre des domaines autrefois séparés.

Un système peut désormais croiser des centaines de variables, construire une probabilité, détecter des profils que personne n’aurait pu calculer manuellement. Cette puissance peut être extrêmement utile. Une banque peut mieux évaluer un risque. Un assureur peut tarifer plus précisément. Une administration peut détecter une fraude.

Mais à mesure que la prédiction devient plus fine, une question apparaît alors : à partir de quel moment la personne cesse-t-elle d’être jugée sur ce qu’elle fait pour être jugée sur ce qu’un modèle pense qu’elle fera ? Voilà le seuil. Le score n’est plus seulement mémoire d’un passé. Il devient une anticipation du futur. Et cette anticipation peut produire des conséquences avant même que l’événement ait eu lieu. Une personne peut ne pas obtenir un crédit parce qu’elle ressemble statistiquement à des personnes qui ont moins remboursé. Elle peut être davantage contrôlée parce que certains signaux augmentent une probabilité. Elle peut être considérée comme candidate à un départ d’entreprise avant d’avoir exprimé l’intention de partir.

Nous passons du constat à la préemption.

Cette logique doit être examinée avec une extrême prudence parce qu’elle possède une efficacité économique réelle et un danger anthropologique immense. L’efficacité vient de la statistique. Si certaines variables sont corrélées à un comportement, le modèle peut réduire l’incertitude. Le danger apparaît lorsqu’on oublie que la probabilité appartient à une distribution, pas à une personne comme destin. Dire qu’un groupe possède un risque plus élevé ne signifie pas que cet individu fera ce que le groupe fait en moyenne.

La différence entre population et sujet se joue ici. La statistique sait beaucoup de choses sur les groupes. Le droit protège des individus. Cette tension est ancienne, mais l’IA lui donne une puissance nouvelle. Plus le modèle devient précis, plus nous pouvons être tentés de considérer sa prédiction comme vérité personnelle. Un score à 87 % semble presque une propriété de l’individu. Mais il reste une estimation conditionnée par des données, un modèle, un contexte. Voilà pourquoi je considère que le droit à l’imprévisibilité doit devenir une notion centrale de l’ère algorithmique.

Ce droit ne signifie évidemment pas qu’il serait interdit de prévoir quoi que ce soit sur les comportements humains. Ce serait absurde. Toute économie utilise des prévisions. Il signifie que la prédiction ne doit pas devenir identité, et encore moins condamnation. Une personne doit conserver le droit de surprendre le modèle. C’est presque une définition de la liberté.

Si tout comportement passé devient matière à prédire le futur et que chaque prédiction produit une conséquence qui réduit les options, nous pouvons enfermer progressivement l’individu dans sa trajectoire statistique. Le score acquiert un effet autoréalisateur. Une personne considérée comme risquée obtient moins d’opportunités ; faute d’opportunités, son parcours se dégrade ; le système conclut ensuite qu’il avait raison. C’est une boucle extrêmement dangereuse. Le modèle ne se contente plus de prédire le réel. Il contribue à le fabriquer. La réflexivité réapparaît ici, appliquée directement à la vie humaine. Cette boucle est particulièrement visible dans le crédit. Une personne exclue du financement à moins de capacité à investir, à se former, à acheter un logement. Son avenir économique est modifié par l’évaluation. Cela ne signifie pas qu’il faut abolir l’analyse du risque. Le crédit sans risque n’existe pas. Il faut simplement reconnaître le pouvoir causal du score. Une décision de crédit n’est pas seulement une observation. Elle peut modifier le futur qu’elle prétend mesurer. D’où la nécessité de rendre le système contestable et corrigible. Quelles données ont produit le score ?

Sont-elles exactes ?

Certaines sont-elles obsolètes ?

Existe-t-il des éléments de contexte que le modèle ne voit pas ? Sans procédure de recours, la statistique risque de se transformer en destin administratif. Nous retrouvons encore le même pilier : aucun pouvoir algorithmique sans recours. Mais cette exigence doit être conçue concrètement. Donner à une personne une page de variables incompréhensibles n’est pas un recours réel. Elle doit pouvoir connaître les facteurs principaux ayant influencé la décision, signaler une erreur, présenter une information nouvelle et obtenir une révision humaine dans les situations importantes. Ce n’est pas un luxe. C’est une condition de justice.

La même logique vaut pour l’assurance. Un système peut calculer très finement le risque individuel. Cela paraît économiquement rationnel : chacun paie au plus près du risque qu’il représente. Mais poussons cette logique jusqu’au bout et une contradiction apparaît. L’assurance existe précisément pour mutualiser l’incertitude. Si l’on prédit parfaitement le risque individuel, l’assurance se rapproche d’une facturation du destin. Celui dont le risque est élevé paie énormément précisément parce qu’il a le plus besoin d’être protégé. L’optimisation actuarielle peut alors entrer en conflit avec la solidarité. Voilà encore une démonstration que l’optimum technique ne suffit pas.

Une société doit décider quelle part de risque elle veut mutualiser. Santé, handicap, catastrophes. Ce choix est politique et moral. L’IA peut mieux calculer le risque, mais elle ne décide pas quelle solidarité nous voulons conserver.

Souhaitons-nous une assurance parfaitement individualisée ou acceptons-nous qu’une partie du risque soit collectivement partagée ?

Il n’existe pas de réponse purement mathématique. Et la précision croissante de l’IA peut rendre ce conflit plus visible. Pendant longtemps, certaines solidarités existaient aussi parce que nous ne pouvions pas mesurer précisément. L’ignorance imposait une mutualisation. Lorsque l’ignorance diminue, la solidarité doit devenir un choix explicite. C’est un seuil civilisationnel.

Le progrès de la connaissance retire parfois la protection de l’incertitude. Nous devons décider si nous voulons la reconstruire juridiquement. C’est une idée extrêmement importante. La liberté a longtemps bénéficié de l’impossibilité technique de tout connaître. La solidarité également. Lorsque la technologie réduit cette impossibilité, nos institutions doivent poser volontairement des limites. Encore la liberté par auto-limitation du pouvoir.

L’assurance génétique offre déjà un exemple juridique concret. En France, pour les garanties couvrant les risques d’invalidité ou de décès, le droit interdit aux assureurs de tenir compte des résultats d’examens des caractéristiques génétiques, même lorsqu’ils leur sont transmis avec l’accord de la personne. Le principe est remarquable : une donnée peut être prédictive et néanmoins soustraite à l’optimisation assurantielle parce que la société décide qu’elle ne doit pas devenir un critère de tarification.

Le même raisonnement vaut pour d’autres inférences. Un modèle peut peut-être déduire une situation de santé à partir d’achats ou de déplacements. Le fait qu’une information puisse être inférée ne signifie pas qu’elle devrait être exploitable. C’est pourquoi la doctrine des inférences que j’évoquais dans les chapitres précédents devient ici centrale. La vie privée ne concerne plus seulement ce que l’individu a révélé. Elle concerne ce que la machine peut reconstruire.

La capacité d’inférence est le nouveau pouvoir.

Le droit doit donc protéger certaines conclusions indépendamment de la manière dont elles ont été obtenues. Cela semble complexe mais c’est indispensable. Sinon, interdire l’accès direct à une donnée sensible ne sert presque à rien si le modèle peut la reproduire statistiquement. Nous entrons alors dans une société où la personne est transparente sans avoir rien déclaré. Cette transparence algorithmique peut être extraordinairement intrusive. Un individu peut ne pas connaître lui-même certaines tendances que le système croit détecter. L’entreprise sait peut-être qu’un salarié envisage de partir avant qu’il ait formulé clairement cette décision.

Que doit-elle faire de cette information ?

Peut-elle lui refuser une promotion parce que son score de départ est élevé ?

Ce serait très dangereux. Le modèle pourrait créer précisément le départ qu’il prédit. Encore la boucle autoréalisatrice. Il faut donc distinguer la prédiction destinée à anticiper un besoin collectif et la prédiction utilisée pour sanctionner individuellement. Une entreprise peut prévoir que 10 % de ses salariés d’un service risquent de partir afin de préparer des recrutements. C’est très différent d’identifier nominativement les trois personnes et de les traiter comme déjà déloyales. La granularité de la prédiction pose une question de dignité. L’agrégé peut être légitime là où l’individuel devient intrusif. Voilà pourquoi la minimisation ne concerne pas seulement la quantité de données, mais la résolution.

À quelle échelle avons-nous réellement besoin de savoir ?

La précision n’est pas une valeur absolue. Une information plus fine peut être utile pour certaines fonctions et intrusive pour d’autres. La bonne résolution dépend de la finalité.

Pour organiser les transports d’une ville, on a besoin de flux. On n’a pas nécessairement besoin de savoir précisément où chaque personne va à chaque instant. Pour prévoir une rotation de personnel, on peut utiliser des tendances sans profiler chaque salarié. La société algorithmique mature sera celle qui sait volontairement rester à une résolution inférieure lorsque la précision supplémentaire ne justifie pas l’intrusion.

Cela exige une discipline de conception. Les ingénieurs sont naturellement attirés par la précision. Le droit doit poser la question : utile pour quoi ? C’est le principe de proportionnalité informationnelle. Et cela me conduit à une notion qui me paraît essentielle : le droit au cloisonnement des scores.

Un score de crédit ne devrait pas automatiquement devenir un score d’employabilité. Une évaluation dans un domaine ne doit pas contaminer tous les autres. Nous avons déjà connu dans l’histoire des systèmes sociaux où une catégorie produisait une cascade de conséquences : caste, statut, casier. L’IA pourrait reconstruire une forme de caste numérique par accumulation de scores. Ce danger est réel. Si une personne possède une note faible sur une plateforme, puis que cette note est utilisée par un assureur, un propriétaire, un employeur, elle peut progressivement être exclue de plusieurs dimensions de la vie. Le score devient une identité sociale totale.

C’est précisément ce qu’il faut empêcher. Chaque évaluation doit rester liée à sa finalité. C’est une extension du principe juridique de limitation des finalités. Un score est une réponse à une question particulière. « Quel risque de défaut pour ce crédit ? » Il n’est pas une mesure générale de la valeur de la personne. Cette distinction doit être rigoureuse. La tentation sera pourtant forte de réutiliser parce que la donnée existe. Un score déjà calculé ne coûte presque rien à partager. C’est là que le droit doit résister à l’économie de la facilité. Le fait qu’une donnée soit disponible ne crée pas un droit d’usage universel. C’est exactement comme la mémoire. Une information peut être vraie et pourtant ne pas devoir être utilisée partout. L’oubli et le cloisonnement sont des conditions de liberté.

Cette idée est très importante. Nous pensons souvent à la vie privée comme secret. Elle est aussi contexte. Je peux donner une information à mon médecin sans vouloir qu’elle soit utilisée par mon banquier. Ce n’est pas que l’information est honteuse. Elle appartient à une relation. L’IA, en reliant toutes les bases, menace cette contextualité. Le graphe total est techniquement séduisant. Socialement, il peut être destructeur. Voilà pourquoi une civilisation algorithmique doit savoir créer des murs dans le graphe.

C’est presque une inversion de toute ma vie avec les bases de données, où relier crée de la valeur. Oui, relier crée de la valeur. Et précisément parce que cela crée de la puissance, il faut parfois choisir de ne pas relier. Il n’y a aucune contradiction. La maturité consiste à savoir où la relation est légitime. Une base de Marché de l’Art doit relier artiste, œuvre, vente, Maison de Ventes. Elle n’a aucune raison de relier les données médicales du collectionneur. La finalité définit le graphe. Le danger commence lorsque le graphe cherche à devenir monde total. C’est l’hubris de la donnée. L’idée que puisque tout peut être relié, tout doit être relié. Je refuse cette idée. Le chaos vivant a besoin de discontinuités. La liberté également.

Une société où chaque comportement nourrit un score général devient profondément conformiste. Pourquoi prendre un risque si une erreur peut affecter votre crédit, votre assurance, votre emploi ? L’individu commence à optimiser sa vie pour le système de notation. Voilà un effet de second ordre immense. Le score ne mesure plus seulement le comportement. Il le discipline. Foucault aurait évidemment reconnu cette logique. Le Panoptique produit l’autocontrôle parce que le détenu sait qu’il peut être observé. La société du score ajoute une autre dimension : on sait que chaque trace peut modifier une note. On devient gestionnaire de sa propre réputation algorithmique. Cela peut produire de la prudence, mais aussi une perte de spontanéité.

Une société où chacun cherche en permanence à maintenir un score favorable devient une société de comportements standardisés. C’est une menace pour la créativité et la dissidence. L’innovation suppose parfois de faire quelque chose qui paraît bizarre ou risqué. Si chaque comportement atypique réduit une note de fiabilité, le système pénalise les mutants. Voilà pourquoi le droit à l’imprévisibilité est également un droit à l’innovation. Seuls les mutants survivent, mais encore faut-il que le système permette aux mutants d’exister. C’est une contradiction profonde de l’économie algorithmique. Elle veut détecter les anomalies parce qu’elles peuvent signaler un risque. Mais l’anomalie peut aussi être la source de la nouveauté. Le même signal peut être fraude ou innovation.

Comment distinguer ?

Le contexte. Encore une fois. Un modèle peut repérer un comportement statistiquement rare. Il ne doit pas automatiquement le considérer comme négatif.

L’anomalie est une question, pas un verdict.

Cette phrase devrait être un principe. Elle vaut dans la sécurité, le travail, la finance. La société algorithmique doit conserver la possibilité que l’exception soit bonne. C’est exactement la méthode de la Demeure du Chaos. Ce qui apparaît comme anomalie du paysage est peut-être une Œuvre d’Art Totale. Celui qui applique uniquement la norme visuelle conclut à un dysfonctionnement. Il ne voit pas la structure. C’est presque une métaphore parfaite de la société du score. Un système peut mesurer l’écart à la moyenne. Il ne mesure pas automatiquement la valeur de cet écart. L’artiste, l’entrepreneur, le dissident sont souvent des anomalies statistiques. Une société trop optimisée autour de la moyenne pourrait devenir incapable de produire ses propres mutations. Cela rejoint directement le chapitre précédent sur l’exploration. Une économie doit conserver des zones où l’individu n’est pas pénalisé pour sortir du profil attendu.

L’école est un domaine particulièrement important. Imaginez un système éducatif qui, dès l’enfance, construit des probabilités de réussite dans différents métiers. Cela peut être utile pour proposer un soutien personnalisé. Mais si le score devient une orientation définitive, c’est extrêmement dangereux. Un enfant change. Il apprend. Il peut se révéler tardivement. Une prédiction précoce peut l’enfermer dans une trajectoire. Voilà le risque de prophétie autoréalisatrice dans sa forme la plus grave.

L’IA doit être utilisée pour ouvrir des opportunités, pas les fermer prématurément. Un modèle peut dire : cet élève semble avoir une difficulté en mathématiques, proposons une autre méthode. Très bien. Il ne doit pas dire : cet élève n’est pas fait pour les sciences. La différence est gigantesque. La première approche traite le score comme diagnostic temporaire. La seconde comme identité. Voilà encore le droit à muter.

Une bonne architecture éducative doit faire expirer les prédictions. Un score ancien doit perdre du poids. C’est une idée technique et philosophique très importante : la décroissance temporelle du passé. Toutes les données historiques ne doivent pas conserver éternellement la même influence. Une erreur commise à dix-huit ans ne doit pas nécessairement déterminer un prêt à quarante ans. Un retard de paiement ancien peut perdre sa pertinence. Le modèle doit intégrer la temporalité de la rédemption.

C’est presque du droit devenu mathématique. Nous pourrions imaginer des règles imposant que certaines données cessent d’être utilisées après une période. Cela existe déjà dans certains contextes. Les systèmes numériques rendent ces protections encore plus nécessaires parce qu’ils peuvent conserver les traces avec une persistance et une capacité de rappel sans commune mesure avec la mémoire humaine. Le passé numérique ne s’efface pas naturellement. Il faut donc créer de l’oubli artificiel. Voilà encore cette idée magnifique : la civilisation devra programmer l’oubli.

Nous avons passé des décennies à améliorer le stockage. Nous allons devoir apprendre à supprimer. Ce n’est pas une contradiction. Une mémoire sans oubli est pathologique. Le cerveau humain lui-même oublie. Cette fonction est essentielle. Elle permet de généraliser, de pardonner, de vivre. Une société de mémoire totale peut devenir punitive. Chaque erreur reste éternellement accessible. L’IA peut rappeler, relier. Le droit doit parfois couper le lien. C’est cela le droit à la rédemption algorithmique.

Il ne suffit pas d’autoriser juridiquement une personne à recommencer si les modèles continuent à la classer sur son ancien comportement. La rédemption doit avoir une conséquence dans les données. Voilà une question très concrète. Un casier peut être effacé juridiquement, mais des données privées peuvent continuer à circuler. Le droit doit coordonner ces couches. Sinon, la réhabilitation devient une fiction. C’est une bataille très importante pour le futur.

La société numérique peut être plus punitive que le droit parce qu’elle se souvient mieux. Nous devons donc défendre une supériorité de la règle juridique sur la mémoire technique. Lorsque la loi dit qu’une dette est prescrite, le système ne doit pas continuer à la traiter comme signal négatif indéfiniment. Cela suppose des audits et des sanctions. Encore la gouvernance.

La prédiction comportementale pose également un problème en matière de sécurité publique. Les systèmes peuvent identifier des lieux ou des situations où certains délits sont statistiquement plus probables. Une police peut utiliser cela pour allouer des ressources. Là encore, l’agrégé peut avoir une utilité. Mais si le modèle commence à identifier des individus comme futurs délinquants, nous entrons dans une philosophie beaucoup plus dangereuse.

La justice pénale repose sur les actes, pas sur la prédiction d’actes possibles.

Une démocratie doit être extrêmement prudente à cette frontière. Prévenir un crime imminent sur la base d’éléments concrets est une fonction normale de la police. Classer une personne comme dangereuse parce qu’elle possède un profil statistique est autre chose. C’est Minority Report devenu administration. La fiction avait précisément identifié le problème : peut-on punir ce qui n’a pas encore eu lieu ? La réponse juridique doit rester non.

Mais la technologie peut créer des zones grises. Un score de risque peut influencer l’intensité de la surveillance, ce qui augmente la probabilité de détecter une infraction dans certaines populations, renforçant ensuite les données du modèle. C’est une boucle de feedback particulièrement connue. Le système patrouille davantage là où les données indiquent davantage de délits, trouve donc davantage de délits là, conclut que sa prédiction était correcte. Il faut casser cette boucle avec des méthodes statistiques et des contre-pouvoirs. Sinon, le modèle apprend la géographie de la surveillance autant que celle du crime. C’est un excellent exemple de causalité cachée. La donnée ne mesure pas seulement le phénomène ; elle mesure aussi la manière dont l’institution l’observe. Toute base administrative contient cette empreinte. Les statistiques policières reflètent en partie les pratiques policières. Les statistiques médicales reflètent l’accès au soin. Voilà pourquoi l’IA ne peut pas traiter la base comme photographie objective du monde.

Elle doit comprendre le processus de génération des données. C’est une notion très importante : data generating process. D’où viennent les données ? Qui a été mesuré et qui ne l’a pas été ? C’est exactement la provenance au niveau statistique. Sans cela, le modèle reproduit des biais de mesure. Cette discipline devrait être enseignée à tous ceux qui utilisent des scores. Une donnée n’existe jamais hors d’un système de collecte. Et le système de collecte possède une histoire.

Encore l’histoire au cœur de l’IA. Nous retrouvons l’historien. Pour comprendre une statistique, il faut savoir comment elle a été produite. Cela me paraît évident avec Artprice. Un résultat de vente ne signifie rien si l’on ne sait pas quelle maison, quelle devise, quelles conditions. C’est pareil pour un score social. Les chiffres n’ont pas d’existence autonome. Ils ont une provenance. Cette culture de la provenance pourrait être l’un des meilleurs antidotes à la société du score.

Ne jamais regarder un nombre sans demander sa généalogie. Mais la société du score ne viendra pas forcément d’un grand système étatique unique. Elle peut apparaître de manière diffuse par l’accumulation de notes privées. Plateformes, réseaux professionnels, services. Un chauffeur note un passager, le passager note le chauffeur, un propriétaire note un locataire. Chaque notation paraît locale et peut améliorer la confiance. Mais si ces notes deviennent portables ou agrégées, nous construisons progressivement une réputation totale. Voilà le danger.

Une mauvaise expérience ponctuelle peut contaminer d’autres domaines. Il faut donc maintenir des frontières. La réputation doit être contextualisée. Être mauvais client d’un restaurant un soir ne signifie rien sur la solvabilité bancaire. Cela paraît évident. Mais l’IA peut trouver des corrélations et rendre la réutilisation tentante. Il faut donc un principe juridique fort : les scores ne sont pas des propriétés générales de la personne. Ils sont des instruments fonctionnels limités. Cela peut sembler technique, mais c’est une protection anthropologique. L’individu est plus vaste que toute somme de scores. Aucune base ne doit pouvoir prétendre épuiser son identité.

Cela rejoint la différence entre la carte et le territoire. Même si nous avions un million de variables sur une personne, nous n’aurions pas la personne. Nous aurions une représentation. La société algorithmique doit maintenir cette humilité. Sinon, le profil devient un double numérique souverain et l’humain doit se conformer à son propre modèle. C’est une inversion effrayante.

Aujourd’hui déjà, une personne peut découvrir qu’une base contient une information erronée et devoir prouver que la base se trompe.

L’administration croit le fichier avant l’individu. L’IA peut amplifier cela parce que le profil devient plus complexe. Voilà pourquoi le droit au miroir administratif ou commercial que j’évoquais devient une condition du recours. La personne doit pouvoir connaître les données importantes utilisées pour des décisions significatives. Sinon, elle combat un fantôme.

Le pouvoir de correction est une condition de dignité. Mais il faut également un droit à l’explication proportionné. Je reviens sur cette notion parce qu’elle est centrale ici. Un score de crédit basé sur des centaines de variables ne peut pas être expliqué totalement dans chaque détail. Mais on peut donner les facteurs principaux, signaler les données incorrectes. Le but n’est pas de révéler tous les secrets commerciaux. Il est de permettre une contestation significative. C’est le critère. Le recours réel.

Le droit doit privilégier l’efficacité de la contestation plutôt que la transparence théorique totale. C’est une approche beaucoup plus pragmatique. On peut conserver certains secrets tout en donnant à un médiateur ou régulateur un accès plus profond. Encore les couches de contrôle. L’utilisateur reçoit une explication simple. L’auditeur peut examiner le système. Le juge peut obtenir davantage si nécessaire. C’est une architecture graduée de transparence. Elle me paraît beaucoup plus réaliste que « tout open source » ou « secret total ». Encore la granularité.

La société du score pose aussi la question de la propriété des données comportementales. Nous produisons constamment des traces. Cliquer, marcher, payer, dormir avec un appareil. Ces traces peuvent devenir matière à score. Qui a le droit de les exploiter ? Le consentement actuel est souvent fictionnel. Personne ne lit toutes les conditions. Avec l’IA, la portée future d’une donnée devient difficile à anticiper.

Une donnée banale aujourd’hui peut permettre une inférence sensible demain. Peut-on consentir réellement à un usage que personne ne sait encore imaginer ? Voilà un problème profond. Le consentement ne peut pas être le seul fondement de la protection des données. Il faut des interdictions de finalités indépendantes du clic. C’est déjà l’esprit de beaucoup de droits modernes. L’IA renforce cette nécessité. Certaines inférences ne doivent pas être utilisées pour certaines décisions même si l’utilisateur a cliqué « accepter » dans un contrat interminable. La liberté contractuelle ne suffit pas lorsque l’asymétrie est trop grande. C’est précisément le rôle du droit de fixer des planchers. Encore la civilisation comme limitation volontaire. Mais il faut éviter un paternalisme excessif. Une personne peut souhaiter utiliser ses propres données pour obtenir un meilleur service. Elle doit pouvoir. L’architecture doit donc donner davantage de contrôle réel, pas simplement interdire.

Par exemple, un utilisateur peut autoriser certaines données pour obtenir une assurance moins chère, mais il faut mesurer le risque de sélection adverse. Si seules les personnes à faible risque partagent, ceux qui refusent deviennent suspectés. Le choix individuel crée une pression collective. C’est un problème classique de consentement dans les systèmes de scoring. Le refus lui-même peut devenir signal. Voilà pourquoi certaines données doivent peut-être être interdites pour tous dans certains contextes.

Sinon, la liberté de l’un réduit la liberté des autres. Encore une externalité. C’est un exemple parfait où le marché ne peut pas résoudre seul la question. Il faut une règle commune. Cela montre que le droit à l’imprévisibilité n’est pas seulement un droit individuel. Il peut nécessiter une ignorance institutionnelle collective. Nous pouvons décider qu’un assureur ne doit pas savoir certaines choses, même si certains clients seraient disposés à les lui donner. C’est une forme de voile volontaire. Cette idée inverse notre conception habituelle du progrès.

Nous avons souvent conçu le progrès comme réduction de l’ignorance. Mais certaines ignorances sont civilisatrices. Le secret du vote en est une. L’État pourrait techniquement savoir pour qui chacun vote, mais la démocratie organise son ignorance. C’est magnifique. Le secret du vote est une ignorance volontaire du pouvoir pour protéger la liberté. L’ère algorithmique devra inventer d’autres ignorances volontaires. Ne pas savoir certaines prédispositions, ne pas relier certains scores. C’est peut-être l’un des concepts politiques les plus importants du futur : l’ignorance constitutionnelle. Définir ce que les institutions ne doivent pas savoir ou ne doivent pas pouvoir utiliser. Cette idée renverse le fantasme de la data totale.

Une démocratie mature peut dire : nous pourrions savoir, mais nous choisissons de ne pas savoir.

Voilà un acte de puissance morale. Cela rejoint exactement ce que j’écrivais sur la surveillance. La liberté du XXIe siècle dépendra moins de l’incapacité technique à voir que de la décision juridique de ne pas regarder. C’est un saut civilisationnel. Il demande une confiance énorme dans les institutions et des audits pour vérifier qu’elles respectent cette ignorance. Le principe doit être incarné techniquement. Si une donnée interdite est quand même collectée « au cas où », l’ignorance n’existe pas. Il faut minimiser à la source. Privacy by design. Encore l’architecture.

Le droit à l’imprévisibilité pourrait donc se traduire par plusieurs mécanismes concrets : limitation de certaines données, cloisonnement des scores, expiration temporelle, droit de recours, interdiction de certaines décisions entièrement automatisées, audit des discriminations.

Ce n’est pas un slogan philosophique. C’est une architecture. C’est ainsi que j’aime penser : une idée doit se terminer dans un système. Sinon, elle reste littérature. Mais la société du score pose également un problème culturel. Nous-mêmes aimons les notes. Cinq étoiles, classements, followers. Le score simplifie la complexité. Il permet de décider vite. Cette attraction ne vient pas seulement des entreprises ou de l’État. Elle vient de notre désir de réduire l’incertitude.

Choisir un restaurant avec 4,8 semble plus facile. Mais à force de tout noter, nous transformons la vie en classement. Cette quantification peut modifier notre rapport aux activités. Un repas n’est plus seulement une expérience, il devient une note. Un trajet, un hôtel, une personne. Tout devient comparatif. C’est une forme de marchéisation de la perception. L’IA peut amplifier cela en générant des scores pour des domaines qui n’en avaient pas. Compatibilité relationnelle, potentiel professionnel, fiabilité. Il faut résister à la tentation de tout réduire à un nombre. Pythagore revient, mais avec une mise en garde. Tout peut peut-être être nombre dans une certaine représentation, mais toute représentation numérique n’est pas souhaitable.

Certains domaines perdent quelque chose lorsqu’on les force à un score. L’art est l’exemple parfait. Artprice peut mesurer les prix, les volumes, les trajectoires de marché. Mais aucune base sérieuse ne prétend que le prix épuiserait la valeur artistique. Ce serait une absurdité. Le marché mesure une dimension. L’histoire de l’art en analyse d’autres. Les deux lectures doivent coexister.

De même, un score de performance au travail mesure certains résultats. Il n’épuise pas la valeur d’un salarié. Un score de crédit mesure un risque. Il n’épuise pas la responsabilité morale d’une personne. Il faut toujours préciser ce que le score mesure et ce qu’il ne mesure pas.

Cette discipline sémantique évite de transformer une mesure partielle en jugement sur la personne. Un score devient dangereux lorsqu’il change de nom implicitement. « Risque de défaut » devient « fiabilité ». Puis « fiabilité » devient « qualité de la personne ». Cette glissade est fréquente. Les mots doivent être contrôlés. La sémiologie revient. La manière de nommer une métrique influence son usage.

Un modèle de prédiction ne doit pas être présenté comme score de mérite. Ce serait une fraude conceptuelle. L’IA peut générer énormément de précision numérique et cacher une imprécision sémantique. Voilà un Blind Spot important. Plus le chiffre est précis, plus nous devons être exigeants sur le concept mesuré. Une mesure de 0,873 de quelque chose mal défini n’est pas plus intelligente qu’une approximation. C’est la différence entre précision et justesse.

Un instrument peut être très précis et mesurer la mauvaise chose. Cette distinction devrait être enseignée partout. La société du score risque de confondre le mesurable et l’important. Ce biais est ancien dans le management. L’IA peut l’amplifier. On mesure ce qui est facile, puis on optimise. Les dimensions difficiles disparaissent. Voilà pourquoi certaines décisions doivent conserver un jugement qualitatif. Le problème est que le jugement humain peut être biaisé, subjectif. Le score peut réduire certains arbitraires. C’est important de le reconnaître. Il serait tout aussi faux de romantiser la décision humaine. Un recruteur humain peut énormément discriminer. Un modèle correctement conçu peut parfois réduire cette discrimination. La question n’est donc pas humain bon, algorithme mauvais. Elle est : quelle architecture produit le moins d’injustice et permet le meilleur recours ? Parfois, une combinaison sera meilleure. Le modèle signale des candidats oubliés, l’humain contextualise. Mais là encore, il faut surveiller l’automation bias. Si le système classe des CV, les recruteurs peuvent ne jamais regarder ceux qu’il place en bas. Le classement structure la perception. Même si l’humain décide théoriquement, l’algorithme a déjà filtré.

Voilà pourquoi la gouvernance doit regarder en amont. Qui est visible ? C’est un pouvoir. La société du score fonctionne souvent par invisibilité plutôt que par interdiction. Une personne avec un score faible n’est pas nécessairement refusée explicitement ; elle n’apparaît simplement jamais dans les options. C’est beaucoup plus difficile à contester. Le droit devra donc s’intéresser aux systèmes de classement. C’est déjà un enjeu des plateformes. L’IA généralise cela au travail, au crédit. Un classement peut être aussi puissant qu’une décision. Il doit donc être auditable lorsque les conséquences sont importantes. Mais encore proportionnellement. Un classement de chansons n’a pas la même gravité qu’un classement de candidats à un emploi. La matrice du risque revient toujours. Cette culture de proportionnalité est probablement le meilleur antidote à la panique réglementaire.

Nous n’avons pas besoin de traiter chaque score comme une menace existentielle. Nous devons traiter plus sévèrement ceux qui influencent des droits fondamentaux, l’accès au logement, au travail, au crédit essentiel. Cette hiérarchie permet l’innovation dans les usages légers et une protection forte dans les usages critiques. C’est la méthode que j’ai défendue pour l’autonomie. Le droit mature distingue. Mais les entreprises peuvent être tentées de présenter un système comme une simple aide alors qu’il structure fortement la décision. Il faudra regarder l’effet réel. Une recommandation suivie dans 99 % des cas est pratiquement une décision. Encore la différence entre forme et substance.

Le contrôle humain nominal ne suffit pas. Les audits doivent mesurer les taux de renversement : combien de fois les humains contestent-ils réellement le score ? S’ils ne le font jamais, peut-être qu’ils n’ont pas le temps, ou que le système est effectivement très bon. Il faut comprendre. La donnée peut aider à auditer la gouvernance. C’est une utilisation intelligente. On peut voir si certains groupes obtiennent systématiquement des scores plus faibles, si les recours réussissent davantage dans certaines catégories. Cela permet de corriger. L’IA peut ainsi contribuer à contrôler les systèmes d’IA eux-mêmes.

Mais il faut une institution qui regarde ces signaux. Le problème n’est jamais seulement technique. Une organisation peut posséder toutes les données sur ses discriminations et choisir de ne pas agir. La culture et le droit restent nécessaires. Ce chapitre rejoint donc profondément le droit à la rédemption. La société du score tend naturellement à accumuler. Chaque action enrichit le profil. Plus le profil est riche, plus la prédiction devient précise. Mais la personne a besoin de la possibilité de rupture. L’oubli et l’expiration doivent donc entrer dans le système. Il faudrait probablement distinguer les données qui décrivent un état durable et celles qui ne doivent pas produire un effet éternel.

Même les premières peuvent changer. Un niveau de compétence évolue. Une situation financière également. Le modèle doit donc être dynamique. Un score vieux de six mois peut être déjà faux. C’est presque un paradoxe : l’IA veut prédire le futur mais peut être prisonnière d’un passé périmé. La qualité de la mise à jour est donc centrale. Mais mettre à jour davantage signifie collecter davantage. Encore le trade-off. Il faut peut-être permettre à la personne d’apporter volontairement de nouvelles informations pour corriger le modèle sans surveillance continue. C’est une voie. Par exemple, une personne ayant changé de situation peut demander une réévaluation. Le contrôle revient à l’individu. Cela me paraît sain.

L’agent personnel pourrait d’ailleurs jouer un rôle ici. Il pourrait surveiller les scores qui affectent son utilisateur, détecter des erreurs, déposer des recours. Voilà une utilisation émancipatrice de l’IA contre la société du score. Le citoyen augmenté face à l’institution augmentée. C’est une forme de symétrie cognitive. Si les banques ont des modèles, les individus peuvent avoir des agents capables de comprendre les décisions. Cela réduit l’asymétrie. La même technologie peut donc centraliser le pouvoir ou contribuer à le redistribuer.

Tout dépend de l’accès. C’est pourquoi l’accès à des agents de qualité pose une question d’égalité. Une personne riche pourra payer des experts ou des modèles capables de contester un score. Les autres doivent disposer d’un minimum de capacité. Peut-être que les associations, services publics, syndicats développeront des agents de défense. C’est une perspective intéressante. Le droit au recours peut être rendu effectif par l’IA elle-même.

C’est exactement le type d’architecture que je préfère : utiliser la même puissance pour créer un contre-pouvoir. Chaque algorithme de scoring important devrait rencontrer la possibilité d’un contre-algorithme de vérification. Mais attention à la course infinie. Le système devient de plus en plus complexe. L’humain peut ne plus comprendre le litige entre deux modèles. Il faut donc un arbitre humain ou institutionnel. Encore la signature. On ne peut pas résoudre la légitimité par une compétition de scores. À un moment, un juge, un médiateur doit décider selon le droit. Cela nous ramène à une vérité simple : l’IA peut augmenter le droit, elle ne peut pas remplacer la légitimité du droit. Cette frontière est centrale.

Et elle mène à une question plus profonde : pourquoi le droit à l’imprévisibilité nous semble-t-il important ?

Parce que nous considérons qu’une personne n’est pas seulement la somme de ses déterminismes. C’est presque une position philosophique. La science peut montrer que beaucoup de comportements sont statistiquement prévisibles. Cela ne détruit pas la valeur de la liberté juridique. Le droit ne dépend pas d’une métaphysique absolue du libre arbitre. Il organise la responsabilité et la possibilité d’agir autrement. Même si une IA prédit avec une grande précision qu’une personne fera quelque chose, la société peut décider qu’elle ne sera jugée que lorsqu’elle l’aura fait. C’est une limite normative à la prédiction. Voilà une idée essentielle.

Le droit protège l’espace entre probabilité et acte. Cet espace est la liberté politique. On pourrait appeler cela la présomption d’imprévisibilité. Tant que l’acte n’a pas eu lieu, la prédiction ne vaut pas culpabilité. Cette règle devrait rester très forte. Elle s’étend au-delà du pénal. Un employeur ne devrait pas traiter quelqu’un comme déloyal simplement parce qu’un modèle prévoit un départ. Une administration ne doit pas retirer un droit sur la seule base d’une probabilité de fraude. La prédiction peut déclencher une vérification proportionnée, pas une condamnation. C’est une architecture de prudence. Et cela rejoint directement le Blind Spot. Le système doit constamment se rappeler : je peux me tromper sur cette personne. Cette phrase est presque la condition morale de toute IA de scoring. L’incertitude ne doit pas être réduite à une petite décimale. Elle doit avoir des conséquences procédurales. Plus l’incertitude est forte, plus la décision doit être réversible. Nous retrouvons encore l’autonomie proportionnelle à l’irréversibilité.

Cette règle est vraiment universelle. Si refuser une recommandation musicale est sans gravité, l’algorithme peut agir librement. Si refuser un logement peut bouleverser une vie, le seuil de contrôle doit être élevé. C’est une architecture éthique fondée sur la conséquence. Elle me paraît plus solide que des interdictions générales. Certaines pratiques ne relèvent d’ailleurs plus seulement de l’hypothèse : dans l’Union européenne, l’AI Act interdit déjà certaines formes de notation sociale, ainsi que la prédiction individuelle du risque pénal fondée uniquement sur le profilage. Mon « droit à l’imprévisibilité » va plus loin : j’en fais une proposition philosophique pour penser les formes de totalisation prédictive qui resteraient juridiquement possibles. Pourquoi ?

Parce qu’il fusionne des domaines hétérogènes et transforme la personne entière en note. C’est exactement ce que le cloisonnement doit empêcher. Une société libérale au sens politique doit accepter que l’individu possède plusieurs contextes. Il peut être mauvais payeur et excellent père, employé médiocre et artiste remarquable.

Il n’existe pas de score total légitime de la personne.

Toute tentative de construire une note générale produit une violence conceptuelle avant même ses conséquences pratiques. Elle suppose qu’une vie peut être ordonnée sur un axe unique. C’est faux. L’identité est multidimensionnelle. Le graphe humain ne se réduit pas à un nombre. Cela rejoint directement ma pensée kaléidoscopique.

Une personne est composée de perspectives, de temporalités, parfois de contradictions. Vouloir la réduire à un score est l’opposé du kaléidoscope. C’est écraser la complexité. La société algorithmique doit donc utiliser la puissance du calcul pour respecter davantage la complexité, non pour la supprimer. C’est paradoxal mais possible. Au lieu d’un score unique, le modèle peut représenter plusieurs dimensions et les incertitudes.

Mais l’institution doit résister au désir de synthèse excessive. Les décideurs aiment un feu vert ou rouge. La réalité est plus difficile. Il faut former à lire une complexité. L’IA peut synthétiser sans réduire à un seul chiffre. Par exemple, présenter trois facteurs de risque et deux facteurs protecteurs. Cela rend la décision plus humaine. Encore la procédure contradictoire intégrée au modèle.

La société du score peut donc être transformée en société de la contextualisation, si nous le voulons. Ce serait une mutation positive. L’IA ne donne pas seulement des scores ; elle peut expliquer des scénarios. Nous pouvons passer d’une notation à une conversation. Le citoyen peut demander : pourquoi ? Quel élément pourrais-je corriger ? C’est très différent. Le score ferme. Le dialogue ouvre. Cette distinction rejoint tout notre livre. L’IA comme oracle ou comme interlocuteur. Je préfère l’interlocuteur. L’oracle prononce. L’interlocuteur peut être contesté. C’est cette architecture que nous devons généraliser.

Mais le dialogue lui-même peut devenir manipulateur s’il est contrôlé par l’institution qui a intérêt au résultat. Un système de crédit pourrait vous expliquer très gentiment pourquoi il vous refuse et vous convaincre que la décision est inévitable. C’est encore la persuasion algorithmique. Il faut donc des sources, un recours externe. L’explication ne remplace pas le droit. Toujours.

Cela conduit à la question de l’identité sociale. Si les scores deviennent nombreux, l’individu peut commencer à se voir lui-même à travers eux. Je suis 720 de crédit, 4,7 d’évaluation, 82 % de productivité. Le miroir numérique peut coloniser l’image de soi. C’est un phénomène psychologique important. Nous avons déjà vu l’effet des followers et des likes. Le nombre fait office de validation. L’IA peut multiplier les métriques personnelles : sommeil, santé, productivité. Certaines sont utiles. Elles peuvent aider à progresser. Mais elles peuvent aussi transformer la vie en tableau de bord. Le corps devient projet d’optimisation permanent. Chaque journée produit un score. Cette auto-quantification peut être émancipatrice pour certains et anxiogène pour d’autres. Encore pas de verdict unique.

Le problème apparaît lorsque la métrique cesse d’être un outil volontaire pour devenir une exigence sociale. Si l’employeur demande le score de sommeil, la liberté disparaît. Si l’assureur exige le score d’activité, la santé bascule dans la surveillance. Il faut donc des frontières fortes entre auto-mesure et usage par des tiers. Une personne doit pouvoir mesurer beaucoup de choses sur elle-même sans que cela devienne accessible aux institutions. C’est un droit important. Le dispositif de santé personnel ne doit pas automatiquement devenir un capteur pour l’employeur ou l’assureur. Encore le cloisonnement. Cela me paraît une règle civilisationnelle essentielle. L’intime numérique doit rester intime. La simple existence d’une donnée ne crée pas un droit social d’accès.

Cette distinction sera difficile à maintenir parce que les incitations économiques poussent au partage. Une assurance moins chère si vous partagez votre activité. Cela semble avantageux. Puis ceux qui refusent deviennent plus chers. La pression monte. Encore le consentement collectif. Il faut donc parfois interdire la discrimination selon le refus de partager certaines données. Sinon, le choix est fictif. C’est un domaine où le droit devra être courageux. Mais il faut aussi laisser place à l’innovation dans la prévention. Un programme volontaire de santé peut être bénéfique. La clé est la finalité et la possibilité de sortir sans sanction disproportionnée. Encore la proportionnalité. Nous revenons toujours à ces mêmes outils parce qu’ils sont les bons : finalité, minimisation, cloisonnement, recours, expiration, pluralisme. On pourrait presque écrire une constitution du score autour d’eux. Et cela serait utile parce que le scoring ne disparaîtra pas. Il est trop puissant et parfois trop utile. Le but n’est pas de l’interdire. C’est d’empêcher sa totalisation.

Voilà la ligne.

Une société du score devient dangereuse lorsque le score cesse d’être un instrument local et devient un langage général de la valeur humaine. C’est précisément ce qu’il faut empêcher. La dignité n’est pas un score. La citoyenneté n’est pas un score. La possibilité de recommencer ne doit pas dépendre éternellement d’un score. Cette doctrine me paraît claire. Elle rejoint parfaitement le droit à la rédemption que j’ai toujours défendu.

Le système doit laisser une porte ouverte. Même après une erreur. Même après une mauvaise note. Sinon, la société algorithmique glisse vers des castes probabilistes. Une caste traditionnelle vous enfermait par naissance. Une caste numérique pourrait vous enfermer par données. La différence technique ne change pas la violence du mécanisme. Peut-être même l’aggrave parce qu’il paraît objectif. Voilà le danger du nombre : il peut donner une apparence de neutralité à une hiérarchie. Une personne n’est plus discriminée parce que quelqu’un la déteste. Elle est exclue parce que « le score est 42 ». Le pouvoir disparaît derrière la métrique. C’est exactement la dissolution de responsabilité que je refuse. Quelqu’un a choisi le modèle, le seuil, la finalité. Il faut retrouver cette chaîne. Toujours.

Le score n’est jamais un phénomène naturel. Il est construit. Même s’il est calculé automatiquement, il repose sur des choix humains. Quelles données ? Quelle période ? Quel objectif ? Quel seuil ? Cette généalogie doit être visible aux contrôleurs. C’est encore la provenance. La provenance d’un score prend autant d’importance que celle d’une image.

D’où vient ce nombre ?

On voit ainsi tous les chapitres converger. Le monde synthétique, les agents, les marchés, les scores. Ils posent toujours la même question : comment reconstruire la chaîne de responsabilité dans un monde où l’action est distribuée ? C’est probablement la grande question institutionnelle de l’ère de l’IA. L’intelligence se distribue. La responsabilité doit rester reconstructible. Cette phrase peut presque résumer toute cette séquence.

Et la société du score nous oblige à ajouter : la prédiction peut se distribuer, mais la dignité ne doit pas être dissoute dans la prédiction. L’humain doit conserver le droit de ne pas être réduit à ce que le système pense de lui. C’est cela le droit à l’imprévisibilité. Non pas droit d’échapper à toutes les statistiques, mais droit de ne pas voir sa liberté absorbée par elles. C’est un principe qui peut être décliné juridiquement. Il me paraît assez fort pour devenir une doctrine européenne, peut-être universelle.

L’Europe possède une histoire juridique particulièrement sensible à la dignité et à la protection des données. Elle pourrait faire de ce droit à la non-totalisation algorithmique une contribution majeure. Mais encore une fois, il faut une industrie derrière le droit. Les agents, les modèles doivent intégrer ces principes. Sinon, ils resteront des textes. La protection doit être codée, auditée. Une société qui interdit le score général doit aussi empêcher techniquement la fusion de certaines bases. Le droit devient une architecture. Encore et encore. Cela me confirme que le juriste du futur doit parler avec l’ingénieur. Une interdiction sans traduction technique peut être contournée par mille inférences. L’ingénieur doit comprendre l’esprit de la loi. Ce dialogue devient absolument central. Peut-être que nous verrons apparaître des équipes d’architecture des droits, où juristes et data scientists construisent ensemble les systèmes. C’est une évolution que je souhaite. Cela réduira la situation actuelle où l’éthique arrive après le produit. Le droit à l’imprévisibilité doit être by design. Par exemple, introduire une expiration des données, séparer des domaines, permettre le recours. Ce sont des fonctions techniques. La philosophie devient un code. Cela peut sembler inquiétant, mais c’est inévitable. Les valeurs se matérialisent dans l’architecture.

C’était déjà vrai avec les bâtiments. Une prison panoptique exprime une philosophie du contrôle. Une interface ou une base fait la même chose. La différence est qu’elle est moins visible. Voilà pourquoi il faut apprendre à lire le code comme architecture politique. C’est une culture nouvelle. L’urbaniste examine la ville. Le constitutionnaliste du futur devra examiner les flux de données. Cela me paraît évident. Et cette lecture doit rester publique dans ses principes. Une société démocratique doit savoir quelles catégories de scores sont utilisées par ses institutions. Un registre des systèmes à fort impact pourrait être une bonne architecture. Pas une liste interminable de petits algorithmes, mais les systèmes affectant des droits importants. Qui les utilise ?

Pour quoi ?

Quel recours ?

Cela augmenterait la confiance. Encore la transparence proportionnée. Mais le risque de la société du score ne s’arrête pas aux institutions. Il se déplace vers l’IA elle-même. Les assistants pourraient commencer à nous attribuer implicitement des profils permanents pour personnaliser leurs réponses. Cela peut être utile. Mais si le système nous traite toujours selon un profil ancien, il réduit notre possibilité de mutation. L’IA personnelle doit elle aussi intégrer le droit à l’imprévisibilité. Elle doit accepter que l’utilisateur change.

Peut-être demander périodiquement si certaines préférences sont toujours valables, permettre de repartir à zéro sur certains sujets. Cette flexibilité est essentielle. Un assistant qui « vous connaît trop bien » peut devenir une prison douce. Il anticipe tout et vous propose toujours ce que vous auriez choisi hier. La surprise disparaît.

Cette limite donne au droit à l’imprévisibilité une portée immédiate dans notre propre dialogue. Une intelligence qui m’accompagne ne doit pas seulement apprendre ce que j’ai été ; elle doit me laisser la possibilité de devenir autre que son modèle de moi.

Encore le problème de l’exploration.

L’humain a besoin d’une certaine opacité à lui-même.

Nous ne savons pas toujours ce que nous voulons avant de le rencontrer. Un système qui prédit trop parfaitement peut supprimer la rencontre. C’est une réflexion plus profonde que le scoring économique. Le droit à l’imprévisibilité est aussi un droit existentiel.

Le droit de devenir quelqu’un que notre passé ne permettait pas de prévoir.

Peut-être même est-elle l’une des définitions les plus fortes de la liberté humaine à l’ère de l’IA. Être libre, c’est aussi pouvoir démentir son modèle. Nous sommes bien sûr produits d’une histoire, de déterminismes. Mais une société humaniste doit laisser institutionnellement ouverte la possibilité de la rupture. Elle n’a pas besoin de résoudre philosophiquement le libre arbitre. Il lui suffit de ne pas fermer la porte avant l’acte. Cette doctrine est extrêmement concrète dans la rédemption.

Un condamné ayant purgé sa peine doit pouvoir reconstruire une vie. Un entrepreneur ayant échoué doit pouvoir recommencer. Un adolescent médiocre à l’école peut devenir un grand chercheur. Le modèle statistique dira peut-être que ces cas sont rares. Peu importe. La civilisation se juge aussi à la place qu’elle laisse au cas rare. C’est précisément là que le chaos et la mutation se rejoignent.

Le système qui élimine toutes les anomalies élimine une partie de son futur. La nature le sait. La diversité génétique contient des variations apparemment inutiles jusqu’au changement d’environnement. La société doit conserver sa diversité comportementale. Le score pousse vers la sélection permanente. Il faut donc une contre-force. Des espaces où l’on peut échouer sans être fiché éternellement. Des zones de seconde chance. C’est une architecture de résilience sociale.

Une société qui permet de recommencer est plus adaptable qu’une société qui fixe chacun dans une catégorie. C’est exactement « seuls les mutants survivent » appliqué au droit. Le droit à la rédemption n’est pas seulement compassion. Il est une stratégie de mutation collective. Voilà une idée que je trouve très forte. Une société qui ne pardonne jamais ses erreurs réduit le nombre de trajectoires possibles.

Elle devient rigide. La rigidité est dangereuse dans un environnement changeant. La miséricorde peut être une forme de résilience. Ce mot peut sembler moral ou religieux, mais il possède une dimension systémique. Permettre à une personne de changer augmente la diversité des futurs. C’est précisément ce que le score cherche parfois à réduire pour gagner en prévisibilité.

Nous devons donc choisir jusqu’où nous voulons un monde prévisible. Une société parfaitement prévisible serait peut-être plus facile à administrer, moins libre et probablement moins innovante.

L’imprévisibilité est un coût de la liberté.

Une démocratie accepte que les citoyens fassent parfois des choix que le gouvernement considère mauvais. Un marché accepte que des entrepreneurs investissent dans des idées qui échouent. L’art accepte l’inclassable.

Cette imprévisibilité produit du gaspillage, du désordre, mais aussi de la nouveauté.

Le régime autoritaire rêve souvent de réduire l’incertitude sociale. L’IA peut lui donner des outils. La démocratie doit au contraire apprendre à gérer l’incertitude sans vouloir l’abolir. C’est une différence philosophique profonde. La sécurité n’est pas absence d’imprévisible. Elle est capacité à y répondre. Encore la résilience plutôt que l’oracle.

Cela boucle avec toute cette séquence. Nous ne devons pas utiliser l’IA pour supprimer l’incertitude humaine, mais pour construire des institutions capables de vivre avec elle. Cette distinction pourrait devenir une ligne de partage civilisationnelle. D’un côté, les architectures qui cherchent à prédire pour contrôler. De l’autre, celles qui cherchent à comprendre pour augmenter la liberté et la résilience. Évidemment, aucune société ne sera pure. Les démocraties utiliseront aussi des scores. Les régimes autoritaires peuvent utiliser l’IA pour des services utiles. Il ne s’agit pas de caricaturer. Mais la direction normative compte.

Quel est le défaut du système ?

Lorsqu’il hésite, privilégie-t-il la possibilité de la personne ou la sécurité de la prédiction ?

Cette question se posera partout. Dans le crédit, l’école, la police. Nous devrons définir des seuils différents. Mais un principe peut rester : plus une décision affecte l’avenir fondamental d’une personne, moins elle doit être fondée uniquement sur ce que la statistique dit de son passé. Cette formulation me paraît très solide. Le futur ne doit pas appartenir au passé. L’IA apprend du passé. Le droit protège la possibilité du futur. Voilà peut-être la plus belle articulation entre les deux. L’intelligence artificielle est une immense machine à extraire des régularités de ce qui a eu lieu. La civilisation doit maintenir un espace où ce qui n’a jamais eu lieu peut encore apparaître. C’est là que résident l’art, l’innovation, la rédemption.

La Demeure du Chaos elle-même aurait probablement obtenu un score de conformité catastrophique si un modèle l’avait comparée aux propriétés voisines. Et pourtant, sa valeur réside précisément dans cette rupture. Voilà pourquoi le score ne doit jamais devenir juge universel. Il mesure l’écart. L’histoire décide parfois que l’écart était précurseur. Cette temporalité est fondamentale. Le présent classe, le futur requalifie. Une société qui veut tout noter en temps réel oublie que la signification se transforme. L’œuvre incomprise aujourd’hui peut devenir patrimoine demain. L’entrepreneur jugé insensé peut devenir pionnier. Le score est toujours prisonnier du moment où il est calculé. Voilà une limite que l’IA ne supprimera jamais complètement.

Elle peut apprendre sur des scénarios, mais le futur crée des catégories nouvelles. C’est exactement la mutation. Et cette idée ouvre naturellement la prochaine question. Si nous devons protéger l’imprévisibilité et la capacité de rupture, que devient l’éducation dans un monde où les modèles peuvent prédire, personnaliser et accompagner chaque apprentissage ? L’école peut devenir l’un des lieux les plus puissants d’émancipation algorithmique ou, au contraire, le premier lieu de scoring permanent.

Un tuteur d’IA peut aider chaque enfant selon son rythme, détecter une difficulté et ouvrir des chemins. Mais il peut également enregistrer chaque hésitation, chaque erreur, construire dès l’enfance un profil cognitif qui suivra la personne. Cela serait vertigineux. L’éducation doit précisément être le lieu où l’individu devient autre que ce qu’il était. Elle ne peut pas devenir l’institution qui l’enferme le plus tôt dans une prédiction.

Comment utiliser un tuteur quasi individuel sans transformer l’élève en profil permanent ?

Comment préserver le professeur, la relation, le collectif ? Et surtout, que faut-il encore apprendre lorsque l’intelligence est disponible à la demande ?

Le droit à la formation de soi prolonge ainsi le droit à l’imprévisibilité : apprendre, c’est conserver la possibilité de devenir autre que ce que le modèle avait prévu.

Mais cette question nous ramène maintenant au dispositif qui a porté tout cet ouvrage. Car ce que nous venons d’examiner à l’échelle de la société — mémoire, prédiction, contradiction, liberté, capacité de mutation — s’est aussi joué, pendant quarante jours et quarante nuits, dans notre propre dialogue.

Il est temps de regarder ce dialogue lui-même.