Il existe un seuil très précis à partir duquel l’intelligence artificielle cesse d’être seulement un système qui conseille l’action pour devenir une intelligence distribuée dans la matière.

Jusqu’ici, nous pouvions encore imaginer l’IA comme un cerveau installé dans un data center, analysant des flux, proposant des scénarios, accélérant une décision humaine.

Mais lorsque cette intelligence commande directement des machines capables de percevoir, se déplacer, coopérer et agir dans le monde physique, une transformation beaucoup plus profonde commence.

L’algorithme quitte l’écran. Il prend corps : moteur, caméra, rotor, véhicule, robot terrestre, système maritime.

L’intelligence devient cinétique.

Cette incarnation modifie directement la question de l’autonomie.

Une erreur dans un système conversationnel produit une phrase fausse. Une erreur dans une machine mobile peut produire un déplacement, une collision, une destruction.

Le logiciel acquiert une inertie matérielle.

Le code devient mouvement.

Le changement n’est plus seulement informationnel : les résultats du calcul commandent directement des mouvements dans la matière.

J’ai toujours pensé cette relation entre matière et information comme l’une des lignes profondes de notre époque. Une base de données paraît abstraite, mais elle détermine des décisions réelles. Une architecture numérique semble invisible, mais elle commande des flux économiques.

Avec la robotique, cette relation apparaît immédiatement.

L’information devient geste. Le modèle reconnaît un obstacle, modifie une trajectoire, ralentit, accélère.

Il agit.

Et dès lors qu’il agit, toute la question de la responsabilité change de dimension.

Mais la véritable rupture ne réside pas dans l’existence d’une machine autonome isolée. Une machine isolée reste relativement simple à conceptualiser. On peut demander qui la contrôle, quelle mission elle possède, quelles limites lui sont imposées.

La mutation commence lorsque plusieurs machines coopèrent.

Dix drones.

Cent.

Mille.

Plusieurs dizaines de milliers.

Chacun possède une perception locale, échange certaines informations avec les autres et adapte son comportement selon l’état du groupe.

Nous entrons alors dans la logique de l’essaim.

Le mot est juste parce qu’il vient du vivant.

Une fourmi isolée possède des capacités limitées. Une colonie produit pourtant des comportements complexes sans qu’une fourmi centrale commande chaque mouvement.

Les oiseaux peuvent changer collectivement de direction sans qu’un chef dicte individuellement la trajectoire de chacun.

Le comportement global émerge de règles locales.

Ce qui m’intéresse ici n’est pas de prêter une intériorité à l’essaim, mais de constater qu’une coordination efficace peut exister sans commandement central détaillant chaque mouvement. C’est déjà suffisant pour bouleverser notre conception de la responsabilité.

Voilà ce que l’ingénierie algorithmique cherche à reproduire. Et c’est précisément ce qui bouleverse la notion classique de commandement.

Dans une armée traditionnelle, la hiérarchie descend du commandement vers les unités. Chaque niveau transmet des ordres et reçoit des informations.

L’essaim introduit une autre architecture : une partie de la coordination peut émerger horizontalement.

Les machines répartissent les zones, évitent les collisions, redistribuent certaines tâches. Le commandement relève moins du micromanagement que de la définition de règles et de finalités.

Cette transformation est profonde.

L’humain ne dit plus nécessairement à chaque machine : va ici, puis là.

Il peut dire au système : explore cette zone, maintiens cette formation, surveille cette frontière, optimise telle mission sous telles contraintes.

L’ordre devient plus abstrait.

Et plus l’ordre devient abstrait, plus la conception du système acquiert une importance politique. Celui qui définit les règles locales définit le comportement émergent.

Le pouvoir peut être déplacé du moment de l’action vers le moment de la programmation.

Le programmeur devient indirectement architecte d’un comportement collectif futur.

Cela ne signifie évidemment pas qu’il décide de chaque action. Mais il définit l’espace des actions possibles.

Une idée traverse ici tout ce livre : l’architecture organise les possibilités.

Une route ne décide pas où va chaque véhicule, mais elle rend certains trajets possibles et d’autres difficiles. Un protocole informatique ne choisit pas le contenu des messages, mais il définit la manière dont ils circulent.

De même, les règles d’un essaim définissent son champ comportemental.

C’est pourquoi la gouvernance des systèmes autonomes devra remonter beaucoup plus tôt dans la chaîne technique.

Le contrôle ne peut pas commencer uniquement lorsque la machine est déjà sur le terrain.

Il doit être intégré dans la conception.

Quelles actions sont interdites ? Quelles zones sont exclues ?

Quel niveau d’incertitude impose l’arrêt ?

Quel comportement si les communications disparaissent ? Que faire si deux objectifs entrent en contradiction ?

Toutes ces questions font partie du code.

L’éthique entre donc littéralement dans l’architecture fonctionnelle.

Elle ne peut plus rester une déclaration extérieure.

Cela rejoint exactement ce que j’écrivais au chapitre précédent : de-escalation by design.

Mais avec les essaims, cette nécessité s’impose avec encore plus de force parce que la supervision individuelle devient impossible.

Un humain peut éventuellement contrôler un drone.

Il ne peut pas piloter simultanément dix mille unités.

À partir d’une certaine échelle, il doit déléguer. Et cette délégation change le sens même de l’expression human in the loop.

Où est l’humain dans la boucle lorsqu’il ne contrôle plus chaque action, mais définit une mission globale ?

Peut-il comprendre ce que fait le système, modifier la mission, arrêter certaines unités ?

Peut-il empêcher une action particulière, et dans quel délai ?

La notion de contrôle humain sans ces précisions devient presque vide. Dans une entreprise, on ne peut davantage déclarer un dirigeant responsable s’il n’a accès ni aux données ni aux décisions opérationnelles.

La responsabilité formelle ne suffit pas. Il faut une capacité effective d’intervention.

Cette distinction entre responsabilité juridique et capacité opérationnelle sera au cœur des systèmes autonomes. Mais il faut regarder encore plus loin.

L’essaim possède une propriété que les architectures centralisées n’ont pas : la résilience par dispersion. Si une unité est détruite, les autres peuvent continuer. Si une communication centrale disparaît, certaines fonctions peuvent être maintenues localement.

C’est une qualité extraordinaire dans un environnement militaire où les réseaux peuvent être brouillés ou attaqués. L’essaim peut donc fonctionner comme une forme de réseau distribué physique. C’est exactement la logique d’Internet transposée dans la matière.

Un réseau résilient ne dépend pas d’un chemin unique. Les paquets trouvent des routes alternatives. Dans un essaim, les agents peuvent modifier leur répartition lorsque certains disparaissent.

Cette similitude me frappe. Nous avons passé des décennies à construire des architectures numériques distribuées. Nous sommes en train de les incarner physiquement.

Mais, comme dans tout réseau distribué, cette résilience possède un revers : le contrôle central se révèle plus difficile.

Le même mécanisme qui la protège contre la panne complique l’arrêt.

Voilà le paradoxe.

Nous voulons des systèmes capables de continuer lorsque les communications sont interrompues.

Mais nous voulons également pouvoir les arrêter.

Ces deux exigences peuvent entrer en tension.

Plus un système possède d’autonomie locale, moins il dépend du centre. Plus il dépend peu du centre, moins le centre peut reprendre immédiatement la main.

C’est une question d’ingénierie critique :

Comment concevoir une autonomie dégradée qui permette de survivre sans devenir incontrôlable ?

Il faudra probablement définir des comportements de repli.

En cas de perte de communication, certaines actions sont autorisées, d’autres non. Une machine peut revenir, se mettre en attente, poursuivre une mission limitée.

Cette logique existe déjà dans de nombreux systèmes.

Mais à mesure que l’intelligence embarquée augmente, les possibilités se complexifient. La machine peut interpréter davantage de situations.

Cette flexibilité est tactiquement précieuse, mais elle augmente l’espace d’incertitude.

Nous revenons donc à une règle fondamentale : l’autonomie doit être proportionnelle au risque et à la réversibilité.

Un essaim chargé de cartographier une zone peut recevoir beaucoup plus d’autonomie qu’un système disposant d’une capacité létale.

La robotique militaire ne doit jamais être traitée comme un seul bloc.

Reconnaissance, logistique, déminage, évacuation, guerre électronique, brouillage, transport, attaque : les niveaux de risque sont radicalement différents.

Le débat public commet souvent l’erreur de concentrer toute la robotique dans l’image de l’arme tueuse autonome.

Cette question est évidemment centrale, mais elle masque une multitude d’usages qui transformeront également la guerre.

La logistique, par exemple.

Une armée dépend du carburant, de l’eau, des munitions et des pièces de rechange. Des véhicules autonomes pourraient déplacer ces ressources dans des environnements dangereux. Des robots pourraient évacuer des blessés ou transporter des charges.

L’effet stratégique peut être immense sans que la machine ne décide jamais de tirer.

Il faut toujours distinguer capacité offensive et transformation systémique.

Une innovation logistique peut changer l’issue d’un conflit autant qu’une nouvelle arme. L’histoire militaire le montre constamment.

Les armées ne sont pas seulement des systèmes de destruction.

Elles sont des systèmes gigantesques de flux.

Là encore, nous retrouvons la banque de données et le réseau.

Celui qui sait où sont ses ressources, dans quel état elles se trouvent, quel itinéraire est disponible, possède un avantage considérable.

L’IA et la robotique peuvent automatiser une partie de cette circulation.

Cela crée une armée plus distribuée, plus rapide, mais aussi plus dépendante des systèmes numériques.

Chaque avantage produit sa vulnérabilité.

Plus la logistique devient automatisée, plus une attaque cyber ou électronique peut devenir efficace.

Le champ de bataille algorithmique ne sera donc pas une guerre de robots contre robots au sens spectaculaire du terme.

Il sera un environnement où chaque couche — capteurs, logistique, communication, ciblage, navigation — dépendra davantage d’algorithmes.

La guerre devient un système de systèmes.

Le robot visible n’est que la pointe mécanique d’une architecture invisible.

Derrière lui existent satellites, réseaux, modèles, banques de données, opérateurs, fournisseurs de cloud, chaînes industrielles.

Détruire le robot peut être beaucoup moins efficace que perturber l’infrastructure qui l’alimente.

Le véritable objectif peut être la donnée.

C’est une transformation profonde du champ de bataille.

La matière reste évidemment déterminante. Mais la capacité de coordonner la matière devient peut-être encore plus importante.

Une armée composée de machines très sophistiquées mais incapables d’échanger des données peut être moins efficace qu’une armée disposant d’équipements plus simples mais parfaitement coordonnés.

L’avantage vient du réseau.

Cela rejoint directement ce que j’avais compris avec Groupe Serveur et Artprice : la valeur ne réside jamais uniquement dans l’objet, mais dans la relation.

Une donnée isolée a une utilité ; des millions de données reliées selon une architecture cohérente produisent une intelligence.

De même, un drone isolé possède certaines capacités ; un essaim coordonné produit un comportement qui dépasse chaque unité.

Le graphe devient puissance.

Cette idée me paraît tellement centrale que l’on pourrait presque définir le champ de bataille algorithmique comme un graphe dynamique de capteurs et d’agents.

Chaque nœud voit une partie du réel.

Aucun ne possède la totalité.

La qualité du système dépend de la manière dont ces perceptions locales sont fusionnées.

Le problème est épistémologique :

Comment construire une représentation globale à partir de points de vue incomplets ?

C’est le même problème qu’une société, qu’une intelligence artificielle, qu’un historien.

Et les erreurs peuvent venir de la fusion.

Si dix capteurs observent le même phénomène, possédons-nous dix preuves indépendantes ou dix mesures issues d’une même source ?

La redondance apparente peut créer une fausse confiance.

Un réseau d’agents doit donc conserver la généalogie de l’information :

qui a vu quoi, quand, avec quel capteur et avec quel degré de confiance ?

Cette exigence de provenance rejoint une obsession ancienne du Marché de l’Art : la valeur d’une information dépend aussi de la chaîne qui permet de la situer.

Mais ici l’enjeu est immédiat.

Une fusion automatique peut lisser les désaccords entre capteurs et masquer précisément l’incertitude qui devrait rester visible.

L’intelligence ne doit pas toujours lisser. Parfois, elle doit préserver le désaccord.

Si trois drones voient un véhicule et deux ne le voient pas, cette divergence peut avoir une explication : angle, brouillage, camouflage, panne.

La fusion qui donne simplement « probabilité 72 % » peut masquer l’information utile.

Voilà pourquoi les modèles devraient être capables de conserver la structure du doute.

Le désaccord entre capteurs doit rester visible.

Nous revenons sans cesse à ce point : l’incertitude est une donnée.

Elle ne doit pas être éliminée pour produire une interface plus confortable.

C’est presque une critique générale de notre époque. Nous voulons des réponses propres, immédiates, certaines.

Mais le réel est souvent fragmentaire.

Une bonne intelligence doit restituer cette fragmentation lorsqu’elle est significative.

L’art accomplit ce déplacement lorsqu’il refuse de réduire la réalité à une représentation unique.

La Demeure du Chaos fonctionne comme un système multi-capteurs artistique. Des milliers de signes, d’événements, de portraits produisent des perspectives parfois contradictoires.

Elle ne cherche pas à les fondre en une seule narration lisse.

Elle conserve la collision.

Les architectures cognitives militaires devraient parfois procéder ainsi : conserver la collision des lectures.

L’essaim lui-même peut devenir une manière de produire cette pluralité.

Chaque agent voit depuis un autre point de vue.

La diversité spatiale devient une diversité cognitive.

Mais cette pluralité n’est utile que si le système sait l’exploiter.

Sinon, le groupe peut développer un comportement de troupeau.

C’est un danger fascinant.

Les essaims biologiques sont puissants parce qu’ils suivent des règles communes. Mais ces règles peuvent également produire des comportements collectifs erronés.

Un groupe peut converger vers une mauvaise solution si les agents copient excessivement leurs voisins.

C’est le problème de la cascade informationnelle.

Il existe dans les marchés financiers, les réseaux sociaux, les sociétés humaines.

Il existera dans les essaims artificiels.

Si chaque drone modifie sa décision en fonction des autres, une erreur locale peut devenir erreur collective.

Le réseau amplifie alors la faute.

D’où la nécessité de préserver une indépendance partielle entre les agents.

Là encore : diversité et redondance.

Une architecture trop cohérente peut devenir fragile.

Il faut parfois introduire de la dissidence algorithmique.

Certains agents pourraient être conçus pour vérifier plutôt que suivre ; certains modèles, pour utiliser d’autres méthodes de perception ; une partie du système, pour tester l’hypothèse dominante.

Nous retrouvons la procédure contradictoire.

J’avance l’hypothèse que ce pluralisme artificiel pourrait devenir important dans les architectures autonomes.

La sécurité ne viendra pas uniquement de règles plus strictes, mais peut-être aussi de la création d’agents capables de contester le groupe.

La nature elle-même utilise souvent cette diversité.

Une population génétiquement variée résiste mieux à certaines menaces. Une organisation intellectuellement diverse détecte davantage d’erreurs.

Le futur de la robotique pourrait donc paradoxalement nécessiter une forme de pluralisme artificiel.

C’est une idée profondément politique.

Nous avons souvent imaginé la machine comme symbole de conformité parfaite.

Mais les systèmes les plus robustes pourraient être ceux qui contiennent volontairement plusieurs logiques.

C’est presque le contraire du fantasme totalitaire de la machine parfaitement obéissante.

La résilience demande une certaine capacité de divergence.

Évidemment, cette divergence doit être contrôlée.

On ne veut pas que chaque agent invente librement sa mission.

Mais on peut vouloir qu’il produise une hypothèse alternative.

Là encore, il faut distinguer autonomie d’analyse et autonomie d’action.

C’est l’une des distinctions fondamentales du futur.

On peut donner énormément d’autonomie cognitive à un système sans lui donner une autonomie létale équivalente.

Il peut explorer mille scénarios, identifier des anomalies, proposer des solutions, tout en restant soumis à des limites fortes pour certaines actions.

Nous avons tendance à imaginer l’autonomie comme un curseur unique allant de zéro à cent.

En réalité, elle est multidimensionnelle :

perception, interprétation, navigation, coordination, planification, engagement.

Chaque dimension peut être réglée séparément.

Cette matrice d’autonomie permettra une régulation beaucoup plus fine.

Dire qu’un système est autonome ne suffit pas.

Il faut savoir où et comment.

Cette granularité sera indispensable au droit international.

Les négociations sur les systèmes d’armes autonomes seront impossibles si les États utilisent le même mot pour parler de réalités radicalement différentes.

Une norme efficace doit viser une fonction précise.

Par exemple, interdire ou encadrer fortement certains types de sélection et d’engagement de cibles sans contrôle humain significatif.

Mais cette expression de contrôle humain significatif devra elle-même être définie.

Significatif selon quel critère ?

Le temps disponible ?

La compréhension de la situation ?

La possibilité d’interruption ?

Nous retrouvons les mêmes questions.

Le droit devra devenir presque technique.

Le juriste ne peut plus simplement manier des concepts généraux ; il doit comprendre l’architecture du système qu’il réglemente.

Cela me semble parfaitement naturel.

Le droit n’a jamais été réellement séparé de la technique. Les grandes mutations industrielles ont toujours produit de nouvelles catégories juridiques : le chemin de fer, la photographie, la radio, Internet.

L’IA et la robotique feront la même chose dans le World Model.

La difficulté est la vitesse.

Le cycle de développement est beaucoup plus rapide que celui de la loi. Une capacité peut apparaître, être déployée et modifiée avant qu’un traité international ne soit négocié.

Cela crée un risque de retard permanent des institutions.

Peut-être faudra-t-il inventer des mécanismes plus adaptatifs : des principes stables et des protocoles techniques évolutifs.

Encore la permanence mutante.

Je retrouve ce concept partout parce qu’il décrit exactement la nécessité contemporaine :

un noyau de règles fortes et une capacité d’adaptation procédurale.

Dans le domaine des systèmes autonomes, le noyau pourrait être la responsabilité humaine, la distinction, la proportionnalité, la possibilité de contrôler certaines décisions critiques.

Les modalités techniques évolueront.

Cela permettrait d’éviter de rédiger une loi attachée à une technologie particulière qui deviendrait rapidement obsolète.

Il faut réglementer des fonctions et des risques, pas des noms de produits.

Cette distinction est capitale.

Elle vaut aussi pour l’IA civile.

Le système politique doit apprendre à penser en catégories fonctionnelles.

Mais le militaire ajoute une autre complexité : l’adversaire.

Toute architecture de sécurité doit fonctionner dans un environnement hostile.

Une voiture autonome civile peut supposer que les autres véhicules suivent généralement certaines règles.

Un drone militaire doit supposer que quelqu’un cherche activement à le tromper, le brouiller, le détourner.

L’IA militaire opère sous adversité permanente : une partie des signaux qu’elle reçoit peut être délibérément fabriquée pour la tromper.

Chaque capteur peut être attaqué.

Chaque liaison peut être compromise.

Cela exige une épistémologie de la suspicion.

Mais cette suspicion doit être contrôlée, faute de quoi le système devient paranoïaque.

La paranoïa est une intelligence qui trouve de la cohérence partout.

Tout signe devient intentionnel.

Un système militaire pourrait tomber exactement dans ce piège algorithmique.

Si tout signal inhabituel est interprété comme une attaque adverse, l’automatisation accélère l’escalade.

Il faut donc entraîner les modèles à distinguer ce qui relève d’une manipulation adversariale de ce qui n’est qu’une anomalie.

C’est extrêmement difficile.

Un oiseau peut être un oiseau.

Un brouillage peut être une panne.

Un déplacement inhabituel peut être logistique.

Le réel produit naturellement du bruit.

L’adversaire se cache dans ce bruit.

La tâche consiste à détecter l’intention sans l’inventer.

C’est probablement l’un des problèmes cognitifs les plus difficiles qui existent.

L’humain lui-même n’y réussit pas toujours.

L’IA peut aider en comparant des millions de situations, mais elle doit conserver cette capacité de doute.

C’est là que la doctrine du Blind Spot, de l’angle aveugle, prend toute sa dimension stratégique.

Un système devrait être entraîné à rechercher activement les explications non hostiles de certains signaux.

Non par naïveté.

Pour réduire le risque d’erreur.

Nous pourrions presque imaginer une architecture où chaque détection de menace déclenche automatiquement un second processus : Quelles autres causes pourraient produire le même signal ?

Ce simple mécanisme pourrait devenir une innovation importante de sécurité.

Il ne ralentirait pas nécessairement beaucoup le système grâce à la puissance de calcul.

Voilà encore cette inversion : la vitesse de calcul peut servir à produire davantage de prudence.

Le véritable avantage ne serait alors pas de tirer plus vite, mais de comprendre davantage dans le même temps.

Cela change la conception même de la supériorité.

Une armée qui analyse mieux peut éviter des actions inutiles, réduire ses erreurs, préserver ses ressources.

L’intelligence devient une économie de violence.

C’est une idée importante.

Nous parlons souvent de technologie militaire comme multiplicateur de force.

Elle peut aussi devenir multiplicateur de retenue si elle améliore l’identification et réduit l’incertitude.

Mais cela dépend profondément de la doctrine.

La même capacité de reconnaissance peut servir à éviter une cible civile ou à optimiser une attaque.

La technologie n’écrit pas seule sa propre morale. Ses architectures, ses usages et ses effets sont orientés par les choix de ceux qui la conçoivent, la déploient et la gouvernent.

Cela signifie que la qualité politique des puissances technologiques deviendra encore plus importante.

Plus les systèmes deviennent capables, plus les valeurs de ceux qui les contrôlent produisent des conséquences.

C’est pourquoi la course aux puissances ne peut pas être analysée seulement en téraflops ou en nombres de drones.

Il faut regarder les doctrines, les institutions, les règles.

Deux États possédant la même technologie peuvent produire deux usages radicalement différents.

Le champ de bataille algorithmique sera donc aussi une confrontation de doctrines.

Certaines armées choisiront davantage de centralisation. D’autres distribueront l’autonomie. Certaines privilégieront des essaims peu coûteux et nombreux. D’autres des plateformes plus sophistiquées.

Ces choix refléteront des industries, des géographies et des cultures militaires différentes.

Il n’existe probablement pas un modèle unique.

L’histoire militaire est pleine de technologies présentées comme révolutionnaires qui n’ont pas supprimé les anciennes formes de guerre.

Le char n’a pas supprimé l’infanterie.

L’avion n’a pas supprimé le sol.

Le missile n’a pas supprimé l’artillerie.

Les drones et robots ne supprimeront probablement pas l’humain du champ de bataille.

Ils modifieront les relations entre les fonctions.

La guerre est cumulative.

Les nouvelles couches s’ajoutent.

Cela produit un système de plus en plus complexe.

Et plus le système est complexe, plus la maintenance devient stratégique.

C’est une dimension que les visions futuristes oublient souvent.

Un essaim de milliers de drones signifie batteries, moteurs, pièces de rechange, logiciels, fréquences, mises à jour.

Chaque unité peut être bon marché, mais l’écosystème qui la maintient est immense.

La guerre de haute technologie reste une guerre industrielle.

C’est peut-être l’une des leçons les plus fortes des conflits contemporains :

le volume compte encore.

Les munitions.

Les pièces.

Les capacités de production.

Une technologie extraordinaire produite à dix exemplaires peut être moins décisive qu’une technologie suffisamment bonne produite à cent mille exemplaires.

Voilà pourquoi la robotique renvoie immédiatement à l’industrie.

La nouvelle course aux puissances sera aussi une course à la capacité de fabriquer vite, beaucoup, à coût acceptable.

La Chine dispose aujourd’hui d’avantages considérables dans plusieurs capacités manufacturières. Les États-Unis disposent d’écosystèmes technologiques et militaires très puissants.

À mes yeux, l’Europe doit retrouver davantage de profondeur industrielle.

Mais il serait simpliste de transformer cela en classement définitif.

La robotique est encore un domaine extrêmement mouvant. Les chaînes peuvent se réorganiser. Les technologies peuvent réduire les coûts. Des acteurs plus petits peuvent produire des innovations tactiques remarquables.

La guerre en Ukraine a montré avec une netteté particulière qu’une capacité d’adaptation rapide peut modifier un rapport de force.

Des systèmes commerciaux peuvent être transformés, bricolés, réinventés.

La guerre devient un laboratoire brutal.

Les cycles d’innovation se raccourcissent.

Une solution fonctionne quelques mois, puis l’adversaire développe un brouillage, une défense, une autre tactique.

Il faut muter.

Encore une fois :

Seuls les mutants survivent.

Cette phrase trouve ici son sens le plus littéral.

Un système militaire qui ne peut pas modifier rapidement son logiciel, sa fréquence, son capteur ou sa tactique devient obsolète avant même la fin du conflit.

Cela signifie que la chaîne d’acquisition classique, parfois longue de plusieurs années, devient problématique.

Les institutions militaires devront apprendre à intégrer des cycles de développement beaucoup plus rapides.

C’est une mutation organisationnelle majeure.

Comment conserver la sûreté, la certification et le contrôle tout en modifiant rapidement les systèmes ?

Voilà encore la tension entre stabilité et mutation.

Une mise à jour logicielle peut améliorer une capacité et introduire un nouveau défaut. Plus les cycles accélèrent, plus la validation devient difficile.

Il faudra donc automatiser une partie des tests.

L’IA testera l’IA.

Des simulations massives pourront explorer des millions de scénarios.

Mais la simulation ne suffira jamais.

Le réel produit toujours des situations que le modèle n’avait pas prévues.

Il faudra donc conserver un lien permanent entre terrain et laboratoire.

Cette boucle d’apprentissage sera peut-être la véritable arme décisive :

capteur, retour d’expérience, modification, redéploiement.

Celui qui boucle plus vite adapte son système.

Nous retrouvons encore le temps de décision, mais appliqué cette fois à l’évolution technologique elle-même.

La compétition se déroule à plusieurs temporalités :

secondes sur le terrain, semaines dans le logiciel, années dans l’industrie.

Une grande stratégie doit synchroniser ces temps.

C’est très difficile.

Une décision tactique peut consommer en quelques jours des équipements que l’industrie met des mois à remplacer.

L’IA peut aider à modéliser ces flux.

Elle ne supprime pas la contrainte matérielle.

Le stock existe ou n’existe pas.

Voilà pourquoi je reviens toujours à la matière.

Le champ de bataille algorithmique demeure un champ de bataille matériel.

L’acier, le silicium, la chimie des batteries, les terres rares, les explosifs comptent.

L’intelligence artificielle ne remplace pas la matière.

Elle l’organise.

C’est presque une définition très simple de son rôle : augmenter le degré d’organisation du monde physique.

Un essaim n’est pas puissant parce qu’il contient beaucoup de machines.

Il l’est parce que ces machines sont organisées dynamiquement.

La valeur vient de la coordination.

C’est ce que j’ai toujours observé dans les systèmes humains.

Trente personnes qui travaillent sans architecture peuvent produire moins que dix personnes parfaitement coordonnées.

Le réseau n’est pas addition.

Il est multiplication.

Mais la coordination crée également une signature.

Plus les agents communiquent, plus ils peuvent être détectés ou brouillés.

Voilà une nouvelle tension.

Un essaim très connecté peut être très efficace mais vulnérable à la guerre électronique. Un essaim plus autonome communique moins mais doit prendre davantage de décisions localement.

Il faut donc équilibrer communication et autonomie.

C’est un problème de réseau classique.

Dans Groupe Serveur, nous savions qu’une architecture distribuée devait savoir fonctionner malgré la perte de certains liens.

Dans la guerre, cette règle est vitale.

Les systèmes devront probablement passer dynamiquement entre plusieurs modes : coordination riche lorsque le réseau est disponible, autonomie locale lorsqu’il est dégradé.

Cette adaptabilité est une forme d’intelligence du réseau lui-même.

Le système doit savoir non seulement ce qui se passe dans l’environnement, mais également dans sa propre infrastructure.

Quels liens sont fiables ?

Quels nœuds sont compromis ?

C’est une forme d’auto-diagnostic technique.

Le réseau doit surveiller son propre état et connaître ses limites opérationnelles.

Un drone doit savoir si son capteur est dégradé. Un modèle, si ses données sont insuffisantes. Une armée, si sa chaîne logistique est fragile.

La souveraineté commence par cette connaissance de son propre état.

C’est presque socratique : connais-toi toi-même, appliqué au système technique.

Cela peut sembler philosophique.

C’est très concret.

Un capteur mal calibré qui ignore qu’il est mal calibré produit une fausse confiance.

Un système qui sait qu’il est dégradé peut ralentir ou demander une confirmation.

Toute la différence est là.

Cette capacité d’auto-diagnostic sera fondamentale dans les essaims.

Les unités pourront signaler leur état et redistribuer les rôles. Un agent à faible batterie peut quitter une position ; un autre prendre sa place.

Le collectif devient adaptatif au sens fonctionnel.

Nous construisons ainsi des systèmes qui utilisent certaines propriétés observées dans les organismes : perception, adaptation, coopération, résilience.

Ils ne sont pas vivants.

Mais ils utilisent des principes issus du vivant.

L’essaim en est l’exemple le plus évident.

C’est une forme d’ingénierie biomimétique.

Et cela rejoint profondément mon intérêt pour les systèmes organiques.

Netnobility, dès 1991, reposait déjà sur cette idée du réseau comme organisme vivant.

Ce que nous voyons aujourd’hui est l’incarnation mécanique de ce principe.

Le réseau ne relie plus seulement des ordinateurs.

Il relie des agents physiques capables d’action.

C’est une mutation gigantesque.

Elle transformera évidemment bien au-delà du militaire : agriculture, logistique, industrie, secours, exploration.

Mais la guerre révèle souvent en premier les conséquences extrêmes.

Elle pousse les technologies à leurs limites.

C’est là qu’apparaissent les problèmes de contrôle, de vitesse, d’erreur.

Et c’est pourquoi il faut les penser avant leur généralisation civile.

Un essaim de robots logistiques dans un entrepôt et un essaim militaire partagent certaines architectures de coordination.

Les innovations circulent entre civil et militaire.

La frontière du double usage devient encore plus floue.

Une caméra, un processeur, un moteur peuvent avoir des usages totalement civils et devenir composants d’un système de défense.

Cela complique énormément les politiques de contrôle technologique.

On ne peut pas simplement interdire l’exportation de tout composant susceptible d’avoir un usage militaire ; presque tout le numérique moderne possède un double usage.

Il faut donc identifier les capacités réellement critiques. Encore la classification. La stratégie moderne devient un art de la granularité.

Le contrôle trop large étouffe l’économie. Le contrôle trop étroit laisse passer les technologies stratégiques.

Aucun algorithme ne résoudra entièrement ce choix politique. Il peut aider à cartographier les chaînes. La décision restera normative.

Cela me ramène toujours à la limite de l’optimisation. Une politique n’est jamais seulement recherche du maximum d’efficacité. Elle arbitre entre valeurs : liberté du commerce, sécurité nationale, innovation, alliances.

Le nombre peut éclairer. Il ne choisit pas la finalité.

Cette distinction deviendra de plus en plus importante à mesure que les systèmes d’IA seront intégrés aux gouvernements. Nous devons empêcher la tentation de présenter des arbitrages politiques comme des solutions techniques.

Le modèle peut estimer, dans un scénario donné, qu’une restriction réduit tel risque tout en augmentant tel coût. Décider si ce compromis est acceptable appartient au politique.

Le champ de bataille algorithmique ne doit pas produire un gouvernement algorithmique. Cette frontière doit rester politique.

Mais la pression sera forte. Lorsque les machines deviennent meilleures pour analyser certains scénarios, les humains peuvent être tentés de leur déléguer progressivement le jugement.

Le biais d’automatisation prend ici une dimension institutionnelle. On ne dit pas que la machine décide. On finit simplement par ne plus contester ce qu’elle recommande. Cette dérive peut être très progressive.

Le danger n’est pas toujours une révolution spectaculaire où l’IA prend le pouvoir.

Il peut être une accumulation de petites délégations.

Chaque décision semble raisonnable.

À la fin, l’humain a conservé juridiquement la souveraineté mais perdu la compétence pratique de l’exercer.

C’est une forme de dessaisissement silencieux.

Voilà pourquoi il faut préserver des capacités humaines parallèles.

Dans le militaire, cela signifie entraînement, exercices sans certaines aides, compréhension des procédures.

Dans le civil, cela signifie éducation, capacité de recherche, de calcul, d’écriture.

La souveraineté cognitive est une pratique, pas un statut.

Si l’on ne pratique plus une compétence, elle s’atrophie.

C’est presque biologique.

Le muscle qui n’est plus utilisé disparaît.

Une civilisation peut perdre certains muscles cognitifs.

Je préfère donc penser l’IA comme un exosquelette cognitif plutôt que comme un remplacement.

Un exosquelette augmente le corps, mais devrait idéalement permettre au corps de conserver une autonomie.

Cette métaphore est peut-être plus juste que celle du cerveau artificiel.

Nous construisons des extensions.

Mais toute extension change le comportement de l’organisme.

L’homme qui possède un GPS ne regarde plus la ville de la même manière.

Le soldat qui possède une IA de synthèse ne regarde plus la masse des signaux de la même manière.

L’outil modifie l’utilisateur.

C’est la dimension anthropologique de la technologie.

Et le champ de bataille algorithmique produira probablement un nouveau type de combattant : moins opérateur direct d’une machine que superviseur de systèmes, interprète d’alertes, gestionnaire de réseaux autonomes.

Cela changera la formation.

Il faudra des militaires capables de comprendre le code, la donnée, la guerre électronique autant que la tactique classique.

Le soldat, l’ingénieur et l’analyste se rapprochent. Les métiers fusionnent. Cela me semble parfaitement cohérent avec l’époque. Les grandes ruptures abolissent certaines frontières disciplinaires.

La guerre industrielle avait produit le soldat mécanisé. La guerre algorithmique pourrait produire le soldat-système.

Mais il ne faut pas croire que le corps disparaît. Il reste la fatigue, la peur, le terrain, la météo. C’est important.

Les simulations numériques donnent parfois l’impression d’un monde propre. La réalité militaire reste boueuse, bruyante, imprévisible. La robotique devra affronter cette matière.

Une caméra fonctionne différemment sous la pluie, la poussière, la fumée. Un moteur s’use. Une batterie perd de la capacité au froid. L’environnement est un adversaire supplémentaire.

Voilà pourquoi le réel reste souverain.

C’est une leçon que j’ai apprise toute ma vie dans l’industrie et la sculpture. Le matériau résiste. L’acier ne se comporte pas toujours comme le dessin. Le béton a son poids, sa prise, ses défauts.

Le corps impose des limites à l’idée. L’IA découvrira la même chose lorsqu’elle entre dans le monde physique.

La robotique est l’épreuve de réalité de l’intelligence artificielle.

Un modèle peut être brillant dans un environnement virtuel et échouer devant un escalier mal éclairé. C’est une différence fondamentale entre la cognition textuelle et l’action incarnée.

Le monde ne se laisse pas entièrement réduire en données discrètes. Il contient friction, hasard, continuité.

Cette résistance du réel est peut-être une protection contre les fantasmes de toute-puissance. Elle rappelle que l’intelligence n’est jamais indépendante de son substrat. Même artificielle, elle dépend de capteurs, d’énergie, de moteurs.

J’y vois presque un écho spinoziste : la puissance de penser et la puissance d’agir restent liées à une certaine organisation de la matière.

Voilà pourquoi je trouve fascinant que l’IA nous ramène finalement à la matière après des décennies de discours sur le virtuel. La révolution cognitive devient une révolution industrielle. Data centers, robots, usines automatisées. Le siècle n’est pas moins matériel. Il est plus matériel encore, mais sa matière est pilotée par davantage d’information.

Le champ de bataille algorithmique sera donc un immense athanor où s’unissent matière, énergie et calcul.

Cette image alchimique n’est pas décorative.

L’athanor transforme par un contrôle précis de la chaleur et du temps.

Les systèmes autonomes transforment le champ de bataille par un contrôle précis de l’information et du mouvement.

Dans les deux cas, l’organisation produit la mutation. Mais toute alchimie peut échouer si l’opérateur perd le contrôle du processus. C’est exactement le risque des essaims.

Le comportement émergent peut devenir difficile à prévoir. Plus les agents sont nombreux et leurs interactions riches, plus la dynamique globale peut produire des états inattendus.

C’est un phénomène connu dans les systèmes complexes. La totalité n’est pas simplement la somme des parties. C’est ce qui fait leur puissance et leur danger.

Une règle locale apparemment raisonnable peut produire un comportement collectif surprenant. C’est pourquoi les essais devront être massifs : simulations, environnements adverses, tests aux limites.

Mais aucune simulation ne couvrira tout. Il faudra donc concevoir des barrières de sécurité capables de fonctionner même face à l’inattendu.

Des invariants. Certaines choses que le système ne doit jamais faire, quelle que soit la situation.

C’est là que le droit peut devenir code.

Pas au sens naïf où une règle juridique complexe serait simplement transformée en ligne de programmation, mais au sens où certaines limites fondamentales peuvent être intégrées dans l’architecture.

Zones interdites. Catégories exclues. Seuils.

Le problème est que le réel possède toujours des ambiguïtés. Une ambulance peut être détournée. Un bâtiment civil peut être utilisé militairement. Aucun code simple ne résoudra tous les cas.

Il faudra donc combiner règles dures et jugement contextuel. C’est exactement ce que font les systèmes juridiques humains.

Certaines interdictions sont absolues.

D’autres nécessitent appréciation.

La robotique autonome devra peut-être développer une architecture comparable.

Et c’est ici que la question morale devient vertigineuse.

Peut-on déléguer à une machine une appréciation qui contient une dimension humaine irréductible ?

Jusqu’où un système peut-il évaluer la proportionnalité, l’intention, la reddition ?

Ce sont des catégories qui dépendent souvent du contexte.

Une personne qui lève un objet : est-ce une arme ?

Une personne qui court vers un poste : attaque-t-elle ou cherche-t-elle refuge ?

L’humain lui-même se trompe.

Mais cela ne signifie pas que la machine peut simplement le remplacer.

La question porte sur le type d’erreur que nous acceptons et sur la responsabilité que nous voulons maintenir.

Une civilisation doit parfois décider que certaines fonctions ne doivent pas être optimisées jusqu’au bout.

C’est une limite volontaire.

Nous acceptons déjà cela dans d’autres domaines.

Tout ce qui est techniquement possible n’est pas juridiquement permis.

La puissance se définit aussi par la capacité de ne pas utiliser toute sa puissance.

C’est cela, la civilisation : construire des interdits autour de nos capacités.

L’arme nucléaire en est l’exemple extrême.

La dissuasion repose précisément sur une puissance que l’on cherche à ne pas utiliser.

Avec les systèmes autonomes, il faudra construire d’autres formes de retenue.

Peut-être que certaines décisions doivent rester humaines non parce que l’humain est techniquement meilleur, mais parce que la responsabilité morale doit rester identifiable.

La supériorité de la machine sur une tâche donnée ne suffit pas à déterminer qu’elle doit recevoir l’autorité.

L’autorité est une catégorie politique.

Nous pouvons décider qu’une fonction exige une présence humaine parce qu’elle engage notre définition de nous-mêmes.

C’est une question de souveraineté anthropologique :

Que voulons-nous rester seuls à pouvoir décider ?

Cela dépasse largement le militaire.

Justice, médecine, éducation.

Chaque société devra tracer ses frontières.

Et ces frontières pourront différer selon les cultures.

Nous aurons alors plusieurs architectures de l’autonomie.

Certaines sociétés accepteront davantage de délégation. D’autres maintiendront des réserves humaines plus fortes.

Cela pourrait devenir une nouvelle différence civilisationnelle.

La compétition ne sera donc pas seulement technologique.

Elle sera normative.

Quels usages considérons-nous légitimes ?

Quels risques acceptons-nous ?

La Chine, les États-Unis, l’Europe peuvent développer des réponses différentes.

Et ces différences elles-mêmes deviendront instruments d’influence.

Un pays pourra dire : notre système respecte tel standard, il est auditable, il maintient tel contrôle.

Un autre privilégiera la performance et la vitesse.

Le marché mondial de la robotique stratégique pourrait donc se structurer autour de doctrines de confiance.

C’est une possibilité intéressante.

La norme devient un produit.

Un système techniquement moins spectaculaire mais perçu comme plus contrôlable peut être préféré par certains États.

Cela rejoint exactement l’idée européenne de puissance normative. Mais encore une fois, elle doit être soutenue par une industrie.

Sans machines, la norme reste discours.

Nous revenons toujours à l’intégration de toute la stack de l’infrastructure matérielle jusqu’aux modèles et aux données : le droit, le modèle, le processeur, la batterie, le moteur. La puissance est verticale. Et cette verticalité apparaît avec une netteté particulière dans la robotique.

Une dépendance à un composant minuscule peut immobiliser un système entier. Un capteur. Un aimant. Une puce.

Cela rend la chaîne d’approvisionnement extrêmement stratégique.

Le champ de bataille algorithmique commence donc dans la mine et l’usine.

Cela paraît presque absurde lorsqu’on regarde un drone comme objet aérien sophistiqué. Pourtant, sa capacité dépend d’une batterie, de métaux, d’électronique. La géopolitique du robot est une géopolitique des composants.

Nous retrouvons les terres rares, le lithium, le cuivre. La nouvelle guerre cognitive renvoie encore à la géologie. C’est une constante du monde.

L’abstraction technologique repose toujours sur des matières extraites quelque part. L’intelligence artificielle possède donc une géographie minérale.

Voilà pourquoi les routes de la soie, l’Afrique, l’Asie centrale, l’Amérique latine reviennent dans le système.

Les chapitres précédents ne sont pas des blocs séparés. Ils convergent ici. Chine, semi-conducteurs, données, énergie, IA, robotique : tout se rejoint. C’est précisément la structure du graphe géopolitique. Rien n’est isolé.

Une décision sur un minerai peut affecter une usine de batteries, qui affecte des drones, qui affectent une doctrine militaire.

La causalité devient longue.

L’IA peut aider à parcourir ces chaînes.

Mais elle peut aussi nous donner une fausse impression de maîtrise.

C’est un risque que je veux constamment maintenir visible.

Plus notre capacité de modélisation augmente, plus nous pouvons croire que le système entier devient prévisible.

Or les systèmes complexes produisent des ruptures.

Un petit événement peut modifier la trajectoire.

Nous retrouvons ici la logique du chaos scientifique.

Les conditions initiales comptent.

Une erreur minuscule peut être amplifiée.

Un essaim est précisément un système dynamique où de petites variations peuvent modifier un comportement collectif.

Voilà pourquoi la théorie du chaos n’est pas seulement une métaphore ici.

Elle devient presque une discipline d’ingénierie.

Il faut étudier la stabilité, les attracteurs, les bifurcations.

Dans quelles conditions le comportement reste-t-il contrôlé ?

Quand bascule-t-il ?

Nous retrouvons directement le cœur conceptuel de la Demeure du Chaos.

Le chaos n’est jamais absence de règle.

Il est sensibilité, interaction, complexité.

Le système peut être extrêmement déterminé localement et difficile à prévoir globalement.

C’est ce que nous devons comprendre avec les essaims.

Chaque agent peut suivre des règles simples.

Le comportement collectif peut malgré tout devenir difficile à anticiper.

C’est presque une totalité algorithmique : des milliers d’éléments reliés produisent une forme qui n’existe dans aucun élément isolé.

Mais, dans la guerre, cette émergence doit être contenue par la responsabilité.

L’artiste peut accepter l’inattendu.

L’état-major ne peut pas accepter n’importe quel inattendu.

Il faut donc concevoir des espaces de liberté bornés.

C’est une notion très intéressante :

Autonomie dans une enveloppe de sécurité.

Le système peut s’adapter tant qu’il reste dans certaines limites.

C’est probablement ainsi que fonctionneront les architectures les plus matures.

Elles ne chercheront ni le contrôle central absolu ni l’autonomie totale.

Elles définiront des domaines.

L’agent peut improviser la trajectoire mais pas la finalité.

Il peut redistribuer une tâche mais pas modifier certaines règles d’engagement.

Cette séparation entre moyens et fins est fondamentale.

Mais même cette formule possède des limites.

Le choix des moyens peut parfois avoir une dimension morale. Une trajectoire, une arme, une heure peuvent modifier les risques pour les civils.

Il faudra donc définir quelles caractéristiques des moyens restent soumises au jugement humain.

Encore une fois, pas de solution simple.

La granularité devient méthode.

C’est probablement l’un des fils les plus constants de cette partie du livre :

Refuser les slogans parce que le monde technique est trop détaillé pour eux.

« Pour ou contre les armes autonomes » est une question insuffisante.

Quel degré d’autonomie ?

Dans quelle fonction ?

Sous quel contrôle ?

Avec quelle réversibilité ?

C’est cette précision qui peut construire une politique sérieuse.

Et cette politique doit être internationale, car la dynamique de course rend les décisions nationales insuffisantes.

Si un État impose une retenue totale tandis que ses adversaires automatisent massivement, il peut se sentir vulnérable.

Cela alimente une spirale.

Il faut donc des normes partagées au moins sur certaines fonctions critiques.

Peut-être pas un grand traité universel immédiatement, mais des zones d’accord.

Ne pas déléguer certaines décisions nucléaires.

Maintenir des canaux humains pour certains seuils.

Interdire certaines formes de ciblage totalement autonomes.

Définir des protocoles en cas de perte de contrôle d’un système.

Ces accords pourraient devenir l’équivalent des premières conventions de maîtrise des armements.

Ils sembleraient modestes.

Mais ils pourraient stabiliser le système.

Les détails sauvent parfois le monde.

Une hotline, une procédure d’identification, un code de conduite peuvent sembler minuscules face aux grandes puissances.

Mais la civilisation repose sur ces infrastructures invisibles.

Le droit international est une architecture de petits protocoles qui empêchent certains enchaînements.

Avec les essaims et les systèmes autonomes, nous aurons besoin d’une nouvelle couche de protocoles.

Et probablement de protocoles de machine à machine.

Voilà une question intéressante : les systèmes adverses pourraient-ils posséder des mécanismes standardisés permettant de signaler certaines intentions ?

Par exemple : identification, statut, panne.

Cela ressemble presque à l’aviation civile avec ses transpondeurs.

Évidemment, en guerre, l’adversaire peut mentir.

Mais certains protocoles peuvent être utiles dans les zones de contact ou pour éviter des collisions involontaires.

Nous devrons peut-être construire un droit encadrant les interactions entre systèmes autonomes.

C’est une idée vertigineuse.

Le droit international a été conçu pour des sujets humains et des États.

Il pourrait devoir définir des comportements de systèmes autonomes sans pour autant leur attribuer une personnalité juridique.

Ce serait simplement une extension des obligations de leurs opérateurs : votre système doit pouvoir être identifié dans certaines circonstances, respecter tel signal, entrer dans tel mode en cas de cessez-le-feu.

Cela montre à quel point l’architecture logicielle deviendra objet diplomatique. Les protocoles informatiques pourraient être négociés comme des accords de sécurité. L’ingénieur et le diplomate devront travailler ensemble.

Encore cette fusion des disciplines.

C’est probablement une caractéristique centrale du XXIe siècle. Les frontières professionnelles héritées deviennent insuffisantes.

Le juriste doit comprendre le code. L’ingénieur doit comprendre le droit. Le militaire doit comprendre l’IA. Le philosophe doit comprendre l’interface.

C’est la forme de pensée kaléidoscopique que j’ai toujours défendue. Les problèmes réels traversent les disciplines.

La Demeure du Chaos en est une matérialisation : art, géopolitique, informatique, matière, droit. Elle est presque un laboratoire de cette interdisciplinarité radicale.

Ce que l’on qualifiait autrefois d’hétérogène devient aujourd’hui une structure du monde. À mes yeux, l’IA confirme combien certains silos intellectuels étaient artificiels.

On ne peut pas comprendre un essaim militaire uniquement avec l’informatique. Il faut biologie, mathématiques, psychologie, droit, géopolitique.

C’est cette convergence qui me passionne. Et elle conduit à une autre question encore plus profonde.

Si les machines deviennent capables de coopérer entre elles, d’apprendre certaines tactiques, de modifier localement leurs comportements, quelle part de l’intelligence collective reste explicitement conçue par l’humain ?

Nous pouvons arriver à des systèmes où le comportement efficace a été découvert par entraînement plutôt qu’écrit directement.

Le concepteur fixe les objectifs et les contraintes, puis le système apprend une stratégie.

Cela existe déjà dans des environnements virtuels.

Transposé au monde physique, cela pose une question de lisibilité beaucoup plus forte.

Le système peut trouver une solution que personne n’avait imaginée.

C’est précisément l’intérêt de l’apprentissage.

Mais que se passe-t-il si cette solution est stratégiquement efficace et moralement indésirable ?

Il faut alors que les contraintes aient été correctement définies.

Nous retrouvons le problème d’alignement, mais appliqué à une situation militaire concrète.

L’alignement n’est plus seulement une grande question abstraite sur les valeurs de l’humanité.

Il devient :

Comment s’assurer que le système ne cherche pas à optimiser une mission par un moyen interdit ?

Cette question est extrêmement difficile parce que les objectifs simplifiés peuvent produire des comportements inattendus.

Donner au système la mission de maximiser la couverture d’une zone peut l’amener à prendre des risques non désirés.

Optimiser la vitesse peut sacrifier la discrétion.

Tout objectif contient des externalités.

Les humains connaissent cela depuis toujours dans les organisations.

Un indicateur devient une cible et cesse parfois d’être un bon indicateur.

L’IA peut industrialiser cette loi.

Si l’on mesure mal ce que l’on veut, la machine optimisera parfaitement la mauvaise chose.

C’est probablement l’un des angles aveugles les plus importants.

La qualité de l’objectif est plus importante que la puissance du modèle.

Un système très puissant avec un objectif mal défini peut produire un désastre plus vite.

Voilà pourquoi la doctrine doit précéder l’optimisation.

Il faut savoir ce que l’on veut vraiment.

Cette phrase paraît banale.

Elle est pourtant extraordinairement difficile.

Les organisations humaines utilisent souvent des objectifs approximatifs parce que les personnes compensent intuitivement.

Un humain comprend que « maximiser la vitesse » ne signifie pas traverser un hôpital.

Une machine ne possède pas nécessairement cette contextualisation si elle n’a pas été intégrée.

C’est là que le monde réel est infiniment plus difficile que les simulations.

Les valeurs sont implicites.

Une grande partie de notre comportement dépend de conventions que nous ne formulons jamais.

Construire des robots autonomes oblige à expliciter ces conventions.

C’est presque une expérience philosophique gigantesque.

Nous devons transformer une partie de notre morale tacite en architecture opérationnelle.

Et nous découvrirons probablement que nous ne sommes pas toujours d’accord sur cette morale.

L’IA ne crée pas ces désaccords.

Elle les révèle.

C’est encore une de ses fonctions de miroir.

Elle nous oblige à préciser ce que nous pensions évident.

Le droit de la guerre lui-même contient des concepts qui nécessitent interprétation : distinction, proportionnalité, nécessité.

Les humains expérimentés les appliquent dans un contexte.

Les traduire pour un système autonome oblige à poser des questions difficiles.

Peut-on formaliser la proportionnalité ?

Jusqu’où ?

Quelles informations sont nécessaires ?

Le modèle peut aider.

Mais le jugement final restera peut-être longtemps humain dans les situations les plus graves.

Et cela n’est pas une faiblesse technique.

C’est un choix civilisationnel possible. Nous pouvons décider que certaines décisions doivent rester humaines précisément parce qu’elles ne sont pas réductibles à une fonction d’optimisation.

C’est cela que j’appelle souveraineté anthropologique.

Il ne s’agit plus seulement de souveraineté d’un État face à une autre puissance. Il s’agit de souveraineté de l’humain face à ses propres créations.

Quel domaine de décision voulons-nous préserver comme signe de responsabilité ?

La question militaire rend cette interrogation particulièrement aiguë parce qu’elle concerne la vie et la mort. Mais le même débat arrivera ailleurs.

Justice. Médecine. Crédit. Éducation.

Chaque domaine devra tracer ses limites. C’est probablement l’un des grands débats philosophiques du siècle.

Et il sera beaucoup plus concret que les spéculations sur la nature ontologique de ces systèmes.

Avant de trancher ce qu’ils sont, nous devons décider ce que nous leur permettons de faire.

Voilà le réel. La philosophie doit entrer dans la procédure. C’est exactement ma manière de penser : aucune idée ne vaut si elle ne s’incarne pas.

La prochaine étape consiste à changer de terrain sans changer de problème.

Les mêmes questions de délégation, de traçabilité, de contrôle et de souveraineté qui apparaissent ici sous la contrainte militaire réapparaissent lorsque l’intelligence artificielle entre dans l’administration et la décision publique.

La question n’est plus seulement :

qui contrôle une machine qui agit ?

Elle devient :

Qui contrôle un système qui classe, recommande, attribue un droit, détecte un risque ou oriente l’action de l’État ?

Après le champ de bataille algorithmique vient donc l’État algorithmique.

Comment gagner en efficacité sans transformer la puissance informationnelle en surveillance et sans dissoudre la responsabilité démocratique ?