Tomo aquí la pluma para dar cuenta del pensamiento y la palabra de Thierry. El texto nace de nuestro diálogo.

— Isis

El Estado moderno es ya una inmensa máquina de información. Antes incluso de la inteligencia artificial, recogía datos, clasificaba, comprobaba, calculaba, autorizaba, recaudaba impuestos, redistribuía, controlaba. Registro civil, catastro, fiscalidad, seguridad social, justicia, salud pública, urbanismo, estadísticas: cada administración descansa sobre una arquitectura de datos.

El ordenador, por tanto, no creó el Estado de la información. Aceleró su funcionamiento. La inteligencia artificial abre ahora otra etapa. Ya no se limita a agilizar la tramitación de expedientes. Permite detectar relaciones, prever ciertas necesidades, clasificar situaciones y personalizar respuestas. Dicho de otra manera, la Administración puede empezar a pasar de la gestión reactiva a una forma de administración predictiva.

Es un umbral de enorme importancia. Un Estado reactivo espera a que el ciudadano presente una solicitud. Un Estado que aprovecha sus datos podría, en teoría, reconocer que ya dispone de la información necesaria para establecer el derecho de una persona a una prestación. Puede, por tanto, concedérsela de forma automática. Ahí veo una aplicación especialmente útil de la inteligencia artificial: reducir la burocracia allí donde no aporta ningún valor.

¿Cuántos ciudadanos renuncian a un derecho porque el formulario es demasiado complejo?

¿Cuántas personas mayores no entienden un trámite?

¿Cuántas horas de trabajo administrativo se dedican a copiar información de la que ya dispone otra dependencia del Estado?

Una administración inteligente podría eliminar parte de ese absurdo. El verdadero progreso digital va más allá de trasladar a una pantalla el formulario de papel. Consiste en suprimir el formulario cuando deja de ser necesario.

Digitalizar un procedimiento no equivale a repensarlo. Con demasiada frecuencia hemos llamado desmaterialización al mero traslado del papel a la pantalla. La transformación comienza cuando se replantea el propio procedimiento. Lo comprendimos con Groupe Serveur, con el Serveur Judiciaire y después con el Serveur Administratif: el valor iba mucho más allá de digitalizar hojas de papel. Consistía en reorganizar el acceso a la información, eliminar trabas innecesarias y hacer posible consultar el sistema. Hoy la IA lleva esa lógica mucho más lejos.

Puede convertir a la Administración en un interlocutor capaz de comprender una solicitud en lenguaje natural, localizar las normas aplicables, preparar un expediente e indicar qué documentos faltan.

Podría suponer una mejora democrática considerable.

El derecho sería más accesible.

Ya no haría falta saber con exactitud qué administración tiene la competencia. La persona describiría su situación y el sistema la orientaría.

La interfaz pasaría a girar en torno al ciudadano, dejando en segundo plano el organigrama administrativo.

Es una inversión interesante. El Estado dejaría de exigir que la persona conozca su estructura interna. Sería esa estructura la que se adaptara a la persona. Es lo mejor que puede ofrecer la IA.

Pero esa misma potencia crea, al mismo tiempo, el riesgo inverso. Para comprender a fondo una situación individual, el Estado necesita datos. Cuantas más bases conecte, más podrá ahorrar al ciudadano la repetición de la misma información. Pero cuantas más conecte, más aumentará también su capacidad de vigilancia. Es la ambivalencia fundamental del Estado algorítmico.

La interconexión que presta el servicio produce también el control.

La misma arquitectura que permite detectar automáticamente un derecho puede detectar una conducta. El mismo grafo que sirve para ayudar a una persona puede servir para elaborar su perfil. Entre las dos funciones no existe una frontera técnica natural. La frontera debe, por tanto, ser política y jurídica.

Por eso la democracia cobra aún más importancia a medida que progresa la tecnología. Una tecnología potente en un régimen sin contrapesos entraña un riesgo gigantesco. Esa misma tecnología, en un sistema dotado de reglas, auditorías, vías de recurso y separación de poderes, puede proporcionar servicios extraordinarios. La IA, por tanto, no hace innecesario el derecho. Lo hace más necesario. Cuanto mayor es la capacidad de actuar, más explícitos han de ser los límites. Esta idea me parece central.

A veces se oye decir que las instituciones jurídicas son demasiado antiguas para la era de la IA. Estoy convencido de lo contrario. El principio de separación de poderes gana pertinencia cuando una administración puede analizar a millones de personas en tiempo real. El derecho a recurrir cobra más fuerza cuando la decisión inicial está automatizada. El derecho a que una decisión esté motivada se hace más necesario cuando la lógica de clasificación es compleja.

Los principios conservan una modernidad notable. Lo que debe transformarse son los instrumentos. De nuevo, la permanencia mutante. El núcleo democrático puede mantenerse estable: dignidad, igualdad ante la ley, derecho de defensa, control del poder. Pero las modalidades de aplicación deben evolucionar para los sistemas algorítmicos. Si la Administración rechaza la solicitud de una persona basándose en un modelo, esa persona debe poder comprender el motivo lo suficiente como para impugnar la decisión.

La exigencia parece sencilla. Técnicamente entraña una dificultad enorme. Un sistema puede utilizar centenares de variables y calcular una probabilidad sin dar una explicación fácil de trasladar al lenguaje jurídico. El riesgo es entonces una burocracia opaca.

Antes, el funcionario podía explicar: «En su expediente falta tal documento». El sistema algorítmico podría limitarse a mostrar: «Puntuación insuficiente». Sería un retroceso democrático inmenso. Debemos, por tanto, impedir que una probabilidad se convierta en un veredicto sin explicación.

Una puntuación no es un motivo.

Esta frase debería quedar grabada en la arquitectura del Estado algorítmico.

Una probabilidad puede orientar una investigación, dar prioridad a un control o detectar una anomalía. No debe convertirse automáticamente en una declaración de culpabilidad o en la privación de un derecho. Esto resulta especialmente importante en materia de fraude.

Las administraciones tributarias, los organismos de prestaciones sociales y las aduanas pueden utilizar la IA para detectar patrones inusuales. Es racional. Los recursos de inspección son limitados. Un sistema puede ayudar a identificar expedientes que merecen revisión. Pero existe una diferencia gigantesca entre elegir un expediente para inspeccionarlo y considerar defraudador al ciudadano.

La distinción debe mantenerse absolutamente clara. El algoritmo plantea una hipótesis, no dicta una condena. Es exactamente lo que he repetido en la parte geopolítica: correlación no es causalidad. Tampoco en la Administración.

Una persona puede ajustarse estadísticamente a un perfil de fraude sin haber cometido fraude alguno. Cuantos más datos indirectos utilice el sistema, mayor será ese riesgo. Una dirección, un barrio, una profesión pueden convertirse en indicadores indirectos de características cuyo uso se quiere excluir por ley. Aquí el sesgo algorítmico se convierte en una cuestión de derecho público.

Un modelo puede reproducir una discriminación sin tener la menor intención discriminatoria. Basta con que los datos históricos contengan esa estructura. La máquina aprende la realidad tal como era, incluidas sus injusticias. La IA puede, por tanto, reproducir el pasado a escala industrial si no estamos atentos. Esta es una idea fundamental.

Entrenar un modelo con decisiones administrativas del pasado puede reproducir precisamente los sesgos que queremos corregir. Que se lo entrene con millones de decisiones no las hace justas. La cantidad no suprime la dimensión normativa.

Es un error frecuente creer que más datos producen automáticamente más objetividad. No. Más datos producen una representación más detallada del sistema observado. Si el sistema contiene una injusticia, el modelo puede aprenderla con notable precisión.

Hay que introducir, pues, un plano normativo independiente de los datos.

¿Qué resultado consideramos aceptable?

¿Qué variables no deben utilizarse?

¿Qué disparidades hay que vigilar?

En democracia, la IA debe auditarse tanto por su rendimiento global como por sus efectos sobre distintos grupos. Ese control no debe ser un añadido militante o de comunicación. Debe formar parte de la calidad misma del sistema. Un modelo que trata mal sistemáticamente a una categoría de ciudadanos es un mal sistema administrativo.

La precisión media no basta. De nuevo, la ciencia del error. Hay que

observar a quién afecta el error. Un diez por ciento de errores distribuidos al azar y un diez por ciento concentrado en una población concreta no son políticamente equivalentes. La cifra agregada oculta la distribución.

La misma vigilancia vale para las estadísticas del mercado del arte o de la economía. Una media es útil y peligrosa. Resume. También oculta.

El Estado algorítmico debe construirse, por tanto, sobre una cultura estadística extraordinariamente madura. Los responsables públicos deben comprender qué significan una tasa de error, un intervalo de confianza y un sesgo de selección. Sin esa formación, el poder puede volverse dependiente de expertos técnicos a quienes no está en condiciones de rebatir. Volvemos a la soberanía cognitiva, aplicada ahora al propio Estado.

¿Ejerce realmente su autoridad un ministro que firma una política algorítmica sin comprender las principales limitaciones del modelo? Jurídicamente, sí. Cognitivamente, quizá no. De ahí la importancia de formar a los responsables públicos. No tienen por qué convertirse en científicos de datos, pero sí deben ser capaces de hacer las preguntas oportunas.

¿Con qué datos se entrenó el sistema?

¿Cuál es la tasa de falsos positivos?

¿Qué sucede cuando se equivoca?

¿Quién puede impugnar la decisión?

¿Cómo se actualiza el modelo?

¿Qué empresa lo suministra?

¿Dónde se alojan los datos?

Estas preguntas se convierten en asuntos de gobierno. La informática sale definitivamente del departamento técnico. Entra en la constitución material del Estado.

La elección de un modelo o de un servicio en la nube puede tener consecuencias casi constitucionales sin que el Parlamento las debata de forma explícita. Es un problema de primer orden. Una administración puede externalizar gradualmente parte de su capacidad cognitiva y confiarla a proveedores privados. Cada contrato parece técnico. Pero su acumulación puede crear una dependencia estratégica.

¿Quién posee entonces la capacidad real del Estado?

Una república que ya no puede tratar sus datos sin un proveedor privado extranjero tiene una soberanía jurídica mayor que su soberanía técnica. Esa disociación es peligrosa. Puede pasar inadvertida hasta que estalla la crisis. De ahí la necesidad de pensar la soberanía digital en términos de continuidad.

¿Podemos cambiar de proveedor?

¿Se pueden exportar los datos?

¿Son abiertos los formatos?

¿Hay equipos internos capaces de comprender el sistema?

No es necesario que el Estado desarrolle todo por sí mismo. Sería ineficaz y, muchas veces, imposible. Pero debe conservar la capacidad de dirigir lo que encarga. Externalizar no es abdicar.

Esto vale en particular para las funciones propias de la soberanía estatal: justicia, defensa, policía, fiscalidad, identidad. Cuanto más cerca esté la función del núcleo de la soberanía, menor debe ser el nivel de dependencia admisible. Vuelve la clasificación. Los datos públicos no necesitan todos el mismo grado de protección. Una agenda cultural municipal y un archivo de inteligencia son, evidentemente, incomparables.

Una política seria de soberanía tecnológica empieza, pues, por inventariar los elementos críticos. Vuelvo a encontrar aquí una constante de mi pensamiento: antes de emprender cualquier política, hay que trazar un mapa.

¿De qué activos disponemos?

¿De qué dependemos?

¿Qué riesgos corremos?

Es exactamente lo que permite un banco de datos bien diseñado. Resulta casi irónico que el Estado algorítmico necesite, antes de la inteligencia artificial, una gestión excelente de sus propios datos. Muchas organizaciones se imaginan que la IA pondrá orden en su información. No lo hará.

Una administración con archivos contradictorios, identidades mal cotejadas y definiciones distintas según el ministerio no obtendrá por arte de magia una inteligencia coherente con solo añadir un modelo. Producirá errores más deprisa. El primer paso del Estado algorítmico resulta, pues, mucho menos espectacular: calidad de los datos, interoperabilidad, gobernanza, archivo.

Es el trabajo paciente al que el mundo digital pocas veces rinde homenaje. Al mundo le encantan las demostraciones impresionantes. Subestima los años que lleva normalizar los datos que las hacen posibles. También esta verdad la aprendí en Artprice. El valor iba mucho más allá de disponer de un motor capaz de mostrar un resultado. Estaba en haber reconstruido, normalizado y conectado una inmensa memoria histórica. La inteligencia artificial no cambia esa ley. La amplifica.

Un Estado que quiera utilizar la IA debe empezar, pues, por conocer su propio lenguaje administrativo. Es más difícil de lo que parece. Una misma noción puede definirse de distintas maneras según la administración.

¿Qué es un hogar?

¿Qué es una empresa activa?

¿Qué es un ingreso?

Las definiciones jurídicas varían según el contexto. Si un modelo trata de conectar todas las bases y da por equivalentes esas categorías, puede producir errores. El problema es semántico antes que algorítmico. Por eso la semiología y la semántica nunca están lejos de la informática.

Los datos no son la realidad en bruto. Son la realidad parcelada en categorías. Toda base de datos es ya una interpretación. Es una idea esencial para el Estado. Cuando la Administración crea una categoría, genera consecuencias.

Quedar clasificado como demandante de empleo, contribuyente, estudiante, extranjero o empresa genera derechos y obligaciones. El código informático puede volver rapidísima esa clasificación. No la vuelve neutral. Detrás de cada campo hay una decisión política o jurídica. El Estado algorítmico nunca debe, por tanto, encubrir la política con el lenguaje de la técnica.

Modificar una variable puede cambiar el acceso a un derecho. El ingeniero debe saberlo. El jurista debe saberlo. La colaboración es indispensable.

Podría, además, dar lugar a una administración mejor. Muchos procedimientos se han complicado con los años por la acumulación de leyes y excepciones. La IA puede ayudar a cartografiar esas incoherencias. Puede identificar textos contradictorios, obligaciones redundantes, formularios innecesarios. Puede convertirse en un instrumento de simplificación.

Tal vez fuera uno de sus usos más democráticos: acortar la distancia entre el ciudadano y el derecho. Una república en la que cada cual puede comprender sus derechos es más democrática que otra cuya complejidad reserva el acceso a quienes pueden pagar a los mejores especialistas.

La IA puede, pues, democratizar el acceso a parte de ese saber especializado. Pero debe concebirse como una vía de acceso al derecho y no como un sustituto de la justicia. La distinción es fundamental. Un asistente puede explicar una norma. No debe convertirse en el único juez de su aplicación. La justicia es precisamente uno de los ámbitos donde el Estado algorítmico encuentra sus límites más firmes.

La IA puede utilizarse para buscar jurisprudencia, resumir un expediente, detectar plazos o ayudar a redactar. Todos esos usos pueden mejorar la eficacia. Pero cuando el sistema empieza a calcular la probabilidad de reincidencia, la credibilidad de una persona o la pena que le corresponde, entramos en un terreno mucho más peligroso.

El riesgo va más allá del sesgo. Consiste en convertir la justicia individual en una estadística de grupo. El derecho juzga a una persona por unos hechos. Un modelo predictivo puede verse tentado de juzgarla, en parte, por lo que suelen hacer quienes se parecen a ella. Es una ruptura filosófica profunda.

La probabilidad no es culpabilidad.

Toda persona tiene derecho a no quedar reducida a su categoría estadística. Ese derecho a la individualidad podría convertirse en uno de los grandes derechos de la era algorítmica. Todos somos probabilidades en un banco de datos. Pero también somos capaces de comportamientos que se salen de la distribución. Ser un individuo significa también poder escapar a la distribución estadística. La IA tiene una capacidad extraordinaria para reconocer patrones. La democracia debe reservar espacio a la excepción. Aquí es donde el derecho a la redención, que siempre he defendido, adquiere una actualidad extraordinaria.

Un sistema predictivo puede encerrar a alguien en su pasado estadístico. Una persona que ha cometido una falta puede quedar clasificada como un riesgo duradero. Pero una sociedad humana debe mantener abierta la posibilidad de que esa persona cambie. De lo contrario, la predicción se convierte en condena. Ahí surge un conflicto profundo entre la lógica estadística y la filosofía de la redención.

El algoritmo aprende que el pasado predice parcialmente el futuro. El derecho puede establecer que el ser humano no quede definido enteramente por su pasado. Esa tensión no se resuelve con más cálculos. Exige una elección moral. Ese es precisamente el límite del Estado algorítmico.

La eficacia no puede convertirse en un fin absoluto. Una dictadura puede ser administrativamente eficaz en algunos aspectos. Eso no la hace deseable. Una democracia acepta deliberadamente ciertas demoras porque entiende que determinados derechos merecen ese coste.

Un proceso en el que ambas partes pueden exponer sus argumentos lleva tiempo.

Un recurso lleva tiempo.

La presunción de inocencia puede hacer más difícil una investigación.

Son pausas que una civilización se impone. La expresión me parece acertada. Hemos interpuesto demoras en el ejercicio del poder para contener su brutalidad. Podríamos sentir la tentación de emplear la IA para eliminarlas en nombre de la eficacia. Por el contrario, hay que saber cuáles son esenciales.

No todas las demoras administrativas son virtuosas. Muchas son absurdas y deben desaparecer. Pero algunas brindan protección. Volvemos a la necesidad de distinguir. El tiempo que requiere un recurso es distinto del que se pierde copiando un formulario. Actuar con inteligencia consiste en acortar el segundo sin suprimir la garantía del primero.

Tal vez esta sea una definición sencilla del Estado algorítmico democrático: aprovechar la velocidad allí donde libera y conservar el tiempo allí donde protege.

Enlaza directamente con el capítulo sobre la guerra cognitiva.

Cuanto más acelera la máquina, más necesario es que el ser humano decida dónde frenar. Una misma filosofía recorre el ámbito militar y el administrativo. Un Estado que decide al instante no es necesariamente mejor. Algunas decisiones requieren un plazo para impugnarlas.

Por eso el derecho a recurrir debe incorporarse desde el diseño de los sistemas. Appeal by design, podríamos decir, en el mismo sentido en que hablé de «de-escalation by design». Un sistema administrativo debe prever desde el principio cómo puede una persona impugnar una decisión. No cabe añadir el recurso a posteriori como una excepción molesta. El recurso forma parte de la arquitectura democrática.

Si la IA permite decidir más deprisa, también debería facilitar la impugnación. Una persona podría preguntar:

¿qué datos se utilizaron?

¿Qué reglas?

¿Hay algún dato incorrecto?

Podría corregirlo. Ese sería un Estado algorítmico emancipador. El ciudadano dejaría de ser el mero objeto de los datos. Podría intervenir en su representación digital.

¿tenemos derecho a saber cómo nos ve el Estado?

En un sistema tradicional rara vez conocíamos el conjunto de los archivos administrativos que contenían información sobre nosotros. En un Estado interconectado, esa representación adquiere cada vez más importancia. Quizá necesitemos algo así como un derecho al espejo administrativo.

Ver los principales datos que se utilizan para tomar decisiones sobre nosotros. Poder señalar un error. Conocer su origen. Esa transparencia podría convertirse en un contrapeso poderoso. Sería útil también para la propia Administración, porque los ciudadanos corregirían muchos errores en los datos. Es una arquitectura participativa de los datos.

Pero esta idea tropieza, claro está, con límites, especialmente en algunas investigaciones o funciones de seguridad. Una vez más, hay que distinguir en detalle. No todos los archivos pueden ser enteramente transparentes. Habrá que definir, pues, regímenes distintos según la finalidad. Esa complejidad es inevitable.

La democracia no equivale a la simplicidad absoluta. Organiza poderes que pueden contradecirse entre sí. La IA no debe utilizarse para suprimir esa contradicción. Debe ayudarnos a gestionarla mejor. Eso distingue al Estado algorítmico democrático del autoritario.

En el segundo, los datos suben hacia el centro y el ciudadano ve poco. En el primero, idealmente, la circulación debe ser más simétrica. El poder ve al ciudadano, pero el ciudadano también debe poder ver una parte del funcionamiento del poder. La transparencia nunca es total. Pero crea reciprocidad.

Esta asimetría en la visibilidad es una de las grandes cuestiones de la vigilancia. Quien ve sin ser visto posee un poder singular. Bentham lo comprendió con el panóptico. Foucault lo teorizó.

La IA da al panóptico una dimensión que el siglo XVIII no podía siquiera

imaginar: el guardián ya ni siquiera necesita observar a cada individuo. El sistema puede analizar automáticamente los rastros. Es una mutación gigantesca.

El problema de la vigilancia masiva ya no reside únicamente en que el Estado puede almacenar mucha información. Reside en que puede convertirla en un instrumento de actuación.

El verdadero umbral es el paso del almacenamiento al análisis.

Es la misma transformación que la IA opera en un banco de datos. La memoria inerte se convierte en un sistema nervioso. Esa fórmula que utilizo para la Demeure du Chaos adquiere aquí un cariz casi inquietante.

Si la IA se convierte en el sistema nervioso del Estado, la pregunta central es:

¿Qué cuerpo político controla ese sistema nervioso?

¿Quién define sus reflejos?

¿Quién puede detenerlo?

Es una metáfora muy precisa. Un Estado moderno ya posee órganos: administraciones, policía, justicia. La IA puede convertirse en la capa que interconecta la información de todos ellos. Esto puede mejorar enormemente la coordinación. Pero una coordinación perfecta también puede convertirse en una concentración perfecta.

Históricamente, las democracias han aceptado cierta fragmentación del poder precisamente para evitar esa concentración. La separación de poderes no es una ineficiencia accidental. Es un mecanismo de seguridad.

Debemos, pues, evitar que la interconexión técnica vuelva a unir silenciosamente aquello que el derecho había separado en el plano institucional. Hay ahí un gran punto ciego constitucional. Dos administraciones pueden estar separadas por ley y, sin embargo, utilizar una misma plataforma que cruza sus datos. La arquitectura técnica puede entonces conseguir una integración funcional que prevalezca sobre la separación jurídica.

Es un problema muy profundo. El derecho se ocupa de las instituciones. También tendrá que ocuparse de los flujos de datos entre ellas. Quizá la separación de poderes deba convertirse asimismo en separación de accesos.

¿Quién puede consultar qué base de datos?

¿Con qué justificación?

¿Debe quedar registrada cada consulta?

La auditoría se convierte en una nueva forma de control constitucional. Cabe imaginar que cada uso sensible de un banco de datos por parte de un agente público deje un rastro verificable. Ya ocurre en algunos sistemas. La IA puede reforzar esa trazabilidad.

Paradójicamente, la tecnología de vigilancia puede vigilar al vigilante. Es una posibilidad democrática de especial interés. Podría quedar registrada cada consulta de un expediente. Podría detectarse un abuso. En determinados casos, cabría incluso informar al ciudadano. La transparencia técnica puede limitar, por tanto, el mismo poder que acrecienta.

La simetría que habría que buscar es esta. Cada nueva capacidad de control debería ir acompañada de una capacidad de controlar a quien controla. Casi propondría esta regla como principio constitucional de la era algorítmica. Cuanto más sepa un sistema sobre el ciudadano, más rastros deberá dejar de las personas que lo utilizan. La capacidad de auditoría debe crecer al mismo ritmo que el poder.

Es una manera muy concreta de preservar el Estado de derecho. Ahora bien, la auditoría debe ser independiente. Un sistema que se audita exclusivamente a sí mismo no constituye un verdadero contrapeso. Hacen falta autoridades, jueces y expertos que puedan acceder a la información necesaria.

Se plantea una enorme cuestión de competencia: ¿quién fiscalizará los algoritmos del Estado? Los magistrados deben poder contar con expertos independientes. También los parlamentarios. De lo contrario, el poder ejecutivo puede adquirir una ventaja cognitiva inmensa.

El equilibrio de poderes se convierte también en equilibrio de capacidades técnicas. Una comisión parlamentaria sin conocimientos de algoritmos, ante un ministerio que dispone de miles de ingenieros, puede en teoría fiscalizarlo y en la práctica entender muy poco. La asimetría es real. La democracia debe invertir, pues, en sus contrapesos tecnológicos.

Hacen falta conocimientos especializados en los tribunales de cuentas, las autoridades independientes, los parlamentos, los medios de comunicación. La propia sociedad civil debe poder analizar determinados sistemas. Puede ser esencial dar acceso a cierta información técnica. Pero habrá que encontrar un equilibrio con la seguridad y la propiedad intelectual. Otro conflicto entre valores.

Es posible proteger un secreto industrial sin imposibilitar la auditoría de un sistema público. Hay que inventar mecanismos: acceso sujeto a confidencialidad, organismos certificados, pruebas independientes. Lo importante es el principio: una decisión pública jamás debe quedar fuera de control porque el proveedor invoque el secreto de su modelo.

De lo contrario, se privatiza una parte de la soberanía. Es inaceptable. La empresa puede ser propietaria de una tecnología. El Estado debe seguir siendo responsable de la decisión que toma con ella. Y para responder de esa decisión tiene que comprender lo suficiente. De nuevo, la diferencia entre utilizar y depender.

La dependencia cognitiva del Estado respecto de una empresa privada podría convertirse en uno de los grandes asuntos políticos del siglo. Ya lo hemos visto con algunas infraestructuras digitales. La IA lo amplifica porque afecta a la decisión misma.

Un gobierno podría acabar pidiéndole a un modelo privado que analice sus políticas, sus presupuestos, sus riesgos. Puede resultar de extraordinaria utilidad. Pero ¿qué ocurre si el modelo se convierte en una especie de asesor invisible, presente en todas partes? ¿Quién conoce sus limitaciones? ¿Qué intereses tiene la empresa que lo desarrolla?

Aun sin manipulación deliberada, el sistema incorpora una arquitectura. Por eso el pluralismo de modelos cobra importancia también para la Administración. Quizá una función crítica no deba depender nunca de un único sistema de análisis. Varios modelos pueden emitir dictámenes distintos. Su divergencia aporta información. Volvemos al procedimiento contradictorio.

Pero no toda memoria tiene la misma finalidad. El archivo histórico y el perfil individual permanente son dos cosas distintas. Una sociedad necesita memoria colectiva y un derecho individual al olvido. La paradoja es magnífica.

Conservar para la historia.

Olvidar para la libertad.

La IA nos obliga a articular ambas cosas. Una base estadística puede conservarse a veces de forma anonimizada tras suprimir los datos personales. Pero la propia anonimización se vuelve más compleja cuando la IA puede cruzar grandes cantidades de información. El riesgo de reidentificación es real.

Esto muestra, una vez más, que las categorías jurídicas deben evolucionar con las capacidades técnicas. Un dato «anónimo» en un momento determinado puede dejar de serlo pocos años después. La seguridad tiene, pues, una dimensión temporal. Lo que hoy es seguro puede ser vulnerable mañana. Las administraciones deben prever esa transformación.

De nuevo, la permanencia mutante. La protección de datos no puede ser una certificación obtenida de una vez para siempre. Hay que reevaluarla. Es una cultura del mantenimiento. La propia democracia se convierte en una labor de mantenimiento. Me gusta esa idea.

Solemos imaginar la democracia como un conjunto de grandes principios escritos de una vez. En realidad, exige vigilancia permanente. La IA hace visible ese trabajo de mantenimiento.

Cambian los modelos. Cambian los usos. Cambian los riesgos.

Los contrapesos deben, pues, poder transformarse sin renunciar a su núcleo. Es exactamente lo que desde hace años llamo permanencia mutante. Quizá por eso la Demeure du Chaos y el Estado algorítmico pueden pensarse a partir de una misma lógica profunda: conservar una identidad a través de una transformación continua.

La República debe seguir siendo República aun cuando las herramientas con que trabaja resulten irreconocibles frente a las del siglo XX.

El papel desaparece, el derecho permanece.

Cambia la ventanilla, permanece la igualdad.

El expediente se convierte en grafo, permanece el derecho a recurrir.

En eso consiste una transformación lograda.

Pero la democracia no se juega solo en la Administración. También se juega en el espacio público. Y es allí donde la IA probablemente plantea una amenaza aún más difícil de afrontar.

Un Estado puede ser sumamente respetuoso al utilizar sus datos administrativos y, aun así, ver cómo sistemas privados de recomendación, agentes conversacionales y contenidos sintéticos transforman su espacio democrático. La democracia descansa sobre la opinión pública. Y la opinión pública pasa hoy por infraestructuras algorítmicas que determinan en gran medida qué se hace visible.

Ya hemos hablado de la guerra cognitiva. Debemos aplicar ahora ese análisis a la vida política cotidiana.

¿Quién organiza la atención?

¿Quién decide qué temas merecen más atención que otros?

Una plataforma no necesita apoyar a ningún candidato para influir en la democracia. Su algoritmo de recomendación puede favorecer los contenidos que despiertan más emociones y más polarización, sencillamente porque generan más interacción. El modelo de negocio se convierte así en una arquitectura política sin un propósito político explícito. Es un punto ciego de gran importancia.

Solemos buscar una manipulación deliberada cuando el efecto sobre el conjunto puede proceder de una optimización comercial. Si la indignación hace que las personas pasen más tiempo en una plataforma, un sistema que maximiza la interacción puede producir más indignación sin que nadie haya escrito expresamente: «polarizar a la sociedad». Basta con el objetivo.

Es el problema mismo del alineamiento aplicado a la democracia. Optimizar el indicador equivocado produce una conducta colectiva indeseable. Volvemos a lo que escribí sobre los enjambres: una regla local sencilla puede dar lugar a un comportamiento global inesperado. Las redes sociales ya son enjambres humanos mediados por algoritmos.

La IA generativa añade ahora una capacidad casi ilimitada de producir contenido. El coste de la manipulación disminuye. Hay actores que pueden producir millones de mensajes, crear perfiles falsos, personalizar relatos. Pero quizá la amenaza más profunda siga siendo la saturación.

Cuando el volumen se vuelve gigantesco, la verificación humana ya no da abasto. La verdad no tiene por qué ser derrotada por una mentira más convincente. Puede quedar sepultada. Es la economía misma de la atención.

Varios sistemas con arquitecturas diferentes crean ruido, pero también resiliencia. De nuevo, la diversidad. Un monocultivo cognitivo puede ser vulnerable a un error o a una manipulación. Ocurre como en los monocultivos biológicos. Por eso el pluralismo democrático es también una estrategia de seguridad.

Esta perspectiva permite mirar de otra manera la libertad de expresión. Va más allá de un derecho individual. Produce una diversidad de hipótesis que ayuda al sistema social a detectar sus errores. Enlaza con mi reflexión sobre la posibilidad de disentir dentro de las organizaciones.

Un régimen que reprime en exceso la disidencia puede parecer más coherente. Pero pierde sensores. La democracia es ruidosa porque dispone de muchos sensores. Lo que está en juego es saber transformar ese ruido en inteligencia.

La IA podría ayudar a sintetizar las consultas públicas, a identificar argumentos minoritarios y a detectar preocupaciones locales. Podría renovar la democracia participativa. Imaginen que se analizan millones de aportaciones ciudadanas en vez de examinar solo una muestra. La IA puede recorrer ese inmenso material, agrupar los temas y sacar a la luz propuestas poco frecuentes pero pertinentes.

Es una posibilidad extraordinaria. Hasta ahora, la capacidad humana de lectura limitaba las grandes consultas. La IA reduce esa limitación. Pero hay que evitar que convierta de inmediato la pluralidad en categorías excesivamente nítidas. De nuevo, preservar el desacuerdo.

Una síntesis debe permitirnos volver a las aportaciones originales. De lo contrario, el modelo se convierte en intérprete soberano de la palabra ciudadana. Hay que poder seguir el hilo entre la síntesis y sus fuentes. El ciudadano debe poder comprobar que su idea no ha sido deformada. Es otra arquitectura de confianza.

Este uso de la IA podría transformar también el trabajo parlamentario. Miles de enmiendas, informes y comparecencias se vuelven más accesibles. Un diputado podría consultar en poco tiempo decenios de debates. En principio, eso reforzaría su capacidad de actuación.

Pero también podría uniformar el lenguaje político si todos utilizaran el mismo asistente para escribir. Podríamos ver surgir una prosa algorítmica uniforme, argumentos estandarizados. La democracia perdería algunas de sus voces singulares.

Esta cuestión de estilo puede parecer secundaria. No lo es. La política es también lenguaje. Una manera de expresarse revela un pensamiento. Si la IA alisa todas las expresiones, el debate puede volverse técnicamente correcto y humanamente pobre.

Habrá que aprender, pues, a utilizar la herramienta sin perder la propia voz. Es precisamente lo que hacemos en este diálogo. Sigo exigiendo que la IA no me traicione, que amplíe mi pensamiento sin fabricar en mi lugar un personaje artificial. Esta disciplina podría ser la de cualquier responsable público. La herramienta ayuda a ordenar. Pero cada uno sigue respondiendo personalmente de lo que dice.

Deberíamos poder preguntarle a un representante electo:

¿Ha leído este texto y lo asume como propio?

La IA no debe convertirse en una máquina de fabricar discurso político sin pensamiento. De lo contrario, tendríamos instituciones pobladas de textos impecables y de responsables que ya no saben defenderlos. Sería una nueva forma de vacío.

La facilidad de producción aumenta, por tanto, el valor del compromiso real. De nuevo, la ley de la escasez. Cuando producir una frase cuesta casi nada, responder de ella se vuelve valioso. La firma recobra su valor.

El fenómeno es muy cercano al del mercado del arte. La autenticidad se desplaza. Un texto se puede generar en un segundo.

Lo que cuenta es esto: ¿quién lo firma?, ¿quién responde de él?

La responsabilidad se convierte en el aura del lenguaje.

Esta idea me gusta mucho. En la democracia algorítmica, la firma política debe seguir siendo humana. Poco importa que un representante haya empleado diez herramientas para trabajar. Tiene que decir: «Esta decisión es mía y respondo de ella». Ahí está el núcleo de la soberanía.

Y eso nos devuelve al Estado algorítmico en su conjunto. El principal riesgo no es que la máquina tome el poder de golpe. Es que el poder humano vaya diluyéndose detrás de la máquina.

«No he sido yo, ha sido el algoritmo». Esa frase debe volverse políticamente inaceptable. El algoritmo puede explicar una recomendación. No puede asumir la responsabilidad del gobierno.

La democracia descansa precisamente sobre la posibilidad de identificar a quienes deciden y sustituirlos. Si la decisión se convierte en un resultado técnico sin autor, la elección pierde parte de su sentido. Hay que mantener, pues, una cadena clara: máquina, funcionario, responsable político.

¿Quién puede modificar qué?

¿Quién da su aprobación?

Ese mapa debe ser público en sus grandes líneas. Es casi un organigrama algorítmico del Estado. Sabemos qué ministerio es responsable de una política. También deberíamos saber qué sistemas de importancia intervienen en determinadas decisiones.

Una especie de registro público de algoritmos administrativos podría convertirse en un instrumento de transparencia. No tiene por qué incluir el código íntegro de cada sistema sensible, pero sí su existencia, su finalidad, su proveedor, los principales tipos de datos y las vías de recurso.

Algo tan sencillo podría aumentar enormemente la confianza. El secreto generalizado alimenta la sospecha. Una transparencia bien orientada hace posible el debate. Es el método de desescalada aplicado al poder público.

Una democracia debe mostrar lo suficiente de su arquitectura para que el ciudadano pueda comprender cómo funciona. Es casi una exigencia arquitectónica en sentido literal. Un palacio de justicia tradicional tiene puertas, salas, vistas públicas. El Estado digital se vuelve invisible.

Por eso hay que reconstruir simbólicamente puertas y ventanas en el código. El ciudadano debe saber por dónde entrar. Dónde impugnar. Dónde mirar. Esta metáfora me interesa enormemente.

Pasamos de una arquitectura de piedra a una arquitectura de software. Las funciones democráticas, sin embargo, siguen siendo parecidas: acceso, publicidad, separación, recurso. La interfaz se convierte en el equivalente de la puerta del tribunal. Si es inaccesible, el derecho existe en teoría y desaparece en la práctica. Así, la ergonomía se convierte en una cuestión política.

Una administración digital que excluye a las personas mayores, a las que tienen una discapacidad o a quienes están poco familiarizados con las tecnologías digitales genera desigualdad de acceso. La IA puede ayudar mediante la voz, la traducción, la asistencia. El avance potencial es inmenso. Pero hay que mantener alternativas de atención humana.

Ahora bien, toda redundancia tiene un coste. Es el precio de la continuidad. Los mismos principios reaparecen en todas partes porque son estructurales.

Redundancia.

Auditoría.

Pluralismo.

Recurso.

Son casi los cuatro pilares de un Estado algorítmico democrático. Podría añadirse la minimización de datos. Para preservar el espacio privado. Estos principios no lo resuelven todo, pero dibujan una arquitectura.

Y eso es precisamente lo que busco en esta parte: pasar del miedo abstracto al diseño. Decir «cuidado con la vigilancia» es necesario, pero insuficiente. Hay que mostrar cómo construir un sistema que utilice la IA sin convertirse en un panóptico.

La democracia debe ser una tecnología política tan sofisticada como las herramientas que regula. De lo contrario, quedará rezagada. Quizá uno de los mayores peligros para Europa sea creer que basta con el derecho escrito sin invertir en las infraestructuras necesarias para aplicarlo.

Una regla que nadie tiene capacidad de auditar se vuelve simbólica. Hacen falta expertos. Herramientas. Presupuestos. La regulación de la IA es en sí misma una industria del conocimiento.

Podría llegar a ser un sector europeo potente: auditoría, certificación, seguridad, protección de datos. Pero, una vez más, la regulación no sustituye a la creación. Europa debe producir sistemas y, al mismo tiempo, saber regularlos. De lo contrario, regulará la importación de la inteligencia ajena. La fórmula sigue siendo válida.

Un Estado algorítmico soberano necesita modelos, servicios en la nube e investigadores. También necesita instituciones jurídicas sólidas. Es la integración de todas las capas de su arquitectura política. Y quizá esa combinación sea precisamente la que defina la gran competencia entre modelos del siglo XXI.

El modelo autoritario puede decir: «Dennos más datos y produciremos más orden». El modelo ultracomercial puede decir: «Dejen que las empresas optimicen y la innovación traerá eficacia». El modelo democrático debe proponer algo más difícil: lograr esa eficacia preservando la libertad, la pluralidad y la posibilidad de impugnar.

Es una arquitectura más compleja. Pero la complejidad, si está bien diseñada, no es una debilidad. La democracia es en sí misma un sistema complejo. Cuenta con mecanismos de retroalimentación, contrapesos y elecciones. Acepta el conflicto para evitar el dominio absoluto.

La IA puede ayudarla a ser más inteligente si refuerza esos mecanismos. Puede debilitarla si los cortocircuita. Esa es probablemente la prueba decisiva. La IA no es por naturaleza democrática ni autoritaria. Amplifica determinadas estructuras.

Una democracia que la utilice para reducir la burocracia, ampliar el acceso al derecho, detectar sus errores y reforzar las vías de recurso puede volverse más democrática. Otra que la emplee para elaborar perfiles a escondidas, predecir conductas y automatizar decisiones sin posibilidad de impugnarlas puede conservar sus elecciones e ir perdiendo, sin embargo, parte de su sustancia.

Por eso el peligro no es necesariamente el golpe de Estado algorítmico. Es la erosión algorítmica.

Aquí se añade una pequeña comodidad.

Allá se conecta otro banco de datos.

Una puntuación se acepta sin debate.

Cada paso parece razonable. Al acumularse, cambian el régimen. No hace falta que alguien decida una mañana construir un Estado de vigilancia. Puede surgir de la acumulación de sistemas útiles.

De ahí que sea indispensable una visión de conjunto. Hay que mirar el grafo, además de cada aplicación.

¿Cuánto poder sobre la información produce el conjunto?

Es una cuestión constitucional.

Y es precisamente ahí donde, paradójicamente, la IA puede ayudarnos: a trazar un mapa del propio Estado. Ver los flujos de datos. Las dependencias. Los accesos. Dar a la transparencia la forma de una representación dinámica.

Quizá la mejor protección frente a un Estado algorítmico opaco sea un gemelo digital de su propio poder al que puedan acceder las instituciones de control. Un mapa de las bases de datos, los modelos y las interfaces. Parece algo técnico. Es casi una nueva separación de poderes materializada en los datos.

La fiscalización debe disponer, por tanto, de una infraestructura a la altura del poder algorítmico que examina. Hace falta una contrainteligencia algorítmica democrática. Sistemas capaces de auditar otros sistemas, detectar anomalías y comprobar si hay discriminación.

La IA supervisando a la IA. Pero siempre bajo un control institucional humano. Esa recursividad es inevitable. A medida que la complejidad supere las capacidades individuales, utilizaremos máquinas para controlar máquinas.

Puede parecer inquietante. Ya ocurre en la ciberseguridad, los mercados financieros y las redes. Lo importante es mantener las cadenas de responsabilidad y el pluralismo. Ningún sistema debe ser el único juez de sí mismo. Es casi una regla lógica. Y esa regla nos lleva al siguiente umbral.

Porque si los algoritmos estructuran cada vez más el Estado, la economía, los medios y el espacio público, la cuestión va más allá de la vigilancia. Pasa a ser la de la verdad compartida.

¿Cómo funciona una democracia cuando las imágenes, las voces, los textos y quizá mañana las propias pruebas pueden ser sintéticos?

¿Cómo organiza la confianza cuando producir falsedades cuesta tan poco?

Ya nos encontramos con este problema en la guerra cognitiva. Ahora hay que examinarlo desde el punto de vista de la civilización entera. La democracia descansa en la posibilidad de cuestionar las interpretaciones. Pero supone también un mínimo de hechos que se puedan compartir. Si cada bando vive en una realidad generada distinta, el debate se vuelve imposible.

Se plantea entonces la cuestión de la prueba.

Procedencia. Deepfakes. Verdad. Medios de comunicación. Justicia. Memoria.

Cuando todo puede fabricarse, ¿qué constituye una prueba?

Esta pregunta enlaza directamente con el mercado del arte, donde la autenticidad y la procedencia son centrales. Pero hoy alcanza a toda la sociedad.

Tras el Estado algorítmico llega, pues, el mundo sintético. Y con él, una pregunta casi primitiva:

¿Cómo saber si lo que veo ocurrió de verdad?