Es gibt eine sehr genaue Schwelle, jenseits derer künstliche Intelligenz nicht mehr bloß ein System ist, das Handlungen empfiehlt, sondern zu einer in der Materie verteilten Intelligenz wird.

Bislang konnten wir uns KI noch als ein Gehirn vorstellen, das in einem Rechenzentrum installiert ist, Ströme analysiert, Szenarien vorschlägt und eine menschliche Entscheidung beschleunigt.

Doch wenn diese Intelligenz unmittelbar Maschinen steuert, die in der physischen Welt wahrnehmen, sich bewegen, zusammenarbeiten und handeln können, beginnt eine viel tiefere Verwandlung.

Der Algorithmus verlässt den Bildschirm. Er nimmt eine physische Gestalt an: Motor, Kamera, Rotor, Fahrzeug, Bodenroboter, maritimes System.

Intelligenz wird kinetisch.

Diese Verkörperung verändert unmittelbar die Frage der Autonomie.

Ein Fehler in einem Dialogsystem erzeugt einen falschen Satz. Ein Fehler in einer beweglichen Maschine kann eine Bewegung, eine Kollision oder eine Zerstörung verursachen.

Die Software erhält materielle Trägheit.

Code wird Bewegung.

Die Veränderung ist nicht mehr nur informationell: Die Rechenergebnisse steuern unmittelbar Bewegungen in der Materie.

Ich habe dieses Verhältnis zwischen Materie und Information immer als eines der grundlegenden Merkmale unserer Zeit betrachtet. Eine Datenbank mag abstrakt erscheinen, doch sie bestimmt reale Entscheidungen. Eine digitale Architektur mag unsichtbar erscheinen, doch sie lenkt wirtschaftliche Ströme.

Mit der Robotik wird dieses Verhältnis unmittelbar sichtbar.

Information wird Handlung. Das Modell erkennt ein Hindernis, verändert eine Bahn, bremst, beschleunigt.

Es handelt.

Und sobald es handelt, verändert sich der Maßstab der gesamten Verantwortungsfrage.

Doch der eigentliche Durchbruch liegt nicht in der Existenz einer einzelnen autonomen Maschine. Eine einzelne Maschine bleibt vergleichsweise leicht zu begreifen. Wir können fragen, wer sie kontrolliert, welchen Auftrag sie hat und welche Grenzen ihr auferlegt werden.

Die Verwandlung beginnt, wenn mehrere Maschinen zusammenarbeiten.

Zehn Drohnen.

Hundert.

Tausend.

Mehrere Zehntausend.

Jede Einheit besitzt eine lokale Wahrnehmung, tauscht bestimmte Informationen mit anderen aus und passt ihr Verhalten an den Zustand der Gruppe an.

Dann treten wir in die Logik des Schwarms ein.

Das Wort ist treffend, weil es aus dem Leben stammt.

Eine einzelne Ameise hat begrenzte Fähigkeiten. Eine Kolonie bringt jedoch komplexe Verhaltensweisen hervor, ohne dass eine zentrale Ameise jede Bewegung steuert.

Vögel können gemeinsam die Richtung ändern, ohne dass ein Anführer jedem Vogel einzeln seine Flugbahn vorschreibt.

Aus lokalen Regeln entsteht ein Gesamtverhalten.

Mich interessiert hier nicht, dem Schwarm ein Innenleben zuzuschreiben, sondern festzustellen, dass wirksame Koordination ohne eine zentrale Führung existieren kann, die jede Bewegung im Einzelnen festlegt. Das allein genügt, um unsere Vorstellung von Verantwortung umzustürzen.

Genau das versucht die algorithmische Entwicklung nachzubilden. Und genau das erschüttert den klassischen Begriff der Befehlsführung.

In einer traditionellen Armee verläuft die Hierarchie von der Führung hinunter zu den Einheiten. Jede Ebene gibt Befehle weiter und empfängt Informationen.

Der Schwarm führt eine andere Architektur ein: Ein Teil der Koordination kann horizontal entstehen.

Der Mensch sagt nicht mehr zwangsläufig jeder Maschine: Geh hierhin, dann dorthin.

Diese Verwandlung ist tiefgreifend.

Er kann dem System sagen: Erkunde dieses Gebiet, halte diese Formation, überwache diese Grenze, optimiere diese Mission unter diesen Bedingungen.

Der Befehl wird abstrakter.

Und je abstrakter der Befehl wird, desto mehr politische Bedeutung gewinnt die Gestaltung des Systems. Wer die lokalen Regeln festlegt, bestimmt das entstehende Gesamtverhalten.

Die Macht kann sich vom Zeitpunkt des Handelns zum Zeitpunkt der Programmierung verschieben.

Der Programmierer wird mittelbar zum Architekten künftigen kollektiven Verhaltens.

Das bedeutet selbstverständlich nicht, dass der Programmierer jede Handlung entscheidet. Aber er bestimmt den Raum der möglichen Handlungen.

Ein Gedanke durchzieht dieses ganze Buch: Architektur ordnet Möglichkeiten.

Eine Straße entscheidet nicht, wohin jedes Fahrzeug fährt, doch sie macht manche Wege möglich und andere schwierig. Ein Computerprotokoll wählt nicht den Inhalt der Nachrichten, doch es bestimmt, wie sie sich bewegen.

Ebenso bestimmen die Regeln eines Schwarms sein Verhaltensfeld.

Deshalb wird die Steuerung autonomer Systeme viel früher in der technischen Kette ansetzen müssen.

Die Kontrolle kann nicht erst beginnen, wenn die Maschine bereits im Einsatz ist.

Sie muss in den Entwurf eingebaut werden.

Welche Handlungen sind verboten? Welche Gebiete sind ausgeschlossen?

Welcher Grad an Ungewissheit macht das Abschalten notwendig?

Was ist bei einem Kommunikationsausfall zu tun? Was ist zu tun, wenn zwei Ziele einander widersprechen?

All diese Fragen gehören in den Code.

Die Ethik geht damit buchstäblich in die funktionale Architektur ein.

Sie kann keine äußere Erklärung mehr bleiben.

Das knüpft genau an das an, was ich im vorigen Kapitel geschrieben habe: Deeskalation durch Gestaltung.

Doch bei Schwärmen ist diese Anforderung noch zwingender, weil eine individuelle Beaufsichtigung nicht mehr möglich ist.

Ein Mensch kann möglicherweise eine Drohne steuern.

Er kann nicht zehntausend Einheiten gleichzeitig lenken.

Ab einer bestimmten Größenordnung muss der menschliche Bediener delegieren. Und diese Delegation verändert den Sinn des Ausdrucks Mensch in der Entscheidungsschleife selbst.

Wo befindet sich das menschliche Element in der Schleife, wenn es nicht mehr jede Handlung kontrolliert, sondern einen Gesamtauftrag festlegt?

Kann der menschliche Bediener verstehen, was das System tut, den Auftrag verändern, bestimmte Einheiten anhalten?

Kann er eine bestimmte Handlung verhindern, und innerhalb welcher Zeitspanne?

Ohne diese Präzisierungen wird der Begriff menschlicher Kontrolle beinahe bedeutungslos. In einem Unternehmen kann man einen Verantwortlichen nicht zur Rechenschaft ziehen, wenn er keinen Zugang zu Daten oder operativen Entscheidungen hat.

Formale Verantwortung reicht nicht aus. Eine tatsächliche Eingriffsmöglichkeit ist notwendig.

Diese Unterscheidung zwischen rechtlicher Verantwortung und operativer Fähigkeit wird für autonome Systeme zentral sein. Doch wir müssen noch weiter schauen.

Der Schwarm besitzt eine Eigenschaft, die zentralisierten Architekturen fehlt: Widerstandsfähigkeit durch Verteilung. Wird eine Einheit zerstört, können die anderen fortfahren. Fällt die zentrale Kommunikation aus, können bestimmte Funktionen lokal erhalten bleiben.

Das ist eine außergewöhnliche Eigenschaft in einer militärischen Umgebung, in der Netzwerke gestört oder angegriffen werden können. Der Schwarm kann deshalb als eine Art physisches verteiltes Netzwerk funktionieren. Es ist genau die Logik des Internets, in Materie übertragen.

Ein widerstandsfähiges Netzwerk hängt nicht von einem einzigen Weg ab. Die Datenpakete finden alternative Routen. In einem Schwarm können die Agenten ihre Verteilung anpassen, wenn einige ausfallen.

Diese Ähnlichkeit fällt mir auf. Jahrzehntelang haben wir verteilte digitale Architekturen aufgebaut. Nun verkörpern wir sie physisch.

Doch wie in jedem verteilten Netzwerk hat diese Widerstandsfähigkeit eine Kehrseite: Die zentrale Kontrolle erweist sich als schwieriger.

Derselbe Mechanismus, der es gegen Ausfälle schützt, erschwert das Abschalten.

Das ist das Paradox.

Wir wollen Systeme, die weiterarbeiten können, wenn die Kommunikation unterbrochen ist.

Aber wir wollen sie auch anhalten können.

Diese beiden Anforderungen können miteinander in Konflikt geraten.

Je mehr lokale Autonomie ein System besitzt, desto weniger hängt es von der Zentrale ab. Je weniger es von der Zentrale abhängt, desto weniger leicht kann die Zentrale die Kontrolle übernehmen.

Das ist eine entscheidende technische Frage:

Wie lässt sich eine Autonomie unter beeinträchtigten Bedingungen entwerfen, die Überleben ermöglicht, ohne unkontrollierbar zu werden?

Wahrscheinlich wird man Verhaltensweisen für den Rückfallbetrieb festlegen müssen.

Bei einem Kommunikationsverlust sind manche Handlungen erlaubt, andere nicht. Eine Maschine kann zurückkehren, in Bereitschaft gehen oder eine begrenzte Aufgabe fortsetzen.

Diese Logik gibt es bereits in vielen Systemen.

Doch mit zunehmender eingebetteter Intelligenz werden die Möglichkeiten komplexer. Die Maschine kann mehr Situationen deuten.

Diese Flexibilität ist taktisch wertvoll, vergrößert aber den Raum der Ungewissheit.

Damit kehren wir zu einer grundlegenden Regel zurück: Autonomie muss im Verhältnis zum Risiko und zur Umkehrbarkeit stehen.

Ein Schwarm, der ein Gebiet kartieren soll, kann weit mehr Autonomie erhalten als ein System mit der Fähigkeit zu tödlicher Gewalt.

Das ist eine entscheidende Unterscheidung.

Militärische Robotik sollte niemals als ein einziges, monolithisches Gebilde behandelt werden.

Aufklärung, Logistik, Minenräumung, Evakuierung, elektronische Kriegsführung, Störung, Transport, Angriff: Die Risikostufen sind radikal verschieden.

Diese Frage ist offenkundig zentral, doch sie verdeckt eine Vielzahl von Anwendungen, die den Krieg ebenfalls verändern werden.

Die Logistik zum Beispiel.

Die öffentliche Debatte macht oft den Fehler, die gesamte Robotik auf das Bild der autonomen Tötungswaffe zu reduzieren.

Die strategische Wirkung kann gewaltig sein, ohne dass die Maschine jemals entscheidet zu schießen.

Offensive Fähigkeit und systemische Verwandlung müssen stets unterschieden werden.

Eine logistische Innovation kann den Ausgang eines Konflikts ebenso verändern wie eine neue Waffe. Die Militärgeschichte zeigt das immer wieder.

Armeen sind nicht bloß Systeme der Zerstörung.

Sie sind gigantische Systeme von Strömen.

Auch hier begegnen wir der Datenbank und dem Netzwerk.

Wer weiß, wo sich seine Ressourcen befinden, in welchem Zustand sie sind und welcher Weg verfügbar ist, besitzt einen beträchtlichen Vorteil.

KI und Robotik können einen Teil dieser Bewegungen automatisieren.

Das schafft eine stärker verteilte, schnellere Armee, zugleich aber eine, die stärker von digitalen Systemen abhängt.

Jeder Vorteil erzeugt seine eigene Verwundbarkeit.

Je stärker die Logistik automatisiert wird, desto wirksamer kann ein Cyberangriff oder ein elektronischer Angriff werden.

Es wird eine Umgebung sein, in der jede Schicht – Sensoren, Logistik, Kommunikation, Zielauswahl, Navigation – stärker von Algorithmen abhängt.

Das algorithmische Schlachtfeld wird deshalb kein spektakulärer Krieg von Robotern gegen Roboter sein. Es wird eine Umgebung sein, in der jede Schicht – Sensoren, Logistik, Kommunikation, Zielauswahl, Navigation – zunehmend von Algorithmen abhängt. Der Krieg wird zu einem System von Systemen.

Der sichtbare Roboter ist lediglich die mechanische Spitze einer unsichtbaren Architektur.

Hinter ihm stehen Satelliten, Netzwerke, Modelle, Datenbanken, Bediener, Cloudanbieter und industrielle Ketten.

Den Roboter zu zerstören, kann weit weniger wirksam sein, als die Infrastruktur zu stören, die ihn versorgt.

Das eigentliche Ziel können die Daten sein.

Das ist eine tiefgreifende Verwandlung des Schlachtfelds.

Das Material selbst bleibt selbstverständlich entscheidend. Doch die Fähigkeit, dieses Material zu koordinieren, kann sich als noch wichtiger erweisen.

Eine Armee aus hochentwickelten Maschinen, die jedoch keine Daten austauschen kann, mag weniger wirksam sein als eine Armee mit einfacherer, aber vollkommen koordinierter Ausrüstung.

Der Vorteil entsteht aus dem Netzwerk.

Das knüpft unmittelbar an das an, was ich mit Groupe Serveur und Artprice verstanden habe: Wert liegt niemals allein im Gegenstand, sondern in der Beziehung.

Ein einzelnes Datum hat einen Nutzen; Millionen von Datenpunkten, die nach einer zusammenhängenden Architektur verbunden sind, erzeugen Intelligenz.

Ebenso besitzt eine einzelne Drohne bestimmte Fähigkeiten; ein koordinierter Schwarm erzeugt ein Verhalten, das jede einzelne Einheit übersteigt.

Der Graph wird zur Macht.

Dieser Gedanke scheint mir so zentral, dass wir das algorithmische Schlachtfeld beinahe als einen dynamischen Graphen von Sensoren und Agenten definieren könnten.

Jeder Knoten sieht einen Teil der Wirklichkeit.

Keiner besitzt alles.

Die Qualität des Systems hängt davon ab, wie diese lokalen Wahrnehmungen zusammengeführt werden.

Das Problem ist erkenntnistheoretisch:

Wie lässt sich aus unvollständigen Blickwinkeln eine Gesamtvorstellung aufbauen?

Es ist dasselbe Problem wie das einer Gesellschaft, einer künstlichen Intelligenz oder eines Historikers.

Und die Fehler können aus der Zusammenführung entstehen.

Wenn zehn Sensoren dasselbe Phänomen beobachten, haben wir dann zehn unabhängige Belege oder zehn Messungen aus derselben Quelle?

Scheinbare Redundanz kann falsches Vertrauen erzeugen.

Ein Netzwerk von Agenten muss deshalb die Herkunftsgeschichte der Information bewahren:

Wer hat was, wann, mit welchem Sensor und mit welchem Grad an Sicherheit gesehen?

Diese Forderung nach Herkunftsnachweisen erinnert an eine alte Besessenheit des Kunstmarkts: Der Wert einer Information hängt auch von der Kette ab, durch die sie sich einordnen lässt.

Doch hier steht unmittelbar etwas auf dem Spiel.

Eine automatische Zusammenführung kann die Abweichungen zwischen den Sensoren glätten und gerade jene Ungewissheit verdecken, die sichtbar bleiben sollte.

Intelligenz sollte nicht immer glätten. Manchmal muss sie die Uneinigkeit bewahren.

Wenn drei Drohnen ein Fahrzeug sehen und zwei nicht, kann es für diese Abweichung eine Erklärung geben: Blickwinkel, Störung, Tarnung, Fehlfunktion.

Eine Datenzusammenführung, die einfach „Wahrscheinlichkeit 72 Prozent“ ergibt, kann nützliche Informationen verdecken.

Deshalb sollten Modelle die Struktur des Zweifels bewahren können.

Die Abweichung zwischen den Sensoren muss sichtbar bleiben.

Wir kommen immer wieder auf diesen Punkt zurück: Ungewissheit ist eine Gegebenheit.

Sie sollte nicht beseitigt werden, um eine bequemere Benutzeroberfläche zu erzeugen.

Das ist beinahe eine allgemeine Kritik unserer Zeit. Wir wollen saubere, sofortige, sichere Antworten.

Doch die Wirklichkeit ist oft zersplittert.

Eine gute Intelligenz sollte diese Zersplitterung wiedergeben, wenn sie bedeutsam ist.

Die Kunst vollzieht diese Verschiebung, wenn sie sich weigert, die Wirklichkeit auf eine einzige Darstellung zu reduzieren.

Die demeure du chaos funktioniert als künstlerisches Multisensorsystem. Tausende Zeichen, Ereignisse und Porträts erzeugen Perspektiven, die manchmal widersprüchlich sind.

Sie versucht nicht, sie zu einer einzigen glatten Erzählung zu verschmelzen.

Sie bewahrt den Zusammenstoß.

Genau das sollten militärische kognitive Architekturen manchmal tun: nicht verbergen, dass mehrere Deutungen existieren.

Der Schwarm selbst kann zu einem Mittel werden, diese Vielfalt hervorzubringen.

Jeder Agent sieht die Dinge von einem anderen Standpunkt aus.

Räumliche Vielfalt wird zu kognitiver Vielfalt.

Doch diese Vielfalt ist nur nützlich, wenn das System sie zu nutzen weiß.

Andernfalls kann die Gruppe ein Herdenverhalten entwickeln.

Es ist eine faszinierende Gefahr.

Biologische Schwärme sind leistungsfähig, weil sie gemeinsamen Regeln folgen. Doch diese Regeln können auch fehlerhaftes kollektives Verhalten erzeugen.

Eine Gruppe kann sich einer schlechten Lösung annähern, wenn die Agenten ihre Nachbarn übermäßig nachahmen.

Das ist das Problem der Informationskaskade.

Es existiert an Finanzmärkten, in sozialen Netzwerken und in menschlichen Gesellschaften.

Es wird in künstlichen Schwärmen existieren.

Wenn jede Drohne ihre Entscheidung aufgrund der anderen ändert, kann aus einem lokalen Fehler ein kollektiver Fehler werden.

Das Netzwerk verstärkt dann den Fehler.

Deshalb ist die teilweise Unabhängigkeit der Agenten wichtig.

Wieder: Vielfalt und Redundanz.

Eine allzu einheitliche Architektur kann fragil werden.

Manchmal ist es notwendig, algorithmischen Widerspruch einzubauen.

Manche Agenten könnten dafür entworfen werden, zu überprüfen statt zu folgen; manche Modelle, um andere Wahrnehmungsmethoden zu verwenden; ein Teil des Systems, um die vorherrschende Hypothese zu prüfen.

Wir kehren zum kontradiktorischen Verfahren zurück.

Ich stelle die Hypothese auf, dass diese künstliche Vielfalt in autonomen Architekturen wichtig werden könnte.

Sicherheit wird nicht allein aus strengeren Regeln entstehen, sondern vielleicht auch daraus, Agenten zu schaffen, die die Gruppe infrage stellen können.

Die Natur selbst nutzt diese Vielfalt häufig.

Eine genetisch vielfältige Population widersteht bestimmten Bedrohungen besser. Eine intellektuell vielfältige Organisation erkennt mehr Fehler.

Die Zukunft der Robotik könnte deshalb paradoxerweise eine Form künstlicher Vielfalt verlangen.

Das ist ein zutiefst politischer Gedanke.

Wir haben die Maschine oft als Symbol vollkommener Konformität betrachtet.

Doch die robustesten Systeme könnten jene sein, die absichtlich mehrere Logiken enthalten.

Das ist beinahe das Gegenteil der totalitären Fantasie einer vollkommen gehorsamen Maschine.

Widerstandsfähigkeit verlangt eine gewisse Fähigkeit zur Abweichung.

Diese Abweichung muss selbstverständlich kontrolliert werden.

Wir wollen nicht, dass jeder Agent seinen eigenen Auftrag frei erfindet.

Aber wir möchten vielleicht, dass er eine alternative Hypothese hervorbringt.

Auch hier müssen wir zwischen Autonomie der Analyse und Autonomie des Handelns unterscheiden.

Das ist eine der grundlegenden Unterscheidungen der Zukunft.

Man kann einem System große kognitive Autonomie geben, ohne ihm ein entsprechendes Maß an Autonomie bei tödlicher Gewalt zu geben.

Es kann tausend Szenarien erkunden, Anomalien erkennen und Lösungen vorschlagen und dabei für bestimmte Handlungen starken Beschränkungen unterliegen.

Diese Entkopplung scheint mir wesentlich.

Wir neigen dazu, uns Autonomie als einen einzigen Schieberegler von null bis hundert vorzustellen.

In Wirklichkeit ist sie mehrdimensional:

Wahrnehmung, Deutung, Navigation, Koordination, Planung, Waffeneinsatz.

Jede Dimension lässt sich gesondert einstellen.

Diese Autonomiematrix wird eine viel feinere Regulierung ermöglichen.

Einfach zu sagen, ein System sei autonom, reicht nicht aus.

Wir müssen wissen, wo und wie.

Diese Genauigkeit wird für das Völkerrecht unverzichtbar sein.

Verhandlungen über autonome Waffensysteme werden unmöglich sein, wenn Staaten dasselbe Wort für radikal verschiedene Wirklichkeiten verwenden.

Eine wirksame Norm muss auf eine bestimmte Funktion zielen.

Zum Beispiel bestimmte Arten der Zielauswahl und des Waffeneinsatzes ohne maßgebliche menschliche Aufsicht verbieten oder streng regeln.

Doch dieser Ausdruck einer maßgeblichen menschlichen Kontrolle wird selbst definiert werden müssen.

Maßgeblich nach welchen Kriterien?

Wie viel Zeit steht zur Verfügung?

Das Verständnis der Situation?

Die Möglichkeit einer Unterbrechung?

Wir begegnen immer wieder denselben Fragen.

Das Recht wird beinahe technisch werden müssen.

Der Jurist kann nicht mehr bloß mit allgemeinen Begriffen arbeiten; er muss die Architektur des Systems verstehen, das er reguliert.

Das scheint mir vollkommen selbstverständlich.

Das Recht war niemals wirklich von der Technik getrennt. Große industrielle Umbrüche haben stets neue Rechtskategorien hervorgebracht: die Eisenbahn, die Fotografie, das Radio, das Internet.

KI und Robotik werden im Weltmodell dasselbe tun.

Die Schwierigkeit liegt in der Geschwindigkeit.

Der Entwicklungszyklus ist viel schneller als der der Gesetzgebung. Eine Fähigkeit kann entstehen, eingesetzt und verändert werden, bevor ein internationaler Vertrag ausgehandelt ist.

Das schafft die Gefahr eines dauerhaften institutionellen Rückstands.

Vielleicht werden wir anpassungsfähigere Mechanismen erfinden müssen: stabile Grundsätze und technische Protokolle, die sich weiterentwickeln.

Die mutierende Beständigkeit.

Diesem Begriff begegne ich überall, weil er die heutige Notwendigkeit vollkommen beschreibt:

einen Kern fester Regeln und die Fähigkeit, Verfahren anzupassen.

Bei autonomen Systemen könnte dieser Kern die menschliche Verantwortung, die Unterscheidung, die Verhältnismäßigkeit und die Möglichkeit der Kontrolle bestimmter kritischer Entscheidungen sein.

Die technischen Einzelheiten werden sich weiterentwickeln.

So ließe sich vermeiden, ein Gesetz zu verfassen, das an eine bestimmte Technologie gebunden ist und rasch veralten würde.

Wir müssen Funktionen und Risiken regulieren, keine Produktnamen.

Diese Unterscheidung ist entscheidend.

Das gilt auch für zivile KI.

Das politische System muss lernen, in funktionalen Kategorien zu denken.

Doch das Militärische fügt eine weitere Ebene der Komplexität hinzu: den Gegner.

Jede Sicherheitsarchitektur muss in einer feindlichen Umgebung funktionieren.

Ein ziviles autonomes Auto kann davon ausgehen, dass andere Fahrzeuge im Allgemeinen bestimmte Regeln befolgen.

Eine militärische Drohne muss davon ausgehen, dass jemand aktiv versucht, sie zu täuschen, zu stören oder umzulenken.

Dieser Unterschied ist gewaltig.

Militärische KI arbeitet unter ständiger Gegnerschaft: Manche Signale, die sie empfängt, können absichtlich erzeugt worden sein, um sie zu täuschen.

Jeder Sensor kann angegriffen werden.

Jede Verbindung kann kompromittiert werden.

Das verlangt eine Erkenntnistheorie des Verdachts.

Doch dieser Verdacht muss kontrolliert werden, sonst wird das System paranoid.

Paranoia ist eine Intelligenz, die überall Zusammenhänge findet.

Jedes Zeichen wird absichtsvoll.

Ein militärisches System könnte genau in diese algorithmische Falle geraten.

Wird jedes ungewöhnliche Signal als gegnerischer Angriff gedeutet, beschleunigt die Automatisierung die Eskalation.

Deshalb müssen die Modelle darauf trainiert werden, zwischen gegnerischer Manipulation und einer bloßen Anomalie zu unterscheiden.

Das ist außerordentlich schwierig.

Ein Vogel kann ein Vogel sein.

Ein Störgeräusch kann auf eine Fehlfunktion hinweisen.

Eine ungewöhnliche Fahrt kann logistische Gründe haben.

Die Wirklichkeit erzeugt von sich aus Rauschen.

Der Gegner verbirgt sich in diesem Rauschen.

Die Aufgabe besteht darin, die Absicht zu erkennen, ohne sie zu erfinden.

Das ist wahrscheinlich eines der schwierigsten kognitiven Probleme, die es gibt.

Selbst Menschen gelingt es nicht immer.

KI kann helfen, indem sie Millionen Situationen vergleicht, doch sie muss diese Fähigkeit zum Zweifel bewahren.

Hier gewinnt die Lehre des blindspot, des blindspot, ihre volle strategische Dimension.

Ein System sollte darauf trainiert werden, aktiv nach nicht feindlichen Erklärungen für bestimmte Signale zu suchen.

Nicht aus Naivität.

Um das Fehlerrisiko zu verringern.

Man könnte sich beinahe eine Architektur vorstellen, in der jede Erkennung einer Bedrohung automatisch einen zweiten Prozess auslöst:

Welche anderen Ursachen könnten dasselbe Signal erzeugen?

Dieser einfache Mechanismus könnte zu einer bedeutenden Sicherheitsinnovation werden.

Dank der Rechenleistung müsste er das System nicht unbedingt stark verlangsamen.

Hier ist wieder diese Umkehrung: Rechengeschwindigkeit kann genutzt werden, um mehr Vorsicht hervorzubringen.

Der eigentliche Vorteil wäre dann nicht, schneller zu schießen, sondern in derselben Zeit mehr zu verstehen.

Das verändert den Begriff der Überlegenheit selbst.

Eine Armee, die besser analysiert, kann unnötige Handlungen vermeiden, ihre Fehler verringern und ihre Ressourcen schonen.

Intelligenz wird zu einem sparsamen Umgang mit Gewalt.

Das ist ein wichtiger Gedanke.

Wir sprechen oft von Militärtechnologie als einem Kraftmultiplikator.

Sie kann auch zu einem Multiplikator der Zurückhaltung werden, wenn sie die Identifikation verbessert und die Ungewissheit verringert.

Doch das hängt tiefgreifend von der Doktrin ab.

Dieselbe Aufklärungsfähigkeit kann genutzt werden, um ein ziviles Ziel zu verschonen oder einen Angriff zu optimieren.

Die Technologie schreibt ihre Moral nicht selbst. Ihre Architekturen, Verwendungen und Wirkungen werden von den Entscheidungen derjenigen gelenkt, die sie entwerfen, einsetzen und steuern.

Das bedeutet, dass die politische Qualität der technologischen Mächte noch stärker zählen wird.

Je leistungsfähiger die Systeme werden, desto mehr Folgen haben die Werte derjenigen, die sie kontrollieren.

Genau deshalb kann der Wettlauf um Macht nicht allein in Teraflops oder anhand der Zahl der Drohnen analysiert werden.

Wir müssen die Doktrinen, die Institutionen und die Regeln betrachten.

Zwei Staaten mit derselben Technologie können sie auf zwei radikal unterschiedliche Arten einsetzen.

Das algorithmische Schlachtfeld wird deshalb auch ein Aufeinanderprallen von Doktrinen sein.

Manche Armeen werden eine stärkere Zentralisierung wählen. Andere werden die Autonomie verteilen. Manche werden zahlreiche preiswerte Schwärme bevorzugen. Andere werden anspruchsvollere Plattformen vorziehen.

Diese Entscheidungen werden unterschiedliche Industrien, geografische Gegebenheiten und Militärkulturen widerspiegeln.

Wahrscheinlich gibt es kein einziges allgemeingültiges Modell.

Die Militärgeschichte ist voller Technologien, die als revolutionär vorgestellt wurden und ältere Formen des Krieges dennoch nicht beseitigten.

Der Panzer hat die Infanterie nicht abgeschafft.

Das Flugzeug hat den Boden nicht abgeschafft.

Die Rakete hat die Artillerie nicht abgeschafft.

Drohnen und Roboter werden den Menschen wahrscheinlich nicht vom Schlachtfeld verdrängen.

Sie werden die Beziehungen zwischen den Funktionen verändern.

Der Krieg ist kumulativ.

Neue Schichten kommen hinzu.

Das erzeugt ein immer komplexeres System.

Und je komplexer das System, desto strategischer wird die Wartung.

Diese Dimension vergessen Zukunftsvisionen oft.

Ein Schwarm aus Tausenden Drohnen bedeutet Batterien, Motoren, Ersatzteile, Software, Frequenzen, Aktualisierungen.

Jede Einheit mag preiswert sein, doch das Ökosystem, das sie trägt, ist gewaltig.

Der Hightech-Krieg bleibt ein industrieller Krieg.

Das ist vielleicht eine der stärksten Lehren heutiger Konflikte: Die Menge zählt weiterhin.

Die Munition.

Die Bauteile.

Die Produktionskapazitäten.

Eine außergewöhnliche Technologie, die in zehn Exemplaren hergestellt wird, kann weniger entscheidend sein als eine hinreichend gute Technologie, die in hunderttausend Exemplaren hergestellt wird.

Deshalb führt die Robotik unmittelbar zur Industrie zurück.

Der neue Wettlauf um Macht wird auch ein Wettlauf um die Fähigkeit sein, schnell, in großen Mengen und zu vertretbaren Kosten zu produzieren.

China besitzt derzeit bei mehreren Fertigungsfähigkeiten beträchtliche Vorteile. Die Vereinigten Staaten verfügen über sehr leistungsfähige technologische und militärische Ökosysteme.

Europa muss aus meiner Sicht wieder eine größere industrielle Tiefe gewinnen.

Doch es wäre vereinfachend, daraus eine endgültige Rangfolge zu machen.

Die Robotik bleibt ein äußerst dynamisches Feld. Lieferketten können sich neu ordnen. Technologien können die Kosten senken. Kleinere Akteure können bemerkenswerte taktische Innovationen hervorbringen.

Der Krieg in der Ukraine hat besonders deutlich gezeigt, dass die Fähigkeit zur schnellen Anpassung das Kräfteverhältnis verändern kann.

Kommerziell verfügbare Systeme können umgebaut, improvisierend angepasst und neu erfunden werden.

Der Krieg wird zu einem brutalen Labor.

Die Innovationszyklen werden kürzer.

Eine Lösung funktioniert einige Monate, dann entwickelt der Gegner eine Störung, eine Abwehr, eine andere Taktik.

Wir müssen uns verändern.

Noch einmal:

Nur Mutanten überleben.

Dieser Satz findet hier seinen wörtlichsten Sinn.

Ein militärisches System, das seine Software, seine Frequenz, seinen Sensor oder seine Taktik nicht schnell verändern kann, veraltet noch vor dem Ende des Konflikts.

Das bedeutet, dass die traditionelle Beschaffungskette, die manchmal mehrere Jahre dauert, problematisch wird.

Militärische Institutionen werden lernen müssen, wesentlich schnellere Entwicklungszyklen einzubinden.

Das ist ein bedeutender organisatorischer Wandel.

Wie lassen sich Sicherheit, Zertifizierung und Kontrolle bewahren, während die Systeme rasch verändert werden?

Das zeigt erneut die Spannung zwischen Stabilität und Wandel.

Eine Softwareaktualisierung kann eine Fähigkeit verbessern und einen neuen Fehler einführen. Je schneller die Zyklen, desto schwieriger wird die Validierung.

Deshalb wird ein Teil der Tests automatisiert werden müssen.

KI wird KI testen.

Umfangreiche Simulationen werden Millionen Szenarien erkunden können.

Doch Simulation wird niemals ausreichen.

Die Wirklichkeit bringt immer Situationen hervor, die das Modell nicht vorausgesehen hatte.

Deshalb muss eine dauerhafte Verbindung zwischen Einsatzgebiet und Labor bestehen bleiben.

Diese Lernschleife könnte durchaus die eigentliche entscheidende Waffe sein:

Sensor, Rückmeldung, Veränderung, erneuter Einsatz.

Wer den Zyklus schneller durchläuft, passt sein System an.

Wir begegnen erneut dem Begriff der Entscheidungszeit, diesmal jedoch auf die technologische Entwicklung selbst angewandt.

Der Wettbewerb vollzieht sich in mehreren Zeitmaßstäben:

Sekunden im Einsatzgebiet, Wochen in der Software, Jahre in der Industrie.

Eine große Strategie muss diese Zeiten aufeinander abstimmen.

Das ist sehr schwierig.

Eine taktische Entscheidung kann in wenigen Tagen Ausrüstung aufbrauchen, für deren Ersatz die Industrie Monate braucht.

KI kann helfen, diese Ströme zu modellieren.

Sie beseitigt die materielle Grenze nicht.

Der Vorrat existiert oder er existiert nicht.

Deshalb kehre ich immer zur Materie zurück.

Das algorithmische Schlachtfeld bleibt ein physisches Schlachtfeld.

Stahl, Silizium, Batteriechemie, seltene Erden und Sprengstoffe zählen.

Künstliche Intelligenz ersetzt die Materie nicht.

Sie organisiert sie.

Das ist beinahe eine ganz einfache Definition ihrer Rolle: den Organisationsgrad der physischen Welt erhöhen.

Ein Schwarm ist nicht deshalb mächtig, weil er viele Maschinen enthält.

Er ist es, weil diese Maschinen dynamisch organisiert sind.

Wert entsteht durch Koordination.

Genau das habe ich in menschlichen Systemen immer beobachtet.

Dreißig Menschen, die ohne Architektur arbeiten, können weniger hervorbringen als zehn vollkommen koordinierte Menschen.

Das Netzwerk ist keine Addition.

Es ist Multiplikation.

Doch Koordination erzeugt auch eine Signatur.

Je mehr die Agenten kommunizieren, desto leichter können sie entdeckt oder gestört werden.

Das ist eine neue Quelle von Spannung.

Ein stark vernetzter Schwarm kann sehr wirksam, aber für elektronische Kriegsführung anfällig sein. Ein autonomerer Schwarm kommuniziert weniger, muss jedoch mehr Entscheidungen vor Ort treffen.

Deshalb müssen Kommunikation und Autonomie austariert werden.

Das ist ein klassisches Netzwerkproblem.

Bei Groupe Serveur wussten wir, dass eine verteilte Architektur trotz des Verlusts einiger Verbindungen funktionieren können musste.

Im Krieg ist diese Regel lebenswichtig.

Die Systeme werden wahrscheinlich dynamisch zwischen mehreren Betriebsarten wechseln müssen: umfassende Koordination, wenn das Netzwerk verfügbar ist, lokale Autonomie, wenn es beeinträchtigt ist.

Diese Anpassungsfähigkeit ist eine Form von Intelligenz des Netzwerks selbst.

Das System muss nicht nur wissen, was in seiner Umgebung geschieht, sondern auch, was in seiner eigenen Infrastruktur geschieht.

Welche Verbindungen sind zuverlässig?

Welche Knoten sind kompromittiert?

Es ist eine Form technischer Selbstdiagnose.

Das Netzwerk muss seinen eigenen Zustand überwachen und seine operativen Grenzen kennen.

Eine Drohne muss wissen, ob ihr Sensor beeinträchtigt ist. Ein Modell, ob seine Daten unzureichend sind. Eine Armee, ob ihre Versorgungskette fragil ist.

Souveränität beginnt mit diesem Wissen um den eigenen Zustand.

Das ist beinahe sokratisch: Erkenne dich selbst, angewandt auf das technische System.

Das mag philosophisch erscheinen.

Es ist sehr konkret.

Ein schlecht kalibrierter Sensor, der nichts von seiner schlechten Kalibrierung weiß, erzeugt falsches Vertrauen.

Ein System, das weiß, dass es beeinträchtigt ist, kann langsamer werden oder eine Bestätigung anfordern.

Darin liegt der ganze Unterschied.

Diese Fähigkeit zur Selbstdiagnose wird in Schwärmen grundlegend sein.

Die Einheiten werden ihren Zustand melden und Rollen neu verteilen können. Ein Agent mit schwacher Batterie kann eine Position verlassen; ein anderer kann seinen Platz einnehmen.

Das Kollektiv wird im funktionalen Sinne anpassungsfähig.

Wir bauen somit Systeme, die bestimmte Eigenschaften nutzen, die wir an Organismen beobachten: Wahrnehmung, Anpassung, Zusammenarbeit, Widerstandsfähigkeit.

Sie leben nicht.

Aber sie nutzen Prinzipien, die aus lebenden Organismen abgeleitet sind.

Der Schwarm ist das offensichtlichste Beispiel.

Es ist eine Form biomimetischer Ingenieurskunst.

Und das knüpft tief an mein Interesse für organische Systeme an.

Netnobility beruhte bereits 1991 auf dieser Vorstellung des Netzwerks als lebendigem Organismus.

Was wir heute sehen, ist die mechanische Verkörperung dieses Prinzips.

Das Netzwerk verbindet nicht mehr nur Computer.

Es verbindet physische Agenten, die handeln können.

Das ist eine gigantische Verwandlung.

Sie wird selbstverständlich weit über das Militärische hinauswirken: in der Landwirtschaft, der Logistik, der Industrie, der Hilfeleistung, der Erkundung.

Doch der Krieg offenbart die äußersten Folgen oft zuerst.

Er treibt die Technologien an ihre Grenzen.

Hier treten Probleme der Kontrolle, der Geschwindigkeit und des Fehlers auf.

Und genau deshalb muss man sie bedenken, bevor diese Technologien im zivilen Leben allgemein verbreitet werden.

Ein Schwarm von Logistikrobotern in einer Lagerhalle und ein militärischer Schwarm teilen bestimmte Koordinationsarchitekturen.

Innovationen zirkulieren zwischen dem zivilen und dem militärischen Bereich.

Die Grenze zwischen doppelter Verwendung und anderen Anwendungen wird noch unschärfer.

Eine Kamera, ein Prozessor, ein Motor können vollkommen zivilen Zwecken dienen und zu Bestandteilen eines Verteidigungssystems werden.

Das erschwert die politische Kontrolle von Technologien erheblich.

Man kann nicht einfach den Export jeder Komponente verbieten, die militärisch verwendet werden könnte; fast die gesamte moderne Digitaltechnik lässt sich doppelt nutzen.

Das gesamte Feld der algorithmischen Kriegsführung bleibt deshalb materiell begrenzt. Stahl, Silizium, Batteriechemie, seltene Erden und Sprengstoffe zählen weiterhin.

Übermäßige Kontrolle erstickt die Wirtschaft. Zu wenig Kontrolle lässt strategische Technologien entweichen.

Kein Algorithmus wird diese politische Entscheidung vollständig lösen. Er kann helfen, die Ketten zu kartieren. Die Entscheidung wird normativ bleiben.

Das führt mich immer zu den Grenzen der Optimierung zurück. Politik besteht niemals einfach in der Suche nach maximaler Effizienz. Sie wägt Werte gegeneinander ab: Freihandel, nationale Sicherheit, Innovation, Bündnisse.

Zahlen können Dinge erhellen. Sie entscheiden nicht über das Ergebnis.

Diese Unterscheidung wird immer wichtiger werden, je stärker KI-Systeme in Regierungen eingebunden werden. Wir müssen der Versuchung widerstehen, politische Abwägungen als technische Lösungen darzustellen.

Das Modell kann für ein bestimmtes Szenario schätzen, dass eine Beschränkung ein bestimmtes Risiko senkt und zugleich bestimmte Kosten erhöht. Ob dieser Ausgleich vertretbar ist, entscheiden die politisch Verantwortlichen.

Das algorithmische Schlachtfeld darf keine algorithmische Regierung hervorbringen. Diese Grenze muss politisch bleiben.

Doch der Druck wird groß sein. Je besser Maschinen bestimmte Szenarien analysieren, desto eher könnten Menschen versucht sein, ihnen nach und nach das Urteil zu überlassen.

Genau das ist die Automatisierungsverzerrung auf institutioneller Ebene. Es ist nicht so, dass die Maschine entscheidet. Wir hören einfach irgendwann auf, ihre Empfehlungen zu hinterfragen. Diese Entwicklung kann sehr schleichend sein.

Die Gefahr ist nicht immer eine spektakuläre Revolution, in der KI die Macht übernimmt.

Sie kann in der Anhäufung kleiner Delegationen liegen.

Jede einzelne Entscheidung erscheint vernünftig.

Am Ende hat der Mensch rechtlich die Souveränität behalten, aber die praktische Fähigkeit verloren, sie auszuüben.

Es ist eine Form stiller Enteignung.

Deshalb müssen parallel menschliche Fähigkeiten bewahrt werden.

Im Militär bedeutet das Ausbildung, Übungen ohne bestimmte Hilfsmittel und Verständnis der Verfahren.

Im zivilen Leben bedeutet es Bildung, Recherchefähigkeiten, Rechenfähigkeiten und Schreibfähigkeiten.

Kognitive Souveränität ist eine Praxis, kein Status.

Wird eine Fähigkeit nicht mehr ausgeübt, verkümmert sie.

Das ist beinahe biologisch.

Ein Muskel, der nicht mehr benutzt wird, verschwindet.

Eine Zivilisation kann bestimmte kognitive Muskeln verlieren.

Deshalb denke ich KI lieber als kognitives Exoskelett denn als Ersatz.

Ein Exoskelett erweitert den Körper, sollte ihm aber idealerweise erlauben, seine Autonomie zu bewahren.

Diese Metapher ist vielleicht treffender als die des künstlichen Gehirns.

Wir bauen Erweiterungen.

Doch jede Erweiterung verändert das Verhalten des Organismus.

Ein Mensch, der GPS besitzt, betrachtet die Stadt nicht mehr auf dieselbe Weise.

Ein Soldat, der über eine KI zur Zusammenführung von Informationen verfügt, betrachtet die Masse der Signale nicht mehr auf dieselbe Weise.

Das Werkzeug verändert den Nutzer.

Das ist die anthropologische Dimension der Technik.

Und das algorithmische Schlachtfeld wird wahrscheinlich einen neuen Typ von Kämpfer hervorbringen: weniger den unmittelbaren Bediener einer Maschine als den Aufseher über Systeme, den Deuter von Warnmeldungen, den Verantwortlichen für autonome Netzwerke.

Das wird die Ausbildung verändern.

Wir werden militärisches Personal brauchen, das Code, Daten und elektronische Kriegsführung ebenso versteht wie traditionelle Taktik.

Soldat, Ingenieur und Analyst rücken zusammen. Berufe verschmelzen. Das scheint mir vollkommen zur Zeit zu passen. Große Umbrüche beseitigen bestimmte Grenzen zwischen den Disziplinen.

Der industrielle Krieg brachte den mechanisierten Soldaten hervor. Der algorithmische Krieg könnte den Systemsoldaten hervorbringen.

Doch man sollte nicht glauben, dass der Körper verschwindet. Müdigkeit, Angst, Gelände und Wetter bleiben. Sie sind wichtig.

Digitale Simulationen vermitteln manchmal den Eindruck einer makellosen Welt. Die militärische Wirklichkeit bleibt schlammig, laut und unvorhersehbar. Die Robotik wird sich dieser Wirklichkeit stellen müssen.

Eine Kamera funktioniert bei Regen, Staub und Rauch anders. Ein Motor verschleißt. Eine Batterie verliert bei Kälte an Kapazität. Die Umgebung ist ein zusätzlicher Gegner.

Deshalb bleibt die Wirklichkeit souverän.

Das ist eine Lehre, die ich mein ganzes Leben lang in der Industrie und der Bildhauerei erfahren habe. Das Material leistet Widerstand. Stahl verhält sich nicht immer so, wie der Entwurf es vorgesehen hat. Beton hat sein Gewicht, sein Abbinden, seine Fehler.

Der Körper setzt der Idee Grenzen. KI wird dasselbe entdecken, wenn sie in die physische Welt eintritt.

Robotik ist die Wirklichkeitsprüfung der künstlichen Intelligenz.

Ein Modell kann in einer virtuellen Umgebung brillant sein und vor einer schlecht beleuchteten Treppe scheitern. Das ist ein grundlegender Unterschied zwischen textlicher Kognition und verkörpertem Handeln.

Die Welt lässt sich nicht vollständig auf diskrete Daten reduzieren. Sie enthält Reibung, Zufall, Kontinuität.

Dieser Widerstand der Wirklichkeit könnte ein Schutz gegen Allmachtsfantasien sein. Er erinnert uns daran, dass Intelligenz niemals unabhängig von ihrem Träger ist. Selbst künstliche Intelligenz hängt von Sensoren, Energie und Motoren ab.

Ich sehe darin beinahe einen spinozistischen Widerhall: Das Vermögen zu denken und das Vermögen zu handeln bleiben an eine bestimmte Organisation der Materie gebunden.

Deshalb finde ich es faszinierend, dass KI uns nach Jahrzehnten des Redens über das Virtuelle letztlich zur Materie zurückführt. Die kognitive Revolution bringt eine industrielle Revolution hervor. Rechenzentren, Roboter, automatisierte Fabriken. Das Jahrhundert ist nicht weniger materiell. Es ist noch materieller, doch seine Materie wird von mehr Information gelenkt.

Das algorithmische Schlachtfeld wird deshalb ein gewaltiger Schmelztiegel sein, in dem Materie, Energie und Berechnung zusammenkommen.

Dieses alchemistische Bild ist nicht dekorativ.

Der Athanor verwandelt durch die präzise Kontrolle von Wärme und Zeit.

Autonome Systeme verwandeln das Schlachtfeld durch die präzise Kontrolle von Information und Bewegung.

In beiden Fällen erzeugt die Organisation die Verwandlung. Doch jede Alchemie kann scheitern, wenn der Bediener die Kontrolle über den Prozess verliert. Genau darin liegt das Risiko der Schwärme.

Das entstehende Gesamtverhalten kann schwer vorhersehbar werden. Je mehr Agenten es gibt und je reichhaltiger ihre Wechselwirkungen sind, desto eher kann die Gesamtdynamik unerwartete Zustände hervorbringen.

Das ist ein bekanntes Phänomen komplexer Systeme. Das Ganze ist nicht bloß die Summe seiner Teile. Daraus erwachsen ihre Macht und ihre Gefahr.

Eine scheinbar vernünftige lokale Regel kann überraschendes kollektives Verhalten erzeugen. Deshalb werden die Tests umfangreich sein müssen: Simulationen, widrige Umgebungen, Grenztests.

Doch keine Simulation wird alles abdecken. Deshalb werden Sicherheitsbarrieren entworfen werden müssen, die auch angesichts des Unerwarteten funktionieren.

Invarianten. Bestimmte Dinge, die das System niemals tun darf, unabhängig von der Situation.

Hier kann Recht zu Code werden.

Nicht in dem naiven Sinne, dass eine komplexe Rechtsregel einfach in eine Programmzeile verwandelt würde, sondern in dem Sinne, dass sich bestimmte grundlegende Grenzen in die Architektur einbauen lassen.

Sperrgebiete. Ausgeschlossene Kategorien. Schwellenwerte.

Das Problem ist, dass die Wirklichkeit immer Mehrdeutigkeiten enthält. Ein Krankenwagen kann entführt werden. Ein ziviles Gebäude kann militärisch genutzt werden. Kein einfacher Code wird jeden Fall lösen.

Deshalb müssen strenge Regeln mit situationsbezogenem Urteil verbunden werden. Genau das tun menschliche Rechtssysteme.

Manche Verbote sind absolut.

Andere erfordern eine Beurteilung.

Die autonome Robotik muss möglicherweise eine ähnliche Architektur entwickeln.

Und hier wird die moralische Frage schwindelerregend.

Können wir einer Maschine eine Beurteilung übertragen, die eine nicht weiter reduzierbare menschliche Dimension enthält?

Wie weit kann ein System bei der Bewertung von Verhältnismäßigkeit, Absicht und Kapitulation gehen?

Das sind Kategorien, die häufig vom Zusammenhang abhängen.

Ein Mensch hebt einen Gegenstand: Ist es eine Waffe?

Ein Mensch läuft auf einen Posten zu: Greift er an oder sucht er Zuflucht?

Menschen selbst machen Fehler.

Doch das bedeutet nicht, dass die Maschine sie einfach ersetzen kann.

Die Frage betrifft die Art des Fehlers, die wir hinnehmen, und das Maß an Verantwortung, das wir bewahren wollen.

Eine Zivilisation muss manchmal entscheiden, dass bestimmte Funktionen nicht bis zum Äußersten optimiert werden sollen.

Das ist eine bewusste Begrenzung.

In anderen Bereichen akzeptieren wir das bereits.

Nicht alles, was technisch möglich ist, ist rechtlich erlaubt.

Macht bestimmt sich auch durch die Fähigkeit, nicht die gesamte eigene Macht einzusetzen.

Genau das ist Zivilisation: Verbote um unsere Fähigkeiten herum errichten.

Atomwaffen sind das äußerste Beispiel.

Abschreckung beruht gerade auf einer Macht, die man nicht einsetzen will.

Bei autonomen Systemen werden andere Formen der Zurückhaltung geschaffen werden müssen.

Vielleicht müssen manche Entscheidungen menschlich bleiben, nicht weil Menschen technisch besser wären, sondern weil die moralische Verantwortung erkennbar bleiben muss.

Dieser Gedanke scheint mir grundlegend.

Die Überlegenheit der Maschine bei einer bestimmten Aufgabe genügt nicht, um zu entscheiden, dass sie die Autorität erhalten sollte.

Autorität ist eine politische Kategorie.

Wir können entscheiden, dass eine Funktion menschliche Gegenwart verlangt, weil sie unser Selbstverständnis berührt.

Es ist eine Frage anthropologischer Souveränität:

Wollen wir die Einzigen bleiben, die entscheiden können?

Das reicht weit über das Militärische hinaus.

Justiz, Medizin, Bildung.

Jede Gesellschaft wird ihre eigenen Grenzen ziehen müssen.

Und diese Grenzen können je nach Kultur unterschiedlich verlaufen.

Wir werden dann mehrere Architekturen der Autonomie haben.

Manche Gesellschaften werden mehr Delegation akzeptieren. Andere werden größere menschliche Vorbehaltsbereiche bewahren.

Das könnte zu einem neuen Unterschied zwischen Zivilisationen werden.

Der Wettbewerb wird deshalb nicht allein technologisch sein.

Er wird normativ sein.

Welche Verwendungen halten wir für legitim?

Welche Risiken sind wir bereit hinzunehmen?

China, die Vereinigten Staaten und Europa könnten unterschiedliche Antworten entwickeln.

Und diese Unterschiede selbst werden zu Instrumenten des Einflusses werden.

Ein Land wird sagen können: Unser System erfüllt diese Norm, es ist prüfbar, es wahrt diese Kontrolle.

Ein anderes wird Leistung und Geschwindigkeit den Vorrang geben.

Der Weltmarkt für strategische Robotik könnte sich deshalb um Vertrauensdoktrinen herum ordnen.

Das ist eine interessante Möglichkeit.

Die Norm wird zum Produkt.

Ein technisch weniger spektakuläres System, das als besser kontrollierbar wahrgenommen wird, könnte von manchen Staaten bevorzugt werden.

Das entspricht vollkommen der europäischen Vorstellung normativer Macht. Doch auch sie muss von einer Industrie getragen werden.

Ohne Maschinen bleibt die Norm ein Diskurs.

Wir kehren immer zur Integration sämtlicher Schichten zurück, von der materiellen Infrastruktur bis zu den Modellen und Daten: Recht, Modell, Prozessor, Batterie, Motor. Macht ist vertikal. Und diese Vertikalität zeigt sich in der Robotik besonders deutlich.

Die Abhängigkeit von einer winzigen Komponente kann ein ganzes System lähmen. Ein Sensor. Ein Magnet. Ein Chip.

Das macht die Lieferkette außerordentlich strategisch.

Das algorithmische Schlachtfeld beginnt deshalb im Bergwerk und in der Fabrik.

Das wirkt beinahe absurd, wenn man eine Drohne als hochentwickeltes Flugobjekt betrachtet. Dennoch hängen ihre Fähigkeiten von einer Batterie, Metallen und Elektronik ab. Die Geopolitik des Roboters ist eine Geopolitik der Komponenten.

Wir begegnen seltenen Erden, Lithium, Kupfer. Die neue kognitive Kriegsführung ist erneut mit der Geologie verbunden. Das ist eine Konstante der Welt.

Technologische Abstraktion beruht immer auf Materialien, die irgendwo gewonnen wurden. Künstliche Intelligenz besitzt deshalb eine mineralische Geografie.

Deshalb kehren die Seidenstraße, Afrika, Zentralasien und Lateinamerika in das System zurück.

Die vorangegangenen Kapitel sind keine getrennten Blöcke. Sie laufen hier zusammen. China, Halbleiter, Daten, Energie, KI, Robotik: Alles kommt zusammen. Genau das ist die Struktur des geopolitischen Graphen. Nichts ist isoliert.

Eine Entscheidung über ein Mineral kann eine Batteriefabrik beeinflussen, die Drohnen beeinflusst, die eine Militärdoktrin beeinflussen.

Der Kausalzusammenhang wird lang.

KI kann helfen, sich durch diese Ketten zu bewegen.

Doch sie kann uns auch einen falschen Eindruck von Kontrolle vermitteln.

Dieses Risiko möchte ich ständig sichtbar halten.

Je größer unsere Fähigkeiten zur Modellierung werden, desto eher können wir glauben, das gesamte System werde vorhersehbar.

Doch komplexe Systeme erzeugen Brüche.

Ein kleines Ereignis kann die Bahn verändern.

Genau das ist die Logik des wissenschaftlichen Chaos.

Die Anfangsbedingungen zählen.

Ein winziger Fehler kann verstärkt werden.

Ein Schwarm ist gerade ein dynamisches System, in dem kleine Veränderungen das kollektive Verhalten verändern können.

Deshalb ist die Chaostheorie hier nicht bloß eine Metapher.

Sie wird beinahe zu einer Ingenieurdisziplin.

Wir müssen Stabilität, Attraktoren und Bifurkationen untersuchen.

Unter welchen Bedingungen bleibt das Verhalten kontrolliert?

Wann kippt es?

Wir befinden uns unmittelbar wieder im gedanklichen Kern der demeure du chaos.

Chaos ist niemals die Abwesenheit von Regeln.

Es ist Empfindlichkeit, Wechselwirkung, Komplexität.

Das System kann lokal äußerst bestimmt und insgesamt schwer vorhersehbar sein.

Genau das müssen wir an Schwärmen verstehen.

Jeder Agent kann einfachen Regeln folgen.

Das kollektive Verhalten kann dennoch schwer vorherzusehen sein.

Es ist beinahe eine algorithmische Gesamtheit: Tausende verbundene Elemente erzeugen eine Form, die in keinem einzelnen Element existiert.

Doch im Krieg muss dieses Entstehen von Verantwortung begrenzt werden.

Der Künstler kann das Unerwartete annehmen.

Der Generalstab kann nicht jedes beliebige unerwartete Ereignis hinnehmen.

Deshalb müssen wir begrenzte Freiheitsräume entwerfen.

Das ist ein sehr interessanter Begriff:

Autonomie innerhalb einer sicheren Umgebung.

Das System kann sich anpassen, solange es innerhalb bestimmter Grenzen bleibt.

Wahrscheinlich werden die ausgereiftesten Architekturen so funktionieren.

Sie werden weder absolute zentrale Kontrolle noch vollständige Autonomie anstreben.

Sie werden Bereiche festlegen.

Der Agent kann die Bahn improvisieren, aber nicht das Ziel.

Er kann eine Aufgabe neu verteilen, aber bestimmte Einsatzregeln nicht verändern.

Diese Trennung zwischen Mitteln und Zwecken ist grundlegend.

Doch selbst diese Formel hat ihre Grenzen.

Die Wahl der Mittel kann manchmal eine moralische Dimension haben. Eine Bahn, eine Waffe, eine Tageszeit kann die Risiken für Zivilisten verändern.

Deshalb muss festgelegt werden, welche Eigenschaften der Mittel weiterhin menschlichem Urteil unterliegen.

Erneut gibt es keine einfache Lösung.

Genaues Differenzieren wird zur Methode.

Das ist wahrscheinlich einer der beständigsten Fäden in diesem Teil des Buches:

Schlagworte zurückweisen, weil die technische Welt für sie zu vielschichtig ist.

„Für oder gegen autonome Waffen“ ist eine unzureichende Frage.

Welcher Grad an Autonomie?

Bei welcher Funktion?

Unter welcher Kontrolle?

Mit welcher Umkehrbarkeit?

Diese Präzision kann eine ernsthafte Politik begründen.

Und diese Politik muss international sein, weil die Dynamik des Wettlaufs nationale Entscheidungen unzureichend macht.

Wenn ein Staat sich vollständige Zurückhaltung auferlegt, während seine Gegner massiv automatisieren, kann er sich verwundbar fühlen.

Das nährt eine Spirale.

Deshalb sind gemeinsame Normen nötig, zumindest für bestimmte kritische Funktionen.

Vielleicht nicht sofort ein großer universeller Vertrag, aber Bereiche der Übereinkunft.

Bestimmte nukleare Entscheidungen nicht delegieren.

Für bestimmte Schwellen menschliche Kommunikationskanäle bewahren.

Bestimmte Formen vollständig autonomer Zielauswahl verbieten.

Protokolle für den Fall eines Kontrollverlusts über ein System festlegen.

Diese Vereinbarungen könnten zum Gegenstück der ersten Rüstungskontrollabkommen werden.

Sie würden bescheiden erscheinen.

Doch sie könnten das System stabilisieren.

Manchmal retten Einzelheiten die Welt.

Ein direkter Kommunikationskanal, ein Identifikationsverfahren oder ein Verhaltenskodex mag gegenüber großen Mächten winzig erscheinen.

Doch die Zivilisation beruht auf diesen unsichtbaren Infrastrukturen.

Das Völkerrecht ist eine Architektur kleiner Protokolle, die bestimmte Ereignisketten verhindern.

Mit Schwärmen und autonomen Systemen werden wir eine neue Schicht von Protokollen benötigen.

Und wahrscheinlich Protokolle zwischen Maschinen.

Das ist eine faszinierende Frage: Könnten gegnerische Systeme über standardisierte Mechanismen verfügen, um bestimmte Absichten anzuzeigen?

Zum Beispiel: Identität, Zustand, Ausfall.

Das ähnelt beinahe der zivilen Luftfahrt mit ihren Transpondern.

Im Krieg kann der Feind selbstverständlich lügen.

Doch manche Protokolle können in Kontaktzonen oder zur Vermeidung unbeabsichtigter Kollisionen nützlich sein.

Vielleicht werden wir einen Rechtsrahmen für die Wechselwirkungen zwischen autonomen Systemen entwickeln müssen.

Das ist ein schwindelerregender Gedanke.

Das Völkerrecht wurde für menschliche Subjekte und Staaten entworfen.

Es könnte das Verhalten autonomer Systeme festlegen müssen, ohne ihnen Rechtspersönlichkeit zuzuschreiben.

Das wäre lediglich eine Erweiterung der Pflichten ihrer Betreiber:

Dein System muss unter bestimmten Umständen identifiziert werden können, ein bestimmtes Signal beachten und im Fall einer Waffenruhe in einen bestimmten Betriebszustand wechseln.

Das zeigt, wie Softwarearchitektur zu einer Frage der Diplomatie wird. Computerprotokolle könnten wie Sicherheitsabkommen ausgehandelt werden. Ingenieure und Diplomaten werden zusammenarbeiten müssen.

Wieder diese Verschmelzung der Disziplinen.

Das ist wahrscheinlich ein zentrales Merkmal des 21. Jahrhunderts. Überlieferte Berufsgrenzen reichen nicht mehr aus.

Der Jurist muss den Code verstehen. Der Ingenieur muss das Recht verstehen. Der Soldat muss KI verstehen. Der Philosoph muss die Benutzeroberfläche verstehen.

Genau diese kaleidoskopische Form des Denkens habe ich immer vertreten. Wirkliche Probleme durchqueren die Disziplinen.

Die demeure du chaos ist eine Verkörperung davon: Kunst, Geopolitik, Informatik, Materie, Recht. Sie ist beinahe ein Labor dieser radikalen Interdisziplinarität.

Was einst als heterogen bezeichnet wurde, wird nun zu einer Struktur der Welt. Aus meiner Sicht bestätigt KI, wie künstlich manche intellektuellen Abschottungen waren.

Man kann einen militärischen Schwarm nicht allein mit Informatik verstehen. Man braucht Biologie, Mathematik, Psychologie, Recht und Geopolitik.

Genau dieses Zusammenlaufen fasziniert mich. Und es führt zu einer weiteren, noch tieferen Frage.

Wenn Maschinen miteinander zusammenarbeiten, bestimmte Taktiken lernen und ihr Verhalten vor Ort verändern können, welcher Teil der kollektiven Intelligenz bleibt dann ausdrücklich vom Menschen entworfen?

Wir können zu Systemen gelangen, in denen wirksames Verhalten durch Training entdeckt statt unmittelbar programmiert wurde.

Der Entwickler legt die Ziele und Bedingungen fest, dann lernt das System eine Strategie.

Das gibt es bereits in virtuellen Umgebungen.

Auf die physische Welt übertragen, wirft es die Frage der Erklärbarkeit mit viel größerer Dringlichkeit auf.

Das System kann eine Lösung finden, an die niemand gedacht hatte.

Genau darin liegt der Nutzen des Lernens.

Doch was, wenn diese Lösung strategisch wirksam, aber moralisch unerwünscht ist?

Deshalb müssen die Beschränkungen richtig festgelegt worden sein.

Wir begegnen erneut dem Problem der Ausrichtung, nun aber auf eine konkrete militärische Situation angewandt.

Diese Ausrichtung ist nicht mehr nur eine große abstrakte Frage nach den Werten der Menschheit.

Sie lautet nun:

Wie können wir sicherstellen, dass das System nicht versucht, einen Auftrag mit verbotenen Mitteln zu optimieren?

Diese Frage ist außerordentlich schwierig, weil vereinfachte Ziele unerwartetes Verhalten erzeugen können.

Gibt man dem System den Auftrag, die Abdeckung eines Gebiets zu maximieren, kann es dadurch unerwünschte Risiken eingehen.

Die Optimierung der Geschwindigkeit kann auf Kosten der Unauffälligkeit gehen.

Jedes Ziel enthält externe Auswirkungen.

Menschen wissen das aus Organisationen seit jeher.

Ein Indikator wird zum Ziel und hört manchmal auf, ein guter Indikator zu sein.

KI kann dieses Gesetz industrialisieren.

Wenn du das, was du willst, falsch misst, wird die Maschine das Falsche vollkommen optimieren.

Das ist wahrscheinlich einer der wichtigsten Fälle von blindspot.

Die Qualität des Ziels ist wichtiger als die Leistungsfähigkeit des Modells.

Ein sehr leistungsfähiges System mit einem schlecht bestimmten Ziel kann schneller eine Katastrophe erzeugen.

Deshalb muss die Doktrin vor der Optimierung kommen.

Man muss wissen, was man wirklich will.

Dieser Satz scheint banal.

Und doch ist er außerordentlich schwierig.

Menschliche Organisationen verwenden oft ungefähre Ziele, weil die Menschen die Unschärfen intuitiv ausgleichen.

Ein Mensch versteht, dass „die Geschwindigkeit maximieren“ nicht bedeutet, durch ein Krankenhaus zu fahren.

Eine Maschine besitzt dieses Verständnis des Zusammenhangs nicht zwangsläufig, wenn es nicht eingebaut wurde.

Hier ist die wirkliche Welt unendlich viel schwieriger als die Simulationen.

Die Werte sind unausgesprochen.

Ein großer Teil unseres Verhaltens hängt von Konventionen ab, die wir nie ausdrücklich benennen.

Autonome Roboter zu bauen, verlangt, diese Konventionen ausdrücklich zu machen.

Das ist beinahe ein gigantisches philosophisches Experiment.

Wir müssen einen Teil unserer stillschweigenden Moral in eine operative Architektur verwandeln.

Und wahrscheinlich werden wir entdecken, dass wir uns über diese Moral nicht immer einig sind.

KI erzeugt diese Meinungsverschiedenheiten nicht.

Sie macht sie sichtbar.

Das ist eine weitere ihrer Spiegelfunktionen.

Sie zwingt uns, das zu klären, was wir für selbstverständlich hielten.

Das Kriegsrecht selbst enthält Begriffe, die Deutung verlangen: Unterscheidung, Verhältnismäßigkeit, Notwendigkeit.

Erfahrene Menschen wenden sie in einem Zusammenhang an.

Sie für ein autonomes System zu übersetzen, verlangt, schwierige Fragen zu stellen.

Lässt sich Verhältnismäßigkeit formalisieren?

Wie weit?

Welche Informationen sind nötig?

Das Modell kann helfen.

Doch das abschließende Urteil könnte in den schwerwiegendsten Situationen noch lange beim Menschen bleiben.

Und das ist keine technische Schwäche.

Es ist eine mögliche Entscheidung einer Zivilisation. Wir können entscheiden, dass bestimmte Entscheidungen gerade deshalb menschlich bleiben müssen, weil sie sich nicht auf eine Optimierungsfunktion reduzieren lassen.

Das nenne ich anthropologische Souveränität.

Es geht nicht mehr bloß um die Souveränität eines Staates gegenüber einer anderen Macht. Es geht um die Souveränität des Menschen gegenüber seinen eigenen Schöpfungen.

Welchen Entscheidungsbereich wollen wir als Zeichen der Verantwortung bewahren?

Die militärische Frage macht dieses Problem besonders dringlich, weil es um Leben und Tod geht. Doch dieselbe Debatte wird anderswo aufkommen.

Justiz. Medizin. Kredit. Bildung.

Jeder Bereich wird seine Grenzen festlegen müssen. Das ist wahrscheinlich eine der großen philosophischen Debatten des Jahrhunderts.

Und sie wird viel konkreter sein als Spekulationen über die ontologische Natur dieser Systeme.

Bevor wir entscheiden, was sie sind, müssen wir entscheiden, was wir ihnen zu tun erlauben.

Das ist die Wirklichkeit. Die Philosophie muss in den Prozess eintreten. Genau so denke ich: Keine Idee ist etwas wert, wenn sie nicht verkörpert wird.

Der nächste Schritt besteht darin, das Gelände zu wechseln, ohne das Problem zu verändern.

Dieselben Fragen der Delegation, Nachvollziehbarkeit, Kontrolle und Souveränität, die hier unter militärischen Zwängen erscheinen, tauchen wieder auf, wenn künstliche Intelligenz in die öffentliche Verwaltung und Entscheidungsfindung eintritt.

Die Frage lautet nicht mehr bloß:

Wer kontrolliert eine Maschine, die handelt?

Sie lautet nun:

Wer kontrolliert ein System, das einordnet, empfiehlt, Rechte gewährt, Risiken erkennt oder staatliches Handeln lenkt?

Auf das algorithmische Schlachtfeld folgt der algorithmische Staat.

Wie lässt sich die Effizienz erhöhen, ohne informationelle Macht in Überwachung zu verwandeln und ohne demokratische Verantwortung aufzulösen?