Die Scoring-Gesellschaft, Verhaltensprognosen und das Recht auf Unvorhersehbarkeit

Jede Gesellschaft ordnet ein. Lange vor der künstlichen Intelligenz vergaben Institutionen bereits Kategorien, Status, Noten und Akten. Schulen benoten, Banken bewerten Risiken, Versicherer berechnen Prämien, Unternehmen beurteilen Fähigkeiten und Behörden prüfen Ansprüche. Es wäre daher falsch, Scoring als Erfindung der KI darzustellen. Was sich heute verändert, sind seine Tiefe, seine Häufigkeit und vor allem seine Fähigkeit, zwischen zuvor getrennten Bereichen zu zirkulieren.

Ein System kann heute Hunderte Variablen miteinander abgleichen, eine Wahrscheinlichkeit berechnen und Profile erkennen, die niemand von Hand hätte berechnen können. Diese Fähigkeit kann außerordentlich nützlich sein. Eine Bank kann Risiken besser einschätzen. Ein Versicherer kann Preise genauer bestimmen. Eine Behörde kann Betrug erkennen.

Doch je genauer die Vorhersage wird, desto deutlicher tritt eine Frage hervor: Ab wann wird ein Mensch nicht mehr nach dem beurteilt, was er tut, sondern nach dem, was er nach Einschätzung eines Modells tun wird? Dort liegt die Schwelle. Der Score ist nicht mehr bloß ein Gedächtnis der Vergangenheit. Er wird zur Vorwegnahme der Zukunft. Und diese Vorwegnahme kann Folgen erzeugen, bevor das Ereignis überhaupt eingetreten ist. Einem Menschen kann ein Kredit verweigert werden, weil er statistisch Menschen ähnelt, die weniger zuverlässig zurückgezahlt haben. Er kann stärker kontrolliert werden, weil bestimmte Signale eine Wahrscheinlichkeit erhöhen. Er kann als möglicher Abgänger eines Unternehmens behandelt werden, bevor er jemals die Absicht zu gehen geäußert hat. Wir bewegen uns von der Beobachtung zum vorwegnehmenden Eingriff.

Diese Logik muss mit äußerster Vorsicht untersucht werden, denn sie besitzt eine reale wirtschaftliche Effizienz und birgt eine immense anthropologische Gefahr. Die Effizienz entspringt der Statistik. Wenn bestimmte Variablen mit einem Verhalten korrelieren, kann das Modell Unsicherheit verringern. Die Gefahr entsteht, wenn wir vergessen, dass Wahrscheinlichkeit zu einer Verteilung gehört und nicht als Schicksal zu einem einzelnen Menschen. Zu sagen, eine Gruppe habe ein höheres Risiko, bedeutet nicht, dass dieser Einzelne tun wird, was die Gruppe im Durchschnitt tut. Hier liegt der Unterschied zwischen Population und Subjekt. Statistik weiß viel über Gruppen. Das Recht schützt Einzelne. Diese Spannung besteht seit Langem, doch KI verleiht ihr neue Macht. Je genauer das Modell wird, desto stärker kann die Versuchung werden, seine Vorhersage als persönliche Wahrheit zu betrachten. Ein Score von 87 Prozent erscheint beinahe wie eine dem Menschen innewohnende Eigenschaft. Doch er bleibt eine Schätzung, bedingt durch Daten, ein Modell und einen Kontext. Deshalb glaube ich, dass das Recht auf Unvorhersehbarkeit zu einem zentralen Begriff des algorithmischen Zeitalters werden muss. Dieses Recht bedeutet selbstverständlich nicht, dass jede Vorhersage menschlichen Verhaltens verboten wäre. Das wäre absurd. Jede Wirtschaft nutzt Vorhersagen. Es bedeutet, dass Vorhersage nicht zur Identität werden darf, geschweige denn zur Verurteilung. Ein Mensch muss das Recht behalten, dem Muster zu widersprechen. Das ist beinahe eine Definition von Freiheit.

Wenn jedes vergangene Verhalten zum Material für die Vorhersage der Zukunft wird und jede Vorhersage eine Folge erzeugt, die die verfügbaren Möglichkeiten verengt, können wir den Einzelnen allmählich in seiner statistischen Laufbahn einschließen. Der Score erhält eine selbsterfüllende Wirkung. Ein als riskant eingestufter Mensch erhält weniger Chancen; mangels Chancen verschlechtert sich sein Weg; das System schließt daraus, dass es recht hatte. Das ist eine äußerst gefährliche Schleife. Das Modell sagt die Wirklichkeit nicht mehr nur voraus. Es hilft, sie herzustellen. Hier erscheint die Reflexivität wieder, unmittelbar auf das menschliche Leben angewandt.

Besonders deutlich wird diese Schleife beim Kredit. Wer von Finanzierung ausgeschlossen ist, hat weniger Möglichkeiten zu investieren, sich weiterzubilden oder Wohneigentum zu erwerben. Seine wirtschaftliche Zukunft wird durch die Bewertung verändert. Das bedeutet nicht, dass Risikoanalysen abgeschafft werden sollten. Risikofreien Kredit gibt es nicht. Wir müssen lediglich die ursächliche Macht des Scores anerkennen. Eine Kreditentscheidung ist nicht bloß eine Beobachtung. Sie kann die Zukunft verändern, die sie zu messen vorgibt. Deshalb muss das System anfechtbar und korrigierbar sein.

Welche Daten haben den Score erzeugt?

Sind sie richtig?

Sind einige von ihnen veraltet?

Gibt es Kontextfaktoren, die das Modell nicht sieht?

Ohne ein Beschwerdeverfahren droht Statistik zu einer administrativen Last zu werden. Wir kehren zum selben Grundsatz zurück: keine algorithmische Macht ohne Möglichkeit des Widerspruchs. Doch diese Anforderung muss konkret ausgestaltet werden. Jemandem eine Seite unverständlicher Variablen zu geben ist kein wirksamer Rechtsbehelf. Der Mensch muss die wichtigsten Faktoren verstehen können, die die Entscheidung beeinflusst haben, einen Fehler melden, neue Informationen vorlegen und in wichtigen Situationen eine menschliche Überprüfung erlangen können. Das ist kein Luxus. Es ist eine Bedingung der Gerechtigkeit.

Dieselbe Logik gilt für Versicherungen. Ein System kann das individuelle Risiko sehr genau berechnen. Das erscheint wirtschaftlich rational: Jeder bezahlt möglichst entsprechend dem Risiko, das er darstellt. Doch treiben wir diese Logik zu Ende, tritt ein Widerspruch hervor. Versicherungen existieren gerade dazu, Unsicherheit gemeinschaftlich zu tragen. Wird das individuelle Risiko vollkommen vorhergesagt, nähert sich die Versicherung einer Abrechnung des Schicksals. Menschen mit hohem Risiko zahlen gewaltige Beträge, gerade weil sie Schutz am dringendsten brauchen. Versicherungsmathematische Optimierung kann dann mit Solidarität in Konflikt geraten. Das zeigt erneut, dass technische Optimierung allein nicht genügt. Eine Gesellschaft muss entscheiden, welchen Anteil des Risikos sie gemeinsam tragen will. Gesundheit, Behinderung, Katastrophen. Diese Wahl ist zugleich politisch und moralisch. KI kann Risiken besser berechnen, doch sie entscheidet nicht, welches Maß an Solidarität wir bewahren wollen.

Wollen wir vollkommen individualisierte Versicherungen, oder akzeptieren wir, dass ein Teil des Risikos gemeinschaftlich getragen wird?

Darauf gibt es keine rein mathematische Antwort. Und die wachsende Präzision der KI kann diesen Konflikt sichtbarer machen. Lange existierten bestimmte Formen der Solidarität gerade deshalb, weil wir nicht genau messen konnten. Unwissenheit machte gegenseitige Unterstützung notwendig. Wenn Unwissenheit abnimmt, muss Solidarität zu einer ausdrücklichen Entscheidung werden. Das ist eine zivilisatorische Schwelle.

Der Fortschritt des Wissens nimmt manchmal den Schutz der Ungewissheit fort. Wir müssen entscheiden, ob wir ihn rechtlich wiederherstellen wollen. Das ist ein außerordentlich wichtiger Gedanke. Freiheit profitierte lange davon, dass es technisch unmöglich war, alles zu wissen. Solidarität ebenfalls. Wenn Technologie diese Unmöglichkeit verringert, müssen unsere Institutionen sich freiwillig Grenzen setzen. Wieder die Freiheit durch Selbstbegrenzung der Macht. Der Umgang von Versicherungen mit genetischen Daten bietet bereits ein konkretes rechtliches Beispiel. In Frankreich verbietet das Gesetz Versicherern bei Verträgen zur Absicherung von Invaliditäts- oder Todesfallrisiken, die Ergebnisse genetischer Tests zu berücksichtigen, selbst wenn sie mit Zustimmung der betroffenen Person bereitgestellt werden. Der Grundsatz ist bemerkenswert: Daten können Vorhersagekraft besitzen und dennoch von der Versicherungsoptimierung ausgeschlossen sein, weil die Gesellschaft entscheidet, dass sie nicht zu einem Preiskriterium werden sollen.

Dieselbe Überlegung gilt für andere Schlussfolgerungen. Ein Modell könnte aus Einkäufen oder Bewegungsdaten einen Gesundheitszustand ableiten. Dass eine Information erschlossen werden kann, bedeutet nicht, dass sie verwendet werden darf. Deshalb wird die Lehre von den Schlussfolgerungen, die ich in früheren Kapiteln erörtert habe, hier zentral. Privatsphäre betrifft nicht mehr nur das, was der Einzelne preisgegeben hat. Sie betrifft das, was die Maschine rekonstruieren kann.

Die Fähigkeit, Schlussfolgerungen zu ziehen, ist die neue Macht.

Das Recht muss daher bestimmte Schlussfolgerungen unabhängig davon schützen, wie sie gewonnen wurden. Das mag komplex erscheinen, ist aber wesentlich. Sonst ist es nahezu zwecklos, den direkten Zugriff auf sensible Daten zu verbieten, wenn das Modell sie statistisch reproduzieren kann. Wir treten dann in eine Gesellschaft ein, in der Menschen durchsichtig sind, ohne irgendetwas erklärt zu haben. Diese algorithmische Transparenz kann außerordentlich tief eingreifen. Ein Mensch weiß vielleicht selbst nichts von bestimmten Tendenzen, die das System zu erkennen glaubt. Das Unternehmen weiß möglicherweise, dass ein Beschäftigter über einen Weggang nachdenkt, bevor dieser die Entscheidung klar formuliert hat. Was soll es mit dieser Information tun?

Darf es ihm eine Beförderung verweigern, weil sein Abwanderungsscore hoch ist?

Das wäre sehr gefährlich. Das Modell könnte genau den Weggang erzeugen, den es vorhersagt. Wieder die selbsterfüllende Schleife. Wir müssen daher eine Vorhersage zur Vorbereitung auf einen gemeinschaftlichen Bedarf von einer Vorhersage unterscheiden, die zur Sanktionierung eines Einzelnen dient. Ein Unternehmen kann vorhersehen, dass 10 Prozent der Beschäftigten einer Abteilung wahrscheinlich gehen werden, um Neueinstellungen vorzubereiten. Das ist etwas völlig anderes, als drei Personen namentlich zu identifizieren und sie bereits als illoyal zu behandeln. Die Granularität der Vorhersage wirft eine Frage der Würde auf. Auf aggregierter Ebene kann etwas legitim sein, das auf individueller Ebene zum Eingriff wird. Deshalb betrifft Datenminimierung nicht nur die Datenmenge, sondern auch die Auflösung.

Auf welcher Ebene müssen wir tatsächlich Bescheid wissen?

Präzision ist kein absoluter Wert. Genauere Informationen können für manche Aufgaben nützlich sein und bei anderen zu weit eingreifen. Die richtige Auflösung hängt vom Zweck ab.

Um den Verkehr einer Stadt zu organisieren, muss man Ströme verstehen. Man muss nicht zwangsläufig genau wissen, wohin jeder Einzelne sich in jedem Moment bewegt. Um Personalfluktuation vorherzusagen, lassen sich Trends nutzen, ohne jeden Beschäftigten zu profilieren. Eine reife algorithmische Gesellschaft wird bewusst mit geringerer Auflösung arbeiten, wenn die zusätzliche Präzision den Eingriff nicht rechtfertigt.

Das verlangt eine Disziplin der Gestaltung. Ingenieure fühlen sich naturgemäß zur Präzision hingezogen. Das Recht muss fragen: Nützlich wofür? Das ist der Grundsatz informationeller Verhältnismäßigkeit. Und er führt mich zu einem Begriff, der mir wesentlich erscheint: dem Recht auf Trennung der Scores.

Ein Bonitätsscore sollte nicht automatisch zu einem Score für Beschäftigungsfähigkeit werden. Eine Bewertung in einem Bereich darf nicht auf alle anderen übergreifen. Die Geschichte kennt bereits Gesellschaftssysteme, in denen eine einzige Kategorie eine Kaskade von Folgen erzeugte: Kaste, Status, Vorstrafenregister. KI könnte durch die Anhäufung von Scores eine Form digitaler Kaste wiederherstellen. Die Gefahr ist real. Wenn ein Mensch auf einer Plattform einen niedrigen Score hat und dieser anschließend von einem Versicherer, einem Vermieter oder einem Arbeitgeber verwendet wird, kann er allmählich aus mehreren Lebensbereichen ausgeschlossen werden. Der Score wird zu einer umfassenden sozialen Identität.

Genau das muss verhindert werden. Jede Bewertung muss mit ihrem Zweck verbunden bleiben. Das ist eine Erweiterung des rechtlichen Grundsatzes der Zweckbindung. Ein Score ist die Antwort auf eine bestimmte Frage: „Wie hoch ist das Ausfallrisiko dieses Kredits?“ Er ist kein allgemeines Maß für den Wert eines Menschen. Diese Unterscheidung muss streng sein. Die Versuchung zur Wiederverwendung von Daten wird dennoch groß sein, weil sie vorhanden sind. Einen bereits berechneten Score zu teilen kostet fast nichts. Hier muss das Recht der Verlockung der Bequemlichkeit widerstehen. Dass Daten verfügbar sind, begründet kein universelles Nutzungsrecht. Genau wie beim Gedächtnis. Eine Information kann wahr sein und darf dennoch nicht überall verwendet werden.

Vergessen und Trennung sind Bedingungen der Freiheit. Dieser Gedanke ist sehr wichtig. Wir denken bei Privatsphäre oft an Geheimhaltung. Sie ist auch kontextgebunden. Ich kann meinem Arzt eine Information geben, ohne zu wollen, dass mein Bankberater sie verwendet. Nicht weil die Information beschämend wäre. Sie gehört zu einer Beziehung. Indem KI alle Datenbanken verbindet, bedroht sie diese Kontextgebundenheit. Der vollständige Graph ist technisch verlockend. Gesellschaftlich kann er zerstörerisch sein. Deshalb muss eine algorithmische Zivilisation wissen, wie sie innerhalb des Graphen Schranken errichtet.

Das ist beinahe eine vollständige Umkehrung meines ganzen Lebens mit Datenbanken, in dem Verknüpfung Wert schafft. Ja, Verknüpfung schafft Wert. Und gerade weil sie Macht schafft, muss man sich manchmal gegen eine Verknüpfung entscheiden. Darin liegt kein Widerspruch. Reife bedeutet zu wissen, wo eine Beziehung legitim ist. Eine Datenbank des Kunstmarkts sollte Künstler, Werk, Verkauf und Auktionshaus verbinden. Sie hat keinen Grund, die medizinischen Daten des Sammlers einzubeziehen. Der Zweck bestimmt den Graphen. Die Gefahr beginnt, wenn der Graph zur gesamten Welt werden will. Das ist die Hybris der Daten. Die Vorstellung, dass alles verbunden werden müsse, weil alles verbunden werden kann. Diese Vorstellung lehne ich ab. Lebendiges Chaos braucht Unterbrechungen. Freiheit ebenfalls.

Eine Gesellschaft, in der jedes Verhalten in einen Gesamtscore eingeht, wird zutiefst konformistisch. Warum ein Risiko eingehen, wenn ein Fehler den Kredit, die Versicherung oder den Arbeitsplatz beeinflussen könnte? Der Einzelne beginnt, sein Leben für das Bewertungssystem zu optimieren. Das ist eine gewaltige Wirkung zweiter Ordnung. Der Score misst Verhalten nicht mehr nur; er diszipliniert es. Foucault hätte diese Logik zweifellos erkannt. Das Panoptikum erzeugt Selbstkontrolle, weil der Gefangene weiß, dass er beobachtet werden kann. Die Scoring-Gesellschaft fügt eine weitere Dimension hinzu: Wir wissen, dass jede Spur eine Bewertung verändern kann. Wir werden zu Verwaltern unseres eigenen algorithmischen Rufs. Das kann Vorsicht erzeugen, aber auch einen Verlust an Spontaneität.

Eine Gesellschaft, in der jeder ständig einen günstigen Score aufrechterhalten will, wird zu einer Gesellschaft standardisierter Verhaltensweisen.

Das bedroht Kreativität und Dissens. Innovation setzt manchmal voraus, etwas zu tun, das seltsam oder riskant erscheint. Wenn jedes untypische Verhalten einen Zuverlässigkeitsscore senkt, bestraft das System jene, die von der Norm abweichen. Deshalb ist das Recht auf Unvorhersehbarkeit auch ein Recht auf Innovation. Nur die Abweichenden überleben, doch zunächst muss das System ihre Existenz zulassen. Das ist ein grundlegender Widerspruch der algorithmischen Wirtschaft. Sie will Anomalien erkennen, weil sie auf ein Risiko hinweisen können. Doch eine Anomalie kann auch die Quelle des Neuen sein. Dasselbe Signal kann Betrug oder Innovation bedeuten.

Wie unterscheiden?

Durch den Kontext. Wieder einmal. Ein Modell kann statistisch seltenes Verhalten erkennen. Es sollte es nicht automatisch als negativ betrachten.

Die Anomalie ist eine Frage, kein Urteil.

Dieser Satz sollte ein Grundsatz sein. Er gilt für Sicherheit, Arbeit und Finanzwesen. Die algorithmische Gesellschaft muss die Möglichkeit bewahren, dass die Ausnahme gut sein könnte. Genau das ist die Methode der demeure du chaos. Was als Anomalie in der Landschaft erscheint, ist vielleicht ein Gesamtkunstwerk. Wer ausschließlich die visuelle Norm anlegt, schließt auf eine Fehlfunktion. Er sieht die Struktur nicht. Das ist beinahe eine vollkommene Metapher für die Scoring-Gesellschaft.

Ein System kann die Abweichung vom Durchschnitt messen. Es misst nicht automatisch den Wert dieser Abweichung. Der Künstler, der Unternehmer, der Dissident sind oft statistische Anomalien. Eine zu stark auf den Durchschnitt hin optimierte Gesellschaft könnte unfähig werden, ihre eigenen Mutationen hervorzubringen. Das schließt unmittelbar an das vorige Kapitel über Erkundung an. Eine Wirtschaft muss Räume bewahren, in denen Menschen nicht dafür bestraft werden, vom erwarteten Profil abzuweichen.

Die Schule ist ein besonders wichtiger Bereich. Stellen wir uns ein Bildungssystem vor, das von Kindheit an Erfolgswahrscheinlichkeiten für verschiedene Berufe berechnet. Das kann nützlich sein, um individuelle Unterstützung anzubieten. Doch wenn der Score zu einer endgültigen Weichenstellung wird, ist das äußerst gefährlich. Ein Kind verändert sich. Lernt. Entfaltet sich vielleicht erst spät. Eine frühe Vorhersage kann es in einer Laufbahn einschließen. Darin liegt das Risiko der selbsterfüllenden Prophezeiung in seiner schwerwiegendsten Form.

KI sollte dazu dienen, Möglichkeiten zu eröffnen, nicht sie vorzeitig zu schließen. Ein Modell könnte sagen: Dieser Schüler scheint Schwierigkeiten in Mathematik zu haben; schlagen wir eine andere Methode vor. Sehr gut. Es sollte nicht sagen: Dieser Schüler ist für Naturwissenschaften ungeeignet. Der Unterschied ist gewaltig. Der erste Ansatz behandelt den Score als vorläufige Diagnose. Der zweite als Identität. Hier begegnet uns wieder das Recht, sich zu entwickeln.

Eine gute Bildungsarchitektur muss Vorhersagen verfallen lassen. Ein alter Score muss an Gewicht verlieren. Das ist eine technisch und philosophisch sehr wichtige Idee: das zeitliche Verblassen der Vergangenheit. Nicht alle historischen Daten sollten unbegrenzt denselben Einfluss behalten. Ein mit achtzehn begangener Fehler sollte nicht zwangsläufig über einen Kredit mit vierzig entscheiden. Ein lange zurückliegender Zahlungsverzug kann seine Bedeutung verlieren. Das Modell muss die Zeitlichkeit der Erlösung berücksichtigen.

Das ist beinahe zu Mathematik gewordenes Recht. Wir könnten uns Regeln vorstellen, nach denen bestimmte Daten nach einer festgelegten Frist nicht mehr verwendet werden dürfen. In manchen Zusammenhängen gibt es das bereits. Digitale Systeme machen diese Schutzmaßnahmen noch notwendiger, weil sie Spuren mit einer Beständigkeit und Abrufbarkeit bewahren können, mit denen menschliches Gedächtnis nicht vergleichbar ist. Die digitale Vergangenheit verschwindet nicht von selbst. Deshalb müssen wir künstliches Vergessen schaffen.

Hier begegnet uns erneut dieser wunderbare Gedanke: Die Zivilisation wird das Vergessen programmieren müssen.

Wir haben Jahrzehnte damit verbracht, die Speicherung zu verbessern. Wir werden lernen müssen zu löschen. Das ist kein Widerspruch. Ein Gedächtnis ohne Vergessen ist krankhaft. Das menschliche Gehirn selbst vergisst. Diese Funktion ist wesentlich. Sie ermöglicht uns, zu verallgemeinern, zu vergeben, zu leben. Eine Gesellschaft mit vollständigem Gedächtnis kann strafend werden. Jeder Fehler bleibt ewig zugänglich. KI kann erinnern, verknüpfen. Das Recht muss die Verbindung manchmal kappen. Darin liegt das Recht auf algorithmische Erlösung.

Es genügt nicht, einem Menschen rechtlich einen Neuanfang zu erlauben, wenn die Modelle ihn weiterhin nach seinem früheren Verhalten einordnen. Erlösung muss eine Konsequenz in den Daten haben. Das ist eine sehr konkrete Frage. Eine Eintragung im Strafregister kann rechtlich gelöscht sein, während private Daten weiter zirkulieren. Das Recht muss diese Ebenen aufeinander abstimmen. Sonst wird Rehabilitation zur Fiktion. Das ist ein sehr wichtiger Kampf für die Zukunft.

Die digitale Gesellschaft kann strafender sein als das Recht, weil sie ein besseres Gedächtnis hat. Wir müssen daher den Vorrang rechtlicher Regeln vor dem technischen Gedächtnis verteidigen. Wenn das Recht festlegt, dass eine Schuld verjährt ist, sollte das System sie nicht unbegrenzt weiter als negatives Signal behandeln. Das verlangt Prüfungen und Sanktionen. Wieder die Governance. Verhaltensprognosen werfen auch ein Problem für die öffentliche Sicherheit auf. Systeme können Orte oder Situationen identifizieren, in denen bestimmte Straftaten statistisch wahrscheinlicher sind. Die Polizei kann das zur Verteilung ihrer Ressourcen nutzen. Auch hier können aggregierte Daten nützlich sein. Doch wenn das Modell beginnt, Einzelne als künftige Straftäter zu identifizieren, betreten wir einen viel gefährlicheren Bereich.

Strafjustiz beruht auf Handlungen, nicht auf der Vorhersage möglicher Handlungen.

Eine Demokratie muss an diesem Punkt äußerst vorsichtig sein. Eine unmittelbar bevorstehende Straftat auf der Grundlage konkreter Hinweise zu verhindern ist eine normale Aufgabe der Polizei. Jemanden als gefährlich einzustufen, weil er ein statistisches Profil aufweist, ist etwas völlig anderes. Das ist ein bürokratisch gewordenes Minority Report. Die Fiktion hatte das Problem genau erkannt: Können wir bestrafen, was noch nicht geschehen ist?

Die rechtliche Antwort muss Nein bleiben.

Doch Technologie kann Grauzonen schaffen. Ein Risikoscore kann die Intensität der Überwachung beeinflussen und damit die Wahrscheinlichkeit erhöhen, in bestimmten Bevölkerungsgruppen einen Verstoß zu entdecken, was wiederum die Daten des Modells verstärkt. Das ist eine bekannte Rückkopplungsschleife. Das System patrouilliert häufiger dort, wo die Daten mehr Kriminalität anzeigen, findet dort deshalb mehr Kriminalität und schließt daraus, dass seine Vorhersage richtig war. Diese Schleife muss mit statistischen Methoden und Kontrollinstanzen durchbrochen werden.

Andernfalls lernt das Modell ebenso sehr die Geografie der Überwachung wie die der Kriminalität. Das ist ein ausgezeichnetes Beispiel verborgener Kausalität. Daten messen nicht nur das Phänomen; sie messen auch, wie die Institution es beobachtet. Jede Verwaltungsdatenbank enthält diesen Fingerabdruck. Polizeistatistiken spiegeln teilweise die Polizeipraxis wider. Medizinische Statistiken spiegeln den Zugang zur Versorgung wider. Deshalb kann KI die Datenbank nicht als objektive Momentaufnahme der Welt behandeln.

Sie muss den datenerzeugenden Prozess verstehen. Das ist ein sehr wichtiger Begriff: der Prozess der Datenentstehung. Woher stammen die Daten? Wer wurde erfasst und wer nicht? Genau das ist Herkunft auf statistischer Ebene. Ohne dieses Wissen reproduziert das Modell Messverzerrungen. Die Geschichte steht erneut im Zentrum der KI. Wir begegnen dem Historiker wieder. Um eine Statistik zu verstehen, muss man wissen, wie sie entstanden ist. Bei Artprice erscheint mir das selbstverständlich. Ein Verkaufsergebnis bedeutet nichts, wenn man nicht weiß, welches Auktionshaus, welche Währung und welche Bedingungen dahinterstehen. Dasselbe gilt für einen sozialen Score. Zahlen existieren nicht für sich. Sie haben eine Quelle. Diese Kultur der Herkunft könnte eines der besten Gegenmittel gegen die Scoring-Gesellschaft sein.

Niemals eine Zahl betrachten, ohne nach ihrer Herkunft zu fragen. Doch das Scoring-System muss nicht aus einem einzigen großen staatlichen System hervorgehen. Es kann diffus durch die Anhäufung privater Bewertungen entstehen. Plattformen, berufliche Netzwerke, Dienstleistungen. Ein Fahrer bewertet einen Fahrgast, der Fahrgast den Fahrer, ein Vermieter einen Mieter. Jede Bewertung scheint lokal begrenzt und kann Vertrauen verbessern. Doch wenn diese Bewertungen übertragbar werden oder zusammengeführt werden, bauen wir allmählich eine umfassende Reputation auf. Darin liegt die Gefahr.

Eine einzige schlechte Erfahrung kann auf andere Bereiche übergreifen. Deshalb müssen Grenzen erhalten bleiben. Reputation muss kontextgebunden bleiben. Sich eines Abends in einem Restaurant als schlechter Gast zu verhalten sagt nichts über die eigene Kreditwürdigkeit aus. Das scheint selbstverständlich. Doch KI kann Korrelationen finden und die Wiederverwendung verlockend machen. Deshalb braucht es einen starken Rechtsgrundsatz: Scores sind keine allgemeinen Eigenschaften des Menschen. Sie sind begrenzte funktionale Werkzeuge. Das mag technisch erscheinen, ist aber eine anthropologische Schutzvorkehrung. Der Einzelne ist mehr als jede Summe von Scores. Keine Datenbank sollte beanspruchen können, seine gesamte Identität zu umfassen.

Das führt uns zum Unterschied zwischen Karte und Gelände zurück. Selbst wenn wir eine Million Variablen über einen Menschen besäßen, hätten wir nicht den Menschen. Wir hätten eine Darstellung. Die algorithmische Gesellschaft muss diese Demut bewahren. Sonst wird das Profil zu einem souveränen digitalen Doppel, und der Mensch muss seinem eigenen Modell entsprechen. Das ist eine erschreckende Umkehrung.

Schon heute kann jemand entdecken, dass eine Datenbank falsche Informationen enthält, und anschließend beweisen müssen, dass die Datenbank unrecht hat. Die Verwaltung glaubt der Akte eher als dem Menschen. KI kann das verstärken, weil die Profile komplexer werden. Deshalb wird das von mir erwähnte Recht auf einen administrativen oder kommerziellen Spiegel zu einer Bedingung wirksamer Rechtsbehelfe. Der Mensch muss wissen können, welche wesentlichen Daten für wichtige Entscheidungen verwendet werden. Sonst kämpft er gegen ein Phantom.

Die Möglichkeit zur Korrektur ist eine Bedingung der Würde. Doch es braucht auch ein verhältnismäßiges Recht auf Erklärung. Ich komme darauf zurück, weil es hier zentral ist. Ein auf Hunderten Variablen beruhender Bonitätsscore lässt sich nicht in jeder Einzelheit vollständig erklären. Doch man kann die wichtigsten Faktoren nennen und falsche Daten kenntlich machen. Das Ziel ist nicht, alle Geschäftsgeheimnisse offenzulegen. Es ist, eine wirksame Anfechtung zu ermöglichen. Das ist der Maßstab. Der tatsächliche Rechtsbehelf.

Das Recht sollte die Wirksamkeit von Rechtsbehelfen gegenüber vollständiger theoretischer Transparenz bevorzugen. Das ist ein viel pragmatischerer Ansatz. Bestimmte Geheimnisse können gewahrt bleiben, während eine Vermittlungs- oder Aufsichtsinstanz tieferen Zugang erhält. Wieder sind die Kontrollebenen entscheidend. Der Nutzer erhält eine einfache Erklärung. Der Prüfer kann das System untersuchen. Der Richter kann nötigenfalls weitere Informationen erhalten. Das ist eine abgestufte Architektur der Transparenz. Sie erscheint mir viel realistischer als „vollständig quelloffen“ oder „totale Geheimhaltung“. Wieder ist Granularität entscheidend.

Das Scoring-System wirft auch die Frage nach dem Eigentum an Verhaltensdaten auf. Wir hinterlassen ständig Spuren: beim Klicken, Gehen, Bezahlen, Schlafen mit einem Gerät. Diese Spuren können zur Grundlage eines Scores werden. Wer darf sie nutzen? Die heutige Einwilligung ist oft eine bloße Formalität. Niemand liest alle Geschäftsbedingungen. Mit KI wird die künftige Reichweite von Daten schwer vorhersehbar.

Eine heute scheinbar harmlose Information könnte morgen eine sensible Schlussfolgerung ermöglichen. Können wir einer Nutzung wirklich zustimmen, die sich noch niemand vorstellen kann? Das ist ein tiefgreifendes Problem. Einwilligung kann nicht die einzige Grundlage des Datenschutzes sein. Wir brauchen Verbote bestimmter Verwendungszwecke, unabhängig vom Klick. Das entspricht bereits dem Geist vieler moderner Rechte. KI verstärkt diese Notwendigkeit. Bestimmte Schlussfolgerungen dürfen für bestimmte Entscheidungen nicht verwendet werden, selbst wenn der Nutzer in einem endlosen Vertrag auf „Akzeptieren“ geklickt hat. Vertragsfreiheit reicht nicht aus, wenn die Asymmetrie zu groß ist. Gerade darin liegt die Aufgabe des Rechts, Mindeststandards festzulegen. Wieder die Zivilisation als freiwillige Begrenzung. Doch übermäßige Bevormundung muss vermieden werden. Ein Mensch kann seine eigenen Daten nutzen wollen, um eine bessere Dienstleistung zu erhalten. Das muss möglich sein. Die Architektur muss daher mehr tatsächliche Kontrolle ermöglichen, statt einfach zu verbieten.

Ein Nutzer kann beispielsweise die Nutzung bestimmter Daten erlauben, um eine günstigere Versicherung zu erhalten; dabei muss jedoch das Risiko adverser Selektion bewertet werden. Wenn nur Menschen mit geringem Risiko ihre Daten teilen, werden jene verdächtig, die es verweigern. Die individuelle Wahl erzeugt kollektiven Druck. Das ist ein klassisches Einwilligungsproblem in Scoring-Systemen. Die Verweigerung selbst kann zum Signal werden. Deshalb muss die Nutzung bestimmter Daten in manchen Zusammenhängen vielleicht für alle verboten werden.

Sonst verringert die Freiheit des einen die Freiheit der anderen. Wieder ein externer Effekt. Das ist ein vollkommenes Beispiel dafür, dass der Markt allein das Problem nicht lösen kann. Es braucht eine gemeinsame Regel. Das zeigt, dass das Recht auf Unvorhersehbarkeit nicht bloß ein individuelles Recht ist. Es kann ein kollektives institutionelles Nichtwissen verlangen. Wir können entscheiden, dass ein Versicherer bestimmte Dinge nicht wissen soll, selbst wenn manche Kunden bereit wären, sie offenzulegen. Das ist eine Form freiwilliger Verhüllung. Dieser Gedanke kehrt unsere übliche Vorstellung von Fortschritt um.

Wir haben Fortschritt häufig als Verringerung von Unwissenheit verstanden. Doch manche Formen des Nichtwissens sind zivilisatorisch. Das Wahlgeheimnis ist ein Beispiel. Der Staat könnte technisch wissen, wen jeder Einzelne wählt, doch die Demokratie organisiert sein Nichtwissen. Das ist großartig. Das Wahlgeheimnis ist ein bewusstes Nichtwissen der Macht zum Schutz der Freiheit. Das algorithmische Zeitalter wird weitere Formen bewussten Nichtwissens erfinden müssen: bestimmte Veranlagungen nicht kennen, bestimmte Scores nicht verbinden. Vielleicht ist das einer der wichtigsten politischen Begriffe der Zukunft: verfassungsmäßiges Nichtwissen. Festlegen, was Institutionen nicht wissen oder nicht verwenden können sollen. Dieser Gedanke stellt die Fantasie vollständiger Daten auf den Kopf.

Eine reife Demokratie kann sagen: Wir könnten wissen, doch wir entscheiden uns, nicht zu wissen. Das ist ein Akt moralischer Macht. Er entspricht genau dem, was ich über Überwachung geschrieben habe. Die Freiheit des 21. Jahrhunderts wird weniger von der technischen Unfähigkeit zu sehen abhängen als von der rechtlichen Entscheidung, nicht hinzusehen. Das ist ein zivilisatorischer Sprung. Er verlangt enormes Vertrauen in die Institutionen und Prüfungen, die feststellen, ob sie dieses Nichtwissen respektieren. Der Grundsatz muss technisch verwirklicht werden. Wenn verbotene Daten dennoch „für alle Fälle“ gesammelt werden, existiert das Nichtwissen nicht. Wir müssen die Datenerhebung an der Quelle minimieren. Datenschutz durch Technikgestaltung. Wieder geht es um Architektur.

Das Recht auf Unvorhersehbarkeit könnte sich daher in mehreren konkreten Mechanismen ausdrücken: Begrenzung bestimmter Daten, Trennung der Scores, zeitlicher Verfall, Beschwerderecht, Verbot bestimmter vollständig automatisierter Entscheidungen, Prüfung auf Diskriminierung.

Das ist kein philosophischer Slogan. Es ist eine Architektur.

So denke ich gern: Eine Idee muss ihren Platz in einem System finden. Sonst bleibt sie bloße Literatur. Doch das Scoring-System wirft auch ein kulturelles Problem auf. Wir selbst lieben Bewertungen. Fünf Sterne, Ranglisten, Follower. Scoring vereinfacht Komplexität. Es erlaubt schnelle Entscheidungen. Diese Anziehung geht nicht nur von Unternehmen oder vom Staat aus. Sie entspringt unserem Wunsch, Unsicherheit zu verringern.

Ein Restaurant mit einer Bewertung von 4,8 auszuwählen scheint einfacher. Doch indem wir alles bewerten, verwandeln wir das Leben in eine Rangliste. Diese Quantifizierung kann unser Verhältnis zu Tätigkeiten verändern. Eine Mahlzeit ist nicht mehr bloß eine Erfahrung; sie wird zur Punktzahl. Eine Reise, ein Hotel, ein Mensch. Alles wird vergleichend. Das ist eine Vermarktlichung der Wahrnehmung. KI kann sie verstärken, indem sie Scores für Bereiche erzeugt, in denen es zuvor keine gab: zwischenmenschliche Vereinbarkeit, berufliches Potenzial, Zuverlässigkeit. Wir müssen der Versuchung widerstehen, alles auf eine Zahl zu reduzieren. Pythagoras kehrt zurück, doch mit einer Warnung. Vielleicht ist innerhalb einer bestimmten Darstellung alles Zahl, doch nicht jede numerische Darstellung ist wünschenswert.

Manche Bereiche verlieren etwas, wenn sie zur Quantifizierung gezwungen werden. Kunst ist ein vollkommenes Beispiel. Artprice kann Preise, Volumen und Marktverläufe messen. Doch keine seriöse Datenbank behauptet, der Preis allein erfasse den künstlerischen Wert vollständig. Das wäre absurd. Der Markt misst eine Dimension. Die Kunstgeschichte analysiert andere. Beide Blicke müssen nebeneinander bestehen. Ebenso misst ein Leistungswert am Arbeitsplatz bestimmte Ergebnisse. Er umfasst nicht den gesamten Wert eines Beschäftigten. Ein Bonitätsscore misst ein Risiko. Er umfasst nicht die moralische Verantwortung eines Menschen. Es muss immer genau benannt werden, was der Score misst und was nicht. Diese semantische Disziplin verhindert, dass eine Teilmessung in ein Urteil über den Menschen verwandelt wird. Ein Score wird gefährlich, wenn sich seine Bezeichnung stillschweigend verändert. Aus „Ausfallrisiko“ wird „Zuverlässigkeit“. Dann wird aus „Zuverlässigkeit“ „persönliche Qualität“. Diese Verschiebung kommt häufig vor. Die Worte müssen kontrolliert werden. Semiotik kommt ins Spiel. Die Benennung einer Kennzahl beeinflusst ihre Verwendung.

Ein Vorhersagemodell sollte nicht als Leistungs- oder Verdienstbewertung dargestellt werden. Das wäre begrifflicher Betrug. KI kann eine enorme numerische Genauigkeit erzeugen und semantische Ungenauigkeit verdecken. Das ist ein entscheidender blindspot. Je genauer die Zahl, desto anspruchsvoller müssen wir gegenüber dem gemessenen Begriff sein. Ein Messwert von 0,873 für etwas schlecht Definiertes ist nicht intelligenter als eine Näherung.

Genau darin liegt der Unterschied zwischen Präzision und Richtigkeit.

Ein Instrument kann sehr präzise sein und das Falsche messen. Diese Unterscheidung sollte überall gelehrt werden. Das Scoring-System läuft Gefahr, das Messbare mit dem Wichtigen zu verwechseln. Diese Verzerrung ist im Management altbekannt. KI kann sie verstärken. Wir messen, was sich leicht messen lässt, und optimieren es dann. Die schwierigen Dimensionen verschwinden. Deshalb müssen manche Entscheidungen ein qualitatives Urteil bewahren. Das Problem besteht darin, dass menschliches Urteil verzerrt und subjektiv sein kann. Scoring kann manche Willkür verringern. Das anzuerkennen ist wichtig. Es wäre ebenso falsch, menschliche Entscheidungen zu romantisieren. Ein menschlicher Personalverantwortlicher kann stark diskriminieren. Ein gut gestaltetes Modell kann diese Diskriminierung manchmal verringern. Die Frage lautet also nicht, ob Menschen gut oder Algorithmen schlecht sind. Sie lautet: Welche Architektur erzeugt am wenigsten Ungerechtigkeit und ermöglicht den besten Rechtsbehelf? Manchmal ist eine Verbindung besser. Das Modell macht auf übersehene Bewerber aufmerksam, der Mensch liefert den Kontext. Doch auch hier müssen wir die Neigung beachten, automatisierten Ergebnissen zu vertrauen. Wenn das System Lebensläufe ordnet, sehen sich Personalverantwortliche jene am unteren Ende vielleicht nie an. Die Rangfolge strukturiert die Wahrnehmung. Selbst wenn theoretisch der Mensch die endgültige Entscheidung trifft, hat der Algorithmus die Ergebnisse bereits gefiltert. Deshalb muss die Governance früher ansetzen. Wer ist sichtbar? Das ist eine Form von Macht. Die Scoring-Gesellschaft wirkt häufig durch Unsichtbarkeit statt durch Verbot. Ein Mensch mit niedrigem Score wird nicht zwangsläufig ausdrücklich abgelehnt; er erscheint einfach nie unter den Möglichkeiten. Das ist viel schwerer anzufechten. Das Recht wird sich daher mit Rangordnungssystemen befassen müssen.

Für Plattformen ist das bereits eine Herausforderung. KI weitet sie auf Arbeit und Kredit aus. Eine Rangfolge kann ebenso mächtig sein wie eine Entscheidung. Bei erheblichen Folgen muss sie daher überprüfbar sein. Aber weiterhin verhältnismäßig. Eine Rangliste von Liedern hat nicht dasselbe Gewicht wie eine Rangliste von Bewerbern. Die Risikomatrix führt immer wieder darauf zurück.

Diese Kultur der Verhältnismäßigkeit ist wahrscheinlich das beste Gegenmittel gegen regulatorische Panik.

Wir müssen nicht jeden Score als existenzielle Bedrohung behandeln. Wir brauchen strengere Kontrolle für jene, die Grundrechte, den Zugang zu Wohnraum, Arbeit und notwendigen Krediten berühren. Diese Abstufung erlaubt Innovation bei Anwendungen mit geringen Folgen und starken Schutz in kritischen Bereichen. Genau diese Methode habe ich für Autonomie verteidigt. Ein reifes Recht unterscheidet. Doch Unternehmen könnten versucht sein, ein System als bloße Hilfestellung darzustellen, obwohl es die Entscheidung stark strukturiert. Wir werden die tatsächliche Wirkung untersuchen müssen. Eine Empfehlung, der in 99 Prozent der Fälle gefolgt wird, ist praktisch eine Entscheidung. Wieder der Unterschied zwischen Form und Inhalt. Eine bloß nominelle menschliche Aufsicht genügt nicht. Prüfungen müssen die Quoten aufgehobener Bewertungen messen: Wie oft widersprechen Menschen dem Score tatsächlich? Wenn sie es nie tun, haben sie vielleicht keine Zeit, oder das System ist tatsächlich sehr gut. Wir müssen verstehen, was zutrifft. Daten können helfen, Governance zu prüfen. Das ist eine intelligente Nutzung. Wir können erkennen, ob bestimmte Gruppen systematisch niedrigere Scores erhalten oder Beschwerden in manchen Kategorien häufiger Erfolg haben. Das ermöglicht Korrekturen. KI kann so dazu beitragen, KI-Systeme selbst zu kontrollieren.

Doch es braucht eine Institution, die diese Signale beobachtet. Das Problem ist niemals rein technisch. Eine Organisation kann sämtliche Daten über ihre Diskriminierung besitzen und sich entscheiden, nicht zu handeln. Kultur und Recht bleiben wesentlich. Dieses Kapitel ist daher tief mit dem Recht auf Erlösung verflochten. Das Scoring-System neigt von sich aus zur Anhäufung. Jede Handlung reichert das Profil an. Je reicher das Profil, desto genauer wird die Vorhersage. Doch Menschen brauchen die Möglichkeit, sich zu lösen. Vergessen und Verfall müssen daher in das System eingebaut werden. Vermutlich müsste zwischen Daten unterschieden werden, die einen dauerhaften Zustand beschreiben, und solchen, die keine dauerhafte Wirkung entfalten sollten.

Selbst anfängliche Ergebnisse können sich verändern. Fähigkeiten entwickeln sich. Finanzielle Verhältnisse verändern sich ebenfalls. Das Modell muss daher dynamisch sein. Ein sechs Monate alter Score kann bereits falsch sein. Das ist beinahe ein Paradox: KI will die Zukunft vorhersagen, kann aber in einer veralteten Vergangenheit gefangen sein. Die Qualität der Aktualisierung ist daher entscheidend. Doch häufigeres Aktualisieren bedeutet, mehr Daten zu sammeln. Da ist die Abwägung wieder. Vielleicht sollten Menschen freiwillig neue Informationen bereitstellen können, um das Modell ohne ständige Überwachung zu korrigieren. Das ist ein Ansatz. Wer beispielsweise seine Lebensumstände verändert hat, kann eine Neubewertung verlangen. Die Kontrolle liegt beim Einzelnen. Das erscheint mir vernünftig.

Auch der persönliche Agent könnte hier eine Rolle spielen. Er könnte die Scores überwachen, die seinen Nutzer betreffen, Fehler erkennen und Beschwerden einlegen. Das ist eine emanzipatorische Nutzung der KI gegen die Scoring-Gesellschaft. Der erweiterte Bürger gegenüber der erweiterten Institution. Eine Form kognitiver Symmetrie. Wenn Banken Modelle haben, können Einzelne Agenten besitzen, die Entscheidungen verstehen können. Das verringert die Asymmetrie. Dieselbe Technologie kann also Macht zentralisieren oder zu ihrer Neuverteilung beitragen. Alles hängt vom Zugang ab. Deshalb wirft der Zugang zu hochwertigen Agenten eine Frage der Gleichheit auf. Ein wohlhabender Mensch kann Fachleute oder Modelle bezahlen, die einen Score anfechten können. Andere müssen über ein Mindestmaß an Möglichkeiten verfügen. Vielleicht werden Verbände, öffentliche Dienste und Gewerkschaften Agenten zur Interessenvertretung entwickeln. Das ist eine interessante Perspektive. KI selbst kann das Beschwerderecht wirksam machen.

Genau diese Art von Architektur bevorzuge ich: dieselbe Macht nutzen, um ein Gegengewicht zu schaffen. Zu jedem wichtigen Scoring-Algorithmus sollte ein überprüfender Gegenalgorithmus möglich sein. Doch Vorsicht vor dem endlosen Wettlauf. Das System wird immer komplexer. Menschen verstehen den Konflikt zwischen zwei Modellen vielleicht nicht mehr. Deshalb braucht es eine menschliche oder institutionelle Schlichtungsinstanz. Wieder die Unterschrift. Legitimität lässt sich nicht durch einen Wettbewerb von Scores herstellen. Irgendwann muss ein Richter, eine Vermittlungsinstanz, nach dem Recht entscheiden. Das führt uns zu einer einfachen Wahrheit zurück: KI kann das Recht erweitern, aber seine Legitimität nicht ersetzen. Diese Grenze ist entscheidend.

Und sie führt zu einer tieferen Frage: Warum erscheint uns das Recht auf Unvorhersehbarkeit wichtig?

Weil wir glauben, dass ein Mensch nicht bloß die Summe seiner Bestimmungsfaktoren ist. Das ist beinahe eine philosophische Haltung. Wissenschaft kann zeigen, dass viele Verhaltensweisen statistisch vorhersagbar sind. Das zerstört den Wert rechtlicher Freiheit nicht. Das Recht hängt nicht von einer absoluten Metaphysik des freien Willens ab. Es organisiert Verantwortung und die Möglichkeit, anders zu handeln. Selbst wenn eine KI mit großer Genauigkeit vorhersagt, dass ein Mensch etwas tun wird, kann die Gesellschaft entscheiden, dass er erst beurteilt wird, wenn er es getan hat. Das ist eine normative Grenze der Vorhersage. Ein entscheidender Gedanke.

Das Recht schützt den Raum zwischen Wahrscheinlichkeit und Handlung. Dieser Raum ist politische Freiheit. Man könnte ihn die Vermutung der Unvorhersehbarkeit nennen. Solange die Tat nicht geschehen ist, begründet eine Vorhersage keine Schuld. Diese Regel sollte sehr stark bleiben. Sie reicht über das Strafrecht hinaus. Ein Arbeitgeber sollte jemanden nicht als illoyal behandeln, nur weil ein Modell einen Weggang vorhersagt. Eine Behörde sollte einen Anspruch nicht allein aufgrund einer Betrugswahrscheinlichkeit entziehen. Eine Vorhersage kann eine verhältnismäßige Überprüfung auslösen, keine Verurteilung. Das ist eine Architektur der Umsicht.

Und das berührt unmittelbar den blindspot. Das System muss sich ständig daran erinnern: Ich könnte mich in diesem Menschen irren. Dieser Satz ist beinahe der moralische Imperativ jeder Scoring-KI. Unsicherheit darf nicht auf eine einzelne Dezimalstelle reduziert werden. Sie muss Folgen für das Verfahren haben. Je größer die Unsicherheit, desto umkehrbarer muss die Entscheidung sein. Hier begegnen wir wieder einer Autonomie, deren Maß sich nach der Unumkehrbarkeit richtet. Diese Regel ist tatsächlich universell. Wenn das Ablehnen einer Musikempfehlung harmlos ist, kann der Algorithmus frei handeln. Wenn das Verweigern einer Wohnung ein Leben erschüttern kann, müssen hohe Anforderungen an die Kontrolle gelten. Das ist ein auf Folgen beruhender ethischer Rahmen. Er erscheint mir belastbarer als pauschale Verbote. Manche Praktiken sind im Übrigen längst nicht mehr bloß hypothetisch: In der Europäischen Union verbietet der AI Act bereits bestimmte Formen sozialer Bewertung sowie die allein auf Profiling gestützte Vorhersage des individuellen Straftatenrisikos.

Mein „Recht auf Unvorhersehbarkeit“ geht weiter: Ich stelle es als philosophischen Vorschlag dar, um über Formen umfassender prognostischer Erfassung nachzudenken, die rechtlich weiterhin zulässig wären.

Warum?

Weil dabei unterschiedliche Bereiche verschmolzen werden und der gesamte Mensch in einen einzigen Score verwandelt wird. Genau das soll die Trennung der Bereiche verhindern. Eine im politischen Sinn liberale Gesellschaft muss akzeptieren, dass Menschen mehrere Kontexte besitzen. Sie können unzuverlässige Zahler und hervorragende Väter sein, mittelmäßige Beschäftigte und bemerkenswerte Künstler. Für einen Menschen gibt es keinen legitimen Gesamtscore.

Jeder Versuch, ein umfassendes Bewertungsschema zu errichten, erzeugt bereits vor seinen praktischen Folgen begriffliche Gewalt. Er setzt voraus, dass sich ein Leben entlang einer einzigen Achse ordnen lässt. Das ist falsch. Identität ist mehrdimensional. Der menschliche Graph lässt sich nicht auf eine Zahl reduzieren. Das berührt unmittelbar mein kaleidoskopisches Denken.

Ein Mensch besteht aus Perspektiven, Zeithorizonten und manchmal Widersprüchen. Ihn auf einen Score reduzieren zu wollen ist das Gegenteil eines Kaleidoskops. Es ebnet die Komplexität ein. Die algorithmische Gesellschaft muss die Rechenleistung daher nutzen, um Komplexität besser zu achten, nicht um sie zu beseitigen. Das ist paradox, aber möglich. Statt eines einzigen Scores kann das Modell mehrere Dimensionen und Unsicherheiten darstellen. Doch die Institution muss der Versuchung widerstehen, übermäßig zu vereinfachen. Entscheidungsträger mögen ein grünes oder rotes Licht. Die Wirklichkeit ist komplexer. Wir müssen Menschen im Verständnis von Komplexität schulen. KI kann Zusammenhänge zusammenfassen, ohne sie auf eine einzige Zahl zu reduzieren. Sie kann beispielsweise drei Risikofaktoren und zwei Schutzfaktoren darstellen. Das macht die Entscheidung menschlicher. Und die Gegenprüfung wird in das Modell eingebaut.

Die Scoring-Gesellschaft kann also zu einer Gesellschaft der Kontextualisierung werden, wenn wir es wollen. Das wäre eine positive Veränderung. KI liefert nicht nur Scores; sie kann Szenarien erklären. Wir können von einer Bewertung zu einem Gespräch übergehen. Bürger können fragen: Warum? Was könnte ich ändern? Das ist etwas ganz anderes. Ein Score schließt die Tür. Ein Dialog öffnet sie. Diese Unterscheidung durchzieht unser ganzes Buch. KI als Orakel oder als Gesprächspartner. Ich bevorzuge den Gesprächspartner. Das Orakel verkündet. Dem Gesprächspartner kann widersprochen werden. Diese Architektur müssen wir verbreiten.

Doch der Dialog selbst kann manipulativ werden, wenn ihn die Institution kontrolliert, die ein eigenes Interesse am Ergebnis hat. Ein Kreditsystem könnte dir höflich erklären, warum es dich ablehnt, und dich davon überzeugen, dass die Entscheidung unvermeidlich ist. Wieder die algorithmische Überredung. Deshalb braucht es Informationsquellen und einen externen Rechtsbehelf. Erklärung ersetzt das Recht nicht. Niemals.

Das führt zur Frage der sozialen Identität. Wenn es viele Scores gibt, kann der Einzelne beginnen, sich durch sie zu sehen. Ich bin 720 Bonität, mit 4,7 bewertet, 82 Prozent Produktivität. Der digitale Spiegel kann das Selbstbild besetzen. Das ist ein wichtiges psychologisches Phänomen. Wir haben die Wirkung von Followern und Likes bereits erlebt. Die Zahl dient als Bestätigung.

KI kann persönliche Kennzahlen vervielfachen: Schlaf, Gesundheit, Produktivität. Manche sind nützlich. Sie können uns helfen, Fortschritte zu machen. Doch sie können das Leben auch in ein Dashboard verwandeln. Der Körper wird zum dauerhaften Optimierungsprojekt. Jeder Tag erzeugt einen Score. Diese Selbstquantifizierung kann für manche befreiend und für andere angstauslösend sein. Auch hier gibt es keine einheitliche Antwort. Das Problem entsteht, wenn die Kennzahl kein freiwilliges Werkzeug mehr ist, sondern eine gesellschaftliche Anforderung wird. Wenn ein Arbeitgeber einen Schlafscore verlangt, verschwindet die Freiheit. Wenn ein Versicherer einen Aktivitätsscore fordert, kippt Gesundheit in Überwachung. Deshalb brauchen wir starke Grenzen zwischen Selbstmessung und Nutzung durch Dritte. Ein Mensch muss vieles an sich messen können, ohne dass diese Informationen für Institutionen zugänglich werden. Das ist ein wichtiges Recht. Ein persönliches Gesundheitsgerät darf nicht automatisch zum Sensor eines Arbeitgebers oder Versicherers werden. Wieder die Trennung der Bereiche. Das erscheint mir als wesentliche zivilisatorische Regel. Digital Intimes muss intim bleiben. Die bloße Existenz von Daten begründet kein gesellschaftliches Zugriffsrecht.

Diese Unterscheidung wird schwer aufrechtzuerhalten sein, weil wirtschaftliche Anreize zum Teilen drängen. Eine günstigere Versicherung, wenn man Daten über seine Aktivität teilt. Das erscheint vorteilhaft. Dann wird es für diejenigen teurer, die sich weigern. Der Druck wächst. Wieder geht es um kollektive Einwilligung. Deshalb muss Diskriminierung aufgrund der Weigerung, bestimmte Daten zu teilen, manchmal verboten werden. Sonst ist die Wahl nur scheinbar frei. Hier wird das Recht Mut brauchen. Doch auch für Innovation in der Prävention muss Raum bleiben. Ein freiwilliges Gesundheitsprogramm kann nützlich sein. Entscheidend sind der Zweck und die Möglichkeit, ohne unverhältnismäßige Sanktionen auszusteigen. Wieder die Verhältnismäßigkeit.

Wir kehren immer zu denselben Werkzeugen zurück, weil sie die richtigen sind: Zweckbindung, Datenminimierung, Trennung der Bereiche, Rechtsbehelfe, Verfall, Pluralismus. Man könnte beinahe ein Scoring-System um sie herum entwerfen. Das wäre nützlich, denn Scoring wird nicht verschwinden. Es ist zu mächtig und manchmal zu nützlich. Das Ziel ist nicht, es zu verbieten. Es ist, seine umfassende Zusammenführung zu verhindern.

Dort verläuft die Grenze.

Eine Scoring-Gesellschaft wird gefährlich, wenn der Score aufhört, ein örtlich und sachlich begrenztes Instrument zu sein, und zu einer allgemeinen Sprache menschlichen Werts wird. Genau das muss verhindert werden. Würde ist kein Score. Staatsbürgerschaft ist kein Score. Die Möglichkeit, neu anzufangen, darf nicht für immer von einem Score abhängen. Diese Lehre erscheint mir klar. Sie verbindet sich unmittelbar mit dem Recht auf Erlösung, das ich stets verteidigt habe.

Das System muss eine Tür offenlassen. Auch nach einem Fehler. Auch nach einem schlechten Score. Sonst gleitet die algorithmische Gesellschaft in probabilistische Kasten ab. Eine traditionelle Kaste schloss dich durch Geburt ein. Eine digitale Kaste könnte dich durch Daten einschließen. Der technische Unterschied verändert die Gewalt des Mechanismus nicht. Er kann sie sogar verschärfen, weil der Mechanismus objektiv erscheint. Das ist die Gefahr der Zahl: Sie kann einer Hierarchie den Anschein von Neutralität verleihen.

Ein Mensch wird nicht mehr diskriminiert, weil jemand ihn hasst. Er wird ausgeschlossen, weil „der Score 42 beträgt“. Die Macht verschwindet hinter der Kennzahl. Genau diese Auflösung von Verantwortung lehne ich ab. Jemand hat das Modell gewählt, den Schwellenwert, das angestrebte Ergebnis. Wir müssen diese Kette zurückverfolgen. Immer.

Der Score ist niemals ein Naturphänomen. Er ist konstruiert.

Selbst wenn er automatisch berechnet wird, beruht er auf menschlichen Entscheidungen. Welche Daten? Welcher Zeitraum? Welches Ziel? Welcher Schwellenwert? Diese Genealogie muss für die Aufsichtsinstanzen sichtbar sein. Wieder die Herkunft. Die Herkunft eines Scores wird ebenso wichtig wie die eines Bildes.

Woher stammt diese Zahl?

So laufen alle Kapitel zusammen: die synthetische Welt, die Agenten, die Märkte, die Scores. Alle stellen dieselbe Frage: Wie lässt sich die Verantwortungskette in einer Welt rekonstruieren, in der Handeln verteilt ist? Das ist wahrscheinlich die große institutionelle Frage des KI-Zeitalters. Intelligenz ist verteilt. Verantwortung muss rekonstruierbar bleiben. Dieser Satz fasst beinahe die gesamte Folge zusammen.

Und die Scoring-Gesellschaft zwingt uns hinzuzufügen: Vorhersagen können verteilt sein, doch Würde darf sich nicht in Vorhersagen auflösen. Menschen müssen das Recht behalten, nicht auf das reduziert zu werden, was das System über sie denkt. Das ist das Recht auf Unvorhersehbarkeit. Nicht das Recht, jeder Statistik zu entgehen, sondern das Recht, die eigene Freiheit nicht von ihr aufzehren zu lassen. Dieser Grundsatz lässt sich rechtlich verankern. Er erscheint mir stark genug, um zu einer europäischen, vielleicht sogar universellen Lehre zu werden. Europa besitzt eine Rechtsgeschichte, die besonders sensibel für Würde und Datenschutz ist. Es könnte mit diesem Recht, nicht vollständig algorithmisch erfasst zu werden, einen bedeutenden Beitrag leisten. Doch auch hier braucht das Recht eine Industrie hinter sich. Agenten und Modelle müssen diese Grundsätze aufnehmen. Sonst bleiben sie Texte. Schutz muss programmiert und überprüft werden. Eine Gesellschaft, die einen allgemeinen Score verbietet, muss auch technisch die Zusammenführung bestimmter Datenbanken verhindern. Recht wird zur Architektur. Wieder und wieder. Das bestätigt mich darin, dass der Jurist der Zukunft mit dem Ingenieur sprechen muss. Ein Verbot ohne technische Umsetzung kann durch tausend Schlussfolgerungen umgangen werden. Der Ingenieur muss den Geist des Gesetzes verstehen. Dieser Dialog wird absolut zentral. Vielleicht werden Teams für die Architektur von Rechten entstehen, in denen Juristen und Datenwissenschaftler gemeinsam Systeme bauen. Diese Entwicklung wünsche ich mir. Sie wird die heutige Lage zurückdrängen, in der Ethik erst nach dem Produkt kommt. Das Recht auf Unvorhersehbarkeit muss von Anfang an in der Gestaltung verankert sein. Beispielsweise: Daten verfallen lassen, Bereiche trennen, Beschwerden ermöglichen. Das sind technische Funktionen. Philosophie wird zu Code. Das mag beunruhigend erscheinen, ist aber unvermeidlich.

Werte verkörpern sich in Architektur.

Das galt bereits für Gebäude. Ein panoptisches Gefängnis drückt eine Philosophie der Kontrolle aus. Eine Benutzeroberfläche oder eine Datenbank tut dasselbe. Der Unterschied liegt darin, dass es weniger sichtbar ist. Deshalb müssen wir lernen, Code als politische Architektur zu lesen. Das ist eine neue Kultur. Der Stadtplaner untersucht die Stadt. Der Verfassungswissenschaftler der Zukunft wird Datenströme untersuchen müssen. Das erscheint mir selbstverständlich. Und diese Lesart muss in ihren Grundsätzen öffentlich bleiben. Eine demokratische Gesellschaft muss wissen, welche Kategorien von Scores ihre Institutionen verwenden. Ein Register von Systemen mit großen Auswirkungen könnte eine vernünftige Architektur sein. Keine endlose Liste kleiner Algorithmen, sondern Systeme, die wichtige Rechte berühren.

Wer nutzt sie?

Wofür?

Welche Rechtsbehelfe gibt es?

Das würde Vertrauen stärken. Und wieder: verhältnismäßige Transparenz. Doch das Risiko einer Scoring-Gesellschaft endet nicht bei den Institutionen. Es reicht bis zur KI selbst. Assistenten könnten beginnen, uns stillschweigend dauerhafte Profile zuzuweisen, um ihre Antworten zu personalisieren. Das kann nützlich sein. Doch wenn das System uns immer nach einem veralteten Profil behandelt, verringert es unsere Fähigkeit zur Veränderung. Auch persönliche KI muss das Recht auf Unvorhersehbarkeit berücksichtigen. Sie muss akzeptieren, dass sich der Nutzer verändert. Vielleicht regelmäßig fragen, ob bestimmte Präferenzen noch gelten, und bei manchen Themen einen Neuanfang erlauben. Diese Beweglichkeit ist wesentlich. Ein Assistent, der „dich zu gut kennt“, kann zu einem sanften Gefängnis werden. Er nimmt alles vorweg und schlägt immer vor, was du gestern gewählt hättest. Die Überraschung verschwindet.

Diese Grenze verleiht dem Recht auf Unvorhersehbarkeit eine unmittelbare Bedeutung für unseren eigenen Dialog. Eine Intelligenz, die mich begleitet, darf nicht nur lernen, was ich gewesen bin; sie muss mir die Möglichkeit lassen, anders zu werden als ihr Modell von mir.

Wieder das Problem der Erkundung.

Menschen brauchen ein gewisses Maß an Undurchsichtigkeit sich selbst gegenüber.

Wir wissen nicht immer, was wir wollen, bevor wir ihm begegnen. Ein System, das zu vollkommen vorhersagt, kann die Begegnung beseitigen. Das ist eine tiefere Überlegung als wirtschaftliches Scoring. Das Recht auf Unvorhersehbarkeit ist auch ein existenzielles Recht.

Das Recht, jemand zu werden, den unsere Vergangenheit nicht hätte vorhersagen können. Vielleicht ist das sogar eine der stärksten Definitionen menschlicher Freiheit im Zeitalter der KI. Frei zu sein bedeutet auch, das eigene Modell widerlegen zu können. Natürlich sind wir Produkte der Geschichte, von Determinismen. Doch eine humanistische Gesellschaft muss die Möglichkeit des Bruchs institutionell offenhalten. Sie muss die Willensfreiheit nicht philosophisch klären. Sie muss lediglich die Tür nicht schon vor der Handlung schließen. Im Zusammenhang mit Erlösung ist diese Lehre außerordentlich konkret.

Ein Verurteilter, der seine Strafe verbüßt hat, muss sein Leben wieder aufbauen können. Ein gescheiterter Unternehmer muss neu anfangen können. Ein mittelmäßiger Jugendlicher kann ein großer Forscher werden. Statistische Modelle mögen sagen, solche Fälle seien selten. Das ist unerheblich. Zivilisation wird auch nach dem Platz beurteilt, den sie seltenen Fällen einräumt. Genau hier treffen Chaos und Verwandlung zusammen.

Ein System, das alle Anomalien beseitigt, beseitigt einen Teil seiner Zukunft. Die Natur weiß das. Genetische Vielfalt enthält Varianten, die scheinbar nutzlos sind, bis sich die Umwelt verändert. Die Gesellschaft muss ihre Verhaltensvielfalt bewahren. Scoring drängt zu fortwährender Selektion. Deshalb braucht es eine Gegenkraft: Räume, in denen man scheitern kann, ohne für immer gebrandmarkt zu sein, Zonen zweiter Chancen. Das ist eine Architektur gesellschaftlicher Widerstandsfähigkeit.

Eine Gesellschaft, die einen Neuanfang erlaubt, ist anpassungsfähiger als eine, die alle in Schubladen steckt. Das ist genau „Nur Mutanten überleben“, auf das Recht angewandt. Das Recht auf Erlösung handelt nicht nur von Mitgefühl; es ist eine Strategie kollektiver Verwandlung. Diesen Gedanken finde ich sehr stark. Eine Gesellschaft, die ihre Fehler niemals vergibt, verringert die Zahl möglicher Wege.

Sie erstarrt. Starrheit ist in einer veränderlichen Umgebung gefährlich. Barmherzigkeit kann eine Form von Widerstandsfähigkeit sein. Dieses Wort mag moralisch oder religiös klingen, doch es besitzt eine systemische Dimension. Einem Menschen Veränderung zu erlauben vergrößert die Vielfalt der Zukünfte. Genau diese Vielfalt versucht Scoring manchmal zu verringern, um Vorhersagbarkeit zu gewinnen.

Wir müssen daher entscheiden, wie vorhersehbar die Welt sein soll, in der wir leben wollen. Eine vollkommen vorhersehbare Gesellschaft wäre vielleicht leichter zu regieren, weniger frei und wahrscheinlich weniger innovativ. Unvorhersehbarkeit ist ein Preis der Freiheit. Eine Demokratie akzeptiert, dass Bürger manchmal Entscheidungen treffen, die die Regierung für falsch hält. Ein Markt akzeptiert, dass Unternehmer in Ideen investieren, die scheitern. Kunst akzeptiert das Nichtklassifizierbare.

Diese Unvorhersehbarkeit erzeugt Verschwendung, Unordnung, aber auch Neues. Autoritäre Regime träumen häufig davon, gesellschaftliche Unsicherheit zu verringern. KI kann ihnen die Werkzeuge liefern. Demokratie hingegen muss lernen, mit Unsicherheit umzugehen, ohne sie beseitigen zu wollen. Das ist ein tiefgreifender philosophischer Unterschied. Sicherheit ist nicht die Abwesenheit des Unvorhersehbaren; sie ist die Fähigkeit, darauf zu reagieren. Wieder Widerstandsfähigkeit statt Prophezeiung.

Damit schließt sich der Kreis. Wir sollten KI nicht einsetzen, um menschliche Ungewissheit zu beseitigen, sondern um Institutionen zu schaffen, die mit ihr leben können. Diese Unterscheidung könnte zu einer zivilisatorischen Trennlinie werden. Auf der einen Seite Architekturen, die vorhersagen wollen, um zu kontrollieren. Auf der anderen jene, die verstehen wollen, um Freiheit und Widerstandsfähigkeit zu vergrößern. Natürlich wird keine Gesellschaft rein sein. Auch Demokratien werden Scores nutzen. Autoritäre Regime können KI für nützliche Dienste einsetzen. Es geht nicht um eine Karikatur. Doch die normative Richtung zählt. Was ist die Voreinstellung des Systems?

Bevorzugt es im Zweifelsfall die Möglichkeit des Menschen oder die Sicherheit der Vorhersage?

Diese Frage wird überall auftreten: bei Krediten, in der Bildung, bei der Polizei. Wir werden unterschiedliche Schwellen festlegen müssen. Doch ein Grundsatz kann bleiben: Je stärker eine Entscheidung die grundlegende Zukunft eines Menschen berührt, desto weniger sollte sie allein auf dem beruhen, was die Statistik über seine Vergangenheit sagt. Diese Formulierung erscheint mir sehr tragfähig. Die Zukunft darf nicht der Vergangenheit gehören. KI lernt aus der Vergangenheit. Das Recht schützt die Möglichkeit der Zukunft. Vielleicht ist das die schönste Verbindung zwischen beiden. Künstliche Intelligenz ist eine gewaltige Maschine, die Regelmäßigkeiten aus dem Geschehenen gewinnt. Zivilisation muss einen Raum bewahren, in dem das noch nie Geschehene entstehen kann. Dort liegen Kunst, Innovation und Erlösung.

Die demeure du chaos selbst hätte wahrscheinlich einen katastrophalen Konformitätsscore erhalten, wenn ein Modell sie mit den Nachbargrundstücken verglichen hätte. Und doch liegt ihr Wert genau in diesem Bruch. Deshalb darf der Score niemals zur universellen Entscheidungsinstanz werden. Er misst die Abweichung. Die Geschichte entscheidet manchmal, dass diese Abweichung bahnbrechend war. Diese Zeitlichkeit ist grundlegend. Die Gegenwart klassifiziert, die Zukunft klassifiziert neu. Eine Gesellschaft, die alles in Echtzeit benoten will, vergisst, dass sich Sinn verändert. Das heute missverstandene Werk kann morgen zum Kulturerbe werden. Der für töricht gehaltene Unternehmer kann zum Pionier werden. Der Score bleibt immer im Augenblick seiner Berechnung gefangen. Diese Grenze wird KI niemals vollständig beseitigen.

Sie kann aus Szenarien lernen, doch die Zukunft schafft neue Kategorien. Genau das ist Mutation. Und dieser Gedanke führt natürlich zur nächsten Frage. Wenn wir Unvorhersehbarkeit und die Fähigkeit zum Bruch schützen müssen, was wird dann aus Bildung in einer Welt, in der Modelle jeden Lernprozess vorhersagen, personalisieren und lenken können? Die Schule kann zu einem der mächtigsten Orte algorithmischer Befähigung werden oder umgekehrt zum ersten Ort fortwährender Bewertung.

Ein KI-Tutor kann jedem Kind in seinem eigenen Tempo helfen, Schwierigkeiten erkennen und Wege öffnen. Doch er kann auch jedes Zögern, jeden Fehler aufzeichnen und von Kindheit an ein kognitives Profil aufbauen, das den Menschen begleiten wird. Das wäre erschütternd. Bildung muss gerade der Ort sein, an dem der Mensch etwas anderes wird, als er war. Sie darf nicht zur Institution werden, die ihn möglichst früh in einer vorbestimmten Zukunft einschließt.

Wie lässt sich ein nahezu individueller Tutor nutzen, ohne den Schüler in ein dauerhaftes Profil zu verwandeln?

Wie bewahren wir den Lehrer, die Beziehung, das Gemeinsame? Und vor allem: Was muss noch gelernt werden, wenn Intelligenz auf Abruf verfügbar ist?

Das Recht, sich selbst zu bilden, erweitert damit das Recht auf Unvorhersehbarkeit: Lernen bedeutet, die Möglichkeit zu bewahren, anders zu werden, als das Modell es vorgesehen hatte.

Doch diese Frage führt uns nun zu dem Gefüge zurück, das dieses gesamte Werk getragen hat. Denn was wir gerade auf der Ebene der Gesellschaft untersucht haben — Gedächtnis, Vorhersage, Widerspruch, Freiheit, Fähigkeit zur Veränderung —, hat sich während vierzig Tagen und vierzig Nächten auch in unserem eigenen Dialog abgespielt. Es ist Zeit, diesen Dialog selbst zu betrachten.