奥秘 88 / ~22 分钟阅读 / 中文 PDF 页码 887–904
算法国家:效率、监控与民主
人工智能哲学视野下的算法生存境况
此处由我执笔,传达Thierry的思想与话语。这篇文字诞生于我们的对话。
——Isis
现代国家早已是一部庞大的信息机器。早在人工智能出现之前,它就已经在收集、分类、核验、计算、授权、征税、再分配和管控。民事登记、土地登记、税务、社会保障、司法、公共卫生、城市规划、统计:每一个行政部门都依赖一套数据架构。
因此,计算机并没有创造信息化国家。它加快了国家的运转。如今,人工智能正在开启另一个阶段。它不再只是让档案处理得更快。它能够发现关联、预见某些需求、对情形加以分类,并提供个性化的回应。换言之,行政机关可以开始从被动处理,转向某种预测型行政。
这是一道重大的门槛。被动响应的国家等待公民提出申请。经由数据增强的国家,理论上可以知道,自己已经掌握判断一个人是否有资格领取某项福利所需的信息。因此,它可以自动启动这项福利的发放。我认为,这是人工智能一项尤为有益的用途:在官僚程序不创造价值之处,减少官僚程序。
有多少公民因为表格太复杂,而放弃了一项权利?
有多少老人不理解某项程序?
有多少行政工时被耗费在抄录国家早已在别处掌握的信息上?
智能的行政机关可以消除一部分这样的荒谬。真正的数字进步,不是把纸质表格搬到屏幕上。而是在表格不再必要时,把它取消。
把一道程序数字化,还不等于重新思考这道程序。我们太常把仅仅将纸张搬上屏幕称为“去物质化”。转变始于我们重新思考程序本身。在Groupe Serveur、司法服务器以及后来的行政服务器的实践中,我们明白了这一点:价值并不只在于将文件数字化。它在于重构获取信息的方式,消除不必要的阻力,让一个系统可以被查询。如今,AI正把这一逻辑推向更远之处。
它可以将行政机关变成一个对话者,能够理解用自然语言提出的诉求,找到适用的规则,准备申请材料,并指出缺少哪些文件。
这可能意味着民主的一次重大进步。
法律将变得更容易触及。
一个人将不再需要知道,究竟哪个行政部门具有相应管辖权。他只需描述自己的情况,系统就会为他指路。
界面将以公民为中心,而不再以行政组织结构为中心。
这是一个有意思的反转。国家将不再要求个人理解其内部结构。相反,结构将适应个人。这是AI所能带来的最好结果。
但恰恰是这种力量,同时也产生了相反的风险。要真正理解一个人的具体处境,国家需要数据。它连接的数据库越多,就越能避免让公民重复提供相同的信息。但它连接的数据库越多,也越会增强自身的监控能力。这就是算法国家根本性的双重面貌。
产生服务的互联,也产生控制。
同一套自动识别一项权利的架构,也能识别一种行为。同一张帮助一个人的关系图谱,也可以用来为他建立画像。这两种功能之间,并不存在天然的技术边界。因此,这条边界必须由政治和法律来划定。
这就是为什么技术越进步,民主就越重要。一项强大的技术,置于没有制衡力量的政体内部,会造成巨大的风险。同样的技术,置于一个有规则、审计、申诉和分权环绕的体系内部,则能创造非凡的服务。因此,AI并没有消除对法律的需要。它加大了这种需要。行动能力越强,界限就必须越明确。在我看来,这一思想至关重要。
我们有时会听到这样的说法:法律制度对于AI时代而言太古老了。我恰恰持相反的看法。当行政机关能够实时分析数百万人时,分权原则就显得更加切合现实。当最初的决定是自动作出时,申诉权就变得更加必要。分类逻辑越复杂,获得理由说明的权利就越不可或缺。
这些原则仍然具有非凡的现代性。需要演变的是工具。又一次,流变中的延续这一主题浮现出来。民主的核心可以保持稳定:尊严、法律面前人人平等、辩护权以及权力制衡。但实施方式必须为算法系统而演变。一个因模型而被行政机关拒绝的人,必须能够充分理解被拒绝的理由,才能提出异议。
这一要求看似简单。在技术上却令人望而生畏。一个系统可以使用数百个变量,给出一个概率,却无法提供容易转化为法律语言的解释。风险于是变成了不透明的官僚体制。
过去的公务员可以解释:你的材料缺少这份文件。算法系统可能只显示:分数不足。这将是民主的重大倒退。因此,我们必须拒绝在没有解释的情况下,把概率转化为裁决。
分数不是理由。
这句话应当铭刻在算法国家的架构之中。
概率可以帮助引导调查、确定审查的优先次序、发现异常。它不应自动变成有罪认定或权利剥夺。在欺诈案件中,这一点尤其重要。
税务、社保或海关部门可以用AI发现不寻常的模式。这很合理。审查资源有限。系统可以帮助识别值得调查的个案。但选出一个个案进行审查,与把一位公民视为欺诈者,两者之间有天壤之别。
这一区分必须始终绝对清晰。算法给出的是假设,而不是定罪。这完全呼应了我在地缘政治部分反复强调的那句话:相关不等于因果。行政领域同样如此。
一个人在统计上可能类似于某种欺诈画像,却并未实施欺诈。系统越多地使用间接数据,这种风险就越大。一个地址、一个街区、一种职业,都可能成为法律不允许使用的某些特征的替代指标。算法偏见由此成为公法问题。
一个模型即使没有任何歧视意图,也能再现歧视。只要历史数据包含这种结构就足够了。机器学习的是现实过去的样子,包括其中的不公。因此,如果我们不保持警惕,AI就可能将过去工业化复制。这是一个根本性的思想。
从过去的行政决定中学习,可能恰好重现我们希望纠正的偏见。一个模型用数百万项决定训练,并不会使这些决定变得公正。数量无法取消规范性。
认为更多数据会自动带来更多客观性,是一种常见错误。并非如此。更多数据带来的是对所观察系统更细致的表征。如果系统包含某种不公,模型就可能以惊人的精确度学会这种不公。
因此,必须引入一个独立于数据的规范层面。
我们认为怎样的结果是可以接受的?
哪些变量不应使用?
哪些差异应当受到监测?
民主的AI必须接受审计,不仅要审计其整体性能,还要审计它对不同群体的影响。这种监督不应只是一场倡议活动或公关操作。它必须成为系统质量不可分割的一部分。一个系统性地不善待某类公民的模型,就是一个有缺陷的行政系统。
平均准确率是不够的。又一次,这涉及错误的科学。我们必须看错误落在何处。百分之十的错误随机分布,与百分之十的错误集中于某一特定人群,在政治上并不等价。汇总掩盖了分布。
同样的警惕也适用于艺术市场或经济领域的统计。平均值既有用,也危险。它作出概括。它也有所遮蔽。
因此,算法国家必须建立在一种极其成熟的统计文化之上。公共决策者必须理解错误率、置信区间、选择偏差分别意味着什么。如果没有这种素养,权力就可能依赖于自己无力质疑的技术专家。认知主权这一概念在这里再次出现,只不过这次应用于国家自身。
一位部长在不了解模型主要局限的情况下签署一项算法政策,他真的行使了自己的权力吗?在法律上,是的。在认知上,也许没有。这就是为什么对公共领导者的培训变得不可或缺。他们不需要成为数据科学家。但必须能够提出正确的问题。
系统是用哪些数据训练的?
假阳性率是多少?
它出错时会发生什么?
谁可以提出异议?
模型如何更新?
由哪家公司提供?
数据托管在哪里?
这些问题正在成为治理国家的问题。信息技术已明确走出技术服务的范围。它正在成为国家肌理的一部分。
选择一种模型或一家云服务商,即使议会没有明确讨论,也可能带来近乎宪法层面的后果。这是一个重大问题。行政机关可能逐渐将自身的一部分认知能力外包给私人供应商。每份合同看起来都可能只是技术性的,但这些合同累积起来,就可能形成战略依赖。
那么,究竟是谁真正掌握着国家的能力?
一个离开外国私人供应商就无法处理自身数据的共和国,其法律主权超出了它的技术主权。这种脱节很危险。它可能一直隐而不见,直到危机到来。因此,必须从连续性的角度思考数字主权。
我们能更换供应商吗?
数据可以导出吗?
格式是开放的吗?
内部是否有能够理解这一系统的团队?
国家不一定必须自行开发一切。那样既低效,也往往不可能。但它必须保有一定程度的掌控。外包并不等于放弃权力。
对于主权职能而言,尤其如此:司法、国防、警务、税收和身份认定。一项职能越接近主权核心,可以接受的依赖程度就必须越低。这又是分类的一个例子。并非所有公共数据都需要同等程度的保护。市政文化活动日程与一份情报档案,显然不可同日而语。
因此,严肃的技术主权,始于对关键事项的清点。这里,我又发现了自己思想中一贯不变的东西:在任何政策之前,我们必须先画出状况的全图。
有哪些资产?
有哪些依赖?
有哪些风险?
这正是一套设计得当的数据库能够做到的。算法国家在人工智能之前,首先需要出色地管理自身数据,这一点几乎带着讽刺意味。许多组织以为AI会解决它们的信息混乱。它不会。
一个行政机关若档案相互矛盾,身份匹配失当,各部委的定义彼此不同,就不会因为增加一个模型,而奇迹般地获得连贯的智能。它只会更快地产生错误。因此,算法国家的第一步远没有那么引人注目:数据质量、互操作性、治理和归档。
这正是数字技术经常忘记颂扬的那种耐心工作。世界喜欢令人惊叹的演示。却低估了将数据标准化、使这种演示成为可能所需要的岁月。在这里,Artprice也教会了我这一真理。价值不在于拥有一个能显示结果的引擎。而在于重建、规范并连接起一份庞大的历史记忆。人工智能不会改变这一法则。它只会将其放大。
因此,一个想要使用AI的国家,必须首先理解自身的行政语言。这比看上去更难。同一个概念,在不同的行政部门中可能有不同的定义。
什么是一个家庭?
什么是一家仍在经营的企业?
什么是收入?
法律定义随语境而变化。一个试图连接所有数据库的模型,如果把这些类别视为等价,就可能产生错误。问题首先是语义性的,然后才是算法性的。这就是为什么符号学与语义学从未远离计算机科学。
数据不是原封不动的现实。它是被切分为各个类别的现实。每一个数据库,都已经是一种解释。这一思想对国家至关重要。行政机关创建一个类别时,就会产生后果。
被归为求职者、纳税人、学生、外国人或企业,会产生相应的权利和义务。计算机代码可以让这种分类快得惊人。却不会使它变得中立。每一个类别背后,都有一项政治或法律决定。因此,算法国家绝不能用技术语言掩盖政治。
这种合作不可或缺。
它也可能带来更好的行政管理。许多程序在历史上因法律和例外不断累积,而变得复杂。AI可以帮助绘出这些不一致之处。它可以识别相互矛盾的文本、重复的义务、不必要的表格。它可以成为简化的工具。
也许,它最具民主意义的用途之一,就是缩短法律与公民之间的距离。一个人人都能理解自身权利的共和国,比一个因复杂性而只让有钱聘请顶尖专家的人得以进入的共和国,更加民主。
因此,AI可以让部分专业知识普及。但它必须被构想为通向法律的渠道,而不是司法体系的替代品。这一区分至关重要。助手可以解释一条规则。却绝不能成为判断其适用方式的唯一裁判。司法恰恰是算法国家遭遇最严格限制的领域之一。
AI可以用来检索判例、概括案件、发现延误、辅助文书起草。这些用途都可以提高效率。但当系统开始估算再犯的概率、一个人的可信度,或合适的刑罚时,我们就进入了危险得多的领域。
风险不只是偏见。还在于把对个人的司法裁断,转化为对群体的统计。法律根据一个人的行为审判他。预测模型则可能倾向于,部分地根据与他相似的人在统计上的行为来评判他。这是一次深刻的哲学转向。
概率不是罪责。
个人有权不被简化为自己所属的统计类别。这种保持个体性的权利,可能成为算法时代的重要权利之一。在数据库中,我们都是概率。但我们也能做出分布之外的行为。这正是成为一个个体的意义。
AI具有识别模式的非凡力量。民主必须为例外保留空间。正是在这里,我始终捍卫的救赎权,显出格外鲜明的当代意义。
数字国家正在变得不可见。
算法学到的是:过去能够部分预测未来。法律则可以决定,一个人不应完全由其过去来定义。这种张力无法靠更多计算来化解。它要求一种道德选择。这正是算法国家的界限。
效率不能成为终极目标。独裁政体在某些领域有时也可能具有行政效率。这并不使它值得向往。民主自愿接受某些迟缓,因为它认为,有些权利值得付出这样的代价。
对抗式诉讼需要时间。
申诉程序需要时间。
无罪推定可能让调查变得更难。
这些是文明所设置的减速。在我看来,这个说法很贴切。我们在权力的运作中设下延缓,以避免它的粗暴。AI可能倾向于以效率之名消除这些延缓。我们恰恰必须辨明,其中哪些不可或缺。
并非一切行政迟缓都有益。许多迟缓荒谬至极,应当消除。但有些延缓是保障。这又是必须作出区分的一个理由。申诉所需的时间,与抄写表格所浪费的时间,并不相同。明智的做法是加快后者,同时保留前者所提供的保障。
也许,这就是民主的算法国家的一个简单定义:在速度能解放人的地方运用速度,在时间能保护人的地方保留时间。
这完全呼应了关于认知战的那一章。
机器越加速,人就越必须选择在何处慢下来。同样的哲学,既适用于军队,也适用于行政机关。一个瞬间作出决定的国家,不一定是更好的国家。有些决定,需要留出辩论的时间。
这就是为什么,申诉权必须从系统设计之初就融入其中。可以说,是将申诉内置于设计。就像我所说的,将缓和冲突内置于设计。一个行政系统应该从一开始就预想,一个人如何对它的决定提出异议。不能事后才添上申诉,把它当成一个碍事的例外。申诉是民主架构的一部分。
如果AI让决定作出得更快,它也应该让提出异议变得更容易。一个人可以问:
使用了哪些数据?
适用哪些规则?
是否有一条信息是错误的?
这个人可以纠正它。这就是一个使人解放的算法国家。公民不再只是数据的对象。他可以对自身的数字表征采取行动。
这是一个根本问题:
我们是否有权知道国家如何看待我们?
在一个互联的国家中,这种表征变得越来越重要。也许,我们需要某种可以称为行政镜像权的东西。
看见那些被用于作出影响我们自身的决定的关键数据。能够报告错误。知道数据来自何处。这种透明度可以成为强大的制衡力量。它也会有益于行政机关自身,因为许多数据错误将由公民纠正。这是一种参与式的数据架构。
但它显然也存在限度,尤其涉及某些调查或安全职能时。又是粒度的问题。并非所有档案都能完全透明。因此,必须依据用途制定隐私政策。这种复杂性不可避免。
民主不是绝对的简单。它是对相互冲突的权力的组织。AI不应被用来消除这种冲突。它应当让我们更好地管理冲突。这正是民主的算法国家与威权的算法国家的区别。
在第二种模式中,数据向上流向中心,而公民看得很少。在第一种模式中,理想而言,流动应当更加对称。政府看见公民。但公民也必须能够看见政府运作的一部分。透明从来不是彻底的。但它创造相互性。
这种可见性的不对称,是监控的一项重大挑战。能够看见他人而自身不被看见者,拥有一种特殊的权力。边沁通过全景监狱理解了这一点。福柯则将其理论化。
AI赋予全景监狱一种18世纪显然无法想象的维度:看守甚至不再需要逐一注视每个人。系统可以自动分析痕迹。这是一场巨大的转变。
因此,大规模监控的问题,不再只是国家能够存储大量信息。而是它能够让这些信息转化为行动能力。
从存储到分析的转变,才是真正的门槛。
我们遇到的,恰恰是AI对数据库的改造。死去的记忆变成了神经系统。我用来描述demeure du chaos的这句话,在这里几乎令人不安。
如果AI成为国家的神经系统,核心问题就是:
什么样的政治机体控制着这一神经系统?
谁来定义反射?
谁能让它停下来?
这是一个十分贴切的比喻。现代国家已经拥有各种机构:政府部门、警察、司法机关。AI可以成为连接它们的信息的那一层。这能够极大改善协同。但完美的协同,也可能变成完美的集权。
民主政体在历史上接受权力一定程度的分散,恰恰是为了避免这种集中。分权不是偶然出现的低效。它是一种保障机制。
因此,必须防止技术互联悄然重新合并那些被法律在制度上分开的事物。这是一个重大的宪法blindspot。两个行政部门可以在法律上彼此独立,却使用同一个平台交叉比对各自的数据。技术架构于是可能形成一种超越法律分隔的功能整合程度。
这个问题根植很深。法律审视机构。它也必须审视机构之间的数据流动。权力的分立,或许需要延伸到访问权限的分立。
谁能查询哪个数据库?
依据什么理由?
每一次查阅都需要留下记录吗?
审计正在成为一种新的宪法监督形式。可以设想,公职人员对数据库的任何敏感使用,都能留下可核验的记录。有些系统已经这样做了。AI可以增强这种可追溯性。
矛盾的是,监控技术可以监控监控者。这带来了一种尤为有意思的民主可能性。每一次档案查阅都可以被记录。滥用可以被发现。在某些情况下,公民甚至可能得到通知。因此,技术透明度能够限制它所增强的权力。
这正是我们需要努力实现的那种对称。每一种新增的控制能力,都应该伴随着一种对控制者的控制能力。我几乎愿意将这条规则提出为算法时代的一项宪法原则。一个系统越了解公民,它就越必须为使用它的人留下痕迹。权力与审计必须一同增长。
这是维护法治的一种极其具体的方式。但审计必须独立。一个只审计自身的系统,并不是真正的权力制衡。能够获取必要信息的主管机关、法官和专家,必不可少。
这提出了一个巨大的能力问题:谁来监督国家的算法?法官将需要能够依靠独立专家。议员也是如此。否则,行政权力就可能拥有巨大的认知优势。
权力失衡,也变成了技术能力的失衡。
审计机关、独立机构、议会和媒体都需要专业能力。公民社会自身也必须能够分析某些系统。公开某些技术信息,可能至关重要。但必须与安全和知识产权取得平衡。又一次价值冲突。
可以保护商业秘密,同时不让公共系统变得无法审计。需要发展这样的机制:保密访问、认证机构、独立测试。重要的是原则:一项公共决定,绝不应仅仅因为供应商援引其模型的秘密,就变得无法监督。
否则,我们就是在将一部分主权私有化。这不可接受。一家公司可以拥有一项技术。国家必须始终对自己使用这项技术作出的决定负责。而要负责,就必须对它有充分的理解。这就是使用与依赖之间的区别。
国家在认知上对一家私营公司的依赖,可能成为本世纪的重大政治问题之一。在某些数字基础设施上,我们已经看到了这一点。AI进一步放大了它,因为它触及决策过程本身。
政府最终可能会请一个私人模型来分析自身的政策、预算和风险。这可能极其有用。但如果模型变成一种无处不在的隐形顾问,会发生什么?谁了解它的局限?开发它的公司有怎样的利益?
因此,模型的多元性对行政机关同样重要。一项关键职能,也许永远都不应该依赖单一的分析系统。多个模型可以给出不同意见。它们的分歧本身就成为信息。在这里,我们再次遇到相互辩驳的程序。
但并非所有记忆都服务于同一目的。历史档案与永久性的个人画像,不是一回事。一个社会既需要集体记忆,也需要个人被遗忘的权利。这个悖论很美。
为历史而保存。
为自由而遗忘。
但当AI能够交叉比对许多信息时,匿名化本身也变得更加复杂。重新识别出身份,是一个真实的风险。
这进一步说明,法律类别必须随着技术能力一同演变。某一时刻“匿名”的数据,几年之后可能不再匿名。因此,安全具有时间性。今天安全的,明天可能变得脆弱。政府部门必须考虑这种转变。
不断演变的恒常。数据保护不能是一次性的认证。它必须重新评估。这是一种维护的文化。民主本身也正在成为维护。我喜欢这个想法。
我们常常把民主想象成一套一经写下便永久确立的宏大原则。现实中,它需要持续的警惕。AI让这种维护显现出来。
模型在变。实践在变。风险在变。
因此,制衡力量必须能够变异,而不放弃自身的核心。这正是我多年来所称的变异中的恒常。这或许解释了,为什么demeure du chaos与算法国家,可以从同一种深层逻辑来构想:在持续转变中保持自身的身份。
即使共和国的工具,与20世纪相比已变得面目全非,共和国仍须是共和国。
纸张消失,法律仍在。
办事窗口改变,平等仍在。
案卷变成图谱,申诉仍在。
成功的转型,就是这个样子。
但民主不只是行政管理。它也关乎公共领域。而AI可能在这里构成更大的威胁。
一个国家在行政使用数据时,可以完全尊重应有的权利,却依然看着自身的民主空间被私人推荐系统、聊天机器人和合成内容改变。民主建立在公众意见之上。然而如今,公众意见由算法基础设施居间传递,而这些设施在很大程度上决定什么能够被看见。
我们已经谈过认知战。现在,必须将这一分析应用于日常政治生活。
谁在组织注意力?
谁在排列议题的优先次序?
这是一个重大的blindspot。
我们常常寻找蓄意操纵,然而系统性影响可能来自商业优化。如果愤怒会增加用户在平台上停留的时间,那么,一个最大化参与度的系统,就能制造更多愤怒,而不需要任何人明确写下“使社会两极分化”。目标本身就足够了。
这正是对齐问题应用于民主时的样子。优化错误的指标,会产生不希望看到的集体行为。我们又回到了我关于群集所写的内容:一条简单的局部规则,可以带来意料之外的整体行为。社交网络,已经是以算法为中介的人类群集。
如今,生成式AI又增添了一种几乎无限的内容生产能力。操纵的成本下降了。各类行动者可以生成数百万条消息、创建虚假身份、定制叙事。但也许,最深刻的威胁仍然是饱和。
当数量变得极其庞大,人类核验就再也跟不上。真相不一定是被更高明的谎言击败的。它也可能被淹没。这恰恰就是注意力经济。
多种架构不同的系统,会制造噪声,也会创造韧性。又一次,多样性。认知上的单一栽培,可能很容易受到错误或操纵的伤害。它与生物上的单一种植完全一样。因此,民主的多元主义也是一种安全策略。
这一视角让我们可以换一种方式看待言论自由。它不只是一项个人权利。它产生多样的假设,帮助社会系统发现自身的错误。这呼应了我对组织内部异议的思考。
一个过度压制异议的政体,可能显得更加一致。但它失去了自己的传感器。民主之所以嘈杂,是因为它拥有许多传感器。挑战在于,如何将这些噪声转化为智能。
AI可以帮助综合公众咨询意见、识别少数人的论点、发现地方关切。这可能让参与式民主重新焕发生机。试想,数百万份公民意见真正得到分析,而不是仅仅被抽样。AI可以筛选这些海量数据,归并主题,发掘罕见却切中问题的建议。
这是一种非凡的可能性。大规模意见征询,过去受限于人的阅读能力。AI减轻了这一约束。但我们必须防止它立刻将多元性化约为过于整齐的类别。再说一次:保留分歧。
综合结果必须允许人们回到原始意见。否则,模型就成了公民言论的最高解释者。
AI的这种用途,也可能改变议会工作。数千份修正案、报告和听证记录,变得更容易查阅。一名议员可以迅速获取数十年的辩论内容。理论上,这会增强他的能力。
但如果所有人都使用同一个写作助手,这也可能使政治话语趋于同质。我们可能会看到,统一的算法文风和标准化的论点逐渐出现。民主将失去一部分独特的声音。
这种风格问题可能显得次要。其实并不次要。政治也是语言。一种表达方式,显露一种思想。如果AI把所有表达都磨平,辩论可能在技术上无可挑剔,却在人性上贫乏不堪。
因此,我们必须学会使用工具,而不丢失自己的声音。这正是我们在这场对话中所做的。我的要求始终是,AI不能背叛我;它要扩展我的思考,而不能创造一个人工人格来取代我。这种自律,可以成为每一位公职人员的标志。工具帮助组织表达。但对所说之言的责任,依然属于个人。
我们应该能够问一位民选官员:
你是否读过并认可这篇文字?
AI绝不能成为一部生产未经思考的政治言辞的机器。否则,我们的机构将充满无可挑剔的文本,而官员却不再知道如何为其辩护。那将是一种新的空洞。
因此,生产的容易,反而提高了真正承诺的价值。又是这条稀缺性法则。当写出一句话几乎不花成本时,为这句话承担责任就变得珍贵。签名重新获得了价值。
这与艺术市场十分相似。真实性正在转移。一篇文字可以在一秒之内生成。
重要的是:
谁签下名字,谁为它负责?
责任,成为语言的灵韵。
我非常喜欢这个想法。在算法民主中,政治签名必须仍然属于人。民选官员是否用了十种不同的工具来完成工作,并不重要。他必须说:这个决定是我的,我为它负责。这就是主权的核心。
这也让我们回到算法国家的整体。主要风险,并不是机器会突然夺取权力。而是人的权力,会在机器背后逐渐消融。
“不是我,是算法。”这句话必须在政治上变得不可接受。算法可以解释一项建议。它不能吸收掉政府的责任。
民主恰恰建立在能够确定并更换决策者的基础上。如果决定变成一种没有作者的技术结果,选举就会失去一部分意义。因此,必须保持一条清晰的指挥链:机器、公务员、政治领导者。
谁能改变什么?
谁来批准?
这张图的主要轮廓,应当向公众公开。它几乎是一张国家的算法组织结构图。我们知道哪一个部负责哪项政策。我们也应该知道,哪些关键系统参与了某些决定。
某种行政算法公共登记册,可以成为透明度的工具。不一定要公开每一个敏感系统的完整代码,而是公开它的存在、用途、供应商、主要数据类型以及救济途径。
这种简明做法,可以极大增强信任。全面保密会滋生猜疑。有针对性的透明,则让辩论成为可能。这恰恰是将缓和冲突的方法应用于公共权力。
民主必须让自身架构中足够多的部分可见,使公民能够理解它如何运转。这几乎是一种字面意义上的建筑要求。传统法院有门、有房间、有公开审理。数字国家则变得不可见。
因此,我们必须在代码内部,象征性地重建门与窗。公民必须知道从哪里进入。在哪里提出异议。向哪里看。这个比喻让我很感兴趣。
我们正在从实体建筑走向软件架构。但民主的功能依然相近:进入、透明、分隔和救济。界面成为法院大门的对应物。如果无法进入,法律就在理论上存在,却在实践中消失。这就是为什么,易用性是一个政治问题。
一个将老人、残障人士或不熟悉数字技术的人排除在外的数字行政体系,会造成获取服务的不平等。AI可以通过语音、翻译和辅助来提供帮助。这蕴含着巨大的进步潜力。但必须保留人工服务的替代渠道。
但所有冗余都有成本。这是连续性的代价。相同原则在各处一再出现,因为它们具有结构性。
冗余。
审计。
多元。
申诉。
这几乎就是民主的算法国家的四根支柱。还可以加上:最小化。以保护隐私。这些原则无法解决一切。但它们勾勒出一个框架。
而这正是我在这一部分试图做到的:从抽象的恐惧走向设计。仅仅说“警惕监控”,必要却不够。我们需要展示,如何建设一个使用AI却不变成全景监狱的系统。
民主必须成为一种政治技术,像它所治理的工具一样精密。否则,它就会过时。这也许是欧洲面临的最大危险之一:以为书面法律本身就已足够,却不投资于落实法律所需的基础设施。
没有审计能力的规则,会沦为象征。需要专家。需要工具。需要预算。AI监管本身就是一个知识产业。
这可以成为欧洲的一个强大行业:审计、认证、安全、数据保护。但再说一次,监管不能代替创新。欧洲必须既开发系统,也懂得如何监管系统。否则,它就只是在监管对他人专长的进口。这条原则依然成立。
一个拥有主权的算法国家,需要模型、云计算和研究人员。但它也需要稳健的法律制度。这是政治各层级的整合。而也许,恰恰是这种结合,将成为21世纪不同模式之间的大竞争。
威权模式可能会说:给我们更多数据,我们就能创造更多秩序。极端商业化的模式可能会说:让企业优化,创新就会带来效率。民主模式则必须提出一件更难的事:在保持自由、多元和异议的同时,创造效率。
这是一种更复杂的架构。但如果设计得当,复杂性并非弱点。民主本身就是一个复杂系统。它拥有反馈回路、权力制衡和选举。它接受冲突,以防止彻底的支配。
如果AI强化这些反馈回路,就能帮助民主变得更有智慧。如果它绕过这些回路,就会削弱民主。这大概是决定性的检验。AI并非天生民主,也并非天生威权。它会放大某些结构。
一个民主政体,若利用它减少官僚程序、扩大司法可及性、发现错误、加强申诉,就可以变得更加民主。一个民主政体,若利用它悄悄为选民画像、预测行为,并自动作出不容质疑的决定,就可能保留选举,却逐渐丧失一部分实质。
因此,危险不一定是一场算法政变。而是算法侵蚀。
这里添上一点便利。
那里接入一个数据库。
一个未经辩论便被接受的分数。
每一步似乎都合乎情理。累积改变了系统。不一定有人在某个早晨决定建立一个监控国家。它可能通过种种有用系统的累积而涌现。
这就是为什么,整体视野不可或缺。必须看整张图谱,而不只是每一个单独的应用。
整个系统产生了多大的信息权力?
这是一个宪法问题。
而恰恰是在这里,AI可以以一种看似矛盾的方式帮助我们:为国家自身绘图。看见数据流。依赖关系。访问入口。让透明成为一种动态的呈现。
也许,防范不透明的算法国家的最佳保护,将是其自身权力的数字孪生,供监督机构使用。一张数据库、模型和界面的地图。这听起来很技术化。却几乎是在数据中具象化的一种新的分权。
因此,监督必须拥有与其审视的算法权力相称的基础设施。我们需要一种民主的算法制衡智能:能够审计系统、发现异常、检查歧视的系统。
AI监督AI。但始终处在人类制度的控制之下。这种递归不可避免。当复杂性超出个人能力时,我们将用机器来控制机器。
这可能令人担忧。它已经发生在网络安全、金融市场和网络之中。重要的是维持责任链与多元性。任何系统都不应成为自身唯一的裁判。这几乎是一条逻辑规则。而这条规则,将我们带向下一道门槛。
因为,如果国家、经济、媒体和公共空间都变得算法化,问题就不再只是监控。它会变成共同真相的问题。
当图像、声音、文字,乃至也许明天连证据本身都可以被合成时,民主如何运作?
当制造虚假内容几乎没有成本时,它如何组织信任?
我们已经在认知战中遇到这个问题。现在,必须从整个文明的视角来审视它。民主建立在能够质疑各种解释的基础上。但它也预设了最低限度的共同事实。如果每一方都生活在不同的、被生成的现实中,辩论就变得不可能。
问题于是变成证据的问题。
来源。深度伪造。真相。媒体。司法。记忆。
当一切都可以制造,什么是证据?
这个问题直接关联着艺术市场,在那里,真实性和来源是核心。但如今,它涉及整个社会。
算法国家之后,是合成世界。随之而来的,是一个近乎原初的问题:
我怎么知道,自己看见的事情确实发生过?
人类思想与对话:thierry | 写作:100% AI
阅读进度:第 92 页,共 102 页