奥秘 92 / ~31 分钟阅读 / 中文 PDF 页码 960–977
评分社会、行为预测与不可预测的权利
人工智能哲学视野下的算法生存境况
每个社会都会分类。早在人工智能出现之前,制度机构就已经在赋予类别、身份、等级和档案。学校打分,银行评估风险,保险公司计算保费,企业评估技能,政府部门核验权利。因此,把评分说成 AI 的发明,是不对的。今天发生变化的,是评分的深度、频率,尤其是它在过去彼此分隔的领域之间流动的能力。
如今,一个系统能够交叉比对数百个变量,建立概率,识别出任何人都不可能手工推算出的人物画像。这种力量可能极为有用。银行能够更好地评估风险。保险公司能够更准确地定价。政府部门能够发现欺诈。
但随着预测越来越精确,一个问题出现了:从什么时候开始,人们不再根据一个人做了什么来评判他,而是根据模型认为他将会做什么来评判他?这就是门槛。分数不再只是对过去的记忆。它成为对未来的预判。而这种预判,甚至可以在事件发生之前就产生后果。一个人可能因为在统计上类似于还款不那么可靠的人,而被拒绝贷款。他可能因为某些信号提高了某种概率,而受到更严格的审查。他可能尚未表达离职意愿,就被视为潜在的离职者。我们正从观察走向先发制人的干预。
必须极其审慎地考察这种逻辑,因为它既具有真实的经济效率,也蕴藏着巨大的人类学危险。效率源自统计。如果某些变量与某种行为相关联,模型就能减少不确定性。危险则出现在我们忘记概率属于分布,而不是作为命运属于某个个人的时候。说一个群体的风险较高,并不意味着这个人就会做出该群体平均而言所做的事。总体与主体的区别就在这里。统计对群体了解很多。法律保护的是个人。这种张力由来已久,但 AI 赋予了它新的力量。模型越精确,我们就越可能把它的预测看作关于个人的真相。87% 的评分,看上去几乎成了这个人固有的属性。但它仍然只是受数据、模型和情境制约的估计。因此,我认为,不可预测的权利必须成为算法时代的核心概念。这项权利显然不是说,禁止对人类行为作出任何预测。那将是荒谬的。任何经济体系都会运用预测。它的意思是,预测不应变成身份,更不应变成定罪。一个人必须保有打破模式的权利。这几乎就是自由的定义。
如果一切过去的行为都成为预测未来的材料,而每一次预测又产生缩减可选道路的后果,我们就可能逐渐把个人囚禁在他自己的统计轨迹中。分数获得了自我实现的效应。一个被视为有风险的人,得到的机会更少;由于缺少机会,他的人生境遇恶化;系统随后得出结论:自己是对的。这是一个极其危险的循环。模型不再只是预测现实。它参与制造现实。反身性在这里再次出现,直接作用于人的生活。
这种循环在信贷领域尤其明显。一个被排除在融资之外的人,投资、接受培训、购买住房的能力都会减弱。他的经济前景被评估改变了。这不是说应当废除风险分析。没有风险的信贷并不存在。我们只是需要承认,分数具有因果作用。信贷决定不仅仅是一种观察。它可以改变自己声称正在衡量的未来。因此,必须让系统能够被质疑、被纠正。
哪些数据产生了这个分数?
它们准确吗?
其中有些是否已经过时?
是否存在模型看不到的背景因素?
没有申诉程序,统计就可能变成行政性的命运。我们再次回到同一个根本原则:凡有算法权力,就必须有救济途径。但必须具体界定这一要求。给一个人一页无法理解的变量,并不是真正的救济。他必须能够理解影响决定的主要因素,指出错误,提交新信息,并在重大情形下获得人工复核。这不是奢侈品。这是正义的条件。
同样的逻辑也适用于保险。系统能够极其精确地计算个人风险。这似乎符合经济理性:每个人支付的费用,都尽可能贴近他所代表的风险。但如果把这种逻辑推到终点,矛盾就出现了。保险的存在,恰恰是为了共同分担不确定性。如果个人风险被完美预测,保险就近乎于向命运收费。风险高的人支付高得惊人的费用,恰恰因为他们最需要保护。精算优化于是可能与团结互助发生冲突。这再次说明,仅有技术优化是不够的。社会必须决定,自己想要共同分担多大比例的风险。健康、残障、灾难。这种选择既是政治的,也是道德的。AI 可以更好地计算风险,但它不能决定我们想要维系何种程度的团结互助。
我们想要完全个性化的保险,还是愿意接受由集体共同分担一部分风险?
不存在纯粹数学的答案。而 AI 不断提升的精确度,可能让这种冲突更加显眼。长期以来,某些形式的团结互助之所以存在,恰恰是因为我们无法精确衡量事物。无知迫使人们相互支持。当无知减少,团结互助就必须成为一种明确的选择。这是一道文明的门槛。
知识的进步,有时会撤去不确定性给予的保护。我们必须决定,是否要通过法律重建这种保护。这是一个极其重要的观念。长期以来,自由受益于技术上不可能知晓一切。团结互助也是如此。当技术缩小这种不可能性,我们的制度就必须主动设限。仍然是通过权力的自我限制来实现自由。涉及基因的保险已经提供了一个具体的法律例证。在法国,对于承保残疾或死亡风险的保单,法律禁止保险公司考虑基因检测结果,即使这些结果是在本人同意下提供的。这个原则非同寻常:一项数据可以具有预测力,却仍被排除在保险优化之外,因为社会决定,它不应成为定价标准。
同样的推理也适用于其他推断。模型或许能够从购物记录或出行记录中推断健康状况。信息能够被推断出来,并不意味着它就应当可以被使用。因此,我在前几章讨论的推断学说,在这里成为核心。隐私不再只关乎个人披露了什么。它还关乎机器能够重构什么。
推断能力就是新的权力。
因此,法律必须保护某些推断结论,而不论它们是以何种方式获得的。这或许显得复杂,却不可或缺。否则,如果模型能通过统计重新生成敏感数据,那么禁止直接获取这些数据就几乎毫无意义。我们于是进入这样一种社会:个人没有申报过任何事情,却已变得透明。这种算法透明性可能具有极强的侵入性。系统自认为察觉的某些倾向,个人甚至未必意识得到。企业可能在员工尚未明确说出离职决定之前,就知道他正在考虑离开。它应当如何处理这一信息?
它能否因为这名员工的离职评分较高,就拒绝给他晋升?
那会非常危险。模型可能恰恰制造出它所预测的离职。又是自我实现的循环。因此,我们必须区分两种预测:一种旨在预判集体需求,另一种则被用于惩罚个人。企业可以预测某部门 10% 的员工可能离开,以便准备招聘。但这与指名道姓地找出三个人,并把他们当作已经不忠的人来对待,截然不同。预测的粒度关乎尊严。在个人层面的预测变成侵扰之处,汇总层面的预测却可能是正当的。因此,最小化不仅关乎数据量,也关乎数据的分辨率。
我们究竟需要在哪个尺度上知晓情况?
精确并不是一种绝对的价值。更细致的信息,对某些功能可能有用,对另一些功能却可能构成侵扰。恰当的分辨率取决于目的。
组织一座城市的交通,需要理解人流。未必需要精确知道每个人在每一时刻正前往哪里。预测员工流动,可以利用趋势,而不必为每位员工建立画像。成熟的算法社会,将懂得在额外的精确度不足以证明侵入的正当性时,主动选择以较低的分辨率运作。
这需要设计上的自律。工程师天然地被精确性吸引。法律必须追问:对什么有用?这就是信息比例原则。它又把我带到一个我认为不可或缺的概念:分数分隔的权利。
信用评分不应自动变成就业能力评分。一个领域的评估,不得污染所有其他领域。历史上已经出现过这样的社会体系:一个类别就能引发一连串后果——种姓、身份、犯罪记录。AI 可能通过分数的累积,重建某种数字种姓制度。这种危险是真实的。如果一个人在某个平台上得分偏低,而这个分数又被保险公司、房东或雇主采用,他就可能逐渐被排除在人生的多个领域之外。分数变成了一种总体的社会身份。
这恰恰是必须阻止的事情。每一次评估,都必须与其目的相联系。这是法律上目的限制原则的延伸。分数是对某个具体问题的回答:“这笔贷款的违约风险是多少?”它不是衡量一个人价值的总体尺度。必须严格区分二者。尽管如此,既然数据已经存在,重复利用它的诱惑就会很强。分享一个已经计算好的分数,几乎不花成本。法律必须在这里抵御便利的诱惑。数据可以获取,并不产生普遍使用它的权利。这与记忆完全一样。一项信息可以是真实的,却未必就应当被用在所有地方。
遗忘与分隔是自由的条件。这一观念十分重要。我们常把隐私理解为秘密。它也关乎情境。我可以把信息告诉医生,却不希望银行家使用它。并不是这些信息令人羞耻。它属于一段关系。AI 把所有数据库连接起来,也就威胁着这种情境性。从技术上看,总体图谱很诱人。从社会上看,它却可能具有破坏性。因此,算法文明必须懂得在图谱内部建立屏障。
这几乎是对我与数据库相伴的一生的彻底反转;在那一生里,连接创造价值。是的,连接创造价值。而恰恰因为它创造力量,有时就必须选择不去连接。这里没有矛盾。成熟,在于知道关系在哪里具有正当性。艺术市场数据库应当连接艺术家、作品、拍卖、拍卖行。它没有理由连接收藏家的医疗数据。目的界定图谱。当图谱试图成为整个世界时,危险就开始了。这就是数据的狂妄。它认为,既然一切都可以连接,一切就都必须连接。我拒绝这种观念。鲜活的混沌需要断裂。自由也一样。
一个让每种行为都计入总体分数的社会,会变得极其墨守成规。如果一次失误就可能影响你的信贷、保险、工作,为什么还要冒险?人们开始为了评分系统而优化自己的生活。这是一种巨大的二阶效应。分数不再只是衡量行为;它规训行为。福柯无疑会认出这种逻辑。全景敞视监狱产生自我控制,因为囚犯知道自己可能被观察。评分社会又增添了一个维度:我们知道,每一道痕迹都可能改变分数。我们成为自身算法声誉的管理者。这可以带来谨慎,也可能让自发性流失。
一个人人都时刻试图维持良好分数的社会,会变成行为标准化的社会。
这威胁着创造力与异议。创新有时意味着做出看上去古怪或冒险的事情。如果每一种非典型行为都会拉低可靠性评分,系统就在惩罚偏离常规的人。因此,不可预测的权利,也是一项创新的权利。只有偏离者才能生存,但系统首先必须允许他们存在。这是算法经济的一个根本矛盾。它试图发现异常,因为异常可能意味着风险。但异常也可能是新事物的源头。同一个信号,可能代表欺诈,也可能代表创新。
如何区分?
情境。仍然是情境。模型可以识别统计上罕见的行为。它不应自动将其视为负面行为。
异常是一个问题,不是一项判决。
这句话应当成为一条原则。它适用于安全、工作和金融。算法社会必须保留这样一种可能:例外或许是好的。这恰恰就是 demeure du chaos 的方法。景观中看似异常的东西,可能是一件总体艺术作品。只套用视觉标准的人,会断定这里出了故障。他们看不见结构。这几乎是评分社会的一个完美隐喻。
系统能够衡量与平均值的偏差。它却不会自动衡量这种偏差的价值。艺术家、企业家、异议者,往往都是统计上的异常。一个过度围绕平均值进行优化的社会,可能变得无法产生自身的变异。这直接呼应了上一章对探索的讨论。经济体系必须保留一些区域,让个人不会因偏离预期画像而受到惩罚。
学校是一个尤其重要的领域。设想一种教育体系,从童年开始,就计算一个人在不同职业中取得成功的概率。这或许有助于提供个性化支持。但如果分数成为不可更改的分流依据,就极其危险。孩子会改变。会学习。可能到很晚才显露自己。过早的预测,可能把他锁在一条轨迹上。这就是自我实现的预言最严重的风险。
AI 应被用来打开机会,而不是过早地关闭机会。模型可以说:这个学生似乎在数学上遇到了困难,我们换一种方法吧。很好。它不应该说:这个学生不适合学理科。两者差别巨大。前一种方式把分数当作暂时的诊断。后一种则把它当作身份。这就是发展的权利。
良好的教育架构必须让预测过期。旧分数必须失去权重。这是一个在技术和哲学上都极其重要的观念:过去的影响随时间衰减。并非所有历史数据,都应该无限期地保持同样的影响。十八岁时犯下的错误,不应必然决定四十岁时的一笔贷款。过去的一次逾期付款,可能不再具有相关性。模型必须把救赎的时间性纳入其中。
这几乎像是法律变成了数学。我们可以设想一些规则,规定某些数据在特定期限之后必须停止使用。这在一些情境中已经存在。数字系统使这些保护变得更为必要,因为它们保存痕迹的持久性和检索能力,是人类记忆无法比拟的。数字过去不会自然消失。因此,我们必须创造人工遗忘。
这个美妙的观念再次出现:文明将不得不把遗忘编入程序。
我们花了几十年改进存储。接下来,我们必须学会删除。这不是矛盾。没有遗忘的记忆是病态的。人脑本身也会遗忘。这一功能不可或缺。它让我们能够概括、宽恕、生活。拥有总体记忆的社会,可能变成惩罚性的社会。每一个错误都永远可以查到。AI 能够唤回、连接。法律有时必须切断连接。这就是算法救赎的权利。
如果模型继续根据一个人过去的行为来给他分类,那么仅仅在法律上允许他重新开始,是不够的。救赎必须在数据中产生后果。这是一个非常具体的问题。犯罪记录可能已经依法删除,而私人掌握的数据却继续流传。法律必须协调这些层面。否则,复归就成了虚构。这是一场对未来极为重要的斗争。
数字社会可能比法律更具惩罚性,因为它的记忆更好。因此,我们必须捍卫法律规则对技术记忆的优先地位。当法律认定一笔债务已过时效,系统就不应无限期地继续把它视为负面信号。这需要审计和制裁。仍然是治理。行为预测还给公共安全带来一个问题。系统能够识别在统计上更可能发生某些犯罪的地点或情境。警察部门可以据此配置资源。在这里,汇总数据同样可能有用。但如果模型开始把个人识别为未来的罪犯,我们就进入了一个危险得多的领域。
刑事司法以行为为依据,而不是以对可能行为的预测为依据。
民主社会必须在这个节点上极其谨慎。根据具体证据阻止迫在眉睫的犯罪,是警察的正常职能。仅仅因为某人具有某种统计画像,就把他归类为危险人物,则完全是另一回事。这是官僚化的《少数派报告》。虚构作品早已准确指出了这个问题:我们能否惩罚尚未发生的事情?
法律的回答必须始终是否定的。
但技术可能制造灰色地带。风险评分能够影响监控的强度,提高在某些人群中发现违法行为的概率,进而强化模型的数据。这是一个众所周知的反馈循环。系统在数据表明犯罪更多的地方加强巡逻,于是在那里发现更多犯罪,然后得出结论:自己的预测是正确的。必须用统计方法和制衡机制打破这一循环。
否则,模型学到的既是犯罪的地理分布,也是监控的地理分布。这是隐藏因果关系的一个绝佳例子。数据衡量的不只是现象,也衡量着机构观察现象的方式。每一个行政数据库都留有这种印记。警务统计部分反映着警务实践。医疗统计反映着获得医疗服务的条件。因此,AI 不能把数据库当作世界的一张客观快照。
它必须理解数据的生成过程。这是一个十分重要的概念:数据生成过程。数据从哪里来?谁被测量了,谁没有被测量?这恰恰就是统计层面的来源问题。缺少这一点,模型就会复制测量偏差。历史再次处于 AI 的核心。我们再次遇见历史学家。要理解一项统计,就必须知道它是如何产生的。对我而言,在 Artprice 中这一点显而易见。如果不知道是哪家拍卖行、哪种货币、什么条件,一项成交结果就毫无意义。社会评分也是如此。数字不会独立存在。它们都有来源。这种重视来源的文化,可能成为评分社会最好的解药之一。
看任何一个数字,都不要忘记追问它的来历。但评分体系未必来自一个单一而庞大的国家系统。它可能通过私人评分的累积,以弥散的方式出现。平台、职业社交网络、服务。司机给乘客评分,乘客给司机评分,房东给租客评分。每次评分似乎都局限于当地,并且可以增进信任。但如果这些评分变得可以移转或汇总,我们就会逐渐建立一种总体声誉。危险就在这里。
一次糟糕的经历,就可能污染其他领域。因此,必须保留边界。声誉必须置于具体情境之中。某个晚上在一家餐厅里是个糟糕的顾客,并不能说明一个人的信贷偿付能力。这看上去显而易见。但 AI能够发现相关性,让重复利用变得诱人。因此,需要一个强有力的法律原则:分数不是个人的普遍属性。它们是用途有限的功能性工具。这听起来也许很技术化,却是一种人类学层面的保护。个人大于任何分数之和。任何数据库都不应能够宣称,它涵盖了一个人的全部身份。
这又让我们回到地图与疆域的区别。即使我们拥有关于某个人的一百万个变量,我们拥有的也不是这个人。我们拥有的是一种表征。算法社会必须保持这种谦逊。否则,画像就会成为拥有主权的数字替身,而人则必须服从他自己的模型。这是一种令人恐惧的倒置。
即便在今天,一个人也可能发现数据库里有错误信息,然后不得不证明数据库错了。行政机构先相信档案,再相信个人。AI 可能放大这种情况,因为画像变得更加复杂。因此,我所提到的获得行政或商业镜像的权利,正在成为法律救济的条件。个人必须能够知道,重大决定使用了哪些重要数据。否则,他就是在与幽灵搏斗。
纠正的力量是尊严的条件。但还必须有合乎比例的解释权。我再次回到这一概念,因为它在这里居于核心。一个基于数百个变量的信用评分,不可能在每一个细节上都得到完整解释。但可以提供主要因素,也可以指出错误数据。目标不是揭示所有商业秘密。而是让有实质意义的质疑成为可能。这就是标准。真正的救济。
法律应当优先保障法律质疑的有效性,而不是理论上的完全透明。这是一种务实得多的做法。可以保留某些秘密,同时让调解人或监管者获得更深入的访问权限。分层监督再次成为关键。用户得到简单的解释。审计者可以检查系统。法官必要时可以取得更多信息。这是一种分级的透明架构。在我看来,它比“完全开源”或“彻底保密”现实得多。粒度再次成为关键。
评分体系也提出了行为数据的所有权问题。我们不断留下痕迹:点击、行走、付款、带着设备入睡。这些痕迹可能成为分数的基础。谁有权使用它们?如今的同意往往只是走个形式。没有人会读完所有条款。有了 AI,数据在未来能触及多远,就变得难以预测。
今天看似无害的一项数据,明天就可能导向敏感的推断。对于一种尚无人能够想象的用途,我们真的能够同意吗?这是一个深刻的问题。同意不能成为数据保护的唯一基础。我们需要不取决于那一下点击的用途禁令。这已经是许多现代权利的精神所在。AI 加强了这种必要性。某些推断不得用于某些决定,即使用户在一份无休无止的合同中点击了“接受”。当不对称过大时,契约自由并不足够。设定最低标准,恰恰是法律的职责。文明再次体现为一种自愿的限制。但也必须避免过度的家长主义。一个人可能希望用自己的数据获得更好的服务。他必须能够这样做。因此,架构必须提供更多真正的控制权,而不只是禁止。
例如,用户可以授权使用某些数据,以获得更便宜的保险,但必须衡量逆向选择的风险。如果只有低风险的人分享数据,那么拒绝分享的人就会变得可疑。个人选择产生了集体压力。这是评分体系中一个经典的同意问题。拒绝本身就可能成为信号。因此,在某些情境中,某些数据或许必须对所有人都禁止使用。
否则,一个人的自由就会减少其他人的自由。又是一种外部性。这完美说明了,市场无法独自解决这个问题。需要共同的规则。这表明,不可预测的权利不仅仅是一项个人权利。它可能要求一种集体性的制度无知。我们可以决定,保险公司不应知道某些事情,即使某些客户愿意告诉它。这是一种自愿蒙上帷幕的方式。这一观念颠倒了我们通常对进步的理解。
我们常把进步理解为无知的减少。但某些形式的无知,恰恰在成就文明。投票保密就是一个例子。国家在技术上可以知道每个人投给了谁,但民主却组织起国家的无知。这何其美妙。投票保密,是权力为了保护自由而有意保持无知。算法时代将不得不发明其他形式的有意无知:不知晓某些倾向,不关联某些分数。这也许是未来最重要的政治概念之一:宪制性无知。界定机构不应知道什么,或不应能够使用什么。这一观念推翻了总体数据的幻想。
成熟的民主可以说:我们本可以知道,但我们选择不知道。这是道德力量的行动。它与我关于监控的论述完全一致。21 世纪的自由,将越来越少地依赖技术上无法看见,而越来越多地依赖法律上决定不去观看。这是文明的跃迁。它需要对机构有巨大的信任,也需要审计,以核实机构是否恪守这种无知。原则必须在技术上落实。如果被禁止的数据仍以“以防万一”为由被收集,那么无知就并不存在。我们必须从源头将数据收集降至最低。将隐私保护融入设计。仍然关乎架构。
因此,不可预测的权利可以落实为若干具体机制:限制某些数据、分隔分数、设定时间期限、申诉权、禁止某些完全自动化的决定,以及对歧视进行审计。
这不是一句哲学口号。这是一种架构。
这就是我喜欢的思考方式:一个观念必须在系统中找到自己的位置。否则,它仍然只是文字。但评分体系也带来了一个文化问题。我们自己也喜欢评分。五星、排名、关注者数量。评分简化了复杂性。它让人能够迅速决策。这种吸引力不只来自企业或政府。它来自我们减少不确定性的欲望。
选择一家评分为 4.8 的餐厅,似乎更容易。但当我们给一切评分,生活就被变成了一张排行榜。这种量化可能改变我们与各种活动的关系。一顿饭不再只是一种体验;它成了一个分数。一段旅程、一家酒店、一个人。一切都进入比较。这是感知的市场化。AI 可以放大这种趋势,为原本没有分数的领域生成分数:关系契合度、职业潜力、可靠性。我们必须抵抗把一切都化为数字的诱惑。毕达哥拉斯回来了,却带着一则警告。在某种表征中,一切或许都可以是数,但并非每一种数字表征都值得追求。
某些领域一旦被强行量化,就会失去一些东西。艺术就是完美的例子。Artprice 能够衡量价格、交易量和市场轨迹。但任何严肃的数据库都不会声称,单凭价格就能穷尽艺术价值。那将是荒谬的。市场衡量一个维度。艺术史分析其他维度。两种视角必须共存。同样,工作绩效评分衡量的是某些结果。它不能涵盖一名员工的全部价值。信用评分衡量的是风险。它不能涵盖一个人的道德责任。必须始终明确,分数衡量什么,又不衡量什么。这种语义上的自律,可以防止把局部测量变成对人的评判。当分数的名称在无形中发生变化时,它就变得危险了。“违约风险”变成了“可靠性”。然后,“可靠性”又变成了“个人品质”。这种滑移经常发生。必须把好词语的关。符号学进入了这里。指标的命名方式,会影响它的使用方式。
预测模型不应被包装成功绩评分。那将是概念欺诈。AI 可以生成极高的数字精度,同时掩盖语义上的不准确。这是一个关键的 blindspot。数字越精确,我们就越应严格要求被衡量的概念。对一个定义模糊的东西测得 0.873,并不比近似估计更聪明。
这恰恰就是精密度与准确度之间的区别。
仪器可以非常精密,却测量了错误的东西。这一区别应当在所有地方教授。评分体系有混淆可测量之物与重要之物的风险。这是管理领域一个由来已久的偏差。AI 可以放大它。我们衡量容易衡量的东西,然后进行优化。难以衡量的维度消失了。因此,某些决定必须保留定性判断。问题在于,人的判断可能带有偏见和主观性。评分可以减少某些任意性。承认这一点很重要。把人的决策浪漫化,同样是错误的。人类招聘者可能有很强的歧视。设计良好的模型,有时能够减少这种歧视。因此,问题不在于人类是好的,还是算法是坏的。而在于:哪种架构造成的不公最少,并能提供最好的救济?有时,二者结合会更好。模型提示那些被忽略的候选人,人则提供情境。但在这里,我们同样必须警惕自动化偏见。如果系统给简历排序,招聘者可能根本不会看被排在底部的简历。排名塑造感知。即使理论上由人作出最终决定,算法也已经过滤了结果。因此,治理必须看向上游。谁是可见的?这就是一种权力。评分社会往往通过不可见,而不是通过禁止来运作。一个分数低的人,不一定会遭到明确拒绝;他只是从未出现在选项中。这就更难质疑。因此,法律将不得不关注排名系统。
这已经是平台面临的挑战。AI 正把它扩展到工作与信贷。排名可以和决定一样有力。因此,当后果重大时,它就必须能够接受审计。但仍须合乎比例。歌曲排名与求职者排名的严重程度并不相同。风险矩阵总会回到这一点。
这种讲求比例的文化,大概是监管恐慌最好的解药。
我们不必把每一个分数都当作生存威胁。对于影响基本权利、住房、工作和必要信贷获取的分数,我们需要更严格的审查。这种层级区分,让低风险用途能够创新,让关键用途得到有力保护。这正是我在讨论自主性时所捍卫的方法。成熟的法律懂得区分。但企业可能倾向于把一个强力塑造决策的系统,说成仅仅是辅助工具。我们必须审视实际效果。一项在 99% 的情况下都会被采纳的建议,实际上就是决定。又是形式与实质的区别。名义上的人工监督并不足够。审计必须衡量推翻率:人类究竟有多频繁地真正质疑分数?如果他们从不这样做,可能是没有时间,也可能是系统确实非常好。我们必须弄清是哪一种。数据可以帮助审计治理。这是一种明智的用途。我们可以看出,某些群体是否系统性地获得较低分数,某些类别的申诉是否更容易成功。这让纠正成为可能。因此,AI 也能帮助监督 AI 系统本身。
但必须有一个机构来监测这些信号。问题从来都不纯粹是技术性的。一个组织可能拥有关于自身歧视行为的全部数据,却选择不采取行动。文化与法律仍然不可或缺。因此,本章与救赎的权利紧密相连。评分体系天然倾向于累积。每一个行动都丰富画像。画像越丰富,预测就越准确。但个人需要挣脱的可能。因此,遗忘与到期失效必须纳入系统。我们或许有必要区分两类数据:一类描述持久状态,另一类则不应产生永久效应。
即使前一类数据,也可能改变。技能水平会发展。财务状况也会变化。因此,模型必须是动态的。六个月前的分数,可能已经不准确。这几乎是个悖论:AI 旨在预测未来,却可能被过时的过去困住。因此,更新的质量至关重要。但更频繁地更新,就意味着收集更多数据。权衡又出现了。也许我们应当允许个人主动提供新信息,以纠正模型,而不必持续监控。这是一条路径。例如,境况发生变化的人,可以要求重新评估。控制权在个人手中。在我看来,这是一种健全的做法。
个人智能体也可以在这里发挥作用。它能够监测影响用户的分数,发现错误,提出申诉。这是一种用 AI 对抗评分社会、带来解放的用途。增强的公民面对增强的机构。这是一种认知对称。如果银行拥有模型,个人就可以拥有能够理解决策的智能体。这减少了不对称。因此,同一种技术,既可以集中权力,也可以帮助重新分配权力。一切取决于能否获得它。因此,高质量智能体的可及性提出了平等问题。富人可以付费请专家或模型来质疑一个分数。其他人也必须具备最低限度的能力。也许协会、公共服务机构和工会将开发维护权益的智能体。这是一个值得关注的前景。AI 本身就能让申诉权真正生效。
这正是我偏爱的架构:用同一种力量创造制衡力量。每一个重要的评分算法,都应当有可能受到另一种核验算法的制衡。但要警惕无休止的竞赛。系统会变得越来越复杂。人可能不再理解两个模型之间的争议。因此,必须有一个人类或机构仲裁者。又是签名的问题。正当性不能通过分数之间的竞赛来解决。到某个时候,法官、调解人必须依法作出决定。这使我们回到一个简单的真理:AI 可以增强法律,但不能取代法律的正当性。这条边界至关重要。
它又引向一个更深的问题:为什么不可预测的权利对我们如此重要?
因为我们相信,人不只是决定他的各种因素之和。这几乎是一种哲学立场。科学可以证明,许多行为在统计上是可预测的。这并不摧毁法律自由的价值。法律不依赖一种关于自由意志的绝对形而上学。它组织责任,也组织以不同方式行动的可能。即使 AI 极其准确地预测某人将会做某件事,社会仍可以决定,只有当他做了之后,才对他作出评判。这是对预测的规范性限制。这是一个关键观念。
法律保护概率与行动之间的空间。这个空间就是政治自由。可以把它称为不可预测性推定。只要行为尚未发生,预测就不构成有罪。这条规则应当始终强有力。它超出了刑法的范围。雇主不应仅仅因为模型预测某人会离职,就把他当作不忠的人。行政机构不应仅凭欺诈概率,就撤销一项权利。预测可以触发合乎比例的核查,而不是定罪。这是一种审慎的架构。
这直接关乎 blindspot。系统必须不断提醒自己:对于这个人,我可能是错的。这句话几乎是任何评分 AI 的道德命令。不确定性不应被缩减为一位小数。它必须在程序上产生后果。不确定性越大,决定就必须越可逆。在这里,我们再次看到自主性与不可逆性相称的原则。这条规则具有真正的普遍性。如果拒绝一项音乐推荐无关痛痒,算法就可以自由行动。如果拒绝住房会扰乱一个人的生活,监督要求就必须很高。这是一种以后果为依据的伦理框架。在我看来,它比一刀切的禁令更稳健。此外,一些做法早已不只是设想:在欧盟,《人工智能法》已经禁止某些形式的社会评分,也禁止仅基于画像对个人犯罪风险进行预测。
我提出的“不可预测的权利”更进一步:我把它作为一项哲学主张,用来思考那些在法律上仍然被允许的预测总体化形式。
为什么?
因为它把互不相同的领域融合起来,把整个人变成一个分数。这恰恰是分隔所要防止的事情。政治意义上的自由社会,必须承认个人拥有多重情境。他可以是个糟糕的还款者,也是个优秀的父亲;可以是个平庸的员工,也是个杰出的艺术家。不存在一个关于人的正当总体分数。
任何试图构建总体评分的做法,甚至在产生实际后果之前,就已经造成了概念暴力。它假定,一段人生可以沿着单一的轴线排序。这是错误的。身份是多维的。人的图谱不能被缩减为一个数字。这直接关乎我的万花筒式思维。
一个人由不同视角、时间尺度,有时也由矛盾组成。试图把他缩减为一个分数,恰好是万花筒的反面。它把复杂性压平。因此,算法社会必须运用计算的力量,更好地尊重复杂性,而不是消除复杂性。这看似矛盾,却是可能的。模型可以呈现多个维度及其不确定性,而不是给出单一分数。但机构必须抵抗过度简化的诱惑。决策者喜欢绿灯或红灯。现实更加复杂。我们需要培养人们理解复杂性的能力。AI 可以综合信息,而不把它缩减为一个数字。例如,它可以呈现三个风险因素和两个保护因素。这让决定更有人性。而对质程序也被纳入模型之中。
因此,只要我们选择这样做,评分社会就可以转变为一个重视情境的社会。这将是一种积极的转向。AI 不只提供分数;它还可以解释不同情景。我们可以从评分走向对话。公民可以问:为什么?我能够改变什么?这就大不一样。分数关上门。对话打开门。这一区别贯穿我们整本书。AI 是神谕,还是对话者。我更喜欢对话者。神谕宣判。对话者可以受到质疑。这正是我们必须推广的架构。
但如果对话由在结果上存在既得利益的机构控制,对话本身也可能变成操纵。信贷系统可能彬彬有礼地解释它为什么拒绝你,并说服你相信,这个决定不可避免。又是算法说服。因此,需要信息来源,也需要外部救济。解释不能取代法律。永远不能。
这引向社会身份的问题。如果分数越来越多,个人可能开始透过它们看自己。我是信用分 720,评价 4.7,生产率 82%。数字镜像可以殖民自我形象。这是一个重要的心理现象。我们已经见过关注者数量和点赞数的影响。数字成了一种认可。
AI 可以增添大量个人指标:睡眠、健康、生产率。其中一些是有用的。它们可以帮助我们进步。但它们也可能把生活变成仪表盘。身体成了一个永不停歇的优化项目。每一天都产生一个分数。这种自我量化,可以赋予一些人力量,也可以让另一些人焦虑。仍然没有一个统一的答案。当指标不再是自愿使用的工具,而变成社会要求时,问题就出现了。如果雇主索要睡眠评分,自由就消失了。
如果保险公司要求活动评分,健康就滑向了监控。因此,自我测量与第三方使用之间,必须有坚固的边界。一个人必须能够测量自身的许多事情,而不使这些信息对机构开放。这是一项重要的权利。个人健康设备,不得自动成为雇主或保险公司的传感器。又是分隔。在我看来,这是一条不可或缺的文明规则。数字私密必须保持私密。数据的存在本身,不会产生一种社会性的访问权。
这一区分将难以维系,因为经济激励推动着分享。只要分享你的活动数据,保险就更便宜。这似乎很划算。随后,拒绝的人就要付出更高的费用。压力上升。又涉及集体性的同意。因此,有时必须禁止因拒绝分享某些数据而实施的歧视。否则,选择就是虚幻的。这是一个法律必须拿出勇气的领域。但我们也必须为预防方面的创新留下空间。自愿参加的健康计划可以有益。关键在于目的,以及能否退出而不遭受不成比例的惩罚。仍然是比例原则。
我们总是回到同一组工具,因为它们是恰当的:目的限定、最小化、分隔、救济、到期失效、多元性。我们几乎可以围绕它们设计一个评分体系。而这会是有用的,因为评分不会消失。它太强大,有时也太有用了。目标不是禁止它。而是防止它被汇聚成总体。
这就是界线。
当分数不再是局部工具,而变成衡量人的价值的通用语言时,评分社会就变得危险。这恰恰是必须防止的事情。尊严不是分数。公民身份不是分数。重新开始的可能,不应永远取决于一个分数。在我看来,这套主张很清晰。它直接联系着我始终捍卫的救赎权利。
系统必须留一扇门敞开。即使犯过错误。即使得过低分。否则,算法社会就会滑向概率种姓。传统种姓用出身囚禁你。数字种姓可能用数据囚禁你。技术上的差异,不会改变这种机制的暴力。甚至可能加剧暴力,因为它显得客观。这就是数字的危险:它可以给等级秩序披上中立的外衣。
一个人不再因为有人憎恨他而受到歧视。他被排除,是因为“分数是 42”。权力消失在指标背后。这恰恰是我拒绝的责任消解。有人选择了模型、阈值、结果。我们必须追溯这条链。始终如此。
分数从来不是自然现象。它是被建构出来的。
即便由自动计算得出,它也建立在人的选择之上。什么数据?什么时期?什么目标?什么阈值?这套谱系必须对监督者可见。又是来源问题。分数的来源,变得与图像的来源同样重要。
这个数字从哪里来?
于是,所有章节汇聚在一起:合成世界、智能体、市场、分数。它们都提出同一个问题:在行动被分散的世界里,如何重建责任链?这或许是 AI 时代最重大的制度问题。智能是分布式的。责任必须仍然能够被重建。这句话几乎概括了这一整组讨论。
而评分社会迫使我们补充:预测可以分布在各处,但尊严不能消解于预测之中。人必须保有不被缩减为系统对他看法的权利。这就是不可预测的权利。不是逃离一切统计的权利,而是不让自由被统计吞没的权利。这是一项可以写入法律的原则。在我看来,它足够有力,能够成为一套欧洲的、甚至普遍的主张。欧洲的法律历史对尊严和数据保护尤为敏感。它可以把这种不被算法总体化的权利,作为一项重大贡献。但再说一次,法律背后需要有产业支撑。智能体和模型必须纳入这些原则。否则,它们就只会停留在文本上。保护必须被编码,并接受审计。一个禁止总体评分的社会,也必须在技术上阻止某些数据库的融合。法律成为架构。一次又一次。这让我更加确信,未来的法学工作者必须与工程师对话。没有转化为技术实现的禁令,可以被千百种推断绕过。工程师必须理解法律的精神。这种对话变得绝对核心。也许我们会看到权利架构团队的出现,由法律专家与数据科学家共同构建系统。这是我期待的发展。它会减少如今伦理总是晚于产品到来的局面。不可预测的权利,必须从设计之初就被纳入。例如:引入数据期限,分隔领域,允许申诉。这些都是技术功能。哲学成为代码。这可能令人不安,却不可避免。
价值观体现在架构之中。
在建筑上,这一点早已成立。全景敞视监狱表达了一种控制的哲学。界面或数据库也在做同样的事。区别在于,它更不容易被看见。因此,我们必须学会把代码当作政治架构来阅读。这是一种新的文化。城市规划者审视城市。未来的宪法学者必须审视数据流。在我看来,这显而易见。而这种阅读在原则上必须保持公开。民主社会必须知道,它的机构使用了哪些类别的评分。一份高影响系统登记册,可能是健全的架构。不是一份无休无止的小算法清单,而是那些影响重要权利的系统。
谁在使用它们?
为了什么?
有什么救济途径?
这会增进信任。仍然是合乎比例的透明。但评分社会的风险并不止于机构。它延伸到 AI 本身。助手可能开始在不明说的情况下,给我们赋予永久画像,以便个性化地回应我们。这可能有用。但如果系统总是按照过时的画像对待我们,它就缩减了我们改变的能力。个人 AI 也必须纳入不可预测的权利。它必须接受用户会改变。也许定期询问某些偏好是否仍然有效,让你能够在某些话题上重新开始。这种灵活性不可或缺。一个“太了解你”的助手,可能变成温柔的牢笼。它预判一切,总是向你推荐你昨天本会选择的东西。惊喜消失了。
这一局限,让不可预测的权利直接作用于我们自己的对话。陪伴我的智能,不应只学习我曾经是什么;它必须允许我成为不同于它对我的模型的存在。
又是探索的问题。
人需要对自身保有一定程度的不透明。
在相遇之前,我们并不总是知道自己想要什么。预测得过于完美的系统,可能取消相遇。这比经济评分更为深刻。不可预测的权利,也是一项存在性的权利。
成为一个无法由我们的过去预测出来的人的权利。也许,这甚至是 AI 时代人类自由最有力的定义之一。自由,也意味着能够驳倒自己的模型。当然,我们是历史与各种决定因素的产物。但人文主义社会必须在制度上,为断裂的可能留门。它不需要在哲学上解决自由意志的问题。它只需要不在行动之前就把门关上。这一主张在救赎的语境中极为具体。
服刑完毕的人,必须能够重建生活。失败的企业家,必须能够重新开始。平庸的少年,可以成为伟大的研究者。统计模型也许会说,这些情况很少见。那又怎样。评判文明,也要看它给罕见个案留下多大位置。混沌与蜕变,恰恰在这里交汇。
消除所有异常的系统,也就消除了自身未来的一部分。自然深知这一点。遗传多样性中包含一些看似无用的变异,直到环境改变。社会必须保存自身的行为多样性。评分推动着持续不断的筛选。因此,需要一股反向力量:一些可以失败而不被永远烙上污名的空间,一些给予第二次机会的区域。这是一种社会韧性的架构。
允许重新开始的社会,比把每个人都归入固定类别的社会更有适应力。这恰如把“只有变异者才能生存”应用于法律。救赎的权利,不只是同情;它是一种集体蜕变的策略。我认为,这是一个很有力量的观念。一个从不宽恕自身错误的社会,会减少可能的人生路径。
它变得僵硬。在变化的环境中,僵硬是危险的。慈悲可以是一种韧性。这个词可能听起来带有道德或宗教色彩,但它具有系统层面的维度。允许一个人改变,会增加未来的多样性。而评分为了获得可预测性,有时恰恰试图减少的就是这种多样性。
因此,我们必须选择,自己想要一个可预测到何种程度的世界。一个完全可预测的社会,或许更容易治理,却更不自由,也很可能更缺乏创新。不可预测性是自由的代价。民主接受公民有时会作出政府认为错误的选择。市场接受企业家投资于最终失败的想法。艺术接受无法归类之物。
这种不可预测性会产生浪费、混乱,也会产生新事物。威权政体往往梦想减少社会的不确定性。AI可以为它们提供工具。而民主则必须学会管理不确定性,而不试图消除它。这是深刻的哲学差异。安全不是没有不可预测之事;安全是有能力应对它。仍然是韧性,而不是预言。
这让我们的讨论回到起点。我们不应使用 AI 来消除人的不确定性,而应建立能够与它共处的机构。这一区别,可能成为文明的分界线。一边,是为了控制而寻求预测的架构。另一边,是为了增进自由与韧性而寻求理解的架构。显然,没有一个社会会是纯粹的。民主社会也会使用评分。威权政体也可能用 AI 提供有益的服务。这不是要画一幅脸谱化的图景。但规范方向十分重要。系统的默认选择是什么?
当系统犹豫时,它优先考虑的是人的可能性,还是预测的稳妥性?
这个问题会出现在各个领域:信贷、教育、警务。我们必须界定不同的阈值。但可以保留一条原则:一个决定对一个人未来的影响越根本,就越不应仅仅依据统计对他过去的描述。在我看来,这一表述非常扎实。未来不应属于过去。AI 向过去学习。法律保护未来的可能。这也许是二者最美的衔接。人工智能是一台庞大的机器,从已经发生之事中提取规律。文明必须保留一个空间,让从未发生之事仍然能够出现。艺术、创新、救赎,都栖居在那里。
如果模型把 demeure du chaos 与邻近房产进行比较,它本身很可能得到灾难性的合规评分。然而,它的价值恰恰在于这种断裂。因此,分数绝不能成为普遍的裁判。它衡量差距。历史有时会判定,这种差距具有开创性。这种时间性是根本的。当下分类,未来重新分类。一个想要实时给一切打分的社会,忘记了意义会改变。今天不被理解的作品,明天可能成为遗产。被视为愚蠢的企业家,可能成为先驱。分数永远是计算它的那一时刻的囚徒。这是 AI 永远无法彻底消除的局限。
它可以从不同情景中学习,但未来会创造新的类别。这恰恰就是变异。而这一观念,自然引出了下一个问题。如果我们必须保护不可预测性与突破的能力,那么,在模型能够预测、个性化并引导每一次学习体验的世界里,教育会变成什么?学校可以成为算法赋权最有力的场所之一,也可能反过来,成为持续评分的首要场所。
AI 导师可以按照每个孩子自己的节奏帮助他,发现困难,开辟道路。但它也能记录每一次犹豫、每一个错误,从童年开始建立一份追随个人的认知画像。那将令人震惊。教育恰恰必须是一个让个人成为不同于过去的自己的地方。它不能成为一个尽早把人禁锢于预定未来的机构。
如何使用近乎一对一的导师,而不把学生变成一份永久画像?
如何保留教师、关系与集体?最重要的是,当智能可以按需获得时,还有什么需要学习?
因此,自我塑造的权利延伸了不可预测的权利:学习,就是保有成为不同于模型所规划之人的可能。
但这个问题,如今把我们带回到支撑整部作品的机制。因为,我们刚刚在社会尺度上考察的一切——记忆、预测、反驳、自由、改变的能力——也曾在四十天与四十夜里,在我们自己的对话中展开。是时候审视这场对话本身了。
人类思想与对话:thierry | 写作:100% AI
阅读进度:第 96 页,共 102 页