人工智能时代算法权力及其法律规制

杨 超

(辽宁大学 法学院，辽宁 沈阳 110036)

随着人工智能技术和大数据的发展，算法逐渐进入人们的视野，并渗透进人们的日常生活和社会生产之中。小到人们浏览手机APP购买商品或阅读新闻，大到政府部门制定公共政策，背后都留有算法的印记。与其说是算法在施加影响，不如说是算法权力在背后主导。伴随着算法的普遍应用，行为受限问题、社会歧视问题、数据安全问题、公共利益被损害等问题逐渐暴露，凸显了社会不和谐的一面。然而，由于“算法黑箱”的存在，大多数人并不了解算法权力，更不清楚算法权力是如何运行并发挥效用的。可以说，面对算法权力带来的种种弊端，人们最大的感受莫过于有心无力。因此，深刻认识算法权力以及如何规制算法权力很有必要，势在必行。

当前，我国法学界对算法权力也有诸多的研究，主要集中于算法权力的形成原因、带来的问题及法律规制等等，可以说取得了一定的研究成果。但也存在着问题，一方面对于算法权力的定义采取了“拿来即用”的方式，缺少对算法权力的深入解读，直接影响到了人们对算法权力的定位与后续法律规制，另一方面算法权力的规制局限于具体制度的构建，缺乏概观性的价值指引。本文力图在深入解读算法权力的基础上，分析算法权力的运行逻辑、对社会主要价值观念的冲击，最终提出符合现阶段算法权力实际情况的规制路径。

一、算法权力的界定

(一)算法权力定义的检视与重新界定

关于算法权力的定义，仅有少数的学者给予了明确的定义，更多的是不加阐述直接引用。有学者认为“算法权力是一种人工智能技术平台的控制者，凭借自身拥有的算法技术优势而在人工智能应用过程中产生的对政府、社会组织和公民个人等对象的技术权力”[1]，意在表明算法权力控制人工智能平台，凭借的是自身的算法技术，作用对象是政府、社会组织、公民个人，是一种控制性技术权力。整体来看，这是一个比较全面的定义，但是该定义未指出算法技术是如何作用于对象的，缺少了算法技术与作用对象的中间描述，过于抽象。有学者认为“算法权力是掌握算法技术的个人和企业利用自身的技术优势和行业便利，把控社会资源及信息，引导政府做出决策，从而形成的一股不可小觑的力量”[2]，换言之，算法权力主体包括个人和企业，利用算法技术引导政府决策，侧重于私的力量影响了政府。整体来看，该定义是比较片面的。该定义优点是点出了算法技术的本质是可以掌控社会资源及信息，问题在于忽略了算法权力的掌控者除了个人和企业，也可以有政府，而且相比企业和个人，政府拥有发展算法权力的数据优势，潜力更大。从引导政府作出决策可以看出，算法权力是最终服务于政府和公众的。有学者则直接采用“算法权力”的概念，没有给出定义。正如有学者指出：“算法权力作为一种新型的权力形式，尚未完全被学界接纳，但这不妨碍我们对其内涵和特征进行探讨。”[1]但这并不代表就不需要对算法权力的定义不加重视，相反，明确算法权力的定义，对于其法律规制具有重要的意义。

从字面构成来看，算法权力是由“算法”和“权力”组合而来的合成词汇。“算法”是解决问题的策略机制，是一种计算机指令，属于非常明确的概念。而对于“权力”的理解，不同领域、同一领域不同流派均有不同的认识，主流的观点认为权力是人与人之间的一种特殊影响力，是一些人对另一些人造成他所希望和预定影响的能力，或者是一个人或许多人的行为使另一个人或其他许多人的行为发生改变的一种关系。[3]为使叙事清楚，本文尝试给算法权力下定义，认为算法权力是指一方凭借算法技术把控社会资源及信息从而作用于另一方的一种技术性力量。该定义将算法权力定位为技术性力量，而不是法律意义上的权力。根据吴玉章老师的观点，“法律权力具有有限性，受到法律规范的制约和法律监督的制约”，[4]很显然，算法权力皆不符合。该定义明确了算法权力的行使主体和行使对象，避免了过宽或过窄定义主客体，具有开放性；表明了形成的关键在于技术、资源、信息的绝对优势，而不是传统的政治统治权下的暴力夺取和暴力执行，突出了算法权力的特殊之处；角色分明，也为后续规制算法权力提供了清晰的路径。算法权力本质上是一种计算机技术权力。算法权力的特征之一为隐蔽性，区别于公示性的国家权力，算法权力通过一系列计算机指令行使权力，其运行机制是不对外公开的。算法权力的特征之二为分离性，一方面是运行于机器内部指令与输出结果在空间上的分离，一方面是算法使用者与算法拥有者的分离。当前，算法权力主要见于公共领域与商业领域。

(二)算法权力与相关用语的区分

1.算法权力与公权力。依目前大多数学者的观点，算法权力是一种类似于公权力的权力形态，这种“类似”仅限于算法权力可以对有限的社会构成或公众产生效果，但这种趋势在逐渐增强。除此，两者的区别也比较明显。

从权力来源看，公权力来源于人民的让渡，即人民赋权，而算法权力来源于算法技术的应用；从权力行使主体角度看，公权力由明定的国家机关或经国家机关授权或委托的国家组织行使，而算法权力由掌控算法技术的主体行使，这类主体可能是国家机关，也可能是私营企业，但不管是国家机关还是私营企业，算法权力最终仅掌握在少数的几个人手中；从权力的行使对象看，公权力的行使对象为社会公众，而算法权力的行使对象为因应用场景而异，可以是社会公众，也可以是政府、企业；从权力行使目的看，公权力的行使目的是为人们谋利益，而算法权力的行使目的是为人们谋利益或为私有主体谋取利益；从是否受监督角度看，公权力有一套完备的制约和监督体系以防止滥用，而算法权力目前尚无相关的法律或规定予以制约和监督。

2.算法权力与权利。在算法领域，权力与权利在配置上处于严重的失衡状态，即有算法权力的实际存在(虽无名分)但无可防御性的权利存在的状态，两者的区分直接关系到后续算法权力的规制。

权利是权利享有人实现自身利益的一种方式，而算法权力是算法权力的掌控主体实现其自身利益的一种控制力或力量，这种力量源于技术、资源、信息，两者看似没有交集，但是深入思考会发现，当算法权力对相对方发生侵害时，相对方是没有专门针对前者相应的权利进行救济的。碍于“算法黑箱”的存在，也难以对算法权力的违法行为进行清晰的认定，《民法典》中“侵权责任编”适用的空间非常狭窄。

二、算法权力的作用机制

算法权力的定义及其与相关概念的区分使我们对算法权力有了一个较为清晰的认识与定位，那么算法权力是如何发挥作用的？这就需要了解算法权力的作用机制，“在福柯看来，当代社会里，权力已经具有了新的形势和特点”[5]，“新的权力手段则完全不同：他们不靠权利，而靠技术；不靠法律，而靠正常化；不靠惩罚，而靠控制”[6]。算法即是利用技术控制着人的行为，同时使其作用影响正常化。当算法作用于行为对象时，通过行为控制机制、嵌入机制、算法歧视机制影响自由、平等、安全价值。

(一)行为控制机制

行为控制机制指算法以强大的数据处理能力和自主学习能力裹挟网络平台使用者，通过代码规则形成对公众行为的控制。行为控制机制通过算法构建行为规范产生强大的控制力量形成算法权力，这种强大的控制力量有两个来源，一是算法使用者具有极大的资源、技术、信息优势，在与算法相对方的较量中占据主导地位，一是算法通过二进制的代码构建行为规范，普通人难以理解，只能默默承受。尤瓦尔·赫拉利在其《未来简史》中曾预测：“在未来人工智能将获得统治地位，我们的法律将变成一种数字规则，它除了无法管理物理定律之外，将规范人类的一切行为。”[7]以滴滴打车软件应用为例，用户下载滴滴打车软件——点击滴滴法律条款及隐私政策选项——访问权限设置——用户注册——行驶路线划定——司机分配——支付车款，算法设计出了一系列的用车流程，事实上打车人的整个行为已处于滴滴软件系统的规制之下，根本没有讨价还价的余地。

(二)嵌入机制

嵌入机制指算法嵌入公共治理领域，形成算法权力与国家权力共同发挥作用的一种形式。信息社会，政府社会职能的实现需要借助算法强大的数据收集与分析能力，这为算法嵌入公共治理领域提供了契机。例如，我国公安机关DNA数据库应用系统就采用了算法技术，当新录入的DNA与旧案相符合时就会自动报警。再如，美国纽约州警察局曾将数据分析大规模地引入治安管理工作中，成功的降低了当地的犯罪率。众所周知，政府领域涉及人们生活的方方面面，关涉公共利益。算法嵌入政府领域，尤其是在做出对公众利益影响巨大的决策时，数据收集是否合理、数据分析是否符合逻辑、决策作出是否透明等等至关重要。值得警惕的是，算法主要掌握在少数大型互联网平台企业手中，以追逐商业利益为目的，先天性的会挤压部分公共利益，有损社会公平正义。

(三)算法歧视机制

算法歧视机制指算法的应用对某个特殊群体产生了不平等对待的情形。算法歧视根源于算法权力的形成，本质上是拥有算法权力的一方与算法作用对象占有资源的极不对等。当某些被考虑的个性参数具有双价相关，即当这些参数以具有统计学意义的方式同时与构成区别对待的合法理由以及歧视特征相关联时，算法歧视可能会出现。同时，算法的表象是客观中立的，但表象的背后实际是算法设计者、算法控制者对算法应用对象的歧视或打压。算法歧视发生与作用的领域越来越广，如就业、信贷、保险、网上购物。初次的算法歧视一旦形成，会形成“歧视惯性”，然后会持续性的影响到算法应用对象的日常生活和生产。

三、算法权力对法价值的冲击

当前，算法权力已经迅速的渗入到了人们的日常生活和社会生产之中，引发了人们的极大关注。透过纷繁复杂的现象，可以看出，算法权力对自由、平等、安全法价值观念产生了冲击。

(一)对自由的挑战

整个法律和正义的哲学就是以自由观念为核心而构建起来的，朱利叶斯·凯撒曾说“任何人生来都渴求自由、痛恨奴役状况”。[8]一般意义上，自由包括人的意志自由和行动自由。

算法对行动自由的挑战。算法通过对海量数据的分析、分类、归纳及整合，能勾勒出“用户画像”，从而实现定向推送，一定程度上限制了公众的选择自由。这种场景常发生于基于算法定向推送的情形。“智能算法的个性化服务使人的需求受制于数据，人性自身的超越性自由和可能性力量被迅速限制。”[9]以消费者选择自由受限为例，在算法未诞生之前，消费者可以在网络平台上自由的选择中意的商品，虽说是漫无目的，但消费者享有选择的绝对自由。而算法的介入，使得个性化定向推送成为可能，消费者的选择自由受到了极大地限制。当消费者在网络平台浏览各种商品时会留下浏览的痕迹，“一旦这些数据沦为算法技术的分析对象——算料，那么，算法技术有可能会进一步挖掘、整合和加总这些数据，从不同系统的数据脚印中，印证、解释和再现个体的一切活动轨迹，个人隐私无处遁形，个人行动还会被诱导”[10]。自主性是技术最根本的特性，技术自主性意味着技术摆脱了社会控制，正在形成一种难以抑制的力量，人类自由将受到威胁。

算法对意志自由的挑战。搜索引擎服务商利用算法规则显示搜索排名，受商业目的、政治目的、技术目的的影响，有的内容被优先显示，有的则无法显示，一定程度上限制了言说者的言论自由的权利。以谷歌广告排名系统为例，通过竞价的方式在有限的展示名单上排列产品广告信息，无异于压制了其他产品提供商言论自由的权利。换句话说，有钱的人能够享有充分的言论自由，而相对没钱的人的言论自由被限制或剥夺。如上所述的个性化算法推荐，除了限制公众选择自由，一定程度上冲击了公众的思想自由。以今日头条新闻推送为例，频繁的、持续的精准推送会形成“信息茧房”效应，慢慢侵蚀人的思想，使人的思考和认知片面化。

(二)对平等的挑战

与平等相对的用语为不平等，而歧视通常以一种不平等的视角对待人或事物。毋庸置疑，算法背景下形成的算法歧视构成了对平等最直接的挑战，主要表现为价格歧视、性别歧视、种族歧视三种形式。

价格歧视。价格歧视最为大众所熟知，区别于传统的价格歧视，算法驱动下的价格歧视是基于海量的消费者数据的收集，然后由算法对数据进行分析比对，进而了解消费者的消费习惯，最终形成针对特定消费者的价格。“大数据杀熟”这一术语在2018年被评为社会生活类十大用语，即面对同样的商品或服务，老用户看到的价格要比新用户看到的价格要高，多发生于关系消费的网络平台，比如酒店、旅游、美食、机票类平台。这些平台广泛运用消费者往常登录平台留下的大量痕迹，进而运用算法对其进行分析形成精准的“消费画像”，最终做到一人一价。性别歧视，主要发生于求职领域，2015年，谷歌公司开发的广告算法被指存在严重的性别歧视。卡内基·梅隆大学和国际计算机科学研究所(ICSI)的研究人员的一项研究使用了一款名为AdFisher的定制软件，模拟了网络用户的浏览活动，当访问招聘网站的时候，假冒男性用户会更频繁地显示许诺高薪的广告，而假冒女性时却没有。种族歧视，相对而言，种族歧视则更为隐蔽。Northpointe公司推出的COMPAS(有关替代性制裁的惩教罪犯管理概况)软件，它可以预测被告再次犯罪的概率，而黑人再次犯罪的概率明显大于白人。[8]

(三)对安全的挑战

算法时代的安全威胁，主要源于数据的泄露尤其是含有个人隐私的数据泄露。数据被誉为新的“石油”资源，资源属性意义重大，而有算法的助力，数据将发挥更大的效用。一旦发生数据泄露，受利益驱使、居心叵测并拥有强大算法技术的大企业便抓住机会对泄露数据进行分析、整合，推测出数据拥有者的更多的个人信息或关联人的信息，形成数据泄露的再次升级。不论用于合法的活动还是非法的活动，都对个人隐私安全甚至人身安全、财产安全构成比先前单纯的数据泄露更大地威胁。

四、算法权力的规制

当前的算法权力规制手段大多集中于具体制度的构建，诚然，如果能够落实，预测能有一定的效果，但是算法毕竟是一类新生事物，当前并无哪部法律或法规能够有效约束，从新的立法到施行更是需要很长一段时间，因此，从价值指引、原则调适方面对于现阶段的算法权力规制能起到更好的效果，也更有益于算法的创新与社会的发展进步。当然，具体的制度也要积极构建，制度落实只是时间长短问题。因此，本文尝试构建一种价值与原则先行、具体制度逐步推进的顺序规制策略。

(一)人的尊严

“尊严”是一个抽象词汇，属于意识范畴领域。关于“尊严”的概念和内涵因人或因时代而异，尊严是指人们的尊严还是人性尊严还是人格尊严也存着争议，虽然表达用语不同，但都不无例外的体现了对人的关注和重视。“尊严”意味着尊重他人，基于人与人之间的相互尊重，人们内心的自由、平等、安全、自信感得到满足，进而遵从内心理性从事社会交往，得以形成和谐的人际关系，最终促进社会的和谐与稳定，社会的公平正义也就自然实现了。

互联网络的发展，人与人之间、人与社会之间的联系多通过虚拟网络建构，大数据挖掘技术与算法技术的结合，能近乎精确的勾勒出“用户画像”，使得人们对于尊严的理解多局限于虚拟网络环境，忽略了现实中人的主体性特征，直接导致了人们对人的尊严的低维理解和认知意义削减。但是，当算法应用对人的自由、平等、安全、公共利益的产生威胁时，人们并未彻底认识到这是对人的尊严的严重侵犯。康德曾说：“任何人都没有权利仅把他人作为实现自己主观目的的工具。每个个人都应当永远被视为目的本身”，这是近代时期先哲对人的尊严做的最完美的诠释。因此，相较于算法应用，人的尊严保护当置于优先地位。

(二)利益衡量原则

利益衡量原则指在算法设计前，在算法的设计者、算法使用者或拥有者、算法应用对象之间的一种利益衡量。这一原则对于缓和由网络平台与平台用户地位不平等、资源占有不对等引发的对自由、平等、安全价值观念的冲击具有平衡作用。当前，算法的应用主要集中在商业领域，公共治理领域虽然也在积极推进，但仍不及商业领域应用的普遍和深入。无论哪个领域，背后必然有利益的衡量，如何协调背后的资本利益，使之契合各方的利益诉求，是社会实现公平正义的关键。

在商业领域，一般涉及的利益相关方为算法的设计者、算法使用者(所有者)、算法的应用者。限于开发能力，除了几个大型互联网企业，其他企业的算法系统几乎都是委托他方开发，所以算法设计者的利益是获取服务费用，算法使用者的利益是实现最大可能的利润，算法应用者的利益是实现便捷服务与利益尽可能不受损害。其中，算法使用者与算法应用者之间的利益是存在冲突的，或者说资本利益与有限公共利益的冲突。此时，应当将算法使用者的利益和算法应用者的利益置于算法应用这一平台加以比较。同样，在公共治理领域，应当将算法的使用者即政府的利益与算法的应用者即社会公众之间的利益置于算法应用这一平台加以比较。至于如何衡量各方利益，需要根据自动化决策的适用对象、适用范围、评估效果等因素而定。但毋庸置疑的是，公共利益应为首要考虑，且不得损害公共利益是底线要求。

(三)程序正当原则

程序正当原则是行政法的基本原则之一，正当程序是指基于公平、正义而应遵循的程序，不论法律是否有明确规定都应予以遵守，它是对行政主体行使行政权力的最低限度的程序要求。[11]算法权力是掌握算法技术的个人和企业利用自身的技术优势和行业便利，把控社会资源及信息，引导政府作出决策，从而形成的一股不可小觑的力量。虽说算法权力具有横向性，不同于纵向性的国家权力，但就双方的权力本质而言，两者具有统一性，都具有控制和影响他人的能力。目前，学界有称算法权力为“准公权力”。鉴于算法权力与国家权力具有相似之处，有必要吸收程序正当原则作为指导实现算法正义的一项原则。这一原则使算法运行透明化尤其是从数据收集到分析的整个过程，同时赋予公众参与的权利，是从算法应用的初始阶段开始对算法进行规制，对于数据安全、公共利益的维护具有重要作用。具体包括算法公开原则和公众参与原则，公开原则指算法的使用者应当主动向公众公开算法系统的数据收集、数据处理、数据应用的情况，其中数据收集是算法系统运行的初始步骤，能够从源头上把握数据的契合度，防止出现“数据鸿沟”与采集数据单一化的现象；如果数据契合度很高，数据处理环节就会相对公平；数据应用包括自动化决策、行为控制等环节。公众参与原则指当算法系统向公众公开后，应当听取公众的意见。尤其是有损公众利益的决定，公众有权进行申辩。

(四)制度保障

1.建立以宪法为核心，以多部门为辅的制度保障体系。人权是一个历史概念，不同的历史阶段、时代背景有着不同的人权解读，相应的，侵犯和保护人权的方式也会发生变化。当前侵犯人权的方式呈现出智能化、隐蔽性的特征，侵犯人权的时间上具有长期性特征，如上文提到的算法定向推荐、算法歧视，人们的权益受到侵犯却浑然不知，严重威胁着社会的公平正义。更严重的是，目前尚无专门性的法律规章制度进行规制。

宪法是国家的根本大法，具有统帅部门法的领导地位。宪法第三十三条第二款规定了“尊重和保障人权”，(1)《中华人民共和国宪法》第三十三条第二款。，宪法第三十八条规定了“中华人民共和国公民的人格尊严不受侵犯”，(2)《中华人民共和国宪法》第三十八条。这些规定都是原则性的规定，对于缓解算法对自由、平等、安全、公共利益正义价值的侵害具有引领和指导作用。此外，《民法典》中对人格权的保护，《网络安全法》中对网络产品、服务的提供者的约束，对用户个人信息保护，以及即将出台的《个人信息保护法》，都不同程度的发挥着保护人们基本权益的积极作用。因此，非常有必要构建以宪法为核心，即以尊重和保障人权原则为指导，从宪法价值、宪法原则、宪法具体条文层面延伸到各个部门法相关的条款对算法出现的问题进行规制，遏制算法带来的侵害人权、侵害社会公平正义的情形。

2.在具体的应用场景中对算法权力进行规制。第一，公共治理领域中的算法权力规制。一是对于涉及公共利益的一般决策，应当严格遵循程序正当原则，及时公开算法(涉及国家秘密、商业秘密的除外)，保证公众知情权；对于涉及公共利益的重大决策，除了遵循前述原则，应当对算法应用的必要性进行论证，必要时举行听证会。二是配置个人权利对抗算法权力。根据算法应用的实际情况，适当的赋予个人以数据权利，包括但不限于知情权、访问权、删除权、拒绝权，防止算法权力的肆意侵害。

第二，商业领域中的算法权力规制。一是加强政府层面对算法权力的监管，建立算法问责制度，发现算法危害公共利益的情形，及时介入处理并追究责任。二是严格把控数据质量包括数据的清洁度、数据的均衡性、数据的完整性，从源头上保证数据的匹配度与公正性，实现“数据正义”[12]。如拒绝将种族、弱势群体等因素纳入基础数据，防止算法歧视的滋生。三是在基础数据中嵌入社会伦理观念，使社会伦理成为自动化决策的参考因素，确保企业在追逐利益的同时符合公众的容忍期待。四是要求企业自身建立健全风险监控机制和事后救济制度，对算法应用的全过程进行监控，一旦发现危险情况应立即上报和处理。如果出现了损害结果，应及时对外公布，必要的给予赔偿。