人工智能算法歧视的法律规制：欧美经验与中国路径

[摘要]算法歧视是人工智能自动化决策中，由数据分析导致的对特定群体的，系统的、可重复的、不公正对待。算法歧视正在人工智能技术应用的多个场域出现，对受害群体及整个社会有着多重不利影响。为了维护平等与公正的社会秩序，有必要对算法歧视进行法律规制。作为人工智能法律规制的先行者，在应对人工智能算法歧视方面，欧盟选择了以数据保护为中心的规制模式，而美国选择了以算法责任为中心的规制模式。我国正处于人工智能法律规制的草创阶段，在今后的法治实践中，可由算法理念、算法技术、算法审查和算法问责四个方面着手，完善我国的人工智能算法歧视法律规制框架。

[关 键 词]大数据  人工智能  算法歧视  数据保护  算法责任

[作者简介]章小杉（1991—），女，湖北浠水人，武汉大学法学院博士研究生，研究方向为宪法学与行政法学。

[中图分类号]D920.4    [文献标识码]A    [文章编号]1008-7672（2019）06-0063-10

进入大数据时代后，机器学习重新成为计算机科学的重点课题。通过对大数据的挖掘与分析，以及算法的不断生成与优化，机器逐渐具备了足够与人相媲美的智能，亦即现代人熟知的人工智能（Artificial Intelligence）。毫无疑问，以大数据为驱动、以算法为核心的人工智能正在深刻地改变着人类社会。人工智能一方面给人类社会带来前所未有的技术红利，另一方面也蕴藏着多重风险和不确定性。国务院于2017年7月8日印发的《新一代人工智能发展规划》指出，人工智能是影响面甚广的颠覆性技术，在大力发展人工智能的同时，必须高度重视可能带来的安全风险挑战，确保人工智能安全、可靠、可控发展。有学者总结了人工智能给人类社会带来的五种风险，即伦理风险、极化风险、规制风险、异化风险及责任风险。？譹？訛算法歧视（Algorithmic Discrimination）正是人工智能技术应用不可忽视的风险之一，其不仅侵犯了社会个体的平等权利，违背了平等与公正的价值理念，而且会令特定群体进一步边缘化，加剧人类社会的分化与不平等。为了维护平等与公正的社会秩序，必须从法律层面对算法歧视进行规制。作为人工智能法律治理的先行者，在算法歧视法律规制方面，欧盟和美国发展出了各具特色的规制模式，能够为完善我国算法歧视法律规制提供一些启示。

一、 算法歧视的定义与表现

随着人工智能深入介入人的生活，算法歧视等负面效果渐次浮现，？譹？訛学界亦积极探求规制算法歧视的法律路径。？譺？訛在探讨算法歧视的法律规制路径之前，有必要了解算法歧视的定义与表现。迄今为止，算法歧视并没有科学且通用的定义。因而，理解算法歧视，宜从算法和歧视两个概念分别着手。众所周知，算法是人工智能的核心，如果将人工智能视为大数据的输入与数据分析结果的输出，那么算法就是将输入值（Inputs）转化为输出值（Outputs）的关键步骤。？譻？訛事实上，以大数据为节点，可将算法分为两种：一种是使用人类定义的模型分析数据的算法，另一种是由大数据生成和选择模型的算法。前一種算法可人工完成，其计算结果完全可预测，同样的输入值会得出同样的输出值;后一种算法不会自动使用人类定义的模型，而是从大数据里生成和选择模型，此类算法有自主学习的能力，可在运作中自动优化模型。？譼？訛对符合特定条件的申请者适用加分政策，根据申请者的总分情况决定是否录取，？譽？訛属于前一种算法;由海量再犯数据的读取和分析，总结类似罪犯群体再犯风险，再针对被告人的数据和信息，作出再犯风险评估和量刑建议，？譾？訛属于后一种算法。两种算法风险的可控性截然不同，今日人们所说的人工智能算法歧视，多指后一种算法导致的歧视。

除算法外，歧视也是一个关键概念。歧视虽然不似算法般不可捉摸，却也没有国际通用的定义标准。尽管如此，学界公认，歧视与平等互为对立面，歧视构成对平等权的侵犯。在国际人权法中，歧视有三个构成要件：一是存在差别对待，二是差别对待导致不良后果，三是差别对待的理由为法律所禁止。？譿？訛基于性别、种族、宗教、遗传特征、残疾、年龄及性取向而给予不公正待遇通常会被认定为歧视。欧洲人权法院在D.H. and Others v. the Czech Republic案中将歧视定义为“在缺乏客观且合理依据的情况下，对处于相同情况的人给予不同的待遇”，并指出“对情况相同者给予不同待遇”“对情况不同者给予同等待遇”“形式平等而实质不平等”都会构成歧视。？讀？訛美国法院在判例中确定了歧视案件审查三步曲：一是审查差别对待是否存在，二是查明差别对待出于何种理由，并据此选择适用的审查基准，三是运用特定的审查基准审查差别对待的合理性。？讁？訛我国虽未积累大量平等权案例，但是学界亦接受，歧视可理解为“缺乏合理依据的差别对待”。？輥？輮？訛结合算法与歧视的概念，可将人工智能算法歧视定义为“由数据分析导致的对特定群体的系统性的、可重复的不公正对待”。？輥？輯？訛由于是计算机在读取、收集与分析数据时自动产生的，算法歧视有时也被称作自动化歧视（Automated Discrimination），亦即数据分析导致的对特定群体的不公正对待。？輥？輰？訛

虽然当下人类处于弱人工智能阶段，人工智能技术应用的场域有限，但是人工智能算法歧视已经在多个领域显现出来。在电子商务领域，“算法杀熟”或曰“大数据杀熟”——网络交易平台通过分析客户的消费及浏览记录，以机器算法来了解消费者的喜好与习惯，并且根据用户情况对同一商品给予不同报价，常用客户被给予更高的报价——即是明显的价格歧视。在就业领域，亚马逊公司用来筛选潜在雇员的算法系统，被发现更加青睐男性求职者，被指歧视女性求职者，？譹？訛以通勤时间筛选潜在雇员的算法系统，自动排除通勤时间长的申请者，导致歧视居住在商业中心之外的低收入少数族裔。？譺？訛在金融信贷领域，某些网络信贷平台算法向遭遇经济危机的人及低收入人群收取更高的贷款利息。？譻？訛在刑事司法领域，美国法院用来评估被告人再犯风险并据以给出量刑建议的算法系统被发现歧视黑人——黑人被评估为有高再犯风险的几率为白人的两倍，英国警方用来辅助作出羁押决定的算法系统也被发现歧视低收入人群——居住在低收入社区的人有更大概率被建议羁押。？譼？訛以上实例并未穷尽算法歧视的情形，随着人工智能技术的扩大化应用，算法歧视问题还将在其他领域显现，对公正的社会秩序造成冲击。当下，国家已将发展人工智能列为提升国家竞争力、维护国家安全的重大战略，人工智能将被应用到教育、医疗、养老、司法、物流、金融、商务等行业和领域。为了维护公正的社会秩序，算法歧视问题值得引起各界的重视。

（一） 算法歧视法律规制的理念之维

规制算法歧视的首要前提是承认算法歧视的客观存在。必须承认的是，在大数据时代，即使算法开发者没有主观歧视意图，依然可能出现算法歧视的结果，而如果算法运营者和监管者觉察不到算法歧视的存在，算法歧视就会对特定弱势群体造成实质性的损害。？譾？訛因而，在理念层面，规制算法歧视，首先要确立算法公正（Fair Algorithm）的宏观指导原则。事实上，平等作为原则和权利，早已载入各种法律，在人工智能技术应用场域，确立算法公正原则是对法律规定的自觉服从。算法的开发者、监管者和运营者都应具备算法公正的自觉意识，并将这种意识带入与算法相关的工作之中。公民平等权益保护机构亦应加大执法力度，确保公民的合法权益不受算法歧视的非法侵害。其次，要在具体领域明确算法公正的实施规则。如学者指出，人工智能在电子商务、精准医疗和自动驾驶等领域有广泛的应用和实践，法律在这些领域的规制方法、手段、强度和密度应当存有差异，因为人工智能法律规制的具体目标在不同的场域各不相同。？譹？訛有学者建议，结合具体领域的实际情况，限制算法黑箱的应用及确立算法的准入标准。？譺？訛再次，应当重视人的因素，保证人的参与（keep human in the loop）。？譻？訛算法的发明和应用，旨在将人从繁重而复杂的工作中解放出来，然而，这并不代表人的因素不再重要，恰恰相反，人的监管对于算法歧视的规制至关重要，因为人能觉察机器注意不到的歧视问题。换言之，人必须是算法的立法者和控制者，法律的算法和算法的法律不应成为一个闭环，它们之间，必须有人作为起点和终点。？譼？訛

（二） 算法歧视法律规则的技术之维

有学者指出，为了保障人的权益，应当加强法律对技术的归化。？譽？訛事实上，这正是国外计算机科学家与社会科学家共同努力的方向。为确保算法自动化决策公正、透明且可问责，科学家已经在探寻规制算法歧视的技术路径，主要包括“有反歧视意识的数据挖掘技术”（Discrimination-Aware Data Mining，简称“DADM”）和“公正、负责及透明机器学习”（Fairness， Accountability and Transparency in Machine Learning， FATML），虽然目前仍然在探索中，但这种技术路径的原理在于改变常用的数据科学过程以纠正算法偏见，这种技术可在运作前、运作中和运作后有效应对算法歧视问题。？譾？訛从技术层面规制算法歧视，首先要研发及应用有反歧视意识的算法技术。对于计算机科学家而言，开发有反歧视意识的算法系统并非不可能之事，但关键在于理解法律所定义的非法歧视，并将法律化的技术伦理内化于算法技术之中，而这需要法学家和科学家通力合作，研发出合乎法律伦理和技术可能性的公正算法。？譿？訛再者，数据是人类社会的镜像，算法是人类价值的载体，许多人类社会的价值可经由算法设计者进入人工智能，即是说，加强算法科技人员的伦理意识教育也是应对算法歧视问题的一个重要途径。？讀？訛在国外，已有许多高校开设了技术伦理课程，在今后，国内高校亦可考虑开设此类课程，以使公正价值由算法设计者进入人工智能。在此思路下，增强研发人员及训练数据的多样性亦可有效纠正算法偏见和歧视。？讁？訛

（三） 算法歧视法律规制的审查之维

随着数据清洁和算法透明不足性的出现，算法审查成为学界推荐的规制算法歧视的首要策略。算法不中立，因而须为其造成的损害承担责任;而要算法承担责任，对算法的审查就是必不可少的。通常而言，算法审查应当包含三个维度：自我审查、行业监督和行政监管。就自我审查而言，美国《算法责任法案》要求的企业自行作出歧视风险评估，并及时改进所发现的问题，将是抑制算法歧视的一个有效途径。对于企业而言，作此类影响评估，在短期内可能会加大企业的运营成本，令企业承受更大的社会责任，但是从长远来看，自我审查有助于企业维持消费者信心及促进行业的健康发展。就行业监督而言，有学者指出，鉴于人工智能技术的重要性和专业性，相关企业和民间团体有必要考虑，在全国范围内成立自治性行业监督管理委员会，对人工智能技术行业的业务进行指导和监督。？譹？訛在此方面，美国计算机协会作出了表率，由其发布的《关于算法透明性与可责性的声明》为计算机行业从业者提供了有益的指导。就行政监管而言，有学者建议，为有效规制算法歧视，应当成立一个独立的算法安全委员会，全面负责算法的审查和解释工作。？譺？訛在人工智能高度专业化的语境下，公众监督和行业自律并不足以抑制算法歧视，因而由专业人士和法律人士组成的算法委员会主导的行政监管将不可或缺。在此方面，《关于规范金融机构资产管理业务的指导意见》提供了值得参考的思路。就审查的内容而言，有学者指出，事前的审查与事后的监督、定期的审查与不定期的审查、对算法过程的审查与对算法结果的审查、對基于个人特质的歧视的审查与对非基于个人特质的歧视的审查都十分必要。？譻？訛

（四） 算法歧视法律规制的问责之维

当所有预防措施失灵，算法歧视造成实害时，就有必要对算法进行追责。算法问责应包括两个方面的内容：一是对受害者的救济，二是对侵权者的追责。就对受害者的救济而言，监管部门应当鼓励算法运营者采取适当措施，确保受算法歧视的个人或群体有足够的回馈、质询和救济渠道。更有学者指出，为节约诉讼成本，提高诉讼效率及保障受害者的合法权益，可就算法歧视问题引入集体诉讼制度。？譼？訛集体诉讼制度在一定程度上有助于缓解算法歧视受害者与算法运营者之间的信息及资源不对称，是一个值得考虑的路径。除此之外，欧盟《通用数据保护条例》规定了个人免受算法自动化决策影响的权利，我国亦可结合人工智能技术应用的具体场域参考这种做法。就对侵权者的追责而言，需要明确的是算法歧视的责任主体、算法歧视相关关系的认定、算法歧视的归责原则以及算法歧视的责任方式。就算法歧视的责任主体而言，作出歧视行为的是机器，但最终责任主体应当是人，因而，需要根据人工智能技术应用的具体情形，明确算法设计者与算法运营者应当承担的责任。就算法歧视相关关系而言，算法歧视不适用必然性因果关系和盖然性因果关系，因为算法决策所依据的是相关关系，而相关关系的弹性空间比较大，？譽？訛故而，应当结合具体场域明确算法歧视认定中的相关关系系数。就算法歧视的归责原则而言，鉴于大数据时代算法歧视多出于非主观歧视意图，且大多数算法歧视受害者不具备理解算法复杂性所需的算法素养，有学者建议，将算法歧视的归责原则确定为无过错原则。？譾？訛就算法歧视的责任方式而言，应当根据算法歧视的具体情况，明确算法责任者所需承担的民事和行政责任，此类责任方式包括但不限于民事赔偿和行政处罚。

结语

人工智能作為一项颠覆性技术，在人类社会有着广泛的应用前景，可大大增强人的能力和造福人类社会。但与此同时，人工智能技术潜藏的风险也不容小觑。正在显现的算法歧视正是人工智能技术应用安全风险的体现。为了抑制算法歧视的消极影响，有必要对算法歧视进行法律规制。当前，人类正处于弱人工智能阶段，在此领域的法律关系尚不成熟，因而不论是欧美等发达国家，还是其他后发国家，都只能在摸索中建立和完善人工智能法律规制框架。理论上，算法歧视有多种规制措施，但所有的规制措施，归根结底，都须以人为本，以人为目的。为了维护人类价值，身处算法社会的人，应当加强算法素养，培养反算法歧视意识，将平等和公正的价值带入人工智能，从而维护并巩固平等和公正的社会秩序。

（责任编辑：亚立）

Abstract Algorithmic discrimination is the systematic， repeatable， and unfair treatment to certain groups led by data analysis in the process of AI automated decision making. As pioneers of AI legal regulation， in coping with algorithmic discrimination， the EU has chosen a path centered on data protection， while the US prefers the mode focused on algorithmic accountability. China is currently at the initial stage of AI regulation. In the future， the regulatory framework of algorithmic discrimination in AI can be strengthened through aspects of algorithmic ethic， algorithmic technology， algorithmic audit and algorithmic accountability.

Key words big data; artificial intelligence; algorithmic discrimination; data protection; algorithmic accountability