医疗人工智能的法律问题分析与思考

王燕萍,金 钢, 王蓓蕾

(1.海军特色医学中心,上海 200433;2.海军军医大学第一附属医院,上海 200433)

人工智能(Artificial Intelligence,AI)是研究开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。作为一项颠覆性技术,AI对人类思维、生活方式以及社会经济发展产生了重大而深远的影响。在医疗领域,以计算机视觉、自然语言处理、机器学习等为代表的AI技术正逐渐应用于辅助诊疗、医疗机器人、健康管理、药物研发、医院管理等场景[1],以助力降本增效、提高诊疗水平为核心目的,极大地提升了整个医疗体系的工作效率。然而,与其发展相伴随的是一系列法律问题[2],涉及隐私数据安全、事故责任承担、法律监管等方面。例如,在医疗AI产品的研发过程中,需收集大量个人隐私信息(如疾病史、家族遗传史、诊疗记录,甚至社会行为等[3]),如果数据遭到泄露、篡改或破坏,很可能会对患者的隐私、声誉或健康安全构成威胁,严重时甚至影响社会的和谐稳定。此外,多数医疗AI的训练建立在多层复杂神经网络基础上,其本质是“黑箱大模型”,迄今仍无法阐明其算法逻辑,因此其输出结果没有安全性保证。更重要的是,不同于人类医生,现阶段AI在医疗实践中的法律责任和道德义务尚不明确,一旦发生医源性事故,如何界定事故责任和权责仍是法律盲区。最后,医学AI的复杂性和多样性使得法律监管变得困难,尽管一些国家和地区已经开始制定相关法规和政策来规范医学AI的应用,但整体上仍面临许多挑战。为此,本文将重点分析当前医疗AI在应用过程中可能遇到的法律问题,通过梳理、分析国内外相关的法律现状与发展趋势,提出符合我国国情的对策建议,以期促进医疗AI的健康理性发展。

1 医疗隐私数据安全方面

1.1 隐私数据安全的现状分析

医疗AI的研发高度依赖于海量医疗数据,随着电子健康档案、可穿戴监测设备和基因测序等技术的兴起,越来越多的医疗健康数据被挖掘,用于疾病预防、诊断、治疗和随访[4]。然而,在获取、保管、分析和输出数据的各个环节中都存在隐私数据泄露的风险,如使用者对设备操作不当、利益相关者出卖用户信息、间谍黑客恶意窃取数据、系统维护不当等。隐私数据一旦被泄露,不仅侵害公民个人信息安全,还可能对社会稳定和国家安全造成负面影响。例如,2018年,科技部公开处罚了违反人类遗传资源管理规定的六家单位,他们将我国公民部分基因遗传资源信息通过网络传递出境,造成我国生物遗传资源的大量流失;2020年,中国信息通信研究院报道近三成接受调查的医疗单位存在数据资产泄露的风险,44.39%(7080家)的受调查单位使用了有漏洞风险的低版本组件[5]。据统计,仅2020年,我国通过网络出境的医学影像数据就达到497万余次,涉及境内3347个IP地址,其中未脱敏数据达近40万次[6];同年,我国新冠病毒相关数据出境达99万余次,涉及境内80个IP地址和境外1992个IP地址,给我国生物安全防控带来了严峻挑战[7]。由此可见,我国医疗行业的信息安全形势不容乐观,加强医疗系统的网络安全管理能力,提升医疗行业的信息安全刻不容缓。

1.2 保障隐私数据安全的法律实践

医疗信息具有特殊的社会价值和经济价值[8,9],为了保障医疗行业的数据安全,美国政府分别于1996年和2009年颁布了《健康保险携带和责任法案(HIPPA)》和《经济和临床健康卫生信息技术法(HITECH)》,旨在推广电子病历的同时,更好地保障医疗信息的安全性和隐私性。之后,美国卫生与公共服务部基于HITECH法案又颁布了一项严格的违反通知规则,旨在进一步加强对民众健康隐私数据的保护[10]。在保障数据主体权益方面,欧盟于2018年通过了《通用数据保护条例(GDPR)》[11],该法规是目前全球在保护个人数据方面,规定最为严格、处罚最为严厉的法规之一,对数据不合规行为最高可处以2000万欧元或营业额的4%的罚款[12,13]。该条例规定了处理个人信息的几大基本原则：合法、公平、透明、目的限定、数据最小化[14]、准确、留存期限、完整性与保密以及权责一致原则,旨在规范个人数据采集、存储以及处理行为。GDPR是近20年全球在个人数据保护领域最受关注的法律文件,有效保障了数据主体的合法权益,对医疗卫生领域患者隐私数据保护制度的建立也具有深远意义。

近年来,我国政府也出台了一系列法律法规加强对个人隐私数据的保护,包括2010年卫生部发布的《卫生系统电子认证服务管理办法(试行)》、2010年卫生部发布的《卫生系统电子认证服务体系系列规范》、2014年国家卫计委发布的《人口健康信息管理办法(试行)》、2016年出台的《中华人民共和国网络安全法》和2016年国务院发布的《关于促进和规范健康医疗大数据应用发展的指导意见》等[15]。2021年8月,全国人大表决通过了《中华人民共和国个人信息保护法》,该法是数字时代立法的典范,全流程规范了个人信息处理活动的各个环节,全方位规定了个人信息处理不当时需要承担的民事、行政甚至刑事责任,为我国的互联网社会、数字经济发展打下了坚实的法律基础。

1.3 保障隐私数据安全的对策建议

尽管如此,迄今我国尚未出台专项的政策法规来保护医疗信息安全,有关患者隐私权的法律规定较为笼统,尚未形成统一的监管体系[16]。因此,建议有关部门可参考美国、欧盟等国家和组织有关立法情况,结合我国国情,制定针对医疗健康档案的具体法律、法规,可从数据内容、存储、管理和使用过程中可能存在的风险及责任追责等方面展开[17]。首先,应将数据内容直接纳入法律保护的范畴,借鉴其他国家和地区的立法经验,对患者的隐私数据进行界定,明确电子健康档案的所有权,使用权和法律效力[18]。其次,应规范医疗数据的采集、存储、使用以及传递等具体流程,形成统一的行业标准和规范。比如供应商如何访问及管理其生成和传输的医疗信息,医务人员如何存储、访问和处置患者信息,医院的数据管理中心如何健全制度、强化技术保障医疗数据的安全等[19]。第三,政府监管部门应对数据平台资质与信用进行风险评估、审核和监督。由于医疗隐私数据泄露可能对公民、社会秩序和公共利益造成严重损害,医疗机构或供应商必须按照《信息系统安全等级保护实施指南》对患者信息和信息系统实施分等级保护,而政府监管部门应依法履职,在各自职责范围内做好安全保护和监督管理工作[20]。最后,应健全相关法律法规,明确界定侵犯患者隐私的行为,并提出具体的责任追责措施,如未经授权采集、存储、传递、泄露甚至贩卖个人医疗信息,分别需承担什么法律责任等[19]。

2 医疗事故责任承担方面

目前,AI作为一项革命性的技术,在临床诊疗实践中的应用已是大势所趋。然而,由于数据偏倚、算法偏见、技术滥用、医生接受度等因素,现阶段的许多医疗AI产品仍存在着一定的安全隐患[21]。

2.1 AI所致的医疗事故

影像AI在医学领域中具有巨大的潜力,它通过深度学习大规模、高质量、带标注的影像图像数据,获得自动分割、分类、检测和配准等精准分析能力,进而辅助医生诊断疾病[22]。然而,由于训练数据偏倚、标注质量不一以及缺乏行业标准等因素,现阶段的影像AI产品诊断效能参差不齐,很容易出现误诊、漏诊问题[23]。例如,肺癌AI诊断产品的训练数据可能主要来自吸烟者和高风险人群的肺癌病例,导致其在低风险人群或非吸烟者中的诊断准确率较低。另外,目前许多AI产品存在安全脆弱性,跨医院的泛化能力弱。如《自然·机器智能》指出,新冠肺炎影像AI产品可能只适用于其开发医院,无法适应其他医院的环境和技术要求[24]。

临床决策支持系统是当前医疗AI的另一研究热点,其原理是通过算法,从海量医疗数据中挖掘病症规律,为医生提供准确的临床决策建议[25]。然而,如果训练数据本身或技术算法出现偏倚或缺陷,可能会给临床诊疗带来巨大风险,甚至造成重大医疗事故。以IBM Watson for Oncology为例,据IBM内部公司文件,其应用程序经常产生“不安全和不正确”的诊疗建议[26]。例如,Watson曾向一名65岁伴有严重出血风险的肺癌患者开“贝伐珠单抗”,而该药的副作用之一就是出血。另外,在一项针对“胸痛”的病因诊断试验中,Watson仅提供了“某种极少见的传染病”的诊断建议,而漏诊了心绞痛、心肌梗塞及大动脉破裂等常见“胸痛”疾病[27]。

近年来,随着AI、5G、大数据、工业互联网等技术的发展,智能医疗机器人迎来了高速发展期。然而,与普通服务型机器人不同,医疗机器人的技术门槛要求极高,需要医学知识、计算机知识、工业生产设计等各方面的相互融合,任何环节出现问题都可能造成严重的医疗事故[28]。最典型的例子是英国首例“达·芬奇”机器人心脏手术致死案,据后期调查,手术失败的主要原因在于机器人缝合心脏的位置和方式不对,主刀医生必须拆线并重新缝合,该医生事后也承认并没有完全掌握机器的操作方法[29,30]。

2.2 医疗事故的法律归责

随着AI技术在临床诊疗领域的不断拓展应用,AI所致医疗事故不断增多[21],由此也引发了一系列法律归责问题：AI造成的医疗事故责任主体是谁?造成的损害如何赔偿?对此,我国《侵权责任法》规定了医疗事故责任的分担原则：在医疗服务过程中,无论是否存在过失,如果患者在医疗过程中遭受了人身损害或其他损害,责任应由责任医生或医疗机构承担;如果医疗设备存在缺陷导致医疗损失,根据“无过失赔偿”原则,责任应由医院和制造商共同承担[31]。

《侵权责任法》考虑了医疗器械所致损害的责任承担问题,但现阶段,越来越多的AI产品在一定程度上还具备“自然人”的某些特点,这就对确定医疗损害的责任主体提出了挑战[32]。比如,目前受到广泛关注的ChatGPT是一种强大的自然语言处理技术,被认为已具备一定的创造力,能够生成新颖的观点、想法和建议,该技术在居家医疗监护、慢性病管理、临床决策辅助支持、精准医疗等方面都有广泛的应用前景。然而,一旦发生医疗损害事件,现行法律法规无法清晰界定其责任主体。除此之外,在网络环境下,AI产品的责任主体不仅包括使用者(医生和医疗机构)、生产者(AI研发人员和管理者),还包括系统黑客,在主体多元化背景下,如何确定各个主体的责任,也是对法律问责的一个重要挑战[33]。

为了应对上述挑战,许多国家已经将“透明和问责”作为算法专门性立法的核心内容。例如,法国在2016年10月通过了《数字共和法》,强调使用自动化决策的行政机关和数字平台运营者的透明度义务。美国和欧盟也相继颁布了《算法问责法案》《算法责任与透明治理框架》等法规,将算法透明和责任治理作为法律问责制度的重要工具。具体来说,美国于2019年4月发布了《算法问责法案》,着重强调了算法决策、效果及其他要素的影响,提出可借助专业管理组织或外部监管组织进行评价。与此同时,欧盟也发布了《算法责任与透明治理框架》,提出了算法影响评估流程以及算法问责机制。为了进一步应对日益复杂的AI归责问题,美国立法者在2022年又提出了《算法责任法(草案)》,增设了自动化决策系统新的透明度要求和问责机制。

2.3 医疗事故归责的对策建议

医疗行业专业壁垒高,本身就具有一定的风险性和不确定性,加上AI技术尚处于发展探索阶段,不可避免会引起各种医疗纠纷和矛盾,对现行的法律法规提出严峻考验。为此,提出以下建议：首先,应进一步明确医疗AI的法律地位。现阶段的AI产品仍处于“弱人工智能”阶段,尚不具有自主意识,无法像人类一样认知、思考和创新[34],因此,法律上应将其划分为“医疗辅助产品”而不是“责任人”,应当依据《中华人民共和国产品质量法》《消费者保护法》和《民法典》中有关侵权责任的规定执行[33]。当然,为迎接“强人工智能”甚至“超人工智能”时代的到来,我们必须与时俱进,尽早制定适应“快速发展的人工智能”的新型法律规范,明确新形势下医疗AI的法律地位,推动AI向善发展。其次,厘清责任权属。针对智能医疗时代责任主体多元化的趋势,政策制定者应将AI所致医疗损害行为的判断标准具体化、细化,建立责任分担机制和应对机制来确定医疗损害责任[35]。例如,AI系统仅提供建议,最终决策结果由医生决定,应当由使用者医生承担;如果系统的建议是决策过程中关键影响因素,应由使用者和生产者共同承担责任[33]。具体损害行为的判断标准应委托第三方专业鉴定机构,依法定程序和标准确定各个主体具体承担的责任比例。第三,建立算法问责制的法律框架。虽然,我国已先后颁布《电子商务法》《网络信息内容生态治理规定》和《个人信息保护法》,不同程度涉及平台的算法责任。然而,目前的算法规制场景较窄,主要集中在新闻推荐、广告推送等定向推送领域,我们希望未来相关部门能建立覆盖医疗领域的算法问责体系,形成符合技术逻辑和法理的科学问责思路,建立完善的平台算法问责制度。最后 ,建立损害赔偿制度。医疗AI发生侵权损害时,如果追责过重,会增加科研人员的负担,不利于医疗AI的长远发展;若追责较轻,又损害了被侵权者的合法权益。为更好地平衡科技创新与公民基本权益[36],欧盟议会法律事务委员会曾提出两项议案：一是实施强制保险制度,制造商应强制性为医疗AI产品购买保险,用于赔偿AI产品所致的损失。二是设立由投资者、制造商和消费者共同发起的赔偿基金[37]。我国也可借鉴欧盟国家的保险制度经验,构建医疗AI赔偿保险金,完善损害赔偿制度,更好地保障AI产品的可持续发展。

3 医疗AI法律监管方面

3.1 医疗AI监管的现状分析

AI作为一项新兴颠覆性技术为医疗领域展现出巨大的应用前景。然而,目前我国尚未建立完善的行业规范、监管制度及法律约束,使得医疗AI在快速发展的同时暴露了诸多风险,不仅损害了患者的合法权益,还可能影响社会的和谐稳定[27]。例如,ChatGPT具有强大的文本生成能力,如果没有定期抽检、过滤敏感词、提出严格的审查制度等针对性的监管手段,其生成的内容可能涉及个人隐私、国家安全、种族歧视等敏感问题,如果信息泄露或滥用,还可能引发更多问题,如隐私泄露、知识产权侵犯、价值观扭曲等,影响个人甚至国家的安全和利益[38]。此外,在生产和使用手术机器人、AI辅助诊断系统等过程中,如果缺乏明确的安全标准、严格的监督审查制度来约束和规范,无法保证医疗AI产品的安全可靠性。若存在数据偏倚、算法偏见、恶意程序植入等问题,很容易引发大范围的医疗损害事件[39]。为了避免AI产品在实际应用中出现不必要的风险,迫切需要相关监管部门完善制度、加强监管,以防范AI决策不透明、算法失误、隐私侵犯和数据泄露等应用风险的发生。

3.2 医疗AI监管的法律探索

近年来,美国、欧盟相继出台了AI相关的监管政策。例如,美国《21世纪治愈法案》明确了美国食品药品监督管理局(FDA)对用于医疗保健的AI算法的监管职权。FDA于2019年9月颁布了《器械软件功能和移动医疗应用政策指南》《临床决策支持指南草案》,以告知制造商、分销商和其他组织,FDA对其产品监管的范围、步骤和标准。欧盟同样通过立法为智能医疗领域建立了体系化的监管方案,于2017年4月发布了新版《欧盟医疗器械法》,对医疗器械分类、安全和性能要求、器械上市后的监管等方面都做出了细化与调整[40]。2023年6月,欧洲议会投票通过了《人工智能法案》,意图通过统一的法律监管框架,确保不同类型的AI产品在高度保护公民基本权利和保障公共利益的前提下开发、使用和营销。该法案作为世界第一部综合性AI治理立法,可能成为全世界AI法律监管的标准和参考。

目前,我国对医疗AI应用的安全标准和风险监管尚处于探索阶段[41]。2017年2月,国家卫健委员会发布了《人工智能辅助诊断技术管理规范(试行)》和《人工智能辅助治疗技术管理规范(试行)》,对使用计算机辅助诊断软件及临床决策支持系统提出技术和安全要求,为AI应用于临床诊断和治疗提供了标准规范;2018 年7 月,国家卫健委和国家中医药管理局颁布了《互联网医院管理办法(试行)》和《互联网诊疗管理办法(试行)》,旨在规范互联网诊疗行为,以确保医疗质量和安全;2018年8月1日,新版《医疗器械分类目录》正式生效,首次明确了医疗AI产品的分类标准;同年11月,国家药监局公布了AI三类器械产品审批的全流程;2019年7月,国家药监局公布了《深度学习辅助决策医疗器械软件审评要点》,明确了AI产品审批细节; 2020年,全国人大常委会立法工作计划首次提及“人工智能立法规制”,明确要求研究AI等新技术新领域相关的法律问题[42];2022 年2 月,国家卫健委发布了《互联网诊疗监管细则(试行)》,初步建立了互联网诊疗监管体系[43]。近日,《国务院2023年度立法工作计划》正式宣布将《人工智能法(草案)》纳入立法工作计划,这标志着我国在AI监管立法方面迈入新的阶段。

3.3 医疗AI监管的对策建议

尽管付出了很多努力,但由于AI技术迭代发展速度太快,监管和AI应用发展之间仍存在巨大差距。为此,我们呼吁国家各监管部门应采取“与时俱进、不断创新”的监管策略,制定适合我国社会环境、产业发展和科技创新的AI监管政策。例如,针对新兴技术ChatGPT,政府相关部门应采取有效措施,规范新技术的使用,加强市场的监管。其次,不同监管机构应明确职责,细化AI应用的监管对象、范围和方式等,构建完善的监督管理体制。各监管机构应相互配合,在各自职责范围内实现对医疗AI的无缝连接、有效监管,真正通过规范监管来保障AI的安全发展[44]。例如：国家卫健委、工信部门、药监局和科技部应共同制定国家标准,重点监督医疗AI在数据获取、存储和输出、算法设计过程中是否符合法律和伦理标准,避免隐私数据安全、算法偏见等问题,确保产品的公平可靠性。具体而言,国家药监局、科技部应承担着医疗AI产品的上市前审批工作,组织检测和风险评估,提供评估结论。只有通过相关审核评估并符合行业规范要求后,医疗AI产品才能上市,以确保产品安全有效,并满足透明、可解释和可问责性的要求[27]。科技部和商务部应制定AI产品的应用监管模式,监督医疗AI产品在推广和应用过程中产生的结果,并持续监管其有效性和安全可控性[45]。如若发现产品存在缺陷,应立即停止生产、销售和使用,召回存在缺陷的产品,追究相关人员的责任,同时确保损害赔偿制度的有效实施。

4 总结与展望

AI作为一项颠覆性技术,为医疗领域提供了许多优质的健康科技产品,为医学实践的进步创造了巨大的价值。但是,医疗AI在带来发展契机的同时,也存在着一系列严峻的法律问题和挑战。当前,我国医疗AI应用仍处于探索阶段,相关法律法规和监管手段相对滞后,缺乏规范的问责机制以及权威专业的应用指导。这亟待医学、法学及政府相关部门对医疗AI应用过程中遇到的法律问题进行深入剖析和探讨,共同制定与时俱进的、符合我国国情的法律法规,真正促进医疗AI健康、和谐、可持续地发展。