论人工智能系统法律风险规制

李贤森; 李庭凯

doi:10.19979/j.cnki.issn10082689.2024100006

论人工智能系统法律风险规制—以欧盟《人工智能法》为例

doi: 10.19979/j.cnki.issn10082689.2024100006

北京理工大学法学院，北京 100024

基金项目: 司法部2024年度法治建设与法学理论研究部级科研项目“我国应对欧美数据法域外适用扩张的对策研究”（编号：24SFB4023）。

详细信息

作者简介:
李贤森（1992—），男，湖北宜昌人，北京理工大学法学院副研究员，最高人民法院“一带一路”司法研究基地研究员

李庭凯（2001—），男，甘肃庆阳人，北京理工大学法学院硕士研究生

中图分类号: D99
计量
- 文章访问数: 1240
- HTML全文浏览量: 394
- PDF下载量: 12
- 被引次数: 0
出版历程
- 收稿日期: 2024-10-04
- 刊出日期: 2025-10-25

On Legal Risk Regulation of Artificial Intelligence SystemsA Case Study of the EU Artificial Intelligence Act

School of Law, Beijing Institute of Technology, Beijing 100024, China

摘要

摘要: 欧盟《人工智能法》（以下简称《人工智能法》或“本法”）作为世界范围内第一部对于人工智能风险进行综合性监管的科技法律，为全世界人工智能立法设定提供了崭新思路，成为世界范围内人工智能法律监管的先行规范，具有借鉴意义。《人工智能法》的底层规制逻辑在于对技术风险的系统化规制，即以风险监管为核心手段，结合风险概念、风险等级、评估难度等因素做出全面判断后，从人工智能系统发展方向、禁止性原则、权利义务框架、损害补救办法等剖面进行广泛干预，具有重要借鉴意义。中国立法工作者可以在梳理总结欧盟人工智能治理领域系统性立法经验的基础上，对我国人工智能立法进行针对性创新和综合性调适，建立全面的人工智能风险评判标准，夯实人工智能价值链上的权利与义务，推动中国人工智能治理向着风险前瞻化、责任细节化、规制明确化的方向发展。
- 欧盟《人工智能法》 /
- 高风险人工智能系统 /
- 价值链责任 /
- 风险规制 /
- 创新机制
Abstract: The European Union’s “Artificial Intelligence Act” (hereinafter referred to as the “Artificial Intelligence Act” or “this Act”) serves as the world’s first technological law that conducts comprehensive supervision of the risks of artificial intelligence. It offers novel ideas for global artificial intelligence legislation, emerging as a pioneering norm in the global legal supervision of artificial intelligence and presenting reference significance. The underlying regulatory logic of the “Artificial Intelligence Act” lies in the systematic regulation of technological risks, that is, with risk supervision as the core approach, after making a comprehensive judgment by considering factors such as the concept of risk, risk levels, and assessment difficulty, extensive intervention is carried out from aspects such as the development direction of artificial intelligence systems, prohibitive principles, the framework of rights and obligations, and damage remedy measures. For other countries, it is imperative to summarize and appropriately draw upon the legislative experience of the “Artificial Intelligence Act” and advance the progress of risk regulation of artificial intelligence systems. Chinese legislative workers can, on the basis of sorting out and summarizing the systematic legislative experience in the field of artificial intelligence governance of the European Union, conduct targeted innovation and comprehensive adaptation to China’s artificial intelligence legislation, and establish a comprehensive risk evaluation standard for artificial intelligence, consolidate rights and obligations in the artificial intelligence value chain, and promote the governance of artificial intelligence in China towards the direction of forward-looking risk, detailed responsibility, and clear regulation.
- EU Artificial Intelligence Act /
- high-risk artificial intelligence system /
- value chain responsibility /
- risk regulation /
- innovation mechanism
注释:

1) 1这七项原则包括：人类主体和监督；技术稳健性和安全性；隐私和数据治理；透明度；多样性、非歧视和公平；社会和环境福祉以及问责制。这些原则与《欧盟基本权利宪章》中体现的欧盟价值观高度契合。

2) 2例如，在多媒体、娱乐等行业利用生成式人工智能系统产生人像、景物、音频、视频等直观信息与自然人进行互动，或是利用人工智能系统生成任何征询问卷，收集自然人对于特定事项的思维呈现并运用。

3) 3例如，在通过人工智能互动收集消费者意愿的场景下，不得以诱导、欺诈的方式侵害消费者的自主选择权；在与特定残疾人产生互动的场景下，不得利用残疾人某方面的缺陷，收集未经残疾人自主同意的生物数据、个人信息等，以保障残疾人基本权利。

4) 4在《联合国儿童权利公约》关于数字环境的第25号一般性意见中，认定需要通过儿童的生命生存权、发展权、意见权等一系列基本权利以及衍生权利（例如：儿童适度参与结社、宗教、社会活动的自由）受到保护，除此之外，欧盟委员会在《人工智能法》编纂的过程中积极响应该公约中关于利用数字产品（包括人工智能产品）使儿童权利受益并保护儿童隐私权的倡议。

5) 5见欧盟《人工智能法》第二条第三款规定。

6) 6在实质内容方面，人工智能法全篇遵循严格、必要原则；在管理性、程序性规定层面，《人工智能法》详细规定了人工智能系统各级主体在不同阶段、不同场景下的权利义务，也系统性规定了监管机关的权限。

7) 7(a)人工智能系统旨在执行范围狭窄的程序性任务；(b)人工智能系统旨在改进先前完成的人类活动的结果；(c)人工智能系统的目的是检测决策模式或偏离先前决策模式的情况，而非未经适当人工审查取代或影响先前完成的人工评估；(d)该人工智能系统的目的是为附件三所列的用例进行相关评估做准备。

8) 8有学者认为，仅仅引入基本权利风险更加贴近于特定政治与文化背景下的价值判断，而缺乏法律适用的确定性；见Sajó, András, and Renáta Uitz, ‘Introduction’, The Constitution of Freedom: An Introduction to Legal Constitutionalism (Oxford, 2017; online edn, Oxford Academic, 21 Dec. 2017), 网址https://doi.org/10.1093/oso/9780198732174.003.0001, accessed 23 Oct. 2024.

9) 9例如认知和行为操纵、通过生物识别推断自然人身份、思想、宗教信仰等性质的人工智能系统不得投放市场，基于执法和刑事犯罪用途的人工智能系统的重要性应当大于潜在风险。

10) 10见第十四条第一款规定：高风险人工智能系统的设计和开发方式，包括适当的人机交互接口工具，应当能够在人工智能系统使用期间由自然人进行有效监督。

11) 11(a)适当了解高风险人工智能系统的相关能力和局限性，并能适当监测其运行情况，以及发现和处理异常情况、功能失调和意外表现；(b)始终意识到自动依赖或过度依赖高风险人工智能系统产生的输出结果（“自动化偏差”）的可能趋势，特别是对于用于为自然人决策提供信息或建议的高风险人工智能系统；(c)正确解释高风险人工智能系统的输出结果，同时考虑现有的解释工具和方法；(d)在任何特定情况下决定不使用高风险人工智能系统，或以其他方式忽略、推翻或逆转高风险人工智能系统的输出；(e)通过“停止”按钮或类似程序，干预高风险人工智能系统的运行或中断系统，使系统停止在安全状态。

12) 12此处的源数据是指：人工智能系统在运行时处理的初始数据。

13) 13具体内容见欧盟《人工智能法》第40条第2款，网址：https://artificialintelligenceact.eu/the-act/，最后访问时间：2024年8月25日。

14) 14标准化规格尚不满足或标准化规格缺失的评判标准在欧盟《人工智能法》中有提及：(a) 根据欧盟委员会第1025/2012号条例第10条第1款，欧盟委员会已要求一个或多个欧洲标准化组织起草本编第2节所列要求的统一标准；以及(i)申请未被任何欧洲标准化组织接受；(ii)未在1025/2012号条例第10条第1款规定的期限内交付针对该请求的统一标准；(iii)相关的统一标准没有充分解决基本权利问题；(iv)统一标准不符合要求；以及(b)根据欧盟委员会1025/2012号条例，《欧盟官方公报》尚未公布涉及本编第2章所述要求的统一标准的参考文件，且预计在合理期限内不会公布此类参考文件。

15) 15实质性修改体现在三种情况下：(a)在已投放市场或提供服务的高风险人工智能系统上冠以自己的名称或商标，但不妨碍合同中关于以其他方式分配义务的规定；(b)对已投放市场或已提供服务的高风险人工智能系统进行实质性修改，但改造方式仍符合第6条规定的高风险人工智能系统；(c)其修改了一个人工智能系统，包括通用人工智能系统的预期用途，而该人工智能系统尚未被归类为高风险，并已投放市场或提供服务，从而使该人工智能系统成为第6条所指的高风险人工智能系统。

16) 16包括在人工智能系统下单独制定对于通用目的人工智能模型的规制、建立人工智能监管沙盒的运作体系、基于公共利益的个人数据的人工智能处理方式和为真实环境中人工智能开发测试提供支持的制度内容。

17) 17例如，数据权益人的知识产权风险、不特定公众的个人信息与隐私风险等。

18) 181.已经制定成熟的真实环境测试计划，并提交系统所在成员国的市场监督管理机关。2.获得市场监督管理机关的批准，若30天内未有答复则视为已经授权。3.除附件三中执法、移民、庇护和边防管理领域的高风险人工智能系统，其余高风险人工智能系统的提供者已经履行了登记认证义务，在数据库的非公开部分登记了有关真实世界条件下的测试信息。4.提供者已经制定在欧盟设立机构的法律代表。5.数据收集以及弱势群体权益得到妥善保护。6.提供者与潜在的部署者等相关主体缔结了协议，明确了彼此的义务和法律责任。

19) 19UN ECE R157自动车道保持系统（Automated Lane Keeping System，简称“ALKS”）是针对“L3级”自动化驾驶的第一个具有约束力的国际法规，该法规标志着自动驾驶技术发展的重要一步，旨在制定关于自动车道保持系统（ALKS）车辆认证的统一规定。ALKS控制车辆长时间的横向和纵向移动，无需驾驶员进一步的命令。激活ALKS时，其应代替驾驶员执行驾驶任务，即管理包括故障在内的所有情况，并且不得危及车辆乘员或任何其他道路使用者的安全。但是，驾驶员必须随时都有可能接管该系统。

HTML全文

参考文献(31)

[1]	徐东波. 人工智能驱动科学研究的逻辑、风险及其治理[J]. 中国科技论坛,2024(5):120-129.
[2]	陈群志,李月雯. 教育人工智能的伦理问题及应对之策——基于海德格尔技术哲学的视角[J]. 浙江理工大学学报(社会科学版),2024,52(6):686-692.
[3]	张欣. 论人工智能体的模块化治理[J]. 东方法学,2024(3):129-142. doi: 10.3969/j.issn.1007-1466.2024.03.012
[4]	康兰平. 人工智能法律研究的权利泛化挑战与场景化因应研究[J]. 大连理工大学学报(社会科学版),2021,42(1):98-106.
[5]	European commission. EU AI Act [EB/OL]. (2024-06-13) [2024-06-14]. https://artificialintelligenceact.eu/ai -act-explorer/.
[6]	丁晓东. 人工智能风险的法律规制——以欧盟《人工智能法》为例[J]. 法律科学(西北政法大学学报),2024,42(5):3-18.
[7]	王磊. 从“数据要素×”看中国数智化的法治路径[J]. 长安大学学报(社会科学版),2024,26(2):71-81. doi: 10.3969/j.issn.1671-6248.2024.02.005
[8]	宋华健. 论生成式人工智能的法律风险与治理路径[J]. 北京理工大学学报(社会科学版),2024,26(3):134-143.
[9]	DAVID M. AI unleashed:Mastering the maze of the EU AI Act [J]. Regional Law Review,2024(5):155-168.
[10]	SCHUETT J. Risk management in the Artificial Intelligence Act [J]. European Journal of Risk Regulation,2024,15(2):367-385. doi: 10.1017/err.2023.1
[11]	汪庆华. 人工智能的法律规制路径:一个框架性讨论[J]. 现代法学,2019,41(2):54-63. doi: 10.3969/j.issn.1001-2397.2019.02.04
[12]	GROZA T & ARCILA B B. The new law of the European data markets:Demystifying the European data strategy [J]. Global Jurist,2024,24(3):321-364. doi: 10.1515/gj-2024-0045
[13]	CHANG D. AI regulation for the AI revolution [J]. Singapore Comparative Law Review,2023:130-170.
[14]	王婧. 从欧盟《人工智能法》提案看中国如何应对人工智能带来的社会风险和法律挑战[J]. 网络安全和信息化,2021(8):42-44.
[15]	张辛鑫,冀瑜. 论欧盟《人工智能法案》中的标准化模式及对中国启示[J]. 标准科学,2024(5):39-46. doi: 10.3969/j.issn.1674-5698.2024.05.006
[16]	袁锋,王子昊. 人工智能规制中的分级分类监管问题研究——对欧盟《人工智能法案》“基于风险”监管方式的思考[J]. 政法学刊,2024,41(6):116-125.
[17]	周汉华. 论我国人工智能立法的定位[J]. 现代法学,2024,46(5):17-34,217. doi: 10.3969/j.issn.1001-2397.2024.05.02
[18]	支振锋. 生成式人工智能大模型的信息内容治理[J]. 政法论坛,2023,41(4):34-48. doi: 10.3969/j.issn.1000-0208.2023.04.003
[19]	刘芳彤. 互联网金融监管“沙盒模式”制度构建[J]. 西部金融,2023(1):59-63.
[20]	易学文. 论“监管沙盒”制度的实践哲学转向——以欧盟《人工智能法》为分析对象[J]. 南海法学,2023,7(4):11-19.
[21]	ALLEN H J. Sandbox boundaries [J]. Vanderbilt Journal of Entertainment & Technology Law,2020,2(22):299-322.
[22]	龙卫球. 人工智能立法的“技术—社会+经济”范式——基于引领法律与科技新型关系的视角[J]. 武汉大学学报(哲学社会科学版),2020,73(1):65-76.
[23]	沃尔夫冈·多伊普勒. 《欧盟人工智能法案》的背景、主要内容与评价——兼论该法案对劳动法的影响[J]. 环球法律评论,2024,46(3):5-27. doi: 10.3969/j.issn.1009-6728.2024.03.002
[24]	谢永江,杨永兴,刘涛. 个性化推荐算法的法律风险规制[J]. 北京科技大学学报(社会科学版),2024,40(1):77-85.
[25]	张凌寒. 中国需要一部怎样的《人工智能法》?——中国人工智能立法的基本逻辑与制度架构[J]. 法律科学(西北政法大学学报),2024,42(3):3-17.
[26]	郑志峰. 人工智能立法的一般范畴[J]. 数字法治,2023(6):55-75.
[27]	董新义,梅贻哲. “人工智能法总则”建构原则与理念——欧盟立法经验之镜鉴[J]. 数字法治,2024(2):195-210.
[28]	朱家豪. 智能网联汽车的法律规制结构研究[J]. 北京科技大学学报(社会科学版),2023,39(5):634-644.
[29]	黄静秋. 邓伯军. 人工智能算法的伦理规制研究[J]. 北京科技大学学报(社会科学版),2025,41(2):88-96.
[30]	李贤森. 民事域外取证与数据出境监管的冲突及应对[J]. 比较法研究,2025(1):204-222. doi: 10.3969/j.issn.1004-8561.2025.1.bjfyj202501013
[31]	中华人民共和国网信办. 全球人工智能治理倡议[EB/OL]. (2023-10-18) [2024-06-14]. https://www.cac.gov.cn/2023-10/18/c_1699291032884978.htm.

施引文献

资源附件(0)

访问统计

点击查看大图

计量

文章访问数: 1240
HTML全文浏览量: 394
PDF下载量: 12
被引次数: 0

姓名
邮箱
手机号码
标题
留言内容
验证码

留言板

论人工智能系统法律风险规制—以欧盟《人工智能法》为例

doi: 10.19979/j.cnki.issn10082689.2024100006

作者简介:
李贤森（1992—），男，湖北宜昌人，北京理工大学法学院副研究员，最高人民法院“一带一路”司法研究基地研究员

李庭凯（2001—），男，甘肃庆阳人，北京理工大学法学院硕士研究生

计量

On Legal Risk Regulation of Artificial Intelligence SystemsA Case Study of the EU Artificial Intelligence Act

计量

目录

留言板

论人工智能系统法律风险规制—以欧盟《人工智能法》为例

doi: 10.19979/j.cnki.issn10082689.2024100006

作者简介: 李贤森（1992—），男，湖北宜昌人，北京理工大学法学院副研究员，最高人民法院“一带一路”司法研究基地研究员 李庭凯（2001—），男，甘肃庆阳人，北京理工大学法学院硕士研究生

计量

出版历程

On Legal Risk Regulation of Artificial Intelligence SystemsA Case Study of the EU Artificial Intelligence Act

计量

出版历程

目录

作者简介:
李贤森（1992—），男，湖北宜昌人，北京理工大学法学院副研究员，最高人民法院“一带一路”司法研究基地研究员

李庭凯（2001—），男，甘肃庆阳人，北京理工大学法学院硕士研究生