今年2月，欧盟委员会发布了《人工智能、物联网和机器人对安全和责任框架的影响》。在CCID翻译系列的最新版本中，CCID智库安全产业研究所编制了该报告。
本文介绍了新兴技术的特点，深入分析了欧盟现行安全与责任框架不能适用于这些新兴技术的环节，建议采取适当措施调整产品责任指令和一般产品安全指令等现有法规，以解决现有安全与责任框架的不确定性。
一个
安全责任框架概述
安全责任框架的总体目标是确保所有产品和服务的安全、可靠和同步运行，并有效修复已发生的损失。
随着人工智能、物联网、机器人等新技术的兴起，为了保护消费者和企业的合法权益，建立明确的安全和责任框架势在必行。
2
人工智能、物联网和机器人的特点和机遇
新兴技术的特征
人工智能、物联网和机器人有很多共同特征，包括连接性、自主性、复杂性和数据依赖性。
新兴技术的机遇
一方面，新技术可以通过提高产品的安全性来降低一些风险。
另一方面，物联网系统可以接收和处理不同来源的大量数据，提高产品召回的有效性，提醒用户避免产品安全问题。如果厂商在使用过程中发现物联网产品存在安全问题，可以直接与用户沟通，对相关风险进行警示，或者直接解决问题。
三
人工智能、物联网和机器人对现有安全框架的挑战及对策
新兴技术的互联性对传统安全理念提出了挑战。
连接性已经成为新兴产品和服务的核心特征，这对传统的安全概念提出了挑战。
欧盟产品安全法规尚未针对影响用户安全的网络威胁制定专门的强制性要求。然而，《医疗器械条例》、《测量仪器指令》、《无线电设备指令》和《整车批准条例》都包含了关于网络威胁安全的相关规定。《网络安全法》为信息和通信技术产品、服务和流程建立了一个自愿的网络安全认证框架。
人工智能自主偏离厂商预期。
人工产品和系统的自主性可能会使机器做出的决策偏离生产者的初衷和用户的期望。
目前欧盟法律框架中的安全通常是指人身伤害的威胁。但人工智能应用的类人行为可能对用户造成精神健康风险，应考虑将精神健康风险纳入立法框架。同时要求厂商要清楚自己的产品可能对用户造成的心理伤害。
数据依赖带来的安全风险需要保障机制。
数据的准确性和相关性可以保证人工智能系统根据生产者的意图做出决策。
欧盟产品安全法规应规定，制造商应在设计阶段解决错误数据带来的安全风险。确保在人工智能产品和系统的使用中有一个很好的机制来保证数据质量。
人工智能的不透明性使得决策过程难以追踪。
人工产品和系统的不透明性，可能导致系统的决策过程难以跟踪，被称为“算法黑箱”。
需要考虑制定更多关于算法透明性、鲁棒性和可问责性的法律法规。在发生意外的情况下，规定算法开发者必须公开数据集的设计参数和元数据。
软件更新给安全带来了风险。
最终产品制造商有义务在产品投放市场时预见到在产品中集成软件的风险。
欧盟产品安全法规仍需对独立软件做出具体明确的要求，以确保人工智能产品和系统中的独立软件具有安全功能。此外，应要求厂商承担相关强制义务，确保上传的软件不会影响人工智能产品生命周期内的安全性。
新兴数字技术受到复杂价值链的影响。
在欧盟产品安全框架下，产品安全的责任由生产商承担，包括产品中集成的组件。欧盟产品安全法规考虑到价值链的复杂性，并遵循“共担责任”原则，对许多企业施加义务。
四
人工智能、物联网和机器人对现有责任框架的挑战及对策
新兴技术减少责任框架的有效性
人工智能、物联网、机器人等新兴数字技术的特点可能在某些方面影响责任框架，降低其有效性。
与其他同类产品和服务相比，新兴数字技术产品和服务的事故受害者不能享受国家侵权法规定的赔偿保护，可能会降低新兴技术的社会接受度，增加应用阻力。
此外，需要进一步评估新技术对现有责任框架的挑战是否会导致法律适用的不确定性，从而可能增加供应链中生产者和其他企业的信息和保险成本。
产品、服务和价值链的复杂性增加了索赔的难度。
人工智能应用通常集成在复杂的物联网环境中，相应提高了用户的索赔门槛。
通过修改产品责任指令，可以减轻AI相关受害者的举证责任，进一步统一国家责任规则。
连通性和开放性对网络安全义务提出了挑战。
产品网络安全漏洞造成的损害能否全额赔偿，法律上没有明确规定。在现有的责任框架中，应该建立明确的网络安全义务，让运营商明确自己的义务，避免承担不必要的责任。
自主性和不透明性导致索赔困难。
人工智能的“算法黑箱”效应，使得人工智能应用自主性造成的损害难以得到补偿。理解人工智能使用的算法和数据需要专业的分析能力和技术专长，受害者可能会为此付出高昂的代价。
此外，没有潜在责任方的配合，算法和数据无法访问，因此受害者实际上无法进行责任索赔。
对于运行具有特定风险的人工智能应用，欧盟委员会正在征求相关意见，以便有效补偿潜在受害者。此外，欧盟委员会还在征求意见，将严格责任认定与潜在义务相结合，制定可用保险，以确保无论责任方的偿付能力如何，受害者都能获得赔偿。
更多资讯请关注微信官方账号ccid-2014。
