GDPR对人工智能带来挑战2017年，欧洲议会曾通过一项立法决议，提出要制定“机器人宪章”，推动人工智能和机器人民事立法。2018年4月，欧盟委员会发布《欧盟人工智能战略》，通过提高技术和产业能力、应对社会经济变革、建立适当的伦理和法律框架三大支柱，来确立欧盟人工智能价值观。2018年5月，欧盟GDPR正式生效，其中涉及人工智能的主要有：GDPR要求人工智能的算法具有一定的可解释性，这对于“黑箱”人工智能系统来说可能具有挑战性。同时，GDPR第22条对包括画像在内的自动化决策提出了要求：如果自动化决策产生的法律效力涉及数据主体，或对数据主体有类似的重要影响，则数据主体应有权不成为此决策的对象；如果自动化决策是为了履行数据主体和控制者的合约必须做出的决策，且经过数据主体明示同意，数据控制者应当实施适当措施以保护数据主体的权利、自由和合法权益，并至少保证数据主体具有对自动化决策进行人为干预、个人表达自己观点并拒绝该决策的权利。2019年4月8日，欧盟委员会发布了由人工智能高级专家组编制的《人工智能道德准则》，列出了人工智能可信赖的七大原则，以确保人工智能应用符合道德，技术足够稳健可靠，从而发挥其最大的优势并将风险降到最低。其中，可信赖人工智能有两个组成部分：一是应尊重基本人权、规章制度、核心原则及价值观；二是应在技术上安全可靠，避免因技术不足而造成无意的伤害。（四）德国：积极应对人工智能伦理道德风险，提出关于自动驾驶的首项道德伦理标准2017年3月，德国24家企业组建“德国人工智能协会”，为行业利益发声，其中包括妥善应对伦理风险等负面影响。德国数据伦理委员会负责为人工智能发展制定道德规范和行为守则。所有基于算法和人工智能的产品、服务需通过审查，尤其是避免出现歧视、诈骗等不法现象。德国将自动驾驶伦理道德作为规范人工智能发展的核心领域之一。2017年5月12日，德国通过首部针对自动驾驶汽车的法案，对《道路交通法》进行了修订，首次将自动驾驶汽车测试的相关法律纳入其中。法案的目的是保障驾驶者的人身安全，这是德国向无人驾驶迈出的重要一步。2018年5月，德国政府推出关于自动驾驶技术的首项道德伦理标准，该准则将会让自动驾驶车辆针对事故场景作出优先级的判断，并加入到系统的自我学习中，例如人类的安全始终优先于动物以及其他财产等。2018年7月，德国联邦政府内阁通过了《联邦政府人工智能战略要点》文件，旨在推动德国人工智能研发和应用达到全球领先水平，以负责任的方式促进人工智能的使用，造福社会，并释放新的增值潜力。该文件确立了德国发展人工智能的目标以及在研究、转化、人才培养、数据使用、法律保障、标准、国际合作等优先行动领域的措施，例如采取政府和科研数据开放、国家企业间数据合作、欧洲数据区、扩大医疗卫生行业数据系统互操作性等措施使数据可用能用，保障人工智能系统的透明度、可追溯性和可验证性等。（五）英国：关注机器人及自治系统的监管，建立数据伦理与创新中心为政府提供咨询2016年10月，英国下议院的科学和技术委员会发布了一份关于人工智能和机器人技术的报告，对“机器人技术及自治化系统”（简称RAS）的监管进行了研究。2018年4月，英国政府发布《人工智能行业新政》，旨在推动英国成为全球人工智能领导者。该文件包括国内外科技公司投资计划、扩建阿兰图灵研究所、创立图灵奖学金以及启动数据伦理与创新中心等内容。其中，数据伦理和创新中心，是一个由英国政府设立的独立咨询机构，可为政府机构和行业提供建议，以支持负责任的技术创新并帮助建立强大、可信赖的治理体系。2019年该中心的主要工作是分析数据驱动技术带来的机遇和风险，包括算法偏见策略审查、人工智能晴雨表，及针对人工智能和保险、智能扬声器和深度造假等主题进行研究等。2018年4月，英国议会下属的人工智能特别委员会发布报告《人工智能在英国：准备、志向与能力？》，报告认为当前不需要对人工智能进行统一的专门监管，各个行业的监管机构可以根据实际情况对监管做出适应性调整。报告呼吁英国政府制定国家层面的人工智能准则，为人工智能研发和利用设定基本的伦理原则，并探索相关标准和最佳实践等，以便实现行业自律。报告在一些重点问题的建议为：在最大化公共数据的价值方面，报告提出要区分数据和个人数据，建议通过数据信托、开放公共数据、开放银行数据机制等措施促进数据访问和共享。在实现可理解、可信赖的人工智能方面，建议避免在特定重大领域采用“黑盒”算法，鼓励研制可解释性的人工智能系统，在安全攸关的特定场景中要求使用更加技术透明的人工智能系统。在应对算法歧视方面，建议研究训练数据和算法的审查和测试机制，需要采取更多措施确保数据真正具有代表性，能够代表多元化的人群，并且不会进一步加剧或固化社会不公平。此外，在自动驾驶方面，英国在2017年2月出台《汽车技术和航空法案》，规定在自动驾驶汽车道路测试发生事故时，可通过简化保险流程，帮助保险人和保险公司获得赔偿。英国也将在2021年全面允许自动驾驶汽车合法上路。（五）日本：成立人工智能伦理委员会，积极开展人工智能伦理道德研究2014年12月，日本人工智能学会成立了“伦理委员会”，探讨机器人、人工智能与社会伦理观的联系。2016年6月，伦理委员会提出人工智能研究人员应该遵守的指针草案。该草案强调“存在无关故意与否，人工智能成为有害之物的可能性”，草案规定无论直接还是间接，均不得基于加害意图使用人工智能。在无意施加了危害时，需要修复损失，在发现恶意使用人工智能时采取防止措施。研究者须尽全力促使人们能够平等利用人工智能，并负有向社会解释人工智能局限性和问题点的责任。2015年1月，日本经济产业省将委员会讨论的成果进行汇总编制了《日本机器人战略：愿景、战略、行动计划》（又称为《新机器人战略》），将机器人的发展与推进作为未来经济发展的重要增长点，制定了详细的“五年行动计划”，将围绕制造业、服务业、农林水产业、医疗护理业、基础设施建设及防灾等主要应用领域，展开机器人技术开发、标准化、示范考核、人才培养和法规调整等具体行动。2017年3月，日本人工智能技术战略委员会发布《人工智能技术战略》报告，阐述了日本政府为人工智能产业化发展所制定的路线图，包括三个阶段：在各领域发展数据驱动人工智能技术应用（2020年完成一二阶段过渡）；在多领域开发人工智能技术的公共事业（2025-2030年完成二三阶段过渡）；连通各领域建立人工智能生态系统。2.1.2 国内情况我国已发布了一系列的人工智能相关政策法规，围绕促进产业技术发展出台了相关政策文件，包括《新一代人工智能发展规划》（以下简称《发展规划》）、《促进新一代人工智能产业发展三年行动计划（2018-2020年）》（以下简称《行动计划》）、《“互联网+”人工智能三年行动实施方案》、《关于促进人工智能和实体经济深度融合的指导意见》和《国家新一代人工智能创新发展试验区建设工作指引》等。这些文件中均提出了人工智能安全和伦理等方面的要求，主要关注人工智能伦理道德、安全监管、评估评价、监测预警等方面，加强人工智能技术在网络安全的深度应用。《发展规划》提出要“制定促进人工智能发展的法律法规和伦理规范”，包括：重点围绕自动驾驶、服务机器人等应用基础较好的细分领域，加快研究制定相关安全管理法规；开展与人工智能应用相关的民事与刑事责任确认等法律问题研究，建立追溯和问责制度；开展人工智能行为科学和伦理等问题研究，建立伦理道德多层次判断结构及人机协作的伦理框架；制定人工智能产品研发设计人员的道德规范和行为守则，加强对人工智能潜在危害与收益的评估，构建人工智能复杂场景下突发事件的解决方案等方面内容。《发展规划》也指出要“建立人工智能安全监管和评估体系”，包括：加强人工智能对国家安全和保密领域影响的研究与评估，完善人、技、物、管配套的安全防护体系，构建人工智能安全监测预警机制；加强人工智能网络安全技术研发，强化人工智能产品和系统网络安全防护；构建动态的人工智能研发应用评估评价机制等内容。《行动计划》提出要建立“网络安全保障体系”，包括针对智能网联汽车、智能家居等人工智能重点产品或行业应用，开展漏洞挖掘、安全测试、威胁预警、攻击检测、应急处置等安全技术攻关，推动人工智能先进技术在网络安全领域的深度应用，加快漏洞库、风险库、案例集等共享资源建设等内容。在国家人工智能发展战略的指引下，国家相关部门在无人机、自动驾驶、金融等细分领域出台了相应的规范性文件：（一）无人机(试行)》、《民用无人机驾驶员管理规定》、《民用无人驾驶航空器经营性飞行活动管理办法（暂行）》、《民用无人机驾驶员管理规定》等规范性文件，对民用无人机飞行活动、民用无人机驾驶员等相关安全问题作出了明确规定。（二）自动驾驶“《管理规范》”）。《管理规范》适用于在中国境内公共道路上进行的智能网联汽车自动驾驶测试。北京市发布《北京市自动驾驶车辆道路测试管理实施细则（试行）》及相关文件，确定33条、共计105公里开放道路用于测试。上海市发布《上海市智能网联汽车道路测试管理办法（试行）》，划定第一阶段5.6公里开放测试道路，并发放第一批测试号牌。重庆、保定、深圳也相继发布相应的道路测试管理细则或征求意见，支持智能网联汽车开展公共道路测试。（三）金融2.2 主要标准化组织人工智能安全工作情况2.2.1 ISO/IEC JTC12017年10月ISO/IEC JTC1在俄罗斯召开会议，决定新成立人工智能的分委员会SC42，负责人工智能标准化工作。SC 42已成立5个工作组，包括基础标准（WG1）、大数据（WG2）、可信赖（WG3）、用例与应用（WG4）、人工智能系统计算方法和计算特征工作组（WG5），此外SC42也包含人工智能管理系统标准咨询组（AG1）、智能系统工程咨询组（AHG3）等。SC42 WG3可信赖组重点关注人工智能可信赖和伦理问题，已开展人工智能可信度、鲁棒性评估、算法偏见、伦理等标准研制工作，主要标准项目包括：1）ISO/IEC TR 24027《信息技术 人工智能 人工智能系统中的偏差与人工智能辅助决策》，由美国NIST提出，主要研究人工智能系统与人工智能辅助决策系统中的算法偏见。2）ISO/IEC PDTR 24028《信息技术 人工智能 人工智能可信度概述》，主要研究了人工智能可信赖的内涵，分析了人工智能系统的典型工程问题和典型相关威胁和风险，提出了对应的解决方案。该标准将可信赖度定义为人工智能的可依赖度和可靠程度，从透明度、可验证性、可解释性、可控性等角度提出了建立人工智能系统可信赖度的方法。3）ISO/IEC TR 24029-1《人工智能 神经网络鲁棒性评估第1部分：概述》，由法国提出，主要在人工智能鲁棒性研究项目基础上，提出交叉验证、形式化验证、后验验证等多种形式评估神经网络的鲁棒性。TR24029-2《人工智能 神经网络鲁棒性评估第2部分：形式化方法》在今年10月的日本会议上也已申请立项。4）ISO/IEC 23894《信息技术 人工智能 风险管理》，梳理了人工智能的风险，给出了人工智能风险管理的流程和方法。5）TR《信息技术 人工智能 伦理和社会关注概述》，主要从伦理和社会关注方面对人工智能进行研究。除了SC42外，ISO/IEC JTC1/SC27信息安全技术分委会，在其WG5身份管理和隐私保护技术工作组，已立项研究项目《人工智能对隐私的影响》，研究人工智能对隐私产生的影响。ISO/IEC JTC1/SC7软件和系统工程分委会，也在研制ISO/IEC/IEEE 29119-11《软件和系统工程—软件测试—人工智能系统测试》，旨在对人工智能系统测试进行规范。2.2.2 ITU-T2017年和2018年，ITU-T组织了 “AI for Good Global”峰会，此次峰会重点关注确保人工智能技术可信、安全和包容性发展的战略，以及公平获利的权利。ITU-T主要致力于解决智慧医疗、智能汽车、垃圾内容治理、生物特征识别等人工智能应用中的安全问题。在ITU-T中，SG17安全研究组和SG16多媒体研究组开展了人工智能安全相关标准研制。其中，ITU-T SG17已经计划开展人工智能用于安全以及人工智能安全的研究、讨论和相关标准化项目。ITU-T SG1安全标准工作组下设的Q9“远程生物特征识别问题组”和Q10“身份管理架构和机制问题组”负责ITU-T生物特征识别标准化工作。其中，Q9关注生物特征数据的隐私保护、可靠性和安全性等方面的各种挑战。2.2.3 IEEEIEEE开展了多项人工智能伦理道德研究，发布了多项人工智能伦理标准和研究报告。早在2017年底，IEEE发布了《以伦理为基准的设计：人工智能及自主系统中将人类福祉摆在优先地位的愿景（第二版）》报告，该报告收集了250多名在全球从事人工智能、法律和伦理、哲学、政策相关工作的专家对人工智能及自主系统领域的问题见解及建议，目前该报告已更新为第二版。IEEE正在研制IEEE P7000系列标准，用于规范人工智能系统道德规范问题，主要标准介绍如下：1）IEEE P7000《在系统设计中处理伦理问题的模型过程》：该标准建立了一个过程模型，工程师和技术人员可以在系统启动、分析和设计的各个阶段处理伦理问题。预期的过程要求包括新IT产品开发、计算机伦理和IT系统设计、价值敏感设计以及利益相关者参与道德IT系统设计的管理和工程视图。2）IEEE P7001《自治系统的透明度》：针对自治系统运营的透明性问题，为自治系统开发过程中透明性自评估提供指导，帮助用户了解系统做出某些决定的原因，并提出提高透明度的机制（如需要传感器安全存储、内部状态数据等）。3）IEEE P7002《数据隐私处理》：指出如何对收集个人信息的系统和软件的伦理问题进行管理，将规范系统/软件工程生命周期过程中管理隐私问题的实践，也可用于对隐私实践进行合规性评估（隐私影响评估）。4）IEEE P7003《算法偏差注意事项》：本标准提供了在创建算法时消除负偏差问题的步骤，还将包括基准测试程序和选择验证数据集的规范，适用于自主或智能系统的开发人员避免其代码中的负偏差。当使用主观的或不正确的数据解释（如错误的因果关系）时，可能会产生负偏差。5）IEEE P7004《儿童和学生数据治理标准》：该标准定义了在任何教育或制度环境中如何访问，收集，共享和删除与儿童和学生有关的数据，为处理儿童和学生数据的教育机构或组织提供了透明度和问责制的流程和认证。6）IEEE P7005《透明雇主数据治理标准》：提供以道德方式存储、保护和使用员工数据的指南和认证，希望为员工在安全可靠的环境中分享他们的信息以及雇主如何与员工进行合作提供清晰和建议。7）IEEE P7006《个人数据人工智能代理标准》：涉及到关于机器自动作出决定的问题，描述了创建和授权访问个人化人工智能所需的技术要素，包括由个人控制的输入、学习、伦理、规则和价值。允许个人为其数据创建个人“条款和条件”，代理人将为人们提供一种管理和控制其在数字世界中的身份的方式。8）IEEE P7007《伦理驱动的机器人和自动化系统的本体标准》：建立了一组具有不同抽象级别的本体，包含概念、定义和相互关系，这些定义和关系将使机器人技术和自动化系统能够根据世界范围的道德和道德理论进行开发。9）IEEE P7008《机器人、智能与自主系统中伦理驱动的助推标准》：机器人、智能或自治系统所展示的“助推”被定义为旨在影响用户行为或情感的公开或隐藏的建议或操纵。该标准确定了典型微动的定义（当前正在使用或可以创建），包含建立和确保道德驱动的机器人、智能和自治系统方法论所必需的概念、功能和利益。10）IEEE P7009《自主和半自主系统的失效安全设计标准》：自治和半自治系统，在有意或无意的故障后仍可运行会对用户，社会和环境造成不利影响和损害。本标准为在自治和半自治系统中开发、实施和使用有效的故障安全机制，建立了特定方法和工具的实用技术基准，以终止不成功或失败的情况。11）IEEE P7010《合乎伦理的人工智能与自主系统的福祉度量标准》，本标准建立与直接受智能和自治系统影响的人为因素有关的健康指标，为这些系统处理的主观和客观数据建立基线以实现改善人类福祉的目的。12）IEEE P7011《新闻信源识别和评级过程标准》：该标准的目的是通过提供一个易于理解的评级开放系统，以便对在线新闻提供者和多媒体新闻提供者的在线部分进行评级，来应对假新闻未经控制的泛滥带来的负面影响。13）IEEE P7012《机器可读个人隐私条款标准》：该标准给出了提供个人隐私条款的方式，以及机器如何阅读和同意这些条款。14）IEEE P7013《人脸自动分析技术的收录与应用标准》：研究表明用于自动面部分析的人工智能容易受到偏见的影响。该标准提供了表型和人口统计定义，技术人员和审核员可以使用这些定义来评估用于训练和基准算法性能的面部数据的多样性，建立准确性报告和数据多样性规则以进行自动面部分析。2.2.4 NIST2019年8月，美国国家标准与技术研究院（National Institute ofStandards and Technology，NIST）发布了关于政府如何制定人工智能技术标准和相关工具的指导意见，该指南概述了多项有助于美国政府推动负责任地使用人工智能的举措，并列出了一些指导原则，这些原则将为未来的技术标准提供指导。指南强调，需要开发有助于各机构更好地研究和评估人工智能系统质量的技术工具。这些工具包括标准化的测试机制和强大的绩效指标，可让政府更好地了解各个系统，并确定如何制定有效的标准。NIST建议专注于理解人工智能可信度的研究，并将这些指标纳入未来的标准，也建议在监管或采购中引用的人工智能标准保持灵活性，以适应人工智能技术的快速发展；制定度量标准以评估人工智能系统的可信赖属性；研究告知风险、监控和缓解风险等人工智能风险管理；研究对人工智能的设计、开发和使用的信任需求和方法；通过人工智能挑战问题和测试平台促进创造性的问题解决等。2.2.5 TC260人工智能安全标准，是与人工智能安全、伦理、隐私保护等相关的标准规范。从广义来说，人工智能安全标准涉及人工智能的算法模型、数据、基础设施、产品和应用相关的安全标准。目前，全国信息安全标准化技术委员会（简称“信安标委”或TC260）的人工智能安全相关标准主要集中在生物特征识别、智慧家居等人工智能应用安全领域，及与数据安全、个人信息保护相关的支撑领域，尚未有正式立项的人工智能自身安全或基础共性的安全标准。（一）人工智能基础共性标准2018年TC260立项标准研究项目《人工智能安全标准研究》，主要研究人工智能安全风险、人工智能安全政策和标准现状、人工智能安全标准需求和安全标准体系等内容，本白皮书的许多材料来自该课题的成果输出。2019年立项《信息安全技术 人工智能应用安全指南》标准研究项目，将研究人工智能的安全属性和原则、安全风险、安全管理及在需求、设计、开发训练、验证评估、运行等阶段的安全工程实践指南，适用于人工智能开发者、运营管理者、用户以及第三方等组织在保障人工智能系统工程安全时作为参考。（二）生物特征识别安全标准TC260已发布GB/T 20979-2007《信息安全技术 虹膜识别系统技术要求》标准，正在研制《信息安全技术 基于可信环境的生物特征识别身份鉴别协议》、《信息安全技术 指纹识别系统技术要求》、《信息安全技术 网络人脸识别认证系统安全技术要求》、《信息安全技术 生物特征识别信息的保护要求》等标准。GB/T 20979-2019《信息安全技术 虹膜识别系统技术要求》：规定了用虹膜识别技术为身份鉴别提供支持的虹膜识别系统的技术要求。本标准适用于按信息安全等级保护的要求所进行的虹膜识别系统的设计与实现，对虹膜识别系统的测试、管理也可参照使用。GB/T 36651-2018《信息安全技术 基于可信环境的生物特征识别身份鉴别协议》：规定了基于可信环境的生物特征识别身份鉴别协议，包括协议框架、协议流程、协议要求以及协议接口等内容。本标准适用于生物特征识别身份鉴别服务协议的开发、测试和评估。GB/T 37076-2018《信息安全技术 指纹识别系统技术要求》：对指纹识别系统的安全威胁、安全目的进行了分析，提出指纹识别系统的安全技术要求，规范指纹识别技术在信息安全领域的应用。《信息安全技术 网络人脸识别认证系统安全技术要求》：规定了安全防范视频监控人脸识别系统的基本构成、功能要求、性能要求及测试方法。本标准适用于以安全防范为目的的视频监控人脸识别系统的方案设计、项目验收以及相关的产品开发。其他领域的视频监控人脸识别系统可参考使用。《信息安全技术 生物特征识别信息的保护要求》：研究制定生物特征识别信息的安全保护要求，包括生物特征识别系统的威胁和对策，生物特征信息和身份主体之间安全绑定的安全要求，应用模型以及隐私保护要求等。（三）自动驾驶安全标准2017年TC260立项《信息安全技术 汽车电子系统网络安全指南》标准项目，2019年立项标准制定项目《信息安全技术 车载网络设备信息安全技术要求》和研究项目《汽车电子芯片安全技术要求》。严格来说，这几项标准属于汽车电子范畴，还不属于自动驾驶范畴。（四）智慧家居安全标准2018年TC260立项标准《信息安全技术 智能家居安全通用技术要求》，2019年立项标准《信息安全技术 智能门锁安全技术要求和测试评价方法》。《信息安全技术 智能家居安全通用技术要求》：规定了智能家居通用安全技术要求，包括智能家居整体框架、智能家居安全模型以及智能家居终端安全要求、智能家居网关安全要求、网络安全要求和应用服务平台安全要求，适用于智能家居产品的安全设计和实现，智能家居的安全测试和管理也可参照使用。《信息安全技术 智能门锁安全技术要求和测试评价方法》：给出了智能门锁的安全技术要求和测试评价方法，其中智能门锁是指通过识别指纹、指静脉、虹膜、人脸等人体生物特征以及智能卡、无线遥控编码、静态密码、临时密码等信息，控制执行机构实施启闭的门锁。（五）数据安全和个人信息保护标准TC260的大数据安全标准特别工作组自2016年成立以来，在数据安全和个人信息保护方向已发布6项国家标准，在研标准10项，研究项目18项。在个人信息保护方向，主要聚焦于个人信息保护要求、去标识技术、App收集个人信息、隐私工程、影响评估、告知同意、云服务等内容，已发布GB/T 35273《信息安全技术 个人信息安全规范》、GB/T 37964《信息安全技术 个人信息去标识化指南》2项标准，在研5项标准，2项标准研究项目。在数据安全方向，主要围绕数据安全能力、数据交易服务、出境评估、政务数据共享、健康医疗数据安全、电信数据安全等内容，已发布GB/T35274《信息安全技术 大数据服务安全能力要求》、GB/T 37932《信息安全技术 数据交易服务安全要求》、GB/T 37973《信息安全技术 大数据安全管理指南》、GB/T 37988《信息安全技术 数据安全能力成熟度模型》4项标准，在研5项标准，16项标准研究项目。此外，国家标准化管理委员会于2018年1月正式成立国家人工智能标准化总体组，承担人工智能标准化工作的统筹协调和规划布局，负责开展人工智能国际国内标准化工作。目前，国家人工智能标准化总体组已发布《人工智能标准化白皮书2018》、《人工智能伦理风险分析报告》等成果，正在研究人工智能术语、人工智能伦理风险评估等标准。2.2.6 其他标准化组织中国通信标准化协会已开展汽车电子、智能家居等方面标准研究工作，目前已发布YDB 201-2018《智能家居终端设备安全能力技术要求》、T/CSHIA 001-2018《智能家居网络系统安全技术要求》等标准。但相关研究工作仍以人工智能在具体应用场景的情况为主，在研标准包括《人工智能产品、应用及服务安全评估指南》、《人工智能服务平台安全》、《人工智能终端产品标准体系研究》、《移动智能终端人工智能能力及应用个人信息保护技术要求及评估方法》、《移动智能终端人脸识别安全技术要求及测试评估方法》等。中国人工智能开源软件发展联盟是从事人工智能开源软件相关工作的社会组织，该联盟已研制机器翻译、智能助理等产品或服务评估标准、深度学习算法的可靠性评估标准，主要包括T/CESA 1039—2019《信息技术人工智能 机器翻译能力等级评估》、T/CESA 1038—2019《信息技术 人工智能 智能助理能力等级评估》、T/CESA 1026—2018《人工智能 深度学习算法评估规范》等。T/CESA 1026—2018《人工智能 深度学习算法评估规范》提出了人工智能深度学习算法的评估指标体系、评估流程，以及需求阶段评估、设计阶段评估、实现阶段评估和运行阶段评估等内容，能够指导深度学习算法开发方、用户方以及第三方等相关组织对深度学习算法的可靠性开展评估工作。2.3 人工智能伦理道德工作情况人工智能的复杂性决定了其涉及技术、伦理、法律、道德等多个领域。为了保障人工智能健康发展，需要建立相应的伦理道德框架。在人工智能伦理道德方面，国内外研究成果比较丰富，其中“阿西洛马人工智能原则”和IEEE组织倡议的人工智能伦理标准成为国际上影响最广的人工智能伦理研究成果。而除了广泛达成的共识之外，多个国家和机构也发布了各自的相关准则。（一）阿西洛马人工智能原则“阿西洛马人工智能原则”是2017年1月在阿西洛马召开的“有益的人工智能”（Beneficial AI）会议上提出，其倡导的伦理和价值原则包括：安全性、失败的透明性、审判的透明性、负责、与人类价值观保持一致、保护隐私、尊重自由、分享利益、共同繁荣、人类控制、非颠覆以及禁止人工智能装备竞赛等。（二）IEEE2017年3月，IEEE在《IEEE 机器人与自动化》杂志发表了名为“旨在推进人工智能和自治系统的伦理设计的IEEE 全球倡议书”，倡议建立人工智能伦理的设计原则和标准，帮助人们避免对人工智能产生恐惧和盲目崇拜，从而推动人工智能的创新，其提出了以下五个原则：1）人权：确保它们不侵犯国际公认的人权；2）福祉：在它们的设计和使用中优先考虑人类福祉的指标；3）问责：确保它们的设计者和操作者负责任且可问责；4）透明：确保它们以透明的方式运行；5）慎用：将滥用的风险降到最低。（三）美国2017 年1 月12 日发布了《算法透明和可责性声明》提出了以下七项准则：1）充分认识；2）救济；3）可责性；4）可解释；5）数据来源保护；6）可审查性；7）验证和测试。（四）欧盟2019年4月8日，欧盟委员会发布了由人工智能高级专家组编制的《人工智能道德准则》，列出了人工智能可信赖的七大原则，包括：1）人的能动性和监督能力；2）安全性；3）隐私数据管理；4）透明度；5）包容性；6）社会福祉；7）问责机制。（四）日本(JSAI)发布了《日本人工智能学会伦理准则》，要求日本人工智能学会会员应当遵循并实践以下准则：1）贡献人类；2）遵守法律法规；3）尊重隐私；4）公正；5）安全；6）秉直行事；7）可责性与社会责任；8）社会沟通和自我发展；9）人工智能伦理准则。（五）英国2018年4月，英国议会下属的人工智能特别委员会发布报告《人工智能在英国：准备、志向与能力？》，提出包含五方面内容的准则：1）人工智能应为人类共同利益和福祉服务；2）人工智能应遵循可理解性和公平性原则；3）人工智能不应用于削弱个人、家庭乃至社区的数据权利或隐私；4）所有公民都有权接受相关教育，以便能在精神、情感和经济上适应人工智能的发展；5）人工智能绝不应被赋予任何伤害、毁灭或欺骗人类的自主能力。（六）加拿大2019年2月25日，科技部宣布成立国家新一代人工智能治理专业委员会，以进一步加强人工智能相关法律、伦理、标准和社会问题研究，深入参与人工智能相关治理的国际交流合作。2019年6月19日，该委员会发布《新一代人工智能治理原则——发展负责任的人工智能》，提出人工智能发展应遵循八项原则：1）和谐友好；2）公平公正；3）包容共享；4）尊重隐私；5）安全可控；6）共担责任；7）开放协作；8）敏捷治理。2019年4月，国家人工智能标准化总体组发布了《人工智能伦理风险分析报告》。报告提出两项人工智能伦理准则[15]，一是人类根本利益原则，指人工智能应以实现人类根本利益为终极目标；二是责任原则，指在人工智能相关的技术开发和应用两方面都建立明确的责任体系。在责任原则下，在人工智能技术开发方面应遵循透明度原则；在人工智能技术应用方面则应当遵循权责一致原则。在加拿大发布的《可靠的人工智能草案蒙特利尔宣言》提出了七种价值，并指出它们都是人工智能发展过程中应当遵守的道德原则：福祉、自主、正义、隐私、知识、民主和责任。（七）中国日本人工智能学会美国公共政策委员会于中国人民银行、证监会等四部委联合发布《关于规范金融机构资产管理业务的指导意见》，按其要求，针对自身特点披露智能投顾的算法缺陷也是业务主体的分内之责。中国人民银行发布《金融科技发展规划》，规划指出要加快制定完善人工智能、大数据、云计算等在金融业应用的技术与安全规范；研究制定人工智能金融应用监管规则，强化智能化金融工具安全认证，确保把人工智能金融应用规制在安全可控范围内。工业和信息化部、公安部、交通运输部联合制定发布《智能网联汽车道路测试管理规范（试行）》（下称国家民航局先后发布了《关于民用无人机管理有关问题的暂行规定》、《民用无人机空中交通管理办法》、《轻小型无人机运行规定

2019年2月，美国总统签署行政令，启动“美国人工智能倡议”。该倡议提出应在人工智能研发、数据资源共享、标准规范制定、人力资源培养和国际合作五个领域重点发力。其中，标准规范制定的目标是确保技术标准最大限度减少恶意攻击可利用的漏洞，促进公众对人工智能创新技术的信任。为响应美国人工智能倡议，2019年6月美国对《国家人工智能研究与发展战略计划》进行了更新，在2016年版本的基础上提出长期投资人工智能研究、应对伦理和法律社会影响、确保人工智能系统安全、开发共享的公共数据集和环境、通过标准评估技术等八个战略重点。人工智能道德、法律和社会问题方面。提出通过设计提高公平性、透明度和问责制，建立道德的人工智能，为道德人工智能设计架构。设计包含道德推理的人工智能架构，如采用操作人工智能和评估监视器分开的双层监视器体系结构，或选择安全工程确保开发的人工智能行为是安全且对人类无害，或使用集合理论原则与逻辑约束相结合来制定道德体系结构。美国国防高级研究计划局（Defense Advanced Research Projects Agency，DARPA）正在开展“可解释人工智能（XAI）”计划，旨在创建一套机器学习技术，在同时保持高水平的学习性能的同时，生成更多可解释的人工智能系统。创建健壮且可信赖的人工智能系统方面。采取提高可解释性和透明性、建立信任、加强验证、防范攻击、实现长期人工智能安全和价值调整等措施。例如加强对人工智能系统的验证评估，确保系统符合正式规范且满足用户的操作要求。研究人工智能系统的自我监控架构，用于检查系统与设计人员的原始目标行为的一致性。2019年2月，DARPA宣布开展另一项计划“确保人工智能抗欺骗可靠性（GARD）”，旨在开发新一代防御技术，抵抗针对机器学习模型的对抗欺骗攻击。构建人工智能公共数据资源方面。采取开发和提供各种数据集、制定培训和测试资源、开发开源软件库和工具包等措施。同时会考虑数据安全共享问题，研究数据安全共享技术和隐私保护技术。例如VA DataCommons正在创建世界最大的链接医学基因组数据集。标准和基准测试方面。提出制定广泛的人工智能标准、建立技术基准、增加人工智能测试平台的可用性、让社区参与标准和基准测试。其中在人工智能标准方面，提出要针对软件工程、性能、度量、人身安全、可用性、互操作性、安全性、隐私、可追溯性建立人工智能标准体系。（三）欧盟：重视人工智能伦理道德，

随着人工智能技术和产业的不断发展，很多国家和地区纷纷制定了人工智能相关的法律法规和政策，以推动人工智能健康有序和安全可控发展，并在人工智能伦理道德、人工智能系统安全、机器人、自动驾驶、隐私保护等方向进行了探索与实践。2.1 人工智能安全法律法规和政策2.1.1 国际国外情况（一）联合国：聚焦人身安全和伦理道德，自动驾驶、机器人、人工智能犯罪等领域逐步深入目前，联合国对人工智能安全的研究主要聚焦于人身安全、伦理道德、潜在威胁和挑战等方面，关注人工智能对人身安全、社会安全和经济发展的影响和挑战，目前已发布了自动驾驶、智能机器人等领域的相关法律法规和研究成果，相关研究正逐步深入。2016年，联合国欧洲经济委员会通过修正案修改了《维也纳道路交通公约》（以下简称“《公约》”）。2017年9月，联合国教科文组织与世界科学知识与技术伦理委员会联合发布了《机器人伦理报告》，指出机器人的制造和使用促进了人工智能的进步，并讨论了这些进步所带来的社会与伦理道德问题。2017年，在荷兰和海牙市政府的支持下，联合国在荷兰建立人工智能和机器人中心，以跟进人工智能和机器人技术的最新发展。该办事处也将联合联合国区域间犯罪和司法研究所（UNICRI）共同处理与犯罪相联系的人工智能和机器人带来的安全影响和风险。（二）美国：关注人工智能设计安全，采用标准规范和验证评估减少恶意攻击风险

人工智能应用正在改变人类经济社会的发展轨迹，给人民的生产生活带来巨大改变。但是，人工智能也给全社会带来不容忽视的风险挑战。人工智能安全风险是指安全威胁利用人工智能资产的脆弱性，引发人工智能安全事件或对相关方造成影响的可能性。要利用好人工智能技术就要全面清晰地了解新的攻击威胁、人工智能安全隐患及对相关方造成的影响。三、3.1 新的攻击威胁人工智能系统作为采用人工智能技术的信息系统，除了会遭受拒绝服务等传统网络攻击威胁外，也会面临针对人工智能系统的一些特定攻击，这些攻击特别影响使用机器学习的系统。（一）攻击方法一是对抗样本攻击，是指在输入样本中添加细微的、通常无法识别的干扰，导致模型以高置信度给出一个错误的输出。研究表明深度学习系统容易受到精心设计的对抗样本的影响，可能导致系统出现误判或漏判等错误结果。对抗样本攻击也可来自物理世界，通过精心构造的交通标志对自动驾驶进行攻击。比如，Eykholt等人的研究表明一个经过稍加修改的实体停车标志，能够使得一个实时的目标检测系统将其误识别为限速标志，从而可能造成交通事故。攻击者利用精心构造的对抗样本，也可发起模仿攻击、逃避攻击等欺骗攻击。模仿攻击通过对受害者样本的模仿，达到获取受害者权限的目的，目前主要出现在基于机器学习的图像识别系统和语音识别系统中。逃避攻击是早期针对机器学习的攻击形式，比如垃圾邮件检测系统、PDF文件中的恶意程序检测系统等。通过产生一些可以成功逃避安全系统检测的对抗样本，实现对系统的恶意攻击。二是数据投毒，主要是在训练数据中加入精心构造的异常数据，破坏原有的训练数据的概率分布，导致模型在某些条件会产生分类或聚类错误。由于数据投毒攻击需要攻击者接触训练数据，通常针对在线学习场景（即模型利用在线数据不断学习更新模型），或者需要定期重新训练进行模型更新的系统，这类攻击比较有效，典型场景如推荐系统、自适应生物识别系统、垃圾邮件检测系统等。正确过滤训练数据可以帮助检测和过滤异常数据，从而最大程度地减少可能的数据投毒攻击。三是模型窃取，是指向目标模型发送大量预测查询，使用接收到的响应来训练另一个功能相同或类似的模型，或采用逆向攻击技术获取模型的参数及训练数据。针对云模式部署的模型，攻击者通常利用机器学习系统提供的一些应用程序编程接口（API）来获取系统模型的初步信息，进而通过这些初步信息对模型进行逆向分析，从而获取模型内部的训练数据和运行时采集的数据。针对私有部署到用户的移动设备或数据中心的服务器上的模型，攻击者通过逆向等传统安全技术，可以把模型文件直接还原出来使用。四是人工智能系统攻击。对机器学习系统的典型攻击是影响数据机密性及数据和计算完整性的攻击，还有其他攻击形式导致拒绝服务、信息泄露或无效计算。例如，对机器学习系统的控制流攻击可能会破坏或规避机器学习模型推断或导致无效的训练。机器学习系统使用的复杂设备模型（如硬件加速器）大多是半虚拟化或仿真的，可能遭受设备欺骗，运行时内存重新映射攻击及中间人设备等攻击。（二）攻击影响深度学习易遭受数据投毒、逃避攻击、模仿攻击、模型窃取和对抗样本攻击。一是模型的训练、测试和推断过程中均可能遭受攻击。数据投毒攻击主要针对训练过程进行攻击，对抗样本攻击可针对训练、测试和推断过程进行攻击，模型窃取攻击主要针对推断过程进行攻击，逃避攻击和模仿攻击主要针对测试和推断过程。二是攻击危害数据和模型的机密性、完整性和可用性。上述攻击通常导致模型决策失误、数据泄漏等后果。数据投毒攻击会破坏训练数据集，主要影响数据完整性和模型可用性。模型窃取攻击主要影响数据机密性、模型机密性和隐私。对抗样本、逃避攻击、模仿攻击不会破坏训练数据集，主要影响模型完整性和可用性。3.2 人工智能安全隐患通常，人工智能资产主要由数据、算法模型、基础设施、产品服务及行业应用组成。深度学习训练好的模型通常包括两个部分，一个是对网络结构的描述或者称为对网络结构的定义，另一个是每层网络的具体参数值。3.2.1 算法模型安全隐患算法模型，是人工智能系统的核心，而算法模型中的安全隐患则可能给人工智能系统带来致命的安全后果。（一）算法模型潜藏鲁棒性平衡、数据依赖等缺陷Eykholt等人的研究表明，针对在对抗样本攻击下的鲁棒性，准确度越高的模型的普遍鲁棒性越差，且分类错误率的对数和模型鲁棒性存在线性关系。二是数据集对模型准确性影响大。目前人工智能仍处于海量数据驱动知识学习的阶段，数据集的数量和质量是决定模型质量的关键因素之一。模型应用可能出现预料之外的情况，而训练数据可能难以覆盖该类情况，导致与预期不符甚至伤害性的结果。正常的环境变化也可能产生数据集噪声，对模型的可靠性造成威胁，比如仿射变换、光照强度、角度、对比度变化会对视觉模型的预测产生不可预期的影响。三是面临可靠性挑战。实时性较高的应用场景（如自动驾驶）要求算法模型随时可用，如果当数据进入人工智能核心模块前受到定向干扰，将会导致即时错误判断。（二）算法可能潜藏偏见或歧视，导致结果偏差或处理不当“黑箱”特征，存在结果可解释性和透明性问题深度学习在很多复杂任务上取得了前所未有的进展，但是深度学习系统通常拥有数以百万甚至十亿计的参数，开发人员难以用可解释的方式对一个复杂的神经网络进行标注，成为了一个名副其实的“黑箱”。一是基于神经网络的人工智能算法具有“涌现性”和“自主性”，容易造成算法黑箱。涌现性，即智能是一种由算法底层的简单规则生成的复杂行为，算法行为不是边界清晰的单个行为而是集体行为的演化，其行为效果既不由“某一”行为所决定，亦不由其前提完全决定。自主性，当前弱人工智能的自主性主要是指智能行为的自组织性，深度学习算法可以在没有程序员的干预下从海量无标注的大数据中自我学习、自我进化。二是重要行业人工智能应用面临可解释性挑战。人工智能在金融、医疗、交通等攸关人身财产安全的重点行业领域应用时，人类对算法的安全感、信赖感、认同度可能取决于算法的透明性和可理解性。此外，除了人工智能模型本身在技术上的不透明性外，在数据、数据处理活动方面也可能存在不透明性。3.2.2 数据安全与隐私保护隐患数据，是人工智能的基础资源，机器学习需要数量大、种类多、质量高的数据进行训练，从不同工程阶段来看涉及采集的海量原始数据、训练和测试数据集、应用系统实际输入数据（现场数据）等。（一）数据采集安全隐患2019年8月瑞典数据监管机构对当地一所高中开出20万瑞典克朗的GDPR罚单，理由是学校采用人脸识别系统记录学生的出勤率。四是数据质量问题。人工智能模型精度受限于训练数据、应用数据的质量，而训练数据集规模不足、数据集的多样性和均衡性不足、数据集的标注质量低、数据投毒攻击、数据噪声等都将影响训练数据的质量。五是用户选择退出权难以保障。由于人工智能系统通常由训练好的模型部署而成，用户对于模型训练时所用的数据很难做到选择退出。（二）数据使用安全隐患GDPR及29条工作组相关文件对于自动化决策有相关要求，需要防止自动化决策对弱势群体的歧视影响，同时要求人工智能系统适当阐释数据处理的意义和可能产生的结果，但机器学习算法的黑箱特征，使得数据处理过程缺乏可解释性。（三）其他阶段的数据安全隐患2019年2月深网视界被曝泄漏超过250万人的人脸识别信息，主要由于未对内部MongoDB数据库进行密码保护。数据共享安全隐患。在数据采集和数据标注环节，许多人工智能公司会委托第三方公司或采用众包方式实现海量数据的采集和标注，数据链路中所涉及的多方主体的数据保护能力参差不齐，可能带来数据泄漏和滥用隐患。在人工智能系统运行阶段，存在很多向第三方分享和披露数据的情况，例如机器学习算法或模型训练由第三方完成，需要和第三方的人工智能API进行数据交互。数据传输安全隐患。人工智能系统通常部署在云侧和端侧，云边端之间存在大量数据传输，传统数据传输存在的安全隐患都可能发生。3.2.3 基础设施安全隐患基础设施，是人工智能产品和应用普遍依赖的软硬件，如软件框架、计算设施、智能传感器等。其中，软件框架是通用算法模型组件的工程实现，为人工智能应用开发提供集成软件包和算法调用接口。基础设施为人工智能提供计算力资源，通常来源于智能芯片、智能服务器或端侧设备的边缘算力等。基础设施安全风险是人工智能面临的基础性风险，主要包括：一是开源安全风险。当前人工智能技术和产业的快速发展，很大程度上得益于主流人工智能软件、框架、依赖库等必要实验和生产工具的开源化，越来越多创业者能够依赖开源成果进行人工智能研究。开源社区在功能优化、框架设计等方面对人工智能的发展起到了关键作用，但往往忽视了其成果的安全风险。二是软件框架安全风险。近年来，国内网络安全企业屡次发现TensorFlow、Caffe等机器学习相关软件框架、工具及依赖库的安全漏洞，这些漏洞可能被用于网络攻击，给人工智能应用带来新的威胁和挑战。三是传统软硬件安全风险。人工智能基础设施由软件和硬件组成，也面临着传统的软、硬件安全风险，需要关注服务接口安全、软硬件安全、服务可用性等问题。四是系统复杂度和不确定性风险。在许多情况下，人工智能系统被设计为在复杂环境中运行，具有大量潜在状态，无法对其进行详尽检查或测试。系统可能面临在设计过程中从未考虑过的情况。五是系统行为难以预测。对于在部署后学习的人工智能系统，系统的行为可能主要由在无监督条件下学习的情况决定。在这种情况下，可能难以预测系统的行为。六是人机交互安全风险。在许多情况下，人工智能系统的性能受人类交互的影响很大，不同人群可能有不同的反应特点，人类反应的变化可能会影响系统的安全性。3.2.4 应用安全隐患产品应用，是指按照人工智能技术对信息进行收集、存储、传输、交换、处理的硬件、软件、系统和服务，如智能机器人、自动驾驶等。行业应用则是人工智能产品和服务在行业领域的应用，如智能制造、智慧医疗、智能交通等。产品服务和行业应用的安全隐患主要表现在：人工智能应用是依托数据、算法模型、基础设施构建而成，算法模型、数据安全与隐私保护、基础设施的安全隐患仍然会存在，并且呈现出人工智能应用攻击面更大、隐私保护风险更突出的特点。自动驾驶。由于增加了连接控制功能、IT后端系统和其他外部信息源之间的新接口，大幅提升了网络攻击面，使得自动驾驶面临物理调试接口、内部微处理器、运载终端、操作系统、通信协议、云平台等方面的脆弱性风险。生物特征。在数据采集阶段可能面临呈现攻击、重放攻击、非法篡改等攻击威胁。生物特征存储阶段，主要是对生物特征数据库的攻击威胁。生物特征比对和决策阶段，存在比对结果篡改、决策阈值篡改和爬山攻击等安全威胁。生物特征识别模块间传输，存在对生物特征数据的非法窃听、重放攻击、中间人攻击等威胁。智能音箱。存在硬件安全、操作系统、应用层安全、网络通信安全、人工智能安全、个人信息保护六方面脆弱性。例如，对于开放的物理端口或接口，攻击者可利用接口、存储芯片的不安全性，如直接拆解音箱硬件芯片，在Flash芯片中植入后门，用于监听获取智能音箱的控制权，篡改操作系统或窃取个人数据。3.2.5 人工智能滥用人工智能滥用，包含两层含义：一是不当或恶意利用人工智能技术引发安全威胁和挑战；二是利用人工智能技术后造成不可控安全风险。一方面，人工智能在欺诈、违法不良信息传播、密码破解等攻击手段的应用，给传统安全检测带来了新的挑战。具体来讲，一是网络攻击自动化趋势明显，在网络领域，需要大量高技能劳动力的攻击活动（如APT攻击等）已逐步实现高度自动化。二是不良信息传播更加隐蔽，不法分子利用人工智能技术，使得各类不良信息的传播更加具有针对性和隐蔽性，给维护网络安全带来了巨大的隐患和挑战。三是越来越多被应用于欺诈等违法犯罪中，2017年，我国浙江、湖北等地发生多起犯罪分子利用语音合成技术假扮受害人亲属实施诈骗的案件，造成严重后果和恶劣社会影响。四是口令破解概率提升，利用人工智能技术破解登录验证码的效果越来越好、且难以防范。2018年西北大学团队基于人工智能技术建立了一套验证码求解器，仅利用500个目标验证码优化求解器，便可使求解器在0.05秒之内攻破验证码。另一方面，随着人工智能创新技术与各领域的交叉融合，在对各领域进行有益推动的同时，人工智能滥用问题逐渐凸显。ISO/IEC PDTR 24028将人工智能滥用分成三个层次：Misuse即过度依赖人工智能会导致无法预料的负面结果；Disuse即对人工智能的依赖不足带来的负面结果；Abuse即在建立人工智能系统时而未充分尊重最终用户利益。由于创新技术应用边界难以控制，可能引发滥用风险，如利用人工智能技术模仿人类，如换脸、手写伪造、人声伪造、聊天机器人等，除引发伦理道德风险外，还可能加速技术在黑灰色地带的应用，模糊技术应用的合理边界，加剧人工智能滥用风险。3.3 安全影响人工智能作为正在高速发展的新兴产业，其收益和风险并存。尤其随着人工智能在国防、医疗、交通、金融等重要行业领域的深入应用，如果出现严重安全事件或被不当利用，可能会对国家安全、社会伦理、网络安全、人身安全与个人隐私等造成影响。其中，网络安全主要是对网络空间安全（如信息安全、系统安全等）造成影响，个人隐私则是对个人信息保护权益产生影响。本节主要描述对国家安全、社会伦理和人身安全方面的影响。一是国家安全影响。人工智能可用于构建新型军事打击力量，对国防安全造成威胁。自主系统和机器人在军事上的应用，将加快战斗速度、提升战斗能力，如生产具有自动识别目标和精准打击能力的人工智能武器、通过生成对抗性网络来制造军事相关的伪装和诱饵、人工智能系统间通过电磁对抗和机器学习帮助改进无线电频谱分配等。利用人工智能对目标用户进行信息定制传播，可达到社会舆论动员目的。通过搜集用户行为数据，采用机器学习对用户进行政治倾向等画像分析，为不同倾向的用户推送其期望的内容，也可通过学习和模拟真实的人的言论来影响人们对事情的判断，一旦被恶意利用可能造成大范围影响。人工智能在情报分析上的大量应用，增加了国家重要数据的泄露风险。人工智能技术在情报收集和分析方面有很多用途，情报工作者可以从监控、社交媒体等渠道获取越来越多的数据，通过人工智能技术对海量数据进行挖掘分析，可以获得许多重要敏感数据。二是社会伦理挑战。“机器换人”对中低技术要求的劳动力就业造成影响，长远会加剧社会分化和不平等现象。工业机器人和各种智能技术的大规模使用，使从事劳动密集型、重复型、高度流程化等行业的工人面临失业威胁。虽然也有一些研究报告对过度的失业担忧提出质疑，但从长远来看，人工智能会加剧社会分化和不平等现象，尤其对于受教育程度较低的人群，人工智能的普及会让他们的竞争力大幅降低。对人工智能技术的依赖会对现有社会伦理造成冲击，影响现有人际观念甚至人类的交往方式。例如智能伴侣机器人依托个人数据分析，能够更加了解个体心理，贴近用户需求，对人类极度体贴和恭顺，这可能降低人们在现实生活中的社交需求。人工智能技术的高速发展对相对稳定的成文法律体系造成冲击，法律规制的滞后和缺漏难以避免，可能触发难以追责的法律困境。例如目前人工智能正逐渐应用于医疗、交通行业，但如果人工智能诊断出现医疗误判、自动驾驶出现交通事故，应当由谁承担事故责任？如何区分人工智能模型的设计者、使用者的监护责任和人工智能系统自身的责任？既然人工智能有能力代替人类进行决策与行动，是否应当在法律上赋予人工智能一定的主体权利？相关部门、学术界和产业界需要深入的思考和讨论上述问题。三是人身安全风险。人工智能在攸关人身安全的应用领域，可能由于漏洞缺陷或恶意攻击等原因损害人身安全。随着人工智能与物联网的深入结合，智能产品日益应用到人们的家居、医疗、交通等攸关人身安全的领域，一旦这些智能产品（如智能医疗设备、无人汽车等）遭受网络攻击或存在漏洞缺陷，可能危害人身安全。人工智能在开发武器等攻击领域的应用，如果不加约束将对人身安全构成极大威胁。人工智能技术可能被用于开发武器，借助人脸识别、自动控制等技术开发的人工智能武器，如“杀人蜂”，可以实现全自动攻击目标。如果赋予人工智能武器自行选择并杀害人类的能力，将给我们的人身安全与自由构成极大威胁。3.4 人工智能安全属性和内涵针对人工智能面临的对抗样本、数据投毒、模型窃取等新型攻击威胁，人工智能的算法模型、数据、基础设施和产品应用主要面临算法偏见、算法黑箱、算法缺陷、数据安全、隐私保护、软硬件安全、滥用、伦理道德等安全隐患。为了防范人工智能的新型攻击威胁和安全隐患，需要对传统网络安全的保密性、完整性、可用性、可控性和不可否认性等安全属性进行扩展。比如：解决算法偏见需要坚持公平性，针对算法黑箱需要加强可解释性或透明性，应对算法缺陷需要提高鲁棒性，针对滥用问题要重视可控性，面向伦理道德问题要做到以人为本，而数据安全、隐私保护、软硬件安全这些保护原则与以前类似。综上所述，本白皮书给出人工智能安全的原则、属性和内涵为：（一）人工智能安全原则1）以人为本原则（Human Orientation）。是指人工智能的研发和应用应以人类向善、人类福祉为目的，保障人类尊严、基本权利和自由。2）权责一致原则（Parity of Authority and Responsibility）。建立机制确保人工智能的设计者和操作者能对其结果负责，如准确记录、可审计性、最小化负面影响、权衡和补救等。3）分类分级原则（Classification）：考虑到人工智能总体发展还处于起步阶段，可针对不同人工智能技术发展的成熟度，不同应用领域的安全需求，对人工智能的能力水平和特定功能建立分类分级的不同准则。（二）人工智能安全属性1）保密性（Confidentiality）确保人工智能系统在生命周期任一环节（如采集、训练、推断等），算法模型和数据不被泄漏给未授权者。如防范模型窃取攻击。2）完整性（Integrity）确保人工智能系统在生命周期任一环节（如采集、训练、推断等），算法模型、数据、基础设施和产品应用不被植入、篡改、替换和伪造。如防范对抗样本攻击、数据投毒攻击。3）可用性（Availability）确保对人工智能算法模型、数据、基础设施、产品应用等的使用不会被不合理拒绝。可用性包括可恢复性，即系统在事件发生后迅速恢复运行状态的能力。4）可控性（Controllability）是指对人工智能资产的控制能力，防止人工智能被有意或无意的滥用。可控性包括可验证性（verifiability）、可预测性（predictability），可验证性是指人工智能系统应留存记录，能够对算法模型或系统的有效性进行测试验证。5）鲁棒性（Robustness）指人工智能面对非正常干扰或输入的健壮性。对人工智能系统而言，鲁棒性主要用于描述人工智能系统在受到外部干扰或处于恶劣环境条件等情况下维持其性能水平的能力。鲁棒性要求人工智能系统采取可靠的预防性措施来防范风险，即尽量减少无意和意外伤害，并防止不可接受的伤害。6）透明性（Transparency）提供了对人工智能系统的功能、组件和过程的可见性。透明性并不一定要求公开其算法源代码或数据，而是根据人工智能应用的安全级别不同，透明性可有不同的实现级别和表现程度。透明性通常包括可解释性（Explicability）、可追溯性（Traceability），让用户了解人工智能中的决策过程和因果关系。可解释性是指在人工智能场景下，算法特征空间和语义空间的映射关系，使得算法能够实现站在人的角度理解机器。7）公平性（Fairness）指人工智能系统在开发过程中应当建立多样化的设计团队，采取多种措施确保数据真正具有代表性，能够代表多元化的人群，避免人工智能出现偏见、歧视性结果。8）隐私（Privacy）按照目的明确、选择同意、最少够用、公开透明、主体参与等个人信息保护原则，保护公民的个人信息。（三）人工智能安全内涵

SC42也已开展人工智能可信度、神经网络鲁棒性评估等方面标准研制。建议从人工智能算法模型安全需求出发，充分考虑我国应用的人工智能算法模型在鲁棒性、可信度方面的要求，研究人工智能算法模型安全指标，研制算法模型安全评估要求和算法模型可信赖类标准。（二）人工智能数据安全与个人信息保护标准化需求人工智能数据的完整性、安全性和个人信息保护能力是保障人工智能安全的重要前提，国内外已开展人工智能数据安全与隐私保护相关标准、技术研究，建议针对突出数据安全与隐私保护风险开展标准化研究工作。一是针对人工智能数据集面临的数据投毒、逆向攻击、模型窃取等突出问题，围绕人工智能数据生命周期，开展数据集防护、算法模型保护、抗逆向攻击等方面的人工智能安全标准化工作。二是平衡隐私保护和人工智能分析效果，防范逆向工程、隐私滥用等安全风险，开展人工智能隐私保护要求及技术类标准研究工作。（三）人工智能基础设施安全标准化需求人工智能系统包括云侧、边缘侧、端侧和网络传输等部分，人工智能基础设施面临软件框架漏洞、传统软硬件安全等方面风险，除服务接口安全、软硬件安全、服务可用性等传统网络安全需求外，建议结合人工智能特有安全需求和特殊系统安全需求，针对人工智能的基础组件、系统和平台等基础设施，如开源算法框架、代码安全、系统安全工程等，研制人工智能信息系统的安全标准。（四）人工智能产品和应用安全标准化需求人工智能涉及数据、算法、基础设施等多个维度，产品和应用范围很广，产品和应用具有复杂度高、受攻击面广、安全能力不同的特点，但仍具有安全共性需求。建议优先针对产业发展较成熟、安全需求迫切、标准不完善的智能产品和应用考虑标准化需求，分析梳理国家和人身安全、伦理、智能化攻击等场景下的安全风险，研究不同产品和应用的基础共性和特异性安全需求。可优先从智能门锁、智能音箱、智能客服等人工智能产品选取标准化对象，研制产品和应用指南类、评估类标准。此外，人工智能依托数据和算法模型、基础设施实现，具有组成体系复杂、风险维度多样、供应链复杂、安全运营要求高的特点，建议面向从事人工智能研究、应用的主体及人工智能产品和应用，研制人工智能安全风险管理、供应链安全管理、安全运营等类型标准。（五）人工智能测试评估安全标准化需求人工智能的复杂性使其面临算法模型安全、数据安全与隐私风险、基础设施安全等类型的风险和挑战，建议充分兼容已有支撑性安全标准，设计人工智能安全测试评估指标，优先针对算法鲁棒性、人工智能系统应用可信赖、隐私保护、数据集安全、应用安全等主题开展测试评估类标准研制工作。

（一）重视完善人工智能安全标准体系建议开展人工智能标准化工作，统筹规划人工智能安全标准体系，加强人工智能安全基础标准研究，深化人工智能应用安全标准工作。一是统筹规划人工智能安全标准体系。为确保人工智能安全标准研制工作有序推进，建议调研分析国内人工智能安全标准化需求，优先开展人工智能安全标准体系研究，标准体系应覆盖人工智能的基础、平台、技术、产品、应用等多个对象的安全需求，并能明确与大数据安全、个人信息保护、云计算安全、物联网安全等相关标准的关系。二是抓紧研究和落实人工智能伦理原则。围绕人工智能算法歧视和算法偏见等突出问题，分析梳理各场景下人工智能伦理需求，研制提炼人工智能伦理原则，指导人工智能相关标准落实原则要求。（二）加快开展重点领域标准研制工作人工智能具有涉及面广、应用场景复杂、安全需求类型多的特点，建议建立人工智能安全标准化工作推进计划，按照“急用先行、安全事件驱动”的思路研制人工智能安全标准，加速开展重点领域标准研制工作，有序推进人工智能安全标准化工作不断深入。一是加强人工智能安全基础标准研究。我国人工智能安全标准主要集中在应用安全领域，缺乏人工智能自身安全或基础共性的安全标准。建议加强人工智能基础安全标准研究，根据《新一代人工智能发展规划》对人工智能安全提出的监测预警、风险评估、安全问责、研发设计人员安全准则等要求，针对人工智能安全的参考架构、安全风险、伦理设计、风险评估等方面开展标准研究，掌握人工智能算法的安全威胁和保护需求，明确算法的通用安全原则和要求，强化人工智能算法模型的安全性和鲁棒性。规范人工智能算法模型、智能产品的安全要求和测评方法，解决人工智能面临的数据质量、数据集安全等问题。二是深化人工智能应用安全标准工作。人工智能正越来越多的与各应用领域融合，应当开始研究人工智能产品和应用安全标准。建议在人工智能应用标准之前优先考虑智能产品的安全标准，基于全国信息安全标准化技术委员会已开展的智能门锁、智能家居等领域标准研制基础，抽取人工智能安全标准化特征和要求。在下一步工作中，优先针对存在标准化需求急切、应用较成熟、安全需求迫切、应用广泛，或较敏感的领域，开展人工智能产品和应用安全标准研制工作，完善已有标准的人工智能安全要求。三是按照“充分研究，急用先行，安全事件推动”的思路进行标准研制，建议优先立项安全需求迫切、应用成熟的安全标准，优先立项《人工智能安全参考框架》、《人工智能数据集安全》、《人工智能数据标注安全》、《机器学习算法模型可信赖》、《人工智能开源框架安全》、《人工智能应用安全指南》、《人工智能安全服务能力要求》等标准，同步开展人工智能基础性标准研究工作，研究应用安全风险评估类标准及智能制造、智能网联汽车等重点人工智能产品和服务类安全标准，逐步推进其他领域人工智能安全标准研究工作。（三）大力推广人工智能安全标准应用实践为提升人工智能安全标准的有效性和可操作性，解决人工智能安全突出风险，探索人工智能安全重难点问题标准化路径，建议深入开展人工智能安全标准的应用实践工作。一是完善人工智能安全标准试点机制，选取若干试点企业，开展标准适用性和实施效果评价，在应用实践中建立“实践跟踪、问题发现、经验总结、完善标准、反哺下一步标准化工作”的工作思路，推动人工智能安全标准化工作高速、高质量发展。二是完善人工智能安全标准研究、宣贯及应用推广机制，组织高校、科研院所和企业共同突破人工智能安全标准化工作难点，发挥各类单位优势，建立“产学研用”一体化的人工智能安全标准研究、宣贯及应用机制，促进人工智能产业良性发展。（四）切实加强人工智能安全标准化人才培养ISO、IEEE等国际组织已组织开展多项人工智能安全标准化研究工作，已在部分领域取得一定标准化成果，建议充分消化、吸收国际国外已有标准化工作成果，结合我国人工智能安全需求，探索具有我国特色的人工智能安全标准化工作路径。一是紧密跟踪研究国内外人工智能安全标准化工作动态和发展趋势，形成人工智能安全国际标准化研究成果，吸收国外标准研制经验，推动我国更好开展人工智能安全标准化工作。二是不断提升我国在人工智能安全领域的国际标准影响力，大力支持我国单位和专家参与国际标准化工作，加强人工智能安全标准提案研究，鼓励我国专家在国际标准化组织任职及担任国际标准项目编辑。三是充分发挥我国国际标准化交流和合作机制，结合我国人工智能产业丰富应用场景，开展人工智能安全重难点领域标准合作交流机制，借助国际、国外力量丰富我国人工智能安全标准化工作成果。（六）尽快建立人工智能高安全风险预警机制针对存在高危安全风险的人工智能技术、产品和应用，建议研究提出人工智能安全高危风险预警机制。一是建立人工智能高危安全风险目录，梳理安全风险突出、产生安全问题后影响巨大的人工智能技术、产品和应用，并对目录中的风险条目进行分类分级。二是建立人工智能高安全风险预警机制，结合技术、应用和产品特点，提出风险预警方案。三是研究制定人工智能高危安全风险管理标准，以标准为出发点，综合技术、管理、评估等手段，从风险识别、分析、处理等方面提出人工智能高危安全风险管理方案。（七）有效提升人工智能安全监管支撑能力标准化工作能有力支撑人工智能安全监管落地，建议制定人工智能安全标准的指标评估体系。一是建立健全人工智能的监管体系，制定配套标准，政府应以标准为有力抓手，建立贯穿人工智能开发、设计、数据采集和市场应用全周期的监管体系，防止人工智能被非法利用或用于偏离既定目的的领域。二是建议加快研究人工智能供应链安全管理机制，研制人工智能供应链安全配套标准，提出针对电信、能源、交通、电力、金融等行业的人工智能供应链采购要求，推动相关标准在重点领域进行试点，为我国党政部门和重点行业进行人工智能供应链安全风险管理提供有益参考，为企业加强人工智能供应链管理提供实践指南。人才是开展人工智能安全标准化工作的基石，建议建立健全多层次、多类型的人工智能安全人才培养机制。一是培养人工智能安全专业人才，建立面向专业技术、标准制定、宣贯培训、测试评估等方面培养方案。二是鼓励高校、科研院所、企业建立合作，探索人工智能安全综合型人才培养路径。三是加强对人工智能安全及标准化项目的支持力度，优化科研资源配比、管理和考核机制，确保相关领域人才集中力量解决重点人工智能安全问题。（五）积极参与国际人工智能安全标准化工作