如何建立值得信赖的AI？

上期IT周刊介绍了欧盟出台的《可信赖人工智能道德准则》。准则中提出，实现可信赖人工智能需要满足人的能动性和监督，技术强大性和安全性，隐私和数据治理，透明度，多样性、非歧视性、公平性，社会和环境福祉，问责制7大要素。

在这7大要素的基础上，准则中还列出具体但非详尽的评估列表实施要求，供利益相关方在开发、部署或使用AI时采用，目前该评估表为试点版本。欧盟邀请开发、部署或使用的利益相关方，在实践中使用这份评估列表，并就其可实施性、完整性以及特定AI应用或领域的相关性等做出相应反馈，欧盟将在2020年初提出可信赖的人工智能评估清单的修订版。

如何建立值得信赖的AI？

可信赖的人工智能评估清单（试点版）摘编

人的能动性和监督

基本权利：

1：您是否在AI对人类基本权利产生负面影响的情况下进行过影响评估？是否确定并记录了权利之间的潜在平衡？

2：AI是否与终端用户（即人类）在采取某些行动或某项决策时有相互作用（或一致或排斥）？

（1）AI是否会通过以一种无意识的方式干扰终端用户决策的自主权？

（2）您是否考虑过AI系统应该与终端用户沟通某些行动或某项决策的内容，并通过AI算法给出建议？

（3）使用聊天机器人或其他智能会话系统的终端用户是否会意识到，他们正在与非人类的代替工具互动？

人类的代理：

1：AI系统是否被使用于人类工作或者劳作中。如果是，那么您是否考虑过AI系统与人类之间的任务分配是在有意义互动并且在人类的监督和控制下进行的？

（1）AI系统被使用于人类工作或者劳作时，AI系统本身工作能力是否得到增强？人类的能力是否得到增强？

（2）您是否采取了保护措施来防止人类同AI系统协作时对工作流程过度自信或过度依赖AI系统？

人为疏忽：

1：你是否考虑过针对特定的AI系统或领域，建立适当的人为控制机制且控制级别可调控？

（1）您可否描述目前您参与的AI系统开发、部署、使用中，人类对AI系统的控制是何种程度？

（2）您认为，人类干预AI系统的时刻是什么？采用的方式是什么？

（3）您是否已经制定了确保人为控制或监督AI系统的机制和措施？

（4）您是否拥有任何措施用以启动审计解决和管理有自主性的AI系统？

2：您目前是否已经使用存在自主性或可自学的AI系统？如果是，您的具体控制、监督机制分别是什么？

（1）哪些检测和反应机制可以用来评估出现问题的AI系统？

（2）在确保AI系统以安全状态运行的同时，您是否在操作中使用过“停止按钮”或启动“停止程序”？“停止”这一步骤是完全终止了运行过程，还是将部分的控制委托给人类？

技术强大性和安全性

抵御攻击和安全的能力：

1：您是否评估过AI系统容易受到攻击的潜在形式有哪些？

（1）您是否考虑过不同类型或性质的漏洞，例如数据污染对AI系统网络攻击的影响？

2：您是否建立了一些系统或制定一些措施可确保AI系统抵御潜在的攻击？

3：您是否了解AI系统在意外情况中会出现哪些行为方式？

4：您是否考虑过您的AI系统在多大程度上可以兼用？

后备计划和普遍安全性：

1：AI系统如果遭遇对抗性攻击或其他意外情况（例如：切换程序或运行过程中对操作人员忽然提出要求），您是否确保系统继续运行有充足的后备计划？

2：您是否考虑过AI系统在特定领域或使用中引发风险？

（1）您是否制定了相关程序来衡量和评估风险性与安全性？

（2）如果AI系统存在人身安全风险，您是否向终端用户提供相关的信息？

（3）您是否考虑过使用保险政策处理AI系统可能造成的损害？

（4）您是否发现了其他可预见的技术用于排除AI系统潜在的安全风险？是否有计划来减轻或管理AI系统潜在的安全风险？

3：您是否评估过AI系统对用户或第三方造成损害或伤害的可能性？您是否评估了伤害潜在的影响和严重程度？

（1）您是否考虑过明确AI系统的责任和其对消费者的保护规则？

（2）您是否考虑过AI系统对环境或动物的潜在影响以及安全风险？

（3）您对AI系统的风险分析是否包括网络安全相关性的问题，也就是说，分析由于人工智能系统的无意行为可能带来的安全风险或损害？

4：您是否估计过，当AI系统提供了错误、不可用或存在歧视性、偏见性的决策时，可能会对您造成影响？

（1）您是否定义对一些结果或行为准则提出了区间值？是否已将治理程序置于警戒状态？或开启后备状态？

（2）您是否定义并测试了一些后备的计划？

准确性：

1：您是否评估AI系统精确度、所需的准确度级别以及使用的案例？

（1）您是否对衡量和保证AI系统准确度这一机制进行过评估？

（2）您是否采取措施确保衡量AI系统准确度的数据是全面的且最新的？

（3）您是否制定了相应的措施，例如用额外的数据、案例提高评估的准确性？

2：如果AI系统做出不准确的预测，您是否验证了会造成什么危害？

3：您是否采用了各种方法来衡量AI系统能够不接受不准确预测？

4：您是否采取了一系列措施来提高AI系统的准确性？

可靠性和可重复性：

1：您是否制定了监控和测试AI系统的程序来了解其能否符合目标和预期应用？

（1）您是否测试过AI系统需要考虑特定的环境或特定条件实现它的可重复性能力？

（2）您是否采用验证方法来衡量和确保AI系统在不同方面的可靠性和可重复性？

（3）您是否制定了某种程序用来描述AI系统在某些情况下无法设置？

（4）您是否清楚地记录并操作这些程序对AI系统的可靠性进行测试和验证？

（5）您是否建立了通信机制，以确保终端用户可靠地使用系统？

隐私和数据治理

尊重隐私和数据保护：

1：根据AI系统使用情况，您是否建立了一种机制，允许其他人在AI系统的数据收集和数据处理过程中标记与隐私或数据保护相关的问题？

2：您是否评估了数据集当中数据的类型和范围（例如：它们是否包含个人数据）？

3：您是否考虑过开发在没有或极少使用潜在敏感或个人数据的情况下AI系统的训练模式？

4：实践中，依据个人数据建立通知和控制机制，如同意或撤销数据的可能性？

5：您是否采取措施保障AI系统的隐私，例如通过加密或匿名等方式？

6：如果存在数据保护官(DPO)，您是否让其参与程序建立的早期阶段？

数据的质量和完整性：

1：您是否将AI系统与相关标准，如ISO、IEEE等保持一致性的管理？

2：您是否建立了数据收集、存储、处理和使用的监督机制？

3：您是否评估过您所控制、使用的外部数据源质量如何？

4：您是否采用程序确保您所使用数据的质量和完整性？您是否进行过验证，您的数据集是否遭受过入侵？

访问数据：

1：您遵循哪些协议、流程和程序进行数据治理？

（1）对于谁可以访问用户的数据，您是否对此进行了评估？

（2）您是否能够确认那些可以访问用户数据的人员具备了解数据保护政策的必要能力？

（3）您是否确保采用监督机制来记录何时、何地、如何、由谁以及为何访问目标数据？

透明度

可追溯性：

1：针对AI系统透明度，您是否制定了可追溯性措施？这可能需要用到以下方法：

——用于设计和开发算法系统的方法：

基于规则的AI系统所使用的编程方法或模型的构建方式;

基于学习的AI系统所使用的训练算法。

——用于测试和验证算法系统的方法：

基于规则的AI系统用于测试和验证的场景或案例;

基于学习的模型AI系统用于测试和验证数据的信息。

基于算法的结果产生的其他潜在决策。

解释能力：

1：您是否评估过：

（1）可以在多大程度上理解AI系统所做出的决策和结果？

（2）AI系统决策在多大程度上影响人类组织的决策过程？

（3）为什么在特定区域部署某特定AI系统？

（4）系统的业务模式（例如：它如何为项目组创造价值）？

2：您是否可以解释，AI系统是如何做到让用户理解AI系统的决策？

3：您从一开始就考虑过设计人工智能系统的可解释性吗？

（1）您是否研究并尝试使用最简单的模型解释有问题的申请？

（2）您是否可以分析您的训练模式和测试数据？随着时间的推移这些内容都是可以更新的吗？

（3）您是否评估过在模型训练后能否检查其可解释性？

交流：

1：您是否通过免责声明或任何其他方式与终端用户沟通，告知他们正在与AI系统进行交互，而不是与其他人进行交互？您是否将AI系统进行标记？

2：您是否建立了通知终端用户的机制？告诉其AI系统做出决策的原因以及标准。

（1）您是否清晰地向目标受众传达了这一信息？

（2）您是否建立了用户反馈的流程并使用它来调整系统？

（3）您是否就潜在风险（例如偏见性）与用户进行沟通？

（4）通过实践，您是否考虑与终端用户以外的第三方进行沟通？

3：您是否阐明从AI系统中受益的人群以及AI的用途、产品、服务？

（1）您是否明确了AI产品的使用方案，并清楚地把方案传达给目标受众？

（2）根据实践，您是否考虑过人类心理和潜在的局限性，如混淆、偏见或认知疲劳等风险？

4：您是否清楚地传达了AI系统的特性、限制和潜在的缺点？

（1）如果系统正在开发：谁将其部署到产品或服务中？

（2）如果系统正在部署：是对终端用户还是消费者？

多样性非歧视性公平性

避免不公平的偏见：

1：您是否制定了一系列策略或程序避免AI系统产生不公平的偏见，包括输入数据的使用以及算法设计？

（1）您是否评估并承认所使用数据集可能会带来某些方面的限制？

（2）您是否考虑过数据中用户的多样性和代表性？您是否测试了特定人群或有问题的案例？

（3）您是否研究并使用可用的技术工具来提高您对数据、模型和性能的理解？

（4）您是否在系统的开发、部署和使用阶段安装了测试和监控潜在偏差的程序？

2：根据使用情况，您是否建立了一种机制，允许其他人标记与AI系统的偏差、歧视或性能不相关？

（1）您是否建立了明确的步骤和方式来沟通如何以及向谁提出上述问题？

（2）除了终端用户之外，您是否考虑过可能间接受AI系统影响的其他人？

（3）您是否评估了在相同条件下是否存在决策变异性可能？

3：您是否评估了在相同条件下是否存在可能的决策变异性？

（1）如果是，您是否考虑过可能存在的原因？

（2）如果存在差异，你是否建立了衡量机制，评估这种可变性对基本权利的影响？

4：您是否明确在设计AI系统时适用的“公平性”定义？

（1）是否经常使用该定义？为什么选择此定义而不是其他？有什么考虑的因素？

（2）您是否确保进行定量分析或测试应用定义中的“公平性”？

（3）您是否建立了确保AI系统公平性的机制？你有没有考虑其他的潜在的机制？

可访问性和通用设计：

1：您是否确保人工智能系统适应各种偏好？

（1）您是否评估过具有特殊需求的用户或残疾人对AI系统的需求？这些偏好如何设计到系统中，又是如何验证的？

（2）您是否确保辅助技术用户也可以访问有关AI系统的信息？

（3）在AI系统的开发阶段，您是否参与了？

2：您是否考虑过AI系统对潜在用户受众的影响？

（1）您是否评估过参与构建AI系统的团队可以代表您的目标用户？它是否可以代表更广泛的人群？您是否也考虑到其他可能会受到影响的群体？

（2）您是否评估过可能会有不成比例的人或群体因为AI系统受到负面影响？

（3）您是否从其他研发、使用AI系统的团队获得反馈经验？

利益相关者参与：

1：您是否考虑过将不同参与者纳入AI系统开发和使用的机制？

2：您是否事先通知并让因AI系统受影响的人群及其代表参与AI系统的开发、使用等？

社会和环境福祉

可持续且环保的AI：

1：您是否建立了能够衡量人工智能系统开发、部署和对环境影响的机制？

2：您是否采取措施减少AI系统全生命周期对环境的影响？

社会影响：

1：如果AI系统直接与人类交互

（1）您是否评估了AI系统有无鼓励人类发展为依赖AI系统或鼓励人类对AI系统产生同理心？

（2）您是否能确保AI系统可明确表示其社交互动是模拟的，并且没有“理解”和“感觉”类的主观能力？

2：您是否确保AI系统对社会影响可得到充分理解？例如，您是否评估了AI系统对失业或退役人群所来带的风险？您又采取了哪些措施来抵消这些风险？

社会与民主：

1：您是否评估了AI系统在终端用户之外被使用所产生的更广泛的影响？例如，可能间接影响其他利益相关者？

问责制

可审核：

1：您是否建立了AI系统可审计性的机制，例如确保可追溯性和记录AI系统的流程和结果？

2：在影响基本权利的应用程序中，您是否确保AI系统可以独立审计？

最小化和报告负面影响：

1：您是否对AI系统进行了风险或影响评估，是否考虑过直接受影响的不同利益者都是谁？

2：您是否提供培训或建立学习机制帮助制定问责制的实践？

（1）您团队中涉及问责制的工作人员来自哪些部门或分支机构？

（2）这些关于问责制的培训或学习是否也适用于AI系统的潜在法律框架？

（3）您是否考虑建立“AI系统道德审查委员会”或类似的机制，讨论AI系统整体问责制和道德规范，包括可能不明确的灰色地带？

3：除了内部机制，您是否有任何形式的外部指导或现场审核程序来监督AI系统的道德和责任？

4：您是否为第三方，例如：供应商、消费者、分销商等建立程序以报告他们AI系统中的潜在漏洞、风险或其他情况？

记录权衡：

1：您是否建立一种机制，它可识别AI系统所涉及的相关利益，以及可以取舍、权衡这些利益。

2：您建立的机制如何决定这种权衡？权衡决策的过程是否能被保存、记录？

纠正能力：

1：您是否建立了相应机制在应对发生不利影响的情况下可进行补救？

2：您是否建立了机制，可向终端用户或第三方提供有关补救机会的信息？

（编译/昝妍）

本报拥有此文版权，若需转载或复制，请注明来源于中国政府采购报，标注作者，并保持文章的完整性。否则，将追究法律责任。