AI事件数据库希望提高机器学习的安全性

人工智能系统的失败已成为科技新闻中反复出现的主题。歧视女性的信用评分算法。错误分类黑皮肤人的计算机视觉系统。宣传暴力内容的推荐系统。放大假新闻的趋势算法。

大多数复杂的软件系统都会在某个时候出现故障，需要定期更新。我们有帮助我们查找和修复这些错误的程序和工具。但目前的人工智能系统，主要是机器学习算法，与传统软件不同。我们仍在探索将它们应用于不同应用程序的含义，并且保护它们免于失败需要新的想法和方法。

这就是AI 事件数据库背后的想法，它是现实世界中 AI 系统故障记录的存储库。该数据库旨在更容易地查看过去的故障并避免重复它们。

AIID 由 AI 伙伴关系 (PAI) 赞助，该组织旨在开发 AI 最佳实践，提高公众对该技术的理解，并减少 AI 系统可能造?成的潜在危害。PAI 由苹果、亚马逊、谷歌、Facebook、IBM 和微软的人工智能研究人员于 2016 年创立，但此后扩大到包括 50 多个成员组织，其中许多是非营利组织。

过去记录失败的经验

2018 年，PAI 的成员正在讨论关于“人工智能故障分类法”的研究，即一种以一致方式对人工智能故障进行分类的方法。但问题是没有收集人工智能失败来开发分类法。这导致了开发人工智能事件数据库的想法。

IBM Watson AI XPRIZE 首席技术顾问 Sean McGregor 在给TechTalks 的书面评论中表示：“我了解航空事故和事故数据库，并在一次 AI 合作伙伴会议期间致力于构建 AI 版本的航空数据库。” 从那时起，麦格雷戈一直在监督 AIID 的工作并帮助开发数据库。

AIID 的结构和格式部分受到航空和计算机安全行业事件数据库的启发。商业航空旅行业通过在共享数据库中系统地分析和归档过去的事故和事故征候，设法提高了飞行安全。同样，人工智能事件的共享数据库可以帮助共享知识并提高部署在现实世界中的人工智能系统的安全性。

NTSB 航空事故

同时，由 MITRE 公司维护的常见漏洞和暴露 (CVE) 是跨行业软件故障数据库的一个很好的例子。它帮助塑造了 AIID 的愿景，成为一个记录不同领域 AI 应用程序失败的系统。

“AIID 的目标是防止智能系统造成伤害，或者至少降低其可能性和严重性，”麦格雷戈说。

McGregor 指出，传统软件的行为通常很好理解，但现代机器学习系统无法完全描述或详尽测试。机器学习从其训练数据中得出其行为，因此，随着基础数据的变化，其行为有可能以意想不到的方式发生变化。

“这些因素，再加上深度学习系统进入我们所居住的非结构化世界的能力，意味着故障更有可能、更复杂、更危险，”麦格雷戈说。

今天，我们拥有深度学习系统，可以识别图像中的物体和人物，处理音频数据，并从数百万个文本文档中提取信息，这是传统的、基于规则的软件不可能做到的，传统的基于规则的软件希望数据在表格格式。这使得人工智能能够应用于物理世界，例如自动驾驶汽车、安全摄像头、医院和语音助手。所有这些新领域都为失败创造了新的载体。

记录人工智能事件

自成立以来，AIID 已从媒体和公开来源收集了有关 1,000 多起 AI 事件的信息。公平问题是提交给 AIID 的最常见的 AI 事件，特别是在政府使用智能系统(例如面部识别程序)的情况下。“我们也越来越多地看到涉及机器人技术的事件，”麦格雷戈说。

还有数百起其他事件正在接受审查并添加到 AI 事件数据库 McGregor 中。“不幸的是，我认为我们不会缺少新的事件，”他说。

访问者可以根据来源、作者、提交者、事件 ID 或关键字在数据库中查询事件。例如，搜索“翻译”显示有 42 起涉及机器翻译的人工智能事件报告。然后，您可以根据其他标准进一步筛选研究。

ai事件数据库翻译查询

涉及 AI 系统的事件综合数据库可用于 AI 系统的研究、开发和部署中的各种用途。

例如，如果产品经理正在评估将 AI 驱动的推荐系统添加到应用程序中，她可以查看 13 份报告和 10 起此类系统对人们造成伤害的事件。这将有助于产品经理为其团队正在开发的功能设置正确的要求。

ai事件数据库推荐系统

其他高管可以使用 AI 事件数据库做出更好的决策。例如，风险官员可以查询数据库中使用机器翻译系统可能造?成的损害，并制定正确的风险缓解措施。

工程师可以使用该数据库找出他们的 AI 系统在部署在现实世界中可能造成的危害。研究人员可以将其用作有关 AI 系统公平性和安全性论文的引用来源。

最后，对于在其应用程序中实施人工智能算法的公司来说，不断增长的事件数据库可能是一个重要的警告。“科技公司以喜欢在不评估所有潜在不良结果的情况下迅速采取行动而闻名。当列举和分享糟糕的结果时，就不可能在无知的情况下继续前进，”麦格雷戈说。

AI 事件数据库建立在灵活的架构上，允许开发各种应用程序来查询数据库并获取其他见解，例如关键术语和贡献者。在第三十三届人工智能创新应用年会 (IAAI-21) 上发表的论文中，McGregor 讨论了该架构的全部细节。AIID 也是GitHub 上的一个开源项目，社区可以在其中帮助改进和扩展其功能。

有了可靠的数据库，McGregor 现在正与 AI 合作伙伴合作，为 AI 事件分类开发灵活的分类法。未来，AIID 团队希望扩展该系统，以实现对 AI 事件的自动化监控。

“人工智能社区已经开始相互共享事件记录，以推动对其产品、控制程序和研究计划的改变，”麦格雷戈说。“该网站于 11 月公开发布，因此我们才刚刚开始意识到该系统的好处。”