当前的人工智能有什么问题

Chollet 写道：“当代 AI 社区仍然倾向于通过比较 AI 和人类在特定任务(例如棋盘游戏和视频游戏)中表现出的技能来对智能进行基准测试，”他补充说，仅衡量任何给定任务的技能不足以衡量智能。

事实上，对针对特定任务优化 AI 算法的痴迷已经在狭义 AI社区中根深蒂固。结果，人工智能的工作已经偏离了开发具有与人类相当的智能的“思维机器”的最初愿景。

“虽然我们能够设计出在特定任务上表现非常出色的系统，但它们仍然存在明显的局限性，脆弱、数据饥渴、无法理解与训练数据或其创建者的假设略有不同的情况，以及如果没有人类研究人员的大量参与，就无法重新调整自己的目标来处理新任务，”Chollet 在论文中指出。

Chollet 的观察与其他科学家对深度学习系统的局限性和挑战的观察一致。这些限制表现在很多方面：

需要数百万个示例才能执行最简单任务的 AI 模型

人工智能系统在遇到极端情况、超出其训练示例的情况时就会失败

容易出现对抗性示例的神经网络，输入数据中的小扰动导致 AI 行为不规律

举个例子：OpenAI 的Dota-playing 神经网络需要 45,000 年的游戏时间才能达到专业水平。AI也限制了能玩的角色数量，稍有改动游戏规则就会导致性能骤降。

在其他领域也可以看到同样的情况，比如自动驾驶汽车。尽管有数百万小时的道路经验，但为自动驾驶汽车提供动力的人工智能算法可能会犯下愚蠢的错误，例如撞上车道分隔线或停放的救火车。

什么是智力?

AI 社区一直在努力应对的主要挑战之一是定义智能。几十年来，科学家们一直在争论提供一个明确的定义，让我们能够评估人工智能系统并确定什么是智能的。

Chollet 借用了 DeepMind 联合创始人 Shane Legg 和人工智能科学家 Marcus Hutter 的定义：“智能衡量智能体在各种环境中实现目标的能力。”

这里的关键是“实现目标”和“广泛的环境”。大多数当前的人工智能系统在第一部分都做得很好，即实现非常具体的目标，但不擅长在广泛的环境中做到这一点。例如，可以检测和分类图像中对象的 AI 系统将无法执行其他一些相关任务，例如绘制对象图像。

Chollet 然后检查了创建智能系统的两种主要方法：符号 AI 和机器学习。

符号 AI 与机器学习

早期的人工智能研究侧重于符号人工智能，其中涉及在计算机程序中创建知识和行为的明确表示。这种方法需要人类工程师精心编写定义 AI 代理行为的规则。

Chollet 观察到：“然后，人工智能社区广泛接受，如果我们能够将人类技能编码为正式规则并将人类知识编码到明确的数据库中，'智能问题' 就会得到解决。”

但是，这些象征性的人工智能系统并不是自己智能，而是在创建可以解决特定任务的复杂程序方面体现了它们的创造者的智慧。

第二种方法是机器学习系统，它基于为 AI 模型提供来自问题空间的数据，并让它发展自己的行为。迄今为止最成功的机器学习结构是人工神经网络，它是复杂的数学函数，可以在输入和输出之间创建复杂的映射。

例如，您无需手动编写检测 X 光片中癌症的规则，而是将许多载有结果注释的载片输入神经网络，这一过程称为“训练”。人工智能检查数据并开发一个数学模型，代表癌症模式的共同特征。然后它可以处理新的幻灯片并输出患者患癌症的可能性。

神经网络和深度学习的进步使人工智能科学家能够处理许多以前用经典人工智能很难或不可能完成的任务，例如自然语言处理、计算机视觉和语音识别。

基于神经网络的模型，也称为连接主义 AI，以其生物学对应物命名。它们基于思想是将经验(数据)转化为行为的“白板”(tabula rasa)的想法。因此，深度学习的大趋势是通过创建更大的神经网络并为它们提供更多的训练数据来解决问题，以提高其准确性。

Chollet 拒绝这两种方法，因为它们都无法创建像人类思维一样灵活和流动的通用人工智能。

“我们通过最熟悉的工具来看待世界。如今，越来越明显的是，关于人类智能本质的这两种观点——无论是一组专用程序还是通用 Tabula Rasa——都可能是不正确的，”他写道。

真正的智能系统应该能够开发可以跨越许多任务的高级技能。例如，掌握 Quake 3的AI 程序应该能够以不错的水平玩其他第一人称射击游戏。不幸的是，当前 AI 系统实现的最好的结果是“局部泛化”，这是它们自己狭窄领域内的有限机动空间。

广义和通用人工智能的要求

Chollet 在他的论文中认为，任何 AI 系统的“泛化”或“泛化能力”是其“处理与以前遇到的情况不同的情况(或任务)的能力”。

有趣的是，这是符号人工智能和连接主义人工智能的一个缺失部分。前者要求工程师明确定义其行为边界，而后者需要举例说明其解决问题的领域。

Chollet 还进一步谈到了“开发人员感知泛化”，这是人工智能系统处理“系统和系统开发人员以前都没有遇到过的情况”的能力。

这是您期望机器人管家提供的灵活性，它可以在家中执行各种家务，而无需明确说明或培训数据。一个例子是史蒂夫沃兹尼亚克著名的咖啡测试，其中一个机器人会随机进入一个房子并煮咖啡，而无需事先知道房屋的布局或其中包含的电器。

在论文的其他地方，Chollet 明确指出，通过利用先验(规则)和经验(数据)来欺骗自己实现目标的人工智能系统并不智能。例如，考虑 Stockfish，这是最好的基于规则的国际象棋程序。Stockfish 是一个开源项目，是数千名开发人员贡献的成果，他们创建并微调了数以万计的规则。一个基于神经网络的例子是AlphaZero，这是一种多功能人工智能，它通过与自己对战数百万次来征服了几个棋盘游戏。

这两个系统都经过优化，可以利用超出人类思维能力的资源来执行特定任务。最聪明的人无法记住数以万计的国际象棋规则。同样，没有人可以在一生中下数百万盘棋。

“通过利用无限的先验或无限的数据以超越人类水平的性能解决任何给定的任务，并不会让我们更接近广泛的人工智能或通用人工智能，无论任务是国际象棋、足球还是任何电子竞技，”Chollet 指出。

这就是为什么将深蓝、Alpha Zero、AlphaStar或任何其他游戏 AI 与人类智能进行比较是完全错误的。

同样，其他人工智能模型，例如可以通过八年级科学考试的程序Aristo，也不具备与中学生相同的知识。它的所谓科学能力归功于它接受过的庞大知识库，而不是它对科学世界的理解。

抽象推理语料库

在论文中，Chollet 介绍了抽象推理语料库 (ARC)，这是一个旨在评估人工智能系统效率并将其性能与人类智能进行比较的数据集。ARC 是一组为 AI 和人类量身定制的解决问题的任务。

ARC 背后的关键思想之一是在人类和人工智能之间创造公平的竞争环境。它的设计目的是让人类无法利用他们对世界的广泛背景知识来战胜人工智能。例如，它不涉及与语言相关的问题，人工智能系统历来都在努力解决这些问题。

另一方面，它的设计方式还可以防止 AI(及其开发人员)通过欺骗获得成功。该系统不提供对大量训练数据的访问。如本文开头所示的示例，每个概念都带有一些示例。

AI 开发人员必须构建一个可以处理各种概念的系统，例如对象内聚、对象持久性和对象影响。AI 系统还必须学会执行缩放、绘图、连接点、旋转和平移等任务。

此外，测试数据集，即用于评估所开发系统智能的问题，其设计方式可以防止开发人员提前解决任务并在程序中硬编码他们的解决方案。优化评估集是数据科学和机器学习竞赛中一种流行的作弊方法。

根据 Chollet 的说法，“ARC 只评估流体智力的一般形式，重点是推理和抽象。” 这意味着测试偏向于“程序合成”，这是人工智能的子领域，涉及生成满足高级规范的程序。这种方法与 AI 的当前趋势形成对比，后者倾向于创建针对有限任务集(例如，玩单个游戏)进行优化的程序。

在他的 ARC 实验中，Chollet 发现人类可以完全解决 ARC 测试。但是当前的 AI 系统在处理相同的任务时苦苦挣扎。“据我们所知，ARC 似乎无法通过任何现有的机器学习技术(包括深度学习)来实现，因为它专注于广泛的泛化和小样本学习，”Chollet 指出。

虽然 ARC 是一项正在进行的工作，但它可以成为测试人类级 AI 进展水平的有希望的基准。“我们假设人类级别的 ARC 求解器的存在将代表仅从演示(只需要少数演示来指定复杂任务)对人工智能进行编程的能力，以执行各种与人类相关的任务这通常需要人类水平的、类似人类的流体智能，”Chollet 观察到。