2021年12月30日整理：新的深度学习模型为边缘设备带来图像分割

由 DarwinAI 和滑铁卢大学的人工智能研究人员设计的新神经网络架构将使在低功耗和计算能力的计算设备上执行图像分割成为可能。

分割是确定图像中对象的边界和区域的过程。我们人类在没有意识的情况下执行分割，但这仍然是机器学习系统的关键挑战。它对于移动机器人、自动驾驶汽车和其他必须在现实世界中进行交互和导航的人工智能系统的功能至关重要。

直到最近，分割还需要大型的计算密集型神经网络。这使得在没有连接到云服务器的情况下很难运行这些深度学习模型。

在他们的最新工作中，DarwinAI 和滑铁卢大学的科学家们设法创建了一个神经网络，该网络提供近乎最佳的分割，并且小到足以适应资源受限的设备。该神经网络被称为 AttendSeg，在今年的计算机视觉和模式识别会议 (CVPR) 上已被接受的一篇论文中进行了详细介绍。

对象分类、检测和分割

人们对机器学习系统越来越感兴趣的主要原因之一是它们可以在计算机视觉中解决的问题。机器学习在计算机视觉中的一些最常见应用包括图像分类、对象检测和分割。

图像分类确定图像中是否存在某种类型的对象。目标检测将图像分类更进一步，并提供检测到的目标所在的边界框。

分割有两种形式：语义分割和实例分割。语义分割指定输入图像中每个像素的对象类别。实例分割将每种类型对象的单个实例分开。出于实际目的，分割网络的输出通常通过对像素进行着色来呈现。分割是迄今为止最复杂的分类任务。

卷积神经网络(CNN) 是计算机视觉任务中常用的深度学习架构，其复杂性通常以它们拥有的参数数量来衡量。神经网络的参数越多，所需的内存和计算能力就越大。

RefineNet 是一种流行的语义分割神经网络，包含超过 8500 万个参数。每个参数 4 个字节，这意味着使用 RefineNet 的应用程序至少需要 340 兆字节的内存才能运行神经网络。考虑到神经网络的性能很大程度上依赖于能够执行快速矩阵乘法的硬件，这意味着模型必须加载到显卡或其他并行计算单元上，而这些单元的内存比计算机的 RAM 更稀缺。

边缘设备的机器学习

由于硬件要求，大多数图像分割应用程序需要互联网连接才能将图像发送到可以运行大型深度学习模型的云服务器。云连接可能会对可以使用图像分割的地方造成额外的限制。例如，如果无人机或机器人将在没有互联网连接的环境中运行，那么执行图像分割将成为一项具有挑战性的任务。在其他领域，人工智能代理将在敏感环境中工作，将图像发送到云端将受到隐私和安全限制。在需要机器学习模型实时响应的应用程序中，由往返云造成的延迟可能会令人望而却步。并且值得注意的是，网络硬件本身耗电量很大。

由于所有这些原因(以及更多原因)，边缘人工智能和微型机器学习 (TinyML) 已成为学术界和应用人工智能领域的热点和研究领域。TinyML 的目标是创建可以在内存和功率受限的设备上运行而无需连接到云的机器学习模型。

DarwinAI 和滑铁卢大学的研究人员通过 AttendSeg 试图解决设备上语义分割的挑战。

DarwinAI 的联合创始人兼滑铁卢大学副教授 Alexander Wong 告诉TechTalks： “AttendSeg 的想法是由我们推动 TinyML 领域的愿望和我们将其视为 DarwinAI 的市场需求所驱动的。” “高效的边缘就绪分割方法有许多工业应用，这就是我看到的推动此类研究的反馈和市场需求。”

该论文将 AttendSeg 描述为“为 TinyML 应用程序量身定制的低精度、高度紧凑的深度语义分割网络”。

AttendSeg 深度学习模型以几乎与 RefineNet 相当的准确度执行语义分割，同时将参数数量减少到 119 万。有趣的是，研究人员还发现，将参数的精度从 32 位(4 个字节)降低到 8 位(1 个字节)并没有导致显着的性能损失，同时使他们能够将 AttendSeg 的内存占用减少四倍. 该模型只需要略高于 1 兆字节的内存，该内存小到可以安装在大多数边缘设备上。

“根据我们的实验，[8 位参数]不会对网络的泛化性造成限制，并说明低精度表示在这种情况下可能非常有益(您只需根据需要使用尽可能多的精度)， ”王说。