深度学习在环境感知中的应用

嘉定智能低碳汽车科普生态建设项目 秋石

人工智能（Artificial Intelligence），就像长生不老和星际漫游一样，是人类最美好的梦想之一。

2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家Jeff Dean共同主导，用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型在语音识别和图像识别等领域获得了巨大的成功。该网络内部有10亿个节点，虽说不能与有着150亿个神经元的人脑相提并论，但也确确实实在AI的路上踏出了坚实的一步。

项目负责人Andrew称：“我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。”就比如图1中的这只猫，在训练模型的时候我们不会告诉机器说这是一只猫，“猫”这个概念其实是由机器自己领悟或者发明。

图1 Google Brain项目

2013年4月，《麻省理工学院技术评论》杂志将深度学习列为2013年十大突破性技术之首。如今，深度学习这个名词也随着自动驾驶的热潮，而为越来越多的人所知晓。

那么，什么是深度学习，为什么要引入深度学习以及它在自动驾驶环境感知中究竟能发挥何种作用呢？

深度学习是使用了深度神经网络的机器学习，一般指根据已知的海量数据通过训练出一个多层网络结构，从而实现对未知数据的分类或者回归。

首先解释一下什么是神经网络。神经网络是一种模仿动物神经网络行为特征，进行分布式并行信息处理的算法数学模型。这种网络依靠系统的复杂程度，通过调整内部大量节点之间相互连接的关系，从而达到处理信息的目的。在神经网络中有一些基本的术语，如图2所示：

图2 神经网络结构图

神经网络与深度神经网络的区别在于上图中的隐藏层层数，通常三层或三层以上隐藏层的网络叫做深度神经网络，图3中左边为神经网络，右边即为深度神经网络，“深”体现在隐藏层层数：

图3 神经网络和深度神经网络

在神经网络与深度神经网络之间，深度神经网络要优于神经网络，因为对某个特定问题而言，隐藏层越多，精确度越高。在其他许多任务和领域中同样可以观察到这个现象。

了解了深度学习的一些概念后，我们来聊聊为啥在自动驾驶环境感知技术中，我们需要引入深度学习。

在环境感知中有许多核心技术，这里以目标检测为例。传统的目标检测与识别算法分为三部分：目标特征提取、目标识别以及目标定位。其中，最典型的算法就是基于组件检测的DPM（Deformable Part Model）算法。该算法的步骤是先产生多个模板，整体模板以及不同的局部模板，然后拿这些不同的模板和输入图像“卷积”产生特征图，接着将这些特征图组合形成融合特征，最后对融合特征进行传统分类，回归得到目标的位置。这个算法的优点在于它简单直观，运算较快。但其缺点则大大制约了环境感知技术的发展，尤其是它的激励特征是人为设计的，这种方法不具有普适性，因为用来检测人的激励模板不能拿去检测小猫或者小狗，所以在每做一种物件的探测的时候，都需要人工来设计激励模板，为了获得比较好的探测效果，需要花大量时间去做一些设计，工作量很大。

由于传统目标检测算法主要基于人为特征提取，对于更复杂或者更高阶的图像特征很难进行有效描述，限制了目标检测的识别效果。因此，通过集联多层神经网络形成很深的隐藏层从而提取出丰富特征的深度学习方法也就成为了环境感知技术中的“新宠”。

在深度学习中，人们把特征提取和分类合到一起，这两部分都是通过以目的为驱动的训练的方式。这时，其实我们不清楚到底训练出来的这个特征是什么样的一个结构，或者是具有什么样的物理意义，因为它完全是大数据训练出来的。这就相当于变成了一个黑盒子，但是这个过程在一定程度上是以目的为驱动，如果数据量足够的话，它会训练出来在一定程度上表现这个物体最好的特征。因此如果数据量足够大，而且网络结构也相对合理，其准确率可以达到99.9%以上，而传统的视觉算法检测精度的极限在93%左右。传统机器学习与深度学习的分类对比如图4：

图4 机器学习与深度学习在分类问题的对比

我们了解到深度学习的优势后，自然会将其应用在实际问题中。接下来本文将就深度神经网络在汽车环境感知中的环境物体检测、语义分割和目标跟踪等核心技术中的应用展开介绍。

环境物体检测：如图5所示，自动驾驶待检测的环境物体包括本车周围的机动车、行人、骑车人、车道线、路面标识、路侧标识、红绿灯等具有形状特征的物体。传统物体的识别一般包括3个步骤：1）似物性区域提取；2）目标特征提取；3）目标分类器设计。第1 步是指从大幅图像（或者点云）中提取出局部的感兴趣区域，以降低处理数据的总量；第2 步一般由工程师手动构造，再由第3步结合经典的机器学习分类器AdaBoost或SVM 来实现物体的检测。

与之不同，深度神经网络（DNN）可自动学习特征，而不需工程师手动设计特征，简化了介入难度，提升了检测性能。所涉及的传感器主要包括摄像头和激光雷达，前者仅输出高分辨率的二维图像，后者输出带有深度信息的三维点云，远距离区域点云比较稀疏。

图5 自动驾驶场景的物体检测示意

语义分割：语义分割是计算机视觉中的基本任务，在语义分割中我们需要将视觉输入分为不同的语义可解释类别。语义的可解释性，即分类类别在真实世界中是有意义的。例如，我们可能需要区分图像中属于汽车的所有像素，并把这些像素涂成蓝色，如图6。

图6 语义分割后的场景

在深度学习统治计算机视觉领域之前，有随机森林、Texton Forest等方法来进行语义分割。深度学习的方法兴起以后，在图像分类任务上取得巨大成功的卷积神经网络同样在图像语义分割任务中得到了非常大的提升。最初引入深度学习的方法是patch classification方法，它使用像素周围的区块来进行分类，由于使用了神经网络中使用了全连接结构，所以限制了图像尺寸和只能使用区块的方法。2014年出现了Fully Convolutional Networks (FCN)，FCN推广了原有的CNN结构，在不带有全连接层的情况下能进行密集预测。因此FCN可以处理任意大小的图像，并且提高了处理速度。后来的很多语义分割方法都是基于FCN的改进。

目标跟踪：目标跟踪是指在给定场景中跟踪特定感兴趣对象或多个对象的过程。传统上，它在视频和现实世界的交互中具有应用，其中在初始对象检测之后进行观察。现在，它对自动驾驶系统至关重要，例如优步和特斯拉等公司的自动驾驶车辆。

物体跟踪方法可以根据观察模型分为两类：生成方法和判别方法。生成方法使用生成模型来描述表观特征并最小化重建误差以搜索对象，例如PCA。判别方法可用于区分对象和背景，其性能更加稳健，逐渐成为跟踪的主要方法。判别方法也称为检测跟踪（Tracking-by-Detection），深度学习属于这一类。为了通过检测实现跟踪，我们检测所有帧的候选对象，并使用深度学习从候选者中识别所需对象。可以使用两种基本网络模型：堆叠式自动编码器（SAE）和卷积神经网络（CNN）。其追踪对象如图7所示，不同的对象在不同时刻都被识别并锁定。

图7 不同物体跟踪结果

近年来，深度学习在人工智能领域中掀起了浪潮，但在实践和应用中也面临着诸多挑战，比如黑盒不可解释性、安全等一系列问题，这些问题仍然是值得关注的焦点问题。深度学习的发展及其与环境感知技术的融合，仍将是自动驾驶行业的一大热点，让我们拭目以待。

嘉定智能低碳汽车科普生态建设方案，上海市科委科普项目资助（项目编号：20DZ2306500）