Abstract
本文研究稀疏输入下的卷积神经网络，并将其应用于稀疏的激光扫描数据的深度信息完成实验。首先，我们表明，即使当丢失数据的位置提供给网络时，传统卷积网络在应用于稀疏数据时性能也很差。为了克服这个问题，我们提出了一个简单而有效的稀疏卷积层，它在卷积运算中明确地考虑了丢失数据的位置。
我们在各种baseline方法的合成和实际实验中证明了所提出的网络架构的好处。与密集型的baseline相比，提出的稀疏卷积网络可以很好地推广到新的数据集，并且对于数据稀疏性水平是不变的。
对于我们的评估，我们从KITTI banecmark中推导出一个新的数据集，其中包含超过94k深度注释(depth annotated)的RGB图像。我们的数据集允许在具有挑战性的现实世界中对深度完成和深度预测技术进行培训和评估，并可通过以下网址在线获取：www.cvlibs.net/datasets/kitti。
1.Introduction
在过去几年中，卷积神经网络（CNN）几乎影响了计算机视觉的所有领域。在大多数情况下，CNN的输入是一个图像或视频，由人口稠密的矩阵或张量表示。通过将卷积层与非线性层和汇聚层相结合，CNN能够学习分布式表示，提取第一层中的低层特征，然后在后续层中依次提供更高层次的特征。然而，当网络的输入是稀疏和不规则的（例如，当只有10％的像素携带信息时），对于每个滤波器位置应如何定义卷积运算变得不太清楚，输入的数量和位置会发生变化。
解决这个问题的一个简单的方法是给所有无信息的位置分配一个默认值[3,32]。不幸的是，这种方法将导致次优的结果，因为学习过滤器必须对所有可能的激活模式保持不变，其数量随着过滤器尺寸呈指数增长。
在本文中，我们调查了一个简单而有效的解决方案，该方法胜过了naive approach and several other baselines。 特别是，我们引入了一个新的稀疏卷积层，它根据输入像素的有效性对卷积核的元素进行加权。另外，第二个stream将关于像素的有效性的信息传送给网络的后续层。
这使我们的方法能够处理大量的稀疏性数据，而不会显着降低准确性。
重要的是，我们的表示对输入的稀疏程度是不变的。正如我们的实验所证明的那样，在稀疏水平上训练我们的网络与测试中的稀疏水平不同，并不会显着恶化结果。这具有重要的应用，例如，在机器人技术中，算法必须对传感器配置的变化具有鲁棒性。
所提出的技术的一个重要应用领域是增强3D激光扫描数据，说明请看图1。 尽管激光扫描仪提供了有关深度和反射率的宝贵信息，但由此产生的点云通常非常稀疏，特别是在考虑使用自主驾驶时使用的Velodyne HDL-64e1等移动扫描仪时[13]。
因此，能够增加这种扫描密度的学习模型是非常需要的。不幸的是，不影响精度的条件下直接在3D中处理高分辨率数据是极具挑战性的[44]
我们在本文中采用的另一种方法是将激光扫描投影到虚拟或真实的2D图像平面上，从而产生2.5D的特征表示。除了将深度预测建模为二维回归问题之外，这种表示还具有可以轻松集成更多密集信息的优势（例如，来自彩色相机的RGB值）。但是，投影激光扫描通常非常稀疏，不能保证与常规像素网格对齐，因此在使用标准CNN进行处理时导致效果不佳。相反，使用本文所提出的方法，即使输入是稀疏和不规则分布的，也能产生令人信服的结果。
我们在ablation studies 和一些最先进的baseline上评估我们的方法。对于我们的评估，我们利用Synthia综合数据集[45]以及一个新提出的具有93k深度注释图像的真实世界数据集（KITTI）[12]。我们的数据集是第一个为此场景提供大量高质量深度注释的数据集。 除了在深度和语义方面达到更高的准确度外，我们还展示了我们的方法在不同数据集和稀疏级别之间进行概括的能力。 我们的代码和数据集将在文章发表后公开。
2.Related Work
在本节中，我们将讨论在稀疏输入上操作的方法，然后讨论考虑CNN中稀疏性的技术。我们简要讨论了不变表示学习（invariant representation learning）中的最新技术，并结合相关的深度完成技术进行了综述。
CNNs with Sparse Inputs:
处理稀疏输入的简单方法是将无效值归零或为编码每个像素有效性的网络创建额外的输入通道。为了在激光扫描中检测物体，Chen et al. [3] and Li et al. [32]将激光扫描仪扫描的三维点云投影到低分辨率图像上，将缺失值归零并在这个输入上运行标准的CNN。对于光流插值和修补，Zweig et al. [59] and Koehler et al. [28]将额外的二进制有效性掩码传递给网络。但正如我们的实验所证明的那样，这两种策略与明确考虑卷积层内部的稀疏性相比而言，其结果是次优的。
Jampani et al. [25]使用双边滤波器作为CNN内部的层，并学习相应的超平面卷积核的参数。虽然他们的图层也处理稀疏不规则输入，但它需要引导信息来构建有效的超平面表示，并且对于大型网格来说在计算上是昂贵的。 与他们的方法相比，我们的稀疏卷积网络在深度完成时产生明显更好的结果，同时与常规CNN一样有效。
Graham [15, 16] and Riegler et al. [44]考虑了稀疏的3D输入。与我们的工作相反，他们的重点是通过根据输入划分空间来提高计算效率和内存需求。 然而，采用常规的卷积层，其具有与上述方法相同的缺点。
Sparsity in CNNs:
论文[17,33,41,54,10]也考虑卷积神经网络中的稀疏性。Liu et al. [33]展示了如何使用稀疏分解来减少参数中的冗余。他们的方法消除了超过90％的参数，在ILSVRC2012实验的精度下降不到1％。Wen et al. [54]提出正则化深层神经网络的结构（即滤波器，通道和层深度）以获得硬件层面友好的表示。他们报告说，对于常规卷积神经网络，加速因数为3到5。虽然这些工作着眼于通过利用网络内的稀疏性来提高神经网络的效率，但我们认为稀疏输入的问题并且不能解决效率问题。 两条线的组合将成为未来研究的有趣方向。
Invariant Representations:
………………
