DeepScale近日接受EE Times独家专访时，介绍了该公司独特的“感知系统”解决方案；该公司所开发的感知技术是获取原始数据（raw data）而非目标数据（object data），并以嵌入式处理器来加速传感器融合。

所谓的无人驾驶汽车是如何——即时、安全且准确地——感知周遭的世界呢？如果你认为这是一个已经有解答的问题，可能得再想一想。

总部位于美国硅谷（Mountain View， Calif.）、擅长高级驾驶辅助系统（ADAS）与高度自动化驾驶技术的新创公司DeepScale近日接受EE Times独家专访时，介绍了该公司独特的“感知系统”解决方案；该公司所开发的感知技术是获取原始数据（raw data）而非目标数据（object data），并以嵌入式处理器来加速传感器融合。

“今日的深度神经网络（DNN）研究有很大一部分，是以现有DNN进行调整或修改；”DeepScale首席执行官Forrest Iandola分享他的观察，不过表示在该公司的情况是：“我们从头开始利用原始数据开发自己的DNN——那些数据不只来自图像传感器，还有雷达与激光雷达（LiDAR）。”

早期融合 vs. 晚期融合

车用视觉技术（Vision Systems Intelligence， VSI）顾问公司创始人兼首席顾问Phil Magney认为，DeepScale的解决方案“非常新颖”，代表了“将人工智能（AI）导入自动驾驶的最新想法”。那么DeepScale方案——利用原始数据来训练神经网络——与其它传感器融合方法有什么不同呢？

对此Magney表示：“首先，如今大多数传感器融合应用是融合目标数据而非原始数据；再者，于大多数的案例中，智能传感器在传感器中产生目标数据，同时其它传感器会传送原始数据到主处理器——在其中，目标物件会在馈入融合引擎之前被产生。”他将这种方法称为“晚期融合”（late fusion）。

晚期融合：传统的传感器融合方法

显然，DeepScale的Iandola是看到了这种“晚期融合”方法的内在问题；他点出融合目标数据与原始数据会遭遇的问题，特别是当传感器融合任务得处理不同种类的传感器数据时：“试想激光雷达产生的3D点云（point cloud）；当你要在传感器中重新建构3D点云，你也会收到来自摄影头的数据，而后者的画面更新率（frame rate）大不相同。”

Iandola指出，在建立目标时，原始数据可能会与流失的其它传感器数据相关联；想像当阳光直接照射到车用摄影机镜头的那一刻，或者是雪覆盖住雷达。此外当传感器数据与其它传感器数据不一致的情况发生时，进行目标融合会变得非常具挑战性。

DeepScale的解决方案是深度神经网络传感器融合

“这是为什么我们相信必须要在早期而非晚期进行原始数据融合，而且要在更接近传感器的地方进行；”Iandola表示：“我们认为早期融合有助于解决上述问题。”

自家设计的DNN

计算机视觉是其中一个已经存在、发展良好的DNN框架，很多早期无人驾驶汽车技术开发商是利用这种框架；但对其它传感器数据，例如雷达与激光雷达，并没有太多经过训练的DNN。这也是DeepScale希望能抢进的领域——而且该公司具备自行设计DNN的技术能力与经验。

Iandola是还在学界时与加州大学伯克利分校（UC Berkeley）的研究人员，一起合作开发出名为SqueezNet的DNN模型；那些研究人员现在也有几位加入了DeepScale。他表示，SqueezNet并非是为无人驾驶应用量身打造，他的团队开发该模型：“是为了让它的尺寸尽可能小一点，同时又能在计算机视觉资料集方面保有合理的准确度。”

而Iandola也参与过开发一个类似的DNN框架FireCaffe，是为了加速训练以及实现嵌入式实作而设计；在一篇论文中，他与他的团队声称，FireCaffe能成功将深度神经网络训练扩展至一整个图形处理器（GPU）丛集。

在被问到雷达与激光雷达缺乏DNN框架的问题时，Iandola表示：“这是有充分理由的，因为长期以来，摄影头仍是最受欢迎（也是最容易取得）的传感器，并已经产生大量数据；你从YouTube就可以抓到足够的数据，结合地图资讯，那些可用数据使得建构DNN框架容易得多。”

目前DeepScale正在与几家雷达与激光雷达供应商合作，着手为车厂开发经过充分训练的算法；Iandola表示，该公司的合作伙伴包括雷达与激光雷达领域老牌供应商以及新技术开发，其Deep目标是催生不一定需要定制化的DNN，同时又能从各种传感器（包括新型传感器）汲取数据。

DeepScale声称，他们是采用“来自多个传感器的共有数据，以最大化准确度并解决不确定性”；此外，“标记过的训练数据能横跨不同的传感器数据集重复使用，仅需要最小化的重新校准”。

VSI的Magney认为DeepScale解决方案声称能“传感器未知”（sensor agnostic）以及其DNN能在不同处理器平台上执行的特性是大加分：“这能让车厂以及一级零组件供应商打造以AI为基础的环境建模（environmental modeling）解决方案，不需要自己训练网络或是撰写算法。”       责任编辑:pj

Q：DeepScale在独家专访中介绍了什么？
A：介绍了该公司独特的“感知系统”解决方案，所开发的感知技术获取原始数据而非目标数据，并以嵌入式处理器来加速传感器融合。
Q：DeepScale首席执行官Forrest Iandola对公司的DNN开发有何看法？
A：公司从头开始利用原始数据开发自己的DNN，数据不只来自图像传感器，还有雷达与激光雷达。
Q：Phil Magney如何评价DeepScale的解决方案？
A：认为其“非常新颖”，代表了“将人工智能（AI）导入自动驾驶的最新想法”。
Q：“晚期融合”是怎样的传感器融合方法？
A：如今大多数传感器融合应用是融合目标数据而非原始数据，多数案例中智能传感器在传感器中产生目标数据，其它传感器传送原始数据到主处理器，目标物件在馈入融合引擎之前被产生。
Q：Iandola指出融合目标数据与原始数据会遭遇哪些问题？
A：激光雷达产生的3D点云与摄像头画面更新率不同；原始数据建立目标时可能与流失的其它传感器数据相关联，如阳光照射镜头、雪覆盖雷达；传感器数据不一致时，目标融合具挑战性。
Q：DeepScale的解决方案是什么？
A：在早期而非晚期进行原始数据融合，且在更接近传感器的地方进行，自家设计DNN。
Q：Iandola参与过哪些DNN框架的开发？
A：与加州大学伯克利分校研究人员合作开发出SqueezNet；参与开发FireCaffe。
Q：为什么雷达与激光雷达缺乏DNN框架？
A：长期以来，摄像头仍是最受欢迎且最容易取得的传感器，已产生大量数据，结合地图资讯，可用数据使建构DNN框架容易得多。
Q：DeepScale目前正在做什么？
A：正在与几家雷达与激光雷达供应商合作，着手为车厂开发经过充分训练的算法。
Q：VSI的Magney认为DeepScale解决方案的哪些特性是大加分？
A：“传感器未知”以及其DNN能在不同处理器平台上执行的特性。