实现自动驾驶多传感器融合 FPGA成重要手段

　目前自动驾驶在从L1、L2、L3阶段性的演进过程中，传感器起到了“定海神针”的作用。此时行业内面临了一个挑战，即如何把外界变化情况利用起来，在域控里面会发挥更重要的作用。

　　实现自动驾驶 传感器为先

　　传感器的作用是对于目标物体进行有效检测和识别。但是目前量产的一些配置L2+/L2++自动驾驶级别功能的车辆，在高速路上行驶时候却不约而同的发生了碰撞事故。

　　发生这些事故的原因分析如下：

　　一类是传感器失效的原因，毫米波对于静态物体进行了过滤，而相机对于白色大物体无法进行有效识别。一类是延迟的问题，毫米波对于静态物体进行了过滤，相机由于数据集积累不足对于雪糕筒这类物体在远处无法判定，但是近处识别到之后，已经来不及启动AEB制动系统。一类是融合判定策略不足造成，毫米波检测到目标，但是行驶速度超过了AEB对于速度的控制区间，相机对于异形物体未能进行有效识别，但是融合策略以相机识别结果判定为主，造成融合判定结果出错。

　　综合而言上述的主要原因还是由于缺乏多传感器融合对于目标结果的准确判定的处理过程，才导致了这样一些故障。

　　通过传感器融合在一起，加以更加强大的算力，可以非常低的延迟把结果好好的反馈出来，从而得到一个准确的目标物体信息，对于以及周围环境的认知，然后在车辆行驶的过程当中，对它进行提前的预判，得以有效避障。这是传感器融合的巨大优势，也是目前各自动驾驶企业所青睐的是一种方案。

　　多传感器融合 成优质方案

　　所谓多传感器融合器是属于域控制器的一部分，这是一种将多个传感器（包括雷达、激光雷达和摄像头）的输入汇集在一起的能力，以形成车辆周围环境的单一模型或图像。结果模型更精确，因为它平衡了不同传感器的强度。

　　融合后就会清楚的知道：我在哪里，我周边周围环境是怎样及都有什么物体围绕着我，对周围环境能得到精确的结果模型上能作出更加明确地判断，从而可以判定我下一步要进行什么动作，这就是多传感器融合的作用。

　　总所周知，各个类型传感器都具备自己的优点和缺点，如右侧的表格所列出来的一样，单靠任意一类的表现的结果都会不尽人意，而左图从各个维度进行融合汇总之后，弥补了各个传感器的缺点，同时也有效发挥各类传感器的优点，从而可以更精确地检测到目标物体及其位置，融合在一起达到了更好的效果，使得自动驾驶更加安全有效。

　　实现融合 挑战依旧存在

　　融合也面临着挑战，其可以分为三类：

　　第一类是面向安全性的挑战，这里主要体现在低延迟性。刚才前面的案例中提到了，起决定性作用的是几秒钟的系统结果判定反馈，从而影响AEB是否能及时刹车制动，从而避免碰撞。而对于驾驶员而言要踩刹车动作则需要预留更长的反应时间。其中对于融合结果的处理过程就需要极低延迟。同时也要防止单类传感器失效，要进行冗余设计。

　　第二类是对于系统复杂性的挑战，由于更高等级的自动驾驶需要更多的传感器接入，传感器的类型、数量变多，而各个传感器的接口是不同的，因此数据类型、传输协议也会变多。这对于对于高带宽和支持多样性面临着前所未有的压力。同时，在异构的环境下，还需要面临如如何进行多任务分配，高能效的计算及算力等问题。

　　最后一类是对于执行效率的挑战，数据带宽增大意味着并行吞吐量的要求增强，同时处理过程中又要低延迟，融合过程中要分别能对应不同种类的融合以及需要可以灵活适配不同神经网络加速的要求。

　　使用FPGA 将成最好选择

　　针对上述挑战，FPGA的自身特性，刚好符合多传感器融合所要求的特性，可以说是恰逢其时。其优势和特点如下：

　　FPGA具备高吞吐、多种类协议、带宽的优势

　　FPGA具备低延迟的优势

　　FPGA具备支持多种类数据融合的优势

　　FPGA具备良好的冗余安全与可靠性

　　FPGA可以支持标准2.5Gb/s MIPI D-PHY，扩展至3.2 Gb/s MIPI D-PHY的数据带宽，从而支持多路8MP摄像头。支持多路1G/10G以太网输入，从而实现多路激光雷达的支持。在支持高速接口的同时也支持低速的CAN/CAN FD多路输入。支持4.2Gb/s LPDDR4，最大34.1GB/s，内部总线NoC支持最大34.56GB/s的片内数据交互。使得器件具备极高的吞吐能力。

　　FPGA的架构是自定义指令、自定义片上内存、可编程IO接口。而低延迟体现在：数据并行性（SIMD）、任务并行性（多条管道）和超标量执行（多条独立指令并行执行）可与管道并行性一起使用，从而实现高并行度和超低延迟。这与CPU/GPU的处理方式是不一样的，这意味着输出结构无需等待。

　　FPGA对于融合算法的支持优势明显，特别是原始数据融合变得越来越流行，而要处理RAW Data则需要更细颗粒度的处理方式，这不是仅仅讨论关于算力，而是讨论关于如何提高感知结果的精确性。对于上图的三类不同融合方式，FPGA都可以进行灵活的编程适配，从而达到算法及器件的最大复用性。

　　FPGA器件满足车规AEC-Q100的要求，且符合ISO 26262标准，可达到ASIL-C/D。 同时具备ISO9001, IATF16949认证。

　　案例多元 趋势越走越明

　　最后给大家看一下基于下一代器件的实例，对于从L2等级面向L3/L4等级开发过程中，所需要的功能元素均包含在内，

　　首先从下向上来看，外设部分通过MIPI接口接入多路高清相机，通过串口如CAN/CAN-FD接入毫米波雷达，通过以太网接口接入激光雷达，从而实现主要感知传感器的数据接入，而接口部分可以随着不同厂商及不同等级的要求进行灵活增减，从而实现器件复用和灵活性适配。

　　通过NoC的大数据带宽将数据接入到Adaptable Engine进行预处理，而多传感器的数据融合部分就可以在这里实现，可以进行多路ISP的处理，相机的图像识别/分割与雷达点云的ML处理会使用到AI Engine的硬核化加速器，ML的结果回传到Adaptable Engine进行数据分类、标定、环境识别等任务，再通过NoC与ARM交互，ARM端可进行任务分配，路径规划和决策等工作。

　　对于与周边SoC的配合可以通过以太网和PCIe实现数据的高速传输，从而构建一个高等级自动驾驶的高效方案。

　　目前看起来，传感器融合，势在必行。而AMD作为行业的排头兵，愿意携手生态伙伴共筑一个美好的未来，为高等级自动驾驶做出贡献。