来源：汽车开发圈
编辑：感知芯视界 Link
在汽车设计领域，传感器融合正变得日益流行且复杂。它将多种类型的传感器集成到单个芯片或封装中，并智能地将数据路由到所需之处。其主要目标是整合来自摄像头、雷达、激光雷达和其他传感器的信息，以全面呈现车辆内外的情况。在最新设计中，传感器融合常发生在区域控制器或中央计算模块中，这些设备作为中介，收集不同传感器的数据并传输到中央处理器。不过，传感器融合的具体位置以及所融合的传感器种类，会因车辆架构和制造商的方法而异。
传感器融合的关键是什么？
在车辆中融合传感器主要有两种选择。新思科技（Synopsys）汽车 IP 部门经理Ron DiGiuseppe表示：“在区域电子控制单元（ECU）中可以进行传感器融合，它就像一个智能筛选开关。另一种选择是在中央计算模块上进行传感器融合，在那里可以进行数据提取。” 具体选用哪种方式通常取决于成本。DiGiuseppe指出：“如果在区域 ECU 中进行融合，该应用是一个具有多个端口的芯片（SoC）。它处理各种不同的数据类型，如 CAN、MIPI 等。这些数据都通过区域 ECU，然后传输到中央处理器，所以可以在区域 ECU 中完成融合。但通常会传递到中央计算模块，这需要高性能的汽车车内以太网以及长距离 MIPI 端口。大多数 CAN 数据会在 ECU 中转换，CAN 数据包会传输到区域 ECU 进行提取，然后封装到以太网中，再传输回中央计算模块。”
有效的传感器融合的关键推动力是高速车载网络，汽车以太网是常见选择。当前量产车辆使用 1 Gbps 以太网，10 Gbps 系统也即将问世。这种高速网络允许传感器、区域控制器和中央处理器之间快速传输数据。融合过程本身通常涉及专门的硬件和软件。例如，统一的数字信号处理器（DSP）可以处理来自不同传感器类型的数据，如雷达、激光雷达和摄像头。还可能使用额外的加速器来执行特定功能，如快速傅里叶变换（FFT）或计算机视觉任务。虽然这比最初的传感器融合概念更复杂，但也更加成熟。
都有哪些传感器需要融合
西门子数字工业软件公司（Siemens Digital Industries Software）混合和虚拟系统副总裁David Fritz表示：“就像所有新技术一样，一开始大家都急于找到解决方案。几乎可以说，每个解决方案都是全新且独特的。如今，人们对传感器融合已经有了很好的理解。坦率地说，我们看到更智能的感知堆栈使传感器融合不再那么令人担忧。激光雷达、雷达、摄像头和惯性传感器相互作用，但传感的趋势是传感器具有更多智能，这使得融合的问题不再那么突出。”
融合的内容因用例而异。Cadence汽车解决方案部门总监Robert Schweiger描述了一种场景，其中视觉处理器也处理雷达数据以及一些人工智能功能。他说：“我想分析点云，并根据这些点确定我面前是什么物体。市场上有可用的内核，将雷达和视觉内核的指令集集成在一个内核中。这意味着它可以在这个单一内核中处理激光雷达、雷达和视觉数据。” 或者，应用场景可能是一个要求极高的传感器系统，配备最新的高清传感器，向处理器传输大量数据。Schweiger指出：“你可能在其之上有一个加速器来支持 DSP，并加速例如 FFT 功能。如果处理器包含高达 2 TOPS 的人工智能基础功能，这意味着你拥有了一个非常强大的系统。有些人需要更高的人工智能性能，所以你需要一个神经处理单元，一个实例可以扩展到 80 TOPS，在多核系统中组合多个这样的实例可以扩展到数百 TOPS 甚至一千 TOPS。”
芯片上的所有这些处理器也需要连接，这就需要片上网络（NoC）。Schweiger说：“需要一个 NoC 将我们不同的 IP 连接成一个子系统，最终成为一个Chiplet。” 对于传感器融合，假设有一个传感器堆栈。Schweiger说：“你有摄像头雷达、用于高分辨率的 4D 成像雷达、前置摄像头，还有侧面或后部的另一个摄像头。这些是不同的传感器模式，现在你想将所有东西融合在一起。角雷达可能是低端或中端类型的雷达，要求不那么高，但 4D 成像雷达是一种要求非常高的传感器。它产生大量数据，这意味着这里需要大量处理。对于前置摄像头也是如此。前置的智能摄像头通常是最强大的摄像头，它进行大量的行人检测、图像分析、过滤等。后部可能还有一个低端摄像头。那么传感器融合系统是怎样的呢？我们的方法是使用统一的 DSP，它可以处理雷达、激光雷达和基础人工智能。”
用于雷达的同一实例也可用于摄像头，无论是前置摄像头还是后置摄像头。他指出：“在那里，我们处理视觉飞行时间和人工智能。从上层 DSP，我们生成雷达点云（PCL），为下层生成视觉点云，这样我们就可以将前置摄像头和侧面摄像头，或者角落雷达和前置雷达融合在一起。我们在内核中进行融合。如果我们需要更高的性能，可以添加 FFT 作为加速器，或者另一个可以加速 FFT 功能以及计算机视觉功能的加速器。”
更智能的传感器
越来越多的传感器将包含机器学习功能。Imagination Technologies公司质量、功能安全和网络安全总监Andrew Johnston解释说：“用于实现自动驾驶平台或高度辅助驾驶功能所需控制精度的传感器类型，以及它们使用的数据类型，本质上比在相邻领域（如过程工业或医疗领域）中可能找到的传统传感器测量更加复杂。那些传感器可能几十年来一直在进行传感器融合，并且较少依赖机器学习，可以说机器学习仍在发展中，但它们使用的传感器本质上更简单。所以你可能最终会得到简单的查找表和交叉参考算法。”
在汽车领域，最大的变化在于视觉感知和基于运动构建结构。Johnston说：“要做好这一点，你需要一系列不同类型的传感器。你可以用单一类型的传感器实现自动驾驶功能，但效果参差不齐。而且因为这些是高完整性功能，即安全关键功能，采用冗余和多样性是件好事。在系统层面，你希望融合来自摄像头、雷达、激光雷达、超声波的传感器数据，甚至将其与更传统的传感器（如光传感器或温度传感器）结合起来。你这样做是为了试图了解操作环境。问题是这是一个本质上复杂的功能和技术领域，在半导体层面，挑战更大。在理想情况下，每个半导体供应商都希望尝试构建一种能够满足多种用例的产品。我们尽量不制造特定用例的产品，因为这将具有非常小众的应用，而且客户可能不会选择你的产品。所以 IP 和半导体供应商需要平衡的是，在弄清楚芯片上的晶体管需要做什么之前，系统地评估用例并了解在硬件软件领域可以做些什么。”
这在汽车领域意味着大量的机器学习和对机器学习的高带宽需求。Johnston说：“你希望实时执行这些算法，这意味着你要进行大量不同类型的复杂矩阵乘法和数据融合，理想情况下你希望在一个单一实体上快速完成。之所以要快速完成，是因为它必须像人类驾驶员一样在回路中做出基于控制系统的决策。我们自然而然地做到这一点，而且我们的世界是模拟的，所以你试图在数字领域中表示模拟世界和模拟控制器。从哲学角度来看，这是一个非常有趣的挑战。”
向软件定义车辆和区域架构的过渡
随着汽车行业向软件定义车辆和区域架构过渡，传感器融合的方法也在不断发展。OEM正在努力将这些新系统与现有架构集成，这带来了重大挑战。目标是创建一个更集中、可扩展的系统，随着技术的进步可以轻松更新和扩展。值得注意的是，传感器融合的具体实现方式在不同制造商之间可能存在显著差异，有些选择更集中的方法，而另一些则将处理分布在车辆的多个节点上。
英飞凌计算和连接产品营销与应用传感高级总监Ted Karlin表示：“如今，传感器融合是将来自多个传感器的数据组合起来，以创建对环境更全面的视图的过程，通常不基于生成式人工智能和深度机器学习。未来，更多将生成式人工智能和深度机器学习与传感器融合算法相结合的应用将变得更加智能。借助生成式人工智能，传感器融合过程将变得更具适应性，因为这些模型可以合成填补数据空白，模拟潜在结果，从而实时预测和应对变化。它们还将具有更强的上下文感知能力，因为历史上下文可以成为算法的一部分，同时结合环境因素和态势感知，以获得更高质量的传感器融合输出。最后，机器学习可以变得更加个性化，因为生成式人工智能可以利用特定人的监测或诊断得出个性化结论。”
其他人也表示认同。Rambus 公司硅 IP 业务开发总监Adiel Bahrouch说：“将成像雷达与摄像头融合的力量已得到充分理解。例如，雷达无法读取标志，你也无法训练它读取标志。它无法区分不同颜色，如红色、蓝色，而摄像头可以。你可以用人工智能训练摄像头识别标志、人物、物体、车道等。当你将这些特性与雷达所能提供的所有优点结合起来时，你可以拥有一个非常强大的系统，轻松超越激光雷达。激光雷达是另一种有很多优点的技术，但非常非常昂贵。对于非常高的自动驾驶级别，我认为摄像头无法单独完成任务，因为在黑暗或恶劣天气条件下，摄像头可能会带来一些安全问题。雷达在分辨率、图像检测和模式识别方面不具备摄像头的能力，但当你将两者结合起来时，你就拥有了一个非常强大的系统，可以推动自动驾驶的发展。”
至于这在车辆中的位置，Bahrouch指出E/E架构的演变是一个起点。“传统车辆有其基于域的架构，所有的 ECU 和传感器都连接在一起，这意味着融合是一个巨大的挑战。这种架构不支持这类活动。但随着向区域架构的转变，位于同一角落的传感器在一个大处理器下组合在一起，区域处理器有助于收集来自不同传感器的所有信息，开始进行融合。这意味着信息在本地进行处理，即区域处理，或者通过高速以太网骨干网从不同角度收集所有信息，并在车辆中央进行集中融合。我不知道哪种将成为主流方法，是在边缘、区域 SoC、中央大脑，还是它们的排列组合。在所有信息合并之前会进行预处理吗？这是一个正在发展的领域。而且是一个相当新的领域。”
然而，人们普遍认为，激光雷达、雷达和摄像头传感器的持续集成将使车辆更安全。AMD 汽车部门高级营销总监Wayne Lyons表示：“先进的传感器将通过提供更准确的数据和改进从车道保持辅助到自动泊车和制动等安全操作，对ADAS解决方案产生重大影响。随着车辆中摄像头、雷达和激光雷达等传感器的数量和类型每年不断增加，像 Waymo 这样的先锋公司已经在利用这三种技术的车辆中积累了数百万英里的自动驾驶里程。此外，中国新兴的电动汽车公司正在利用激光雷达等先进传感器在竞争激烈的电动汽车市场中突出其安全优势。为了实现实时性能，以便在实际驾驶场景中使用各种传感器数据，开发人员将需要一个灵活的架构，能够在单个芯片上提供必要的性能和功能安全。”
4D 雷达
新思科技的DiGiuseppe表示，向 4D 雷达的转变将进一步增加需要融合的传感器数据量。“向 4D 雷达的过渡正在增加 DSP 的数量，并且它也在进行信道化。不再只是单一反射数据，你可以获得信道化数据，所以你可以使用虚拟通道获得多个雷达反射。这提供了更广泛的数据集，所以不再只是单个雷达回波。由于它是信道化的，它更接近激光雷达的方法。在激光雷达技术中，你得到一个点云，通常会给你更多的数据。这是它相对于雷达的优势之一。激光雷达提供更高的分辨率。此外，还有 128 通道和 256 通道的激光雷达。雷达也开始增加信道化，所以雷达数据的分辨率越来越高，这使得你可以像使用相机图像一样，使用雷达数据集识别物体。”
“可以使用人工智能处理器来识别图像。”DiGiuseppe说：“这是一只狗，这是一棵树，这是一个人。雷达现在也开始具备这种能力，尽管分辨率肯定不如相机系统高，因为这是一个不同的问题需要解决。虽然相机确实有一些局限性，比如在夜间、黑暗中、雨雾或大雪中，并且在物体检测识别方面仍然存在差距。但是在相机不理想的条件下，雷达现在提供的这些数据集是相机的很好补充，所以从这些 4D 雷达中提取的信息对 ADAS 系统更有用。现在可以使用雷达进行物体检测，这是新的进展。”
结论
尽管传感器融合技术已经取得了显著进展，但其在汽车系统中的实施仍在不断发展。趋势是朝着更智能、分布式处理以及物体数据的标准化通信发展。这些概念看似清晰，但其实现仍在不断演变。尽管如此，随着当今正在开发的车辆越来越接近上路，OEM 应该会透露更多关于这项技术发展方向的细节。
感知芯视界媒体推广/文章发布 隗女士 15061886132(微信同号)
*免责声明：本文版权归原作者所有，本文所用图片、文字如涉及作品版权，请第一时间联系我们删除。本平台旨在提供行业资讯，仅代表作者观点，不代表感知芯视界立场。
免费下载
光子产业报告【500页】
