DriveAdapter：打破端到端自动驾驶中感知与规划的耦合壁垒

来源 | 自动驾驶专栏

知圈 | 进车载摄像头社群,加微13501975564,备注视觉

论文链接：https://arxiv.org/pdf/2308.00398.pdf

代码链接：https://github.com/OpenDriveLab/DriveAdapter

摘要

本文介绍了DriveAdapter：打破端到端自动驾驶中感知与规划的耦合壁垒。端到端自动驾驶旨在构建一个完全可微分的系统，该系统以原始传感器数据作为输入，直接输出自车的规划轨迹或者控制信号。最先进的方法通常遵循“Teacher-Student”范式。Teacher模型使用特殊信息（周围智能体和地图元素的真值状态）来学习驾驶策略。Student模型只能访问原始传感器数据，并且对teacher模型采集的数据进行行为克隆。通过消除规划学习过程中感知部分的噪声，最先进的工作相比于那些耦合的工作，可以使用更少的数据获得更好的性能。

为此，本文提出了DriveAdapter，其在student（感知）和teacher（规划）模块之间采用具有特征对齐目标函数的适配器。此外，由于纯基于学习的teacher模型本身是不完美的，并且偶尔会违反安全规则，因此本文提出了一种行为指导的特征学习方法，对那些非完美的teacher特征使用mask，以进一步将人工规则的先验引入学习过程。DriveAdapter在CARLA的多个基于闭环仿真的基准上实现了SOTA性能。

主要贡献

本文的贡献总结如下：

1）据我们所知，本文是首个深入探索直接利用teacher头进行端到端自动驾驶任务规划范式的工作。在这种解耦的范式下，可以避免行为克隆的缺陷，例如因果混淆；

2）感知和规划模块之间BEV分割的中间输出形式具有很强的可解释性，可以深入理解端到端自动驾驶的典型黑盒流程。解耦的感知模型可以受益于BEV感知和语义分割的最新快速发展取得的成果；

3）为了解决非完美感知问题以及teacher模型问题，本文提出了DriveAdapter和带有mask的特征提取策略。通过将两种技术相结合，它可以在两个公开基准上实现最先进的性能；

4）本文进行完整的消融研究和其它相关尝试，以提供更多关于新解耦范式的见解和理解。

论文图片和表格

总结