深入解读CVPR’24 大规模端到端驾驶挑战赛冠军方案 Hydra-MDP

导读：

9月10日，由智猩猩联合 NVIDIA 策划推出的「智猩猩公开课 NVIDIA 端到端自动驾驶专场」顺利完结。NVIDIA 自动驾驶团队深度学习和计算机视觉方向的李臻欣以《探索端到端自动驾驶规划新范式》为主题进行了直播讲解。

本次公开课聚焦 NVIDIA 研究团队今年提出的新型端到端自动驾驶框架 Hydra-MDP 。该框架在 CVPR 2024 NAVSIM（大规模端到端驾驶）挑战赛中，获得了第一名和创新奖，并且在 nuPlan 基准测试中的表现优于当前最先进的规划器。Hydra-MDP 的出现，为基于机器学习的规划系统在自动驾驶中的应用开辟出一条前景广阔的道路，有望推动端到端自动驾驶的大规模实现。

在此次公开课中，李臻欣首先介绍了 UniAD、VAD、BEV-Planner、PDM-Planner 四种端到端模型的特点，并对开环端到端规划面临的诸多问题进行了总结，包括对自车状态过分依赖、数据集不平衡、开环的规划不考虑误差的累计，等等。之后，他对 CVPR 2024 NAVSIM 挑战赛的背景进了简要介绍。

在接下来的讲解中，李臻欣针对当前端到端模型采用的“单模态规划 + 单目标学习”、“多模态规划 + 单目标学习规划”这两种主流范式的特点及其存在的问题，进行了对比分析。之后他重点对 Hydra-MDP 提出的“多模式规划+多目标学习”这一新规划范式进行了重点讲解。

最后，李臻欣从感知网络、轨迹解码器和多目标、多头蒸馏模块三部分对 Hydra-MDP 的模型架构进行了深入讲解，并通过试验数据展示了 Hydra-MDP 在 NAVSIM Benchmark 上的性能，及其在地图结构理解、长尾物体超越和驾驶员不确定意图处理场景下的表现。

目前，此次公开课的课件PPT已上传至本公众号【智猩猩】，大家可以在后台回复关键词“端到端”进行获取和学习。

完整回放

错过本次公开课直播的朋友，可以点击链接观看「智猩猩公开课 NVIDIA 端到端自动驾驶专场」完整回放。

https://wqpoq.xetlk.com/sl/3UXIkG

精选PPT

相关资料

论文标题
《Hydra-MDP: End-to-end Multimodal Planning with Multi-target Hydra-Distillation》

论文链接
https://arxiv.org/abs/2406.06978

项目地址
https://github.com/NVlabs/Hydra-MDP

NVIDIA博客
https://mp.weixin.qq.com/s/902mxeh6rijC8xCdE9RGkw