Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

驶向未来,首个多视图预测+规划自动驾驶世界模型来了

Drive-WM 模型通过多视图世界模型,能够想象不同规划路线的未来情景,并根据视觉预测获取相应的奖惩反馈,从而优化当前的路线选择,为自动驾驶系统的安全提供了保障。

近期,世界模型的概念引发了火热浪潮,而自动驾驶领域岂能隔岸观「火」。来自中科院自动化所的团队,首次提出了一种名为 Drive-WM 的全新多视图世界模型,旨在增强端到端自动驾驶规划的安全性。

图片

网站:https://drive-wm.github.io

论文链接:https://arxiv.org/abs/2311.17918

首个多视图预测和规划的自动驾驶世界模型

在 CVPR2023 自动驾驶的研讨会上,特斯拉和 Wayve 两大科技巨头狂秀黑科技,一种名为「生成式世界模型」的全新概念随之火爆自动驾驶领域。Wayve 更是发布了 GAIA-1 的生成式 AI 模型,展示了令人震撼的视频场景生成能力。而最近,中科院自动化所的研究者们也提出了一个新的自动驾驶世界模型 ——Drive-WM,首次实现了多视图预测的世界模型,与当下主流的端到端自动驾驶规划器无缝结合。

Drive-WM 利用了 Diffusion 模型的强大生成能力,能够生成逼真的视频场景。

想象一下,你正在开车,而你的车载系统正在根据你的驾驶习惯和路况预测未来的发展,并生成相应的视觉反馈来指导轨迹路线的选择。这种预见未来的能力和规划器相结合,将极大地提高自动驾驶的安全性!

图片

基于多视图世界模型的预测和规划

图片

图片

图片

世界模型与端到端自动驾驶的结合提升驾驶安全性

Drive-WM 模型首次将世界模型与端到端规划相结合,为端到端自动驾驶的发展打开了新的篇章。在每个时间步上,规划器可以借助世界模型预测未来可能发生的情景,再利用图像奖励函数全面评估。

图片

基于世界模型的端到端轨迹规划

选择最优估计,扩展规划树,实现更安全、有效的规划

图片
图片
图片
图片
图片
图片

Drive-WM 开创性地探索了世界模型在端到端规划中的两种应用:

1. 展示了世界模型在面对 OOD 场景时的鲁棒性。作者通过对比实验发现了目前的端到端规划器在面对 OOD 情况时的表现并不理想。

作者给出了以下图片,当对初始位置进行轻微的横向偏移扰动后,目前的端到端规划器就难以输出合理的规划路线。

图片

端到端规划器在面对 OOD 情况时难以输出合理的规划路线。

Drive-WM 的强大生成能力为解决 OOD 问题提供了新的思路。作者利用生成的视频来微调规划器,从 OOD 数据中进行学习,使得规划器在面对这样的场景时可以拥有更好的性能。

2. 揭示了引入未来场景评估对于端到端规划的提升作用

图片

如何构建多视图的视频生成模型

多视图视频生成的时空一致性一直以来都是一个具有挑战性的问题。Drive-WM 通过引入时序层的编码来扩展视频生成的能力,并通过视图分解建模的方式实现多视图的视频生成。这种视图分解的生成方式可以极大地提升视图之间的一致性。

图片

Drive-WM 整体模型设计

高质量的视频生成与可控性

Drive-WM 不仅实现了高质量的多视图视频生成,而且具有出色的可控性。Drive-WM 还提供了多种控制选项,可以通过文本、场景布局、运动信息来控制多视图视频的生成,也为将来的神经仿真器提供了新的可能性。

图片

比如使用文本来改变天气和光照:

图片
图片
图片
图片

比如行人的生成和前景的编辑:

图片
图片

利用速度和方向的控制:

图片图片

稀有事件的生成,例如路口掉头和开进侧方草丛:

图片

结语

Drive-WM 不仅展示了其强大的多视图视频生成能力,也揭示了世界模型与端到端驾驶模型相结合的巨大潜力。相信在未来,世界模型可以帮助实现更安全、稳定、可靠的端到端自动驾驶系统。

产业多视图世界模型Drive-WM
1
相关数据
规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

轨迹规划技术

轨迹规划方法分为两个方面:对于移动机器人偏向于意指移动的路径轨迹规划,如机器人是在有地图条件或是没有地图的条件下,移动机器人按什么样的路径轨迹来行走;对于工业机器人则意指两个方向,机械臂末端行走的曲线轨迹,或是操作臂在运动过程中的位移、速度和加速度的曲线轮廓。

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。

推荐文章
暂无评论
暂无评论~