Drive-WM 模型通过多视图世界模型,能够想象不同规划路线的未来情景,并根据视觉预测获取相应的奖惩反馈,从而优化当前的路线选择,为自动驾驶系统的安全提供了保障。
近期,世界模型的概念引发了火热浪潮,而自动驾驶领域岂能隔岸观「火」。来自中科院自动化所的团队,首次提出了一种名为 Drive-WM 的全新多视图世界模型,旨在增强端到端自动驾驶规划的安全性。
![图片](https://image.jiqizhixin.com/uploads/editor/9e856c25-cc88-4551-96cc-5f8f2281b666/640.jpeg)
网站:https://drive-wm.github.io
论文链接:https://arxiv.org/abs/2311.17918
首个多视图预测和规划的自动驾驶世界模型
在 CVPR2023 自动驾驶的研讨会上,特斯拉和 Wayve 两大科技巨头狂秀黑科技,一种名为「生成式世界模型」的全新概念随之火爆自动驾驶领域。Wayve 更是发布了 GAIA-1 的生成式 AI 模型,展示了令人震撼的视频场景生成能力。而最近,中科院自动化所的研究者们也提出了一个新的自动驾驶世界模型 ——Drive-WM,首次实现了多视图预测的世界模型,与当下主流的端到端自动驾驶规划器无缝结合。
Drive-WM 利用了 Diffusion 模型的强大生成能力,能够生成逼真的视频场景。
想象一下,你正在开车,而你的车载系统正在根据你的驾驶习惯和路况预测未来的发展,并生成相应的视觉反馈来指导轨迹路线的选择。这种预见未来的能力和规划器相结合,将极大地提高自动驾驶的安全性!
![图片](https://image.jiqizhixin.com/uploads/editor/82bf329e-7768-4750-8229-edfce061d040/640.jpeg)
基于多视图世界模型的预测和规划。
![图片](https://image.jiqizhixin.com/uploads/editor/cbd06362-9f80-479c-b6ae-d134f38092b1/640.gif)
世界模型与端到端自动驾驶的结合提升驾驶安全性
Drive-WM 模型首次将世界模型与端到端规划相结合,为端到端自动驾驶的发展打开了新的篇章。在每个时间步上,规划器可以借助世界模型预测未来可能发生的情景,再利用图像奖励函数全面评估。
![图片](https://image.jiqizhixin.com/uploads/editor/f7e254c0-56ba-44b1-b6a6-b887645d910a/640.jpeg)
基于世界模型的端到端轨迹规划树
选择最优估计,扩展规划树,实现更安全、有效的规划。
![图片](https://image.jiqizhixin.com/uploads/editor/d056b2db-f1b5-4a73-acc8-aa94adfd5efa/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/01a35277-cc7d-4dce-ba71-6eb5f81d5293/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/3cfa7eaa-2ad0-42d1-8c3c-ffc444132974/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/5fea9cec-99c8-4ef9-a2f0-a76ca5e5f46d/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/da6b8861-b6cd-4415-8d32-cec3ea5af294/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/f59221f2-f3e3-4839-8964-e405923e6291/640.gif)
Drive-WM 开创性地探索了世界模型在端到端规划中的两种应用:
1. 展示了世界模型在面对 OOD 场景时的鲁棒性。作者通过对比实验发现了目前的端到端规划器在面对 OOD 情况时的表现并不理想。
作者给出了以下图片,当对初始位置进行轻微的横向偏移扰动后,目前的端到端规划器就难以输出合理的规划路线。
![图片](https://image.jiqizhixin.com/uploads/editor/9d2d309d-bf95-450c-8f99-b760a36dde7a/640.jpeg)
端到端规划器在面对 OOD 情况时难以输出合理的规划路线。
Drive-WM 的强大生成能力为解决 OOD 问题提供了新的思路。作者利用生成的视频来微调规划器,从 OOD 数据中进行学习,使得规划器在面对这样的场景时可以拥有更好的性能。
2. 揭示了引入未来场景评估对于端到端规划的提升作用
![图片](https://image.jiqizhixin.com/uploads/editor/6acae7e7-12f8-446c-bde3-88942b231078/640.jpeg)
如何构建多视图的视频生成模型
多视图视频生成的时空一致性一直以来都是一个具有挑战性的问题。Drive-WM 通过引入时序层的编码来扩展视频生成的能力,并通过视图分解建模的方式实现多视图的视频生成。这种视图分解的生成方式可以极大地提升视图之间的一致性。
![图片](https://image.jiqizhixin.com/uploads/editor/e428ae48-2416-4f63-aa4a-4f71ae6f4b77/640.jpeg)
Drive-WM 整体模型设计
高质量的视频生成与可控性
Drive-WM 不仅实现了高质量的多视图视频生成,而且具有出色的可控性。Drive-WM 还提供了多种控制选项,可以通过文本、场景布局、运动信息来控制多视图视频的生成,也为将来的神经仿真器提供了新的可能性。
![图片](https://image.jiqizhixin.com/uploads/editor/ba21bb61-06e3-4ffb-9d4a-78b6d2a9ad59/640.jpeg)
比如使用文本来改变天气和光照:
![图片](https://image.jiqizhixin.com/uploads/editor/760e595d-d187-4472-935a-f3f475c4cd50/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/2a474a1f-6a4e-48c5-aaf1-6a5aaff75719/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/e3907a55-a2cb-4412-aba9-74098aaec524/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/86e17680-c1c4-4b35-8294-941973e24fe4/640.gif)
比如行人的生成和前景的编辑:
![图片](https://image.jiqizhixin.com/uploads/editor/499534ba-8687-4989-af01-0051c28becd3/640.jpeg)
![图片](https://image.jiqizhixin.com/uploads/editor/81728d13-8cc0-408a-a0bc-d0181299c404/640.jpeg)
利用速度和方向的控制:
![图片](https://image.jiqizhixin.com/uploads/editor/5a7d953c-1b1e-45a5-9a78-50f81416578e/640.gif)
![图片](https://image.jiqizhixin.com/uploads/editor/54718068-12fa-4d5b-82e1-2298830745c2/640.gif)
稀有事件的生成,例如路口掉头和开进侧方草丛:
![图片](https://image.jiqizhixin.com/uploads/editor/e80a0708-cd40-49e8-90bb-920ae4ea6330/640.jpeg)
结语
Drive-WM 不仅展示了其强大的多视图视频生成能力,也揭示了世界模型与端到端驾驶模型相结合的巨大潜力。相信在未来,世界模型可以帮助实现更安全、稳定、可靠的端到端自动驾驶系统。