Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

于雷作者

毫末智行,首推自动驾驶「ChatGPT」

AI大模型 DriveGPT 重塑汽车智能化技术路线。

2 月 17 日,毫末智行预告了即将发布自动驾驶生成式大模型 DriveGPT。与近几个月大火的 ChatGPT 一样,DriveGPT 同样都所采用了 Transformer 模型,同时也使用了 RLHF(人类反馈强化技术)算法进行强化训练;与 ChatGPT 使用自然语言文本进行训练不同,DriveGPT 使用的是驾驶场景数据进行模型训练,并通过不断引入真实人驾接管数据,让模型自我优化,逐步训练自己不断给出更高质量的答案。



昨天(4 月 11 日),在第八届 HAOMO AI DAY 上,毫末正式对行业首发了 DriveGPT 自动驾驶生成式大模型,同时也公布了其中文名「雪湖・海若」。


毫末智行董事长张凯

毫末智行 CEO 顾维灏表示:「DriveGPT 雪湖・海若的目标是实现端到端自动驾驶,现阶段主要用于解决自动驾驶的认知决策问题,后续持续会将毫末多个大模型的能力整合到 DriveGPT。」


毫末智行CEO顾维灏

同时,毫末还在现场宣布雪湖・海若的首发车型是魏牌新摩卡 DHT-PHEV,后续将落地到魏牌蓝山。这意味着雪湖・海若将在 2023 年智能驾驶产品竞争中,起到关键作用。

「2023 年将是智能驾驶冲刺之年、大考之年。」毫末智行董事长张凯判断,「2023 年智驾产品进入全线爆发期,大模型开启在车端的落地应用,车主的使用频率和满意度成为产品竞争力的重要衡量标准。」



按照毫末的判断,这次 DriveGPT 雪湖・海若大模型的发布,也代表其将加速从软件驱动的 2.0 时代,跨向大模型、大数据、大算力为特点的数据驱动的自动驾驶 3.0 时代。

什么是 DriveGPT?

GPT 的全称是生成式预训练 Transformer 大模型,主要应用在 NLP 领域,本质上是不断求解下一个词(Token)出现的概率。然后再将这个词作为下一个时间步的输入,如此往复进行生成,最终获得一个连贯、通顺的文本。



最近广受关注的 ChatGPT 就属于语言类生成式大模型,主要是模拟人类语言行为,根据输入的文字或图片生成回答,与用户交互。而 DriveGPT 雪湖・海若则是用于自动驾驶场景的生成式大模型,所以毫末智行把 ChatGPT 输入的自然语言文本串,换成智能驾驶感知到的过去场景,输出也就变为了包括自车决策规控、障碍物预测以及决策逻辑链等条件在内的未来场景。

在这之中,一个重点就是如何将智能驾驶场景,变为和自然语言一样的 Token,毫末智行给出的答案是 Drive Language。其基于毫末智行的 CSS 场景库理论,利用 BEV 网格来做整个空间的离散化,将每一个网格定义为一个固定大小的词表,这样输入代表已发生场景的 Token 序列,就可以根据历史生成未来的 Token 序列。



目前,毫末智行 Token 化后的词表空间,已经达到了 50 万量级。最终,一连串的 Token 拼起来就是一个完整的驾驶场景时间序列,包括了未来某个时刻的完整交通环境状态和自车状态。

顾维灏介绍:「DriveGPT 可以按概率生成很多个这样的场景序列,每一个场景序列都是未来有可能发生的一种实际情况,这是它的第一个特性。它的第二个特性是在所有场景序列都产生的情况下,能把场景中我们最关注的自车行为轨迹给量化出来,也就是生成场景的同时,便会产生自车未来的轨迹信息。」



这样一来,在统一的生成式框架下,就可以做到规划、决策与推理等多个任务全部的完成。

根据规划,DriveGPT 雪湖・海若现阶段主要用于解决自动驾驶的认知决策问题,属于原本自动驾驶认知大模型的能力升级,后续视频自监督大模型、3D 重建大模型、多模态互监督大模型、动态环境大模型等模型的能力也将被整合进来。而 DriveGPT 雪湖・海若的最终目标是实现端到端自动驾驶。

DriveGPT 雪湖・海若
用类 ChatGPT 方法搞定「自动驾驶认知」

DriveGPT 雪湖・海若的训练,是根据历史去生成未来所有可能的场景,并根据概率推理出未来一段时间的多个可能。这一过程利用了大概万多的接管数据来进行 RLHF 训练,反馈数据当中就会隐藏了不同场景下错误的自动驾驶开法与正确的人类开法。看到这里,是不是有很熟悉的味道,那就是 DriveGPT 采用了和 ChatGPT 训练同源的算法。



而且,雪湖・海若的初始化模型(Pretrain model)共使用了 4000 万量产车驾驶数据训练,本身能够对各种场景做生成式任务,但这些生成结果还需要按照人类偏好去调优,在安全、高效、舒适等维度上做出取舍。



所以,毫末智行为了对生成决策结果进行调优,利用强化学习的思路做了一个打分系统。简单的说,在同一环境下,系统与驾驶者判断一致(不被接管)的行为会打高分,被接管的打低分,还会与将同场景的系统与人类驾驶行为对比,越接近代表越能被真实驾驶者喜欢。



顾维灏表示:「我们通过一个初始化模型(Pre-Train Model)去生成并收集一些候选数据。然后,通过一个反馈模型给这些数据打分排序,再用强化学习的思路,把反馈模型认为好的结果排上来,差的结果排下去。最后,把参数更新到一个备份模型(Active Model)中,通过强化学习的方式,DriveGPT 生成的效果就会有一个明显地提升。」

强化学习阶段,毫末智行还在过去搜集到的所有接管数据里人工挑选出大概 5 万段能够覆盖到各种比较复杂场景、真实驾驶偏好的数据,回灌训练反馈模型。有了这个之后,雪湖・海若就能在预训练模型上加入 Prompt 提示语,模型就可以根据其所代表的特征,将含有决策逻辑链(Chain of Thought,CoT)的未来序列重新排序,给出更符合期望的驾驶策略。



「DriveGPT 还能输出决策逻辑链,这里面利用了 Prompt 提示语技术,输入端需要给到模型一个提示,告诉它『要去哪、慢一点还是快一点、并且让它一步步推理』。经过这种提示后,它就会朝着我们期望的方向去生成结果,并且每个结果都带有决策逻辑链。每个结果也会有未来出现的可能性。这样我们就可以选择未来出现可能性最大,最有逻辑的链条驾驶策略。」顾维灏介绍。

毫末 CSS 自动驾驶场景库是 CoT 的重要输入,拥有超过几十万个细颗粒度场景,将 Prompt 提示语和完整决策过程的样本交给模型去学习,学到推理关系,从而将完整驾驶策略拆分为自动驾驶场景的动态识别过程,完成可理解、可解释的推理逻辑链生成。

AI 大模型基础设施
MANA OASIS 雪湖・绿洲再升级

DriveGPT 雪湖・海若的训练和落地,也离不开算力的支持。毫末智行目前已对其智算中心 MANA OASIS 雪湖・绿洲进行了三大升级,使训练过程中的稳定性、效率和速度得到有效提升。



首先是避免训练时出错导致非正常中断,浪费前期投入的大量资源。毫末智行在大模型训练框架的基础上,与火山引擎共同建立了全套训练保障框架,包括 Monitor&Alert、Tracer&Log、Profile&Checkpoint 等功能。通过训练保障框架,可以通过集群调度器实时获取服务器异常、并及时将异常节点从训练 pod group 中删除,再结合 CheckPoint 功能,利用 VePFS 高性能存储和 RDMA 网络高效分发。  
    
「最终我们实现了异常任务分钟级捕获和恢复能力,可以保证千卡任务连续训练数月没有任何非正常中断,有效地保障了 DriveGPT 大模型训练的稳定性。」顾维灏表示。



其次是基于量产自动驾驶规模优势,构建了以真实数据回传为核心的增量式学习推广到大模型训练。结合增量学习数据以动态数据流的形式,持续不断将量产回传和筛选的存量数据,传入感知和认知 Pre-train 大模型。系统定时采样评测模型学习状态,出现异常快速回滚,持续提取最佳模型版本。

顾维灏介绍:「由于每天回传的数据不同的时段数据量差异巨大,这就要求我们训练平台具备弹性调度能力,自适应数据规模大小。我们将增量学习技术推广到了大模型训,构建了一个大模型持续学习系统,研发了任务级弹性伸缩调度器,分钟级调度资源,集群计算资源利用率达到 95%。」



最后在训练效率上,毫末智行还针对 Transformer 大矩阵计算,通过对内外循环的数据拆分,尽量保持数据在 SRAM 中,以提升计算的效率。Transformer 类大模型计算复杂度高,训练难度大。传统训练框架中存在 PyTorch,算子流程很长等问题,毫末智行通过引入火山引擎提供的 Lego 算子库实现算子融合,将端到端吞吐提升 84%。

DriveGPT 雪湖・海若落地
能带来什么?

按照毫末智行的规划,雪湖・海若即将应用到毫末第三代智能驾驶系统 HPilot3.0 上。首先落地的车型是魏牌新摩卡 DHT-PHEV,后续还有魏牌蓝山。

雪湖・海若引入车端之后,其决策会让车辆的动作更丝滑、更人性,且会有合理的逻辑告诉驾驶者,车辆为什么会选择这样的决策动作。对于普通用户来说,对车辆的信任感也会增强,可感受到车辆的行为都是可预期、可理解的。



目前,雪湖・海若已实现了模型架构与参数规模的升级,参数规模达到 1200 亿,预训练阶段引入 4000 万公里量产车驾驶数据,RLHF 阶段引入 5 万段人工精选的困难场景接管 Clips。

不过在未来,雪湖・海若的目标是实现端到端自动驾驶。

在 MANA 五大模型的帮助下,毫末最新的车端感知架构,已从过去分散的多个下游任务集成到一起,形成一个更加端到端的架构。这次,雪湖・海若又将 MANA 感知和认知相关大模型能力统一整合起来,打通了感知和认知。接下来,随着更多大模型的整合,雪湖・海若也将逐步向着端到端自动驾驶的最终目标进发。



顾维灏称:「DriveGPT 运用在车端后,未来可在四大场景上将带来突破,分别是城市 NOH、捷径推荐、智能陪练、场景脱困。最终,我们希望能够抵达自动驾驶的终极场景 —— 无人驾驶。」


随着雪湖・海若的正式发布,毫末迎来了包括北京交通大学计算机与信息技术学院、火山引擎、华为云、高通、京东科技、四维图新、魏牌新能源、英特尔等首批合作伙伴。毫末还将面向首批合作伙伴逐步开放 DriveGPT 的智能驾驶、驾驶场景识别、驾驶行为验证、困难场景脱困四大应用能力。




昨天,毫末已经对行业生态伙伴开放了 DriveGPT 的驾驶场景识别能力,同时毫末还将对行业开放一套基于 4D Clips 数据的高性价比的驾驶场景识别方案,其单帧图片整体标注成本仅相当于行业平均水平的 1/10。

顾维灏介绍:「在行业上,给出正确的标注结果,一张图片需要大概 5 元。如果使用 DriveGPT 的场景识别标注服务,一张图片的价格将下降到 0.5 元。」

自动驾驶数据形态的升级和成本的下降,会为自动驾驶技术跃升带来巨大影响。

AI 大模型下
视觉感知能力持续提升

除了 DriveGPT 雪湖・海若的架构升级和能力升级之外,MANA 视觉感知能力也得到了持续提升。

首先是视觉自监督大模型架构做了扩展,将预测环境的三维结构、速度场和纹理分布融合到同一个训练目标里,训练后的模型就可以理解场景当中的结构、速度和纹理等核心信息。



比如,这样输入前面 K 个时刻的信号,就可以通过 4D 编码器,提取出相关的动静态障碍物,路面、天气、光照等局部和全局的语义信息,形成 4D 特征空间。有了这个由前面 K 个时刻融合的 4D 特征,再输入解码器 3D 空间的位置编码,就能把后面 H 个时刻的三维结构和纹理信息都恢复。

顾维灏表示:「目前,我们的视觉自监督大模型的数据集超过 400 万 Clips,感知性能提升 20%。」

视觉能力提升之后,毫米智行下一点考虑的是能不能拿掉一些不必要的传感器,用更低的成本做更多事情。这里第一个被关注的是近距离测距任务。



「我们将鱼眼相机也引入到视觉 BEV 的感知框架当中,鱼眼图像通过 2D backbone 提取出视觉特征,经过空间转换映射至 BEV 空间,并在该空间下对于障碍物的轮廓边界进行识别和测量。」顾维灏介绍。

目前,毫末智行已经能做到在 15m 范围内达到 30cm 的测量精度,2m 内精度高于 10cm 的视觉精度效果。与主流的 USS 超声波雷达方案相比,其探测距离极限明显更高,近距离探测精度也不相上下,有能力在泊车场景取代 USS,进一步降低智能驾驶硬件成本。

通过视觉自监督大模型技术,做到不依赖激光雷达,将收集的大量量产回传视频转化为可用于 BEV 模型训练、带 3D 标注的真值数据后,毫末智行还在纯视觉 NeRF 三维重建方面取得更多进展。



其中,单趟重建做到了误差小于 10cm,并能对于场景中的车辆等动态物体做到很好的重建和渲染,肉眼基本看不出差异;多趟重建可以提供更多的观测视角,采用多趟轨迹对齐,提供出更好的重建结果,弥补单趟重建的不足。



通过 NeRF 进行场景重建后,就可以直接编辑合成真实环境难以收集到的 Corner Case,减去采集成本。其是在原有的全局视角修改、添加光照 / 天气效果的基础上,新增合成虚拟动态物体的能力,可以在原有设定的运动轨迹上,合成各种 Hard Case,模拟城市复杂交通环境,用更低成本测试提升城市 NOH 能力边界,更好提升应对城市复杂交通环境。





毫末智行是国内最早明确「重感知」路线的自动驾驶公司,这些年也一直在大模型、车端感知能力、智算中心方面做出大量努力。而如今,毫末推出 DriveGPT 雪湖・海若大模型,持续升级视觉感知能力,致力于端到端自动驾驶的路线,这些意味着毫末正在完成数据驱动的关键闭环。



这些前沿深奥的 AI 技术如何让大众能够体验到呢?

毫末张凯表示,毫末将加速推送城市 NOH 的快速落地,最新功能将在摩卡 DHT-PHEV 上开放,明年预计在国内 100 个城市完成落地。
产业ChatGPT自动驾驶汽车毫末智行
相关数据
英特尔机构

英特尔(NASDAQ: INTC)是全球半导体行业的引领者,以计算和通信技术奠定全球创新基石,塑造以数据为中心的未来。我们通过精尖制造的专长,帮助保护、驱动和连接数十亿设备以及智能互联世界的基础设施 —— 从云、网络到边缘设备以及它们之间的一切,并帮助解决世界上最艰巨的问题和挑战。

http://www.intel.cn/
相关技术
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
自动驾驶技术技术

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

激光雷达技术

自动驾驶车辆传感器的一种,采用激光扫描和测距来建立车辆周围环境的详细三维模型。Lidar 图像具有高度准确性,这使得它可以与摄像头、超声波探测器和雷达等常规传感器相提并论。然而激光传感器面临体积过大的问题,同时,它的机械结构非常复杂。

增量学习技术

增量学习作为机器学习的一种方法,现阶段得到广泛的关注。对于满足以下条件的学习方法可以定义为增量学习方法: * 可以学习新的信息中的有用信息 * 不需要访问已经用于训练分类器的原始数据 * 对已经学习的知识具有记忆功能 * 在面对新数据中包含的新类别时,可以有效地进行处理

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源,如线程、进程或数据流;也可以指硬件资源,如处理器、网络连接或扩展卡。 进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态,允许多位用户有效地同时共享系统资源,或达到指定的服务质量。 see planning for more details

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度,其目的是进行资源的优化。常见的规划方法包括经典规划(Classical Planning)、分层任务网络(HTN)和 logistics 规划。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

逻辑技术

人工智能领域用逻辑来理解智能推理问题;它可以提供用于分析编程语言的技术,也可用作分析、表征知识或编程的工具。目前人们常用的逻辑分支有命题逻辑(Propositional Logic )以及一阶逻辑(FOL)等谓词逻辑。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

京东机构

京东(股票代码:JD),中国自营式电商企业,创始人刘强东担任京东集团董事局主席兼首席执行官。旗下设有京东零售、京东物流、京东科技子集团、印尼&泰国海外合资跨境电商等核心业务。2013年正式获得虚拟运营商牌照。2014年5月在美国纳斯达克证券交易所正式挂牌上市。 2016年6月与沃尔玛达成深度战略合作。

https://www.jd.com
相关技术
三维重建技术

三维重建是指利用二维投影或影像恢复物体三维信息(形状等)的数学过程和计算机技术。

场景识别技术

场景识别是一类很常见的图像处理任务。就是给一张地标图像,快速准确地识别出这张图像的场景,识别的结果既可以是具体的地理位置,也可以是该场景的名称,还可以是数据库中的某个同样的场景。

量化技术

深度学习中的量化是指,用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

推荐文章
暂无评论
暂无评论~