2022/09/14 20:50

毫末智行千日大考：交付压力与「千亿」模型

作者 / 曹锦

9月量产城市NOH车型、年内发售；建立大规模自动驾驶场景库，以及超算中心……这一系列动态都显示毫末智行在成立1000天之际，以极快的速度取得了超乎许多人预期的成果。但其董事长张凯却直言：「2022年是最艰难的一年…经历过疫情和各种黑天鹅事件，实际的情况比预测的要更难。我们正在克服疫情、供应链、技术本身带来的重重挑战。」

9月13日，「挑战」这一关键词贯穿毫末智行AI DAY的整场演讲，不光是保供的挑战，也是打通场景、驾驭海量数据的挑战。

量产速度狂卷时代的方案

2021年6月，毫末启动了针对transformer大模型的研究和落地尝试。经过这一年多在训练平台改造升级、数据规格和标注方法的切换准备、针对感知、认知具体任务的模型细节探索等方面的实践，其城市NOH以极快的速度宣布量产。

从时间线上来看，去年毫末的高速NOH才推送给用户，如今城市NOH仅相隔10个月就已上车。不过，「用10个月的时间推出一套城市NOH的系统，我自己都不信。」毫末智行CIO（首席交付官）甄龙豹说道。

他表示，其实在开始做高速NOH的同时，城市NOH的研发工作就已同步进行，和高通的合作也是源自两年前。不过，这两套系统，其实从硬件、架构和感知上都是两套完全并行的系统，可复用的就是数据智能场景的积累，以及车端工程化的能力。这就使得高速NOH与城市NOH就像一对「亲兄弟」，互用养料，共同成长。

要拼速度，就得承担交付压力

「我们将在接下来的四个月时间里，全力冲刺年初定下的量产交付目标。」虽然张凯认为曙光就在前方，但要说交付没压力是不可能的。

甄龙豹表示，现在的自动驾驶市场没有统一的标准，在没有已验证过的成熟体系支撑的情况下，每家企业从0到1都要面对交付压力，包括开发质量、挑战和要求。

「值得庆幸的一点是，从1.0到3.0时代，毫末建立了一套非常标准化的智能驾驶开发和交付体系，以及标准的使用流程。压力肯定是有，但有了标准体系和MANA在背后的支持，我们在交付质量上会有很大的保证。」甄龙豹表示。

全行业面临的三大挑战

在重感知、轻地图的路线下，毫末的HPliot3.0是是基于大算力平台人工智能的系统。「毫末算是中国最早进入产品迭代阶段的自动驾驶公司，随着数据量越来越大，我们应该会越来越难被追赶。」

即便如此，张凯还是总结出了2022下半年毫末乃至全行业必须要面对的挑战：1.大规模自动驾驶数据上云的挑战；2.大算力AI芯片的性能突围的挑战；3.城市场景自动驾驶产品的量产突围的挑战。

面对城市道路复杂到超乎想象的场景，挖掘出用户真实场景数据来驱动产品快速迭代，实现感知智能与认知智能的高度一体化，是驱动技术迭代的关键。

为此，「超算中心」终究被毫末智行提上了日程，虽然目前公开的信息还不多，但它还是成为了本次AI DAY的焦点之一。

超算中心的小目标：训练成本降低200倍

据毫末方面介绍，其数据智能体系MANA已完成数十万全要素、多模态Clips的标注，积累300万小时中国道路驾驶认知场景库，相当于人类司机4万年，基本完成数据闭环……

不过，训练大模型需要消耗巨大的算力，以训练一个千亿参数、百万个Clips的大模型为例，需要上千卡GPU训练几个月时间。

基于大模型训练对算力的巨大消耗需求，毫末的超算中心应此而生，自然也是被赋予了重任：「如何提升训练效率降低训练成本，实现低碳计算，是自动驾驶走进千家万户的前提。」毫末智行CEO顾维灏表示，毫末超算中心的目标是满足千亿参数大模型，训练数据规模100万Clips，整体训练成本降低200倍。

虽然目前可披露的细节不多，但在1-2个月后，毫末会再次发布详情。

与此同时，毫末还联合浙江德清、阿里云发布「基于车路协同云服务的大规模自动驾驶场景库」，也就是根据真实交通数据生成、满足数据合规要求的自动驾驶场景库。

顾维灏认为，大模型大数据的模式，还会形成成本转移：「如果我们逐渐走到大模型预训练的阶段，数据不需要标注，但要用更多的计算，最后这个成本可能又会从数据转到计算。」

但是，算力和成本呈线性关系，这点无法通过自身优化来改变：「从10张卡变成100张卡，再从100张卡变成1000张卡，它的能力才能真正变成90-100倍左右。」

对此，毫末智行提出了基于场景库的精准数据清洗，基于海量实车数据的增量学习，结合稀疏激活、算子优化等技术的研究方向。

在升级后的MANA上，已经可以通过使用大规模量产车无标注数据的自监督学习方法打造模型效果，将训练效率提升3倍以上。

同时，毫末智行还打造出了一个增量式学习训练平台，抽取部分存量数据加上新数据组合成一个混合数据集，让海量数据不再被区别对待。这样系统在吸收这些数据时，就可以对「有偏见」的参数进行定点优化，让新数据变为增量数据，提高智能驾驶系统的精度。

顾维灏表示，相比常规做法，该平台达到可节省80%以上的算力，收敛时间提升6倍以上。

Attention机制下的新需求

在此次AI DAY上，顾维灏同样提出了3个挑战：

1.如何通过低碳超算，降低自动驾驶成本

2.如何改进车端模型，提高计算效率

3.如何改进车端芯片，提高计算效能

其实早在两年前，毫末智行就开展了基于Attention机制的transfomer大模型在自动驾驶行业的落地研发。

「我们和一些研究学者发现，一般Transformer所需算力是CNN所需算力的100倍。但在这算力下，平均6.9%的算力贡献了94%的价值，还有大量的弱关联、低价值的运算在乘加操作和功耗上产生了很多浪费。」

单纯从模型结构来看，Attention机制最大的特点就是结构简洁，可以无限堆叠基本单元得到巨大参数量模型，已经达到了千亿、万亿量级。随着参数量的增加和训练方法的提升，大模型的效果也稳步提升，在很多NLP任务上已经超越了人类的平均水平。

同时我们也看到了新的趋势：基于Attention的大模型对算力的需求远远超出了摩尔定律，这导致大模型的训练成本非常高、落地很难、尤其是在终端设备上的落地尤其困难。

在由此而生的三重挑战面前，顾维灏认为，新的模型对芯片提出了要求。

他指出，在模型轻量化方向，出现了一批CNN和Attention融合的轻量级模型，例如mobileVit、xFormer，这大幅降低了计算量。

针对Attention的计算特点，相关研究机构也提出了自适应弱关联计算、超大带宽等transformer加速芯片，例如使用大值精确小值近似和双向渐进的稀疏预测等方法，让弱关联的token进行近似计算，减少能耗，在28nm的芯片上就可以实现27.5T/W的计算功耗比。

同时，顾维灏也提到了谷歌近期发布的PaLM。它拥有5400亿参数的AI自然语言处理模型，在204项任务的基准测试中平均水平超过了人类，甚至可以完成逻辑推理和笑话解释等任务，但是其所谓的高质量数据只占了5%，更多的数据来自我们看似信息价值更低的社交媒体的对话记录和各种网页。

「由此我们可以延展，在自动驾驶领域，如果我们要更广泛地应用Attention，需要什么样的数据呢？」

顾维灏认为，在规模上，自动驾驶里程要至少达到1亿公里；在多样性上，各种传感器的数据，包括不同类型、不同像素、不同角度对大模型训练都有很大的价值；同时，对于不同的场景，包括不同的道路形态、不同的交通流密度、不同的自然环境都同样有价值。

「所以，我们有理由认为，辅助驾驶是通往自动驾驶的必由之路。因为只有大规模前装辅助驾驶系统，才有能力收集到足够规模和足够多样的数据。」

产业