开发量相当于高速NGP的6倍，场景困难度增加百倍...对于过去18个月的城市NGP开发工作，小鹏汽车自动驾驶副总裁吴新宙只想用「艰苦卓绝」来形容。
（小鹏汽车自动驾驶副总裁 吴新宙）
和以往的1024小鹏汽车科技日有所不同，昨晚（10月24日）长达近80分钟的发布会上，仅城市NGP就占用了超过60%的时间，这种比例大幅超过了往届。如此重视一个已经交付给车主的技术，吴新宙也在演讲中谈到了其背后的含义——「非常重大里程碑事件」。
对于城市NGP和LCC增强版来说，很多工作都是重头来做。不仅是改用了全新技术架构，定位、感知、预测、规控等方面能力全面提升，还要完成更复杂的开发工作：城市NGP拥有高速NGP 6倍的代码量、4倍的感知模型，以及88倍的预测/规划/控制代码。
而这取得的成绩也显而易见。据吴新宙透露，截至10月17日，城市NGP周用户渗透率达到84%，里程渗透率达到63%，同时通行效率可接近人类司机的90%，平均每百公里被动接管仅0.6次。
小鹏汽车的智能下半场
「随着城市场景的落地，我们可以说完成了智能辅助驾驶上半场最后一个核心能力的建设。在下半场，我们会用全场景辅助驾驶来开局。」吴新宙说，「我们希望，全场景辅助驾驶是无人驾驶之前的终极辅助驾驶形态。」
在小鹏的智能辅助驾驶路径规划中，上半场是指高速、地下停车场等单场景内的高等级智能辅助驾驶能力。对于下半场，小鹏计划在2023年至2024年实现全场景智能辅助驾驶，2025年起迈向无人驾驶。
所谓全场景智能辅助驾驶，即小鹏此前多次提到的点到点全程辅助能力。从起点停车位到终点停车位全程使用辅助驾驶，包括停车位泊出，到城市道路、高速/快速路，再到城市、内部道路、停车场内部道路等，最终泊入车位的路程，都可以使用智能驾驶辅助系统。
「下一代系统，我们会定名为『XNGP』。希望在高速和城市场景，通过全场景智能辅助驾驶能力的释放，看到非常大的体验提升。」吴新宙表示，XNGP除了要有接近零接管的城市和高速场景的辅助能力之外，还要实现两个新的目标。
其一，XNGP要做到脱离高精地图，只通过导航地图即可使用，且能力无限接近有高精地图的城市NGP。其二，XNGP将增加把记忆停车能力，升级成停车场导航辅助驾驶，也就是说不用再提前保存路线和学习，有直接寻找并泊入陌生无图停车场车位的能力。
小鹏G9 Max版本将是XNGP落地的首款车型，吴新宙还透露了更加详细的软件更新规划：
2023第一季度，城市NGP发布支持广州、深圳和上海三个城市，全国范围开放红绿灯识别并直行通过路口的能力；2023第二季度，在大部分无图城市开放变道、超车、左右转能力；2024年可以打通全部场景，实现从车位到车位的智能导航辅助驾驶能力。
对于XPILOT，小鹏也将持续提升软件能力，包括不断扩展城市NGP覆盖城市、优化高速NGP策略、开放红绿灯识别、车道级导航功能等。
全新一代感知架构XNet
能够在G9 Max上落地XNGP，除了该车型硬件性能有大幅提升之外，全新的技术架构，以及全闭环、自成长的AI及数据体系，也是另外两个关键的原因。
软件能力上，XNGP改用了全新一代感知架构XNet。和第一代视觉感知架构相比，XNet的特点是利用神经网络替代了繁复的手写后处理逻辑，实现了端到端数据驱动算法迭代。
「XNet的关键词是多相机和多帧，就是把来自每一个相机的视频流直接注入到一个大模型的深度学习网络里，然后直接实现三维空间静态和动态的输出。」吴新宙表示，XNet神经网络可以直接将多个摄像头采集的数据，进行多帧时序前融合，输出BEV视角下的动态目标物的4D信息（如车辆，二轮车等的大小、距离、位置及速度、行为预测等），以及静态目标物的3D信息（如车道线和马路边缘的位置）。
「用一个简单的词语来描述的话，就是它会有实时产生高精地图的能力，这也是用来克服无图场景高级城市辅助驾驶的最核心的能力。」吴新宙还在现场展示了XNet的实际应用效果：一辆即将驶入环岛的小车，可以依靠实时感知输出获得车道线、停止线和可行驶区域。
此外，XNet类似前融合的动态物体检测方式，还能让其拥有更加稳定的近车物体检测能力。基于此，可以更精准识别动态物体速度和意图，使得博弈能力大幅提升，同时通过运动感知冗余，增加城市场景的安全性。
吴新宙举例道：「XNet不仅能检测物体的位置，还能够检测物体的速度，甚至可以实现对未来轨迹的预测。比如，毫米波雷达之前存在一些弱势场景，对于横跨车道的车辆速度检测有些困难，但是有了动态XNet之后，就可以毫无困难地检测这些物体的速度。它也能在原本毫米波雷达比较强大的地方，提供冗余。」
XNet是通过Transformer进行融合，但由于Transformer网络十分复杂，参数量极高，训练难度和训练时间都大幅上升。因此，小鹏也开发了相当于人工标注的近45000倍效率的全自动标注系统。
即XNet所需2000人年的标注量，现在仅需16.7天可以完成。同时，全自动标注系统的质量更高，信息更全（包含3D位置，尺寸，速度，轨迹等信息），产量更大（峰值日产30000 clips，相当于15个NuScene数据集 ）。
此外，小鹏还专门建立了更高效率的数据闭环：通过定向采集的方式，收集到大量的训练数据。如果一些极端场景的数据量不足，还可以通过仿真系统，生成大量的同类型数据，进行快速迭代训练。
在这之中，小鹏还首次引入了黄金骨干网络架构（Golden backbone），通过自监督技术，不断用数据演进骨干模型。同时，解藕了骨干模型和发布模型的训练，让多任务的网络训练效率更高。
前不久发布的小鹏自动驾驶智算中心「扶摇」，也将成为支撑数据闭环的另一关键。其可将自动驾驶模型训练效率提升602倍，与2400TFLOPS算力的服务器进行单机训练相比，80机并行训练可将训练时长由276天缩短至11小时。
Robotaxi最早明年开启运营
而在智能辅助驾驶的最后环节，吴新宙还将小鹏的Robotaxi作为「one more thing」，透露了当前的进度：「按照广州市智能网联汽车自动驾驶功能测试的相关要求，小鹏G9已成功获得『智能网联汽车道路测试』许可。」
「希望明年或后年，小鹏能在广州甚至更多城市，开放自己的Robotaxi运营。」但吴新宙也提到，小鹏的Robotaxi将会配备安全员。
长期以来，车企对于Robotaxi的兴趣一直不高，原因包括投入周期长、成本高、难以盈利。而小鹏作为从造车扩展到Robotaxi的公司，其目标也很明确，直指2025年的自动驾驶——通过自动驾驶和高等级辅助驾驶双线并行，实现数据和能力的反哺闭环。
「我们希望能够尽早地去识别Robotaxi的场景难点，与辅助驾驶的主线能够形成良好的互相反馈机制。然后在2025年会师，真正的向无人驾驶或高级自动驾驶发动总攻。」吴新宙说。
更快、更自由的全场景语音2.0
「未来的交互主要是来自于屏幕，还是来自于其他？从我们的数据来看，语音交互可能比屏幕更重要。当智能辅助驾驶进入到一个更长期、更大的时代，我相信语音的交互会更重要。」小鹏汽车董事长CEO何小鹏在介绍全场景语音2.0时表示。
（小鹏汽车董事长CEO 何小鹏）
在他看来，全场景语音2.0 的「快」和「自由」，将是下一代车载语音的交互形态。
其中，「快」是指响应速度达到毫秒级的极速对话，唤醒到界面反馈245ms、到语音反馈小于700ms，语音命令到执行动作的延时可以到1秒以内。
「自由」是指通过MIMO多音区技术应用在车载语音系统，实现小P全程待命，车内多位乘员无需唤醒，多人同时人车语音对话。
而且，小鹏还进一步增加了指令的自由度，最多支持4个指令连在一起，并可以智能理解用户的省略说法。比如，可以直接将指令缩减为「打开空调和后雾灯」，而不必给出完整的「打开空调、打开后雾灯」。
总体来说，基于全新的第二代全栈自研语音架构，小鹏实现了全车多路语音流并行处理，支持处理四音区并发、端云一体、实时流式识别理解、并行指令等各种功能交织的语音交互请求；可全车多路上下文理解，同时既维护单人的对话和上下文管理，也兼容多人的对话和上下文理解。
新一代智能机器人原型机亮相
「机器人的成本、机器人的适配、机器人对家的适配。」小鹏以家庭定位的智能机器人「小白龙」，在这种思考中又进行了一次迭代。
小鹏鹏行新一代智能机器人原型机PX2的造型更加科幻，而且在功能和机械结构层面都有了明显的改变。比如，其在头部集成了AR投影，是对机器人交互形式的探索；颈部关节处使用柔性材料覆盖运动区域，提供动态安全防护；肩部等区域包裹了液态硅胶表皮，可以耐冲击、耐刮擦；足底使用了与高端跑鞋相似的EVA超临界发泡材料，具有缓震、静音、耐磨性能。
除造型升级外，「小白龙」也迎来架构升级。身体及腿部骨骼采用轻量化设计思路，而且强度超过了初代产品；新一代AI计算单元与智能汽车同代算力，大幅提升机器人智能潜力；升级后的6轴协作机械臂与4足底盘协作，可执行家居环境下的多种功能，进一步提升了机器人与物理环境交互的潜力。
「准量产」版飞行汽车
飞行汽车依旧作为活动的压轴环节出现，但与去年发布的版本不同，小鹏汇天又对其进行了重新设计。何小鹏解释称：「去年版本翅膀展开的高度大概只有不到1m，六级风以上降落时，车身摆动可能会导致（旋翼触地等）安全问题。」
在新版本上，小鹏将旋翼从横列的水平伸展臂，变成了与地面间隙更大的车顶布局。同时，还由双旋翼构型优化为分布式多旋翼构型，机臂及桨叶更短，飞行状态总长、总宽更小，对起降场地的尺寸限制更小。
此外，其还具备飞控的容错控制功能和动力的双备份，即使发生单点失效，依然能够保持可控飞行和安全着陆。据小鹏方面介绍，此前已成功在前期探索产品上进行多次单电机失效试验。
对于最新的分布式多旋翼构型，何小鹏认为可以直接将应用在量产车型上：「真正的量产车跟它起码有80%以上的相近度。」
不同于以往的全PPT式演说，小鹏还在活动上公开了试验样车首飞视频。但让2吨级的产品起飞，所需动力是地面行驶的10-15倍左右。何小鹏也坦诚道：「飞行汽车可以开数百公里，但可能只能够飞数十公里。」
作为科技日，前瞻的风向标内容，本是符合活动主题的传统项目。但小鹏汽车这次却没有着眼「遥远」的未来，而且聚集眼前的自动驾驶、飞行汽车等技术。这或许也是在另一层面印证了吴新宙的说法，智能汽车下半场真的来了。
