2022 年的手机是这个样子:它会自动帮你整理所有消息,扫二维码不需要解锁,根据握持方式改变接收信号的天线,还能听说话的声音判断你是否患有疾病。
从异构算力,到可以升级的 GPU 驱动,高通的手机芯片,总能引领行业的新方向。11 月 30 日,高通发布的全新一代骁龙 8 移动平台(骁龙 8 Gen 1)让我们对即将推出的安卓旗舰手机有了期待,从最近解禁的跑分来看,这块芯片 GPU 峰值性能提升了 59.7%,在 GFXBench 上分数甚至要比 iPhone 13 Pro 的 A15 还要高。这还不是最大的,全新一代骁龙 8 可谓进行了全方位的升级,其搭载的第 7 代 AI 引擎实现了性能翻四倍的表现,提升了不止一个台阶,带来了全新的体验。除了展台上的工程机可以稳定 60 帧玩《原神》,在骁龙技术峰会上,人工智能的概念贯穿始终,骁龙已被打造成为了所有移动终端协同工作的核心。过去,App 通常同时只会运行一到两个神经网络。但为了更好的体验,我们的应用中增加了越来越多的机器学习模型,随着终端特性的发展,这些神经网络每年又都在变得更复杂。高通表示,第 7 代 AI 引擎可以在维持低功耗的同时搞定这些需求。作为重要手机芯片厂商的产品,骁龙的 AI 引擎正在为 18 亿人提供支持,已经实现的一些强大功能包括:在拍摄照片时,机器学习算法会自动帮助人们调整相机设置,获得最优成像效果。AI 还能识别并理解用户语音,并基于用户指令完成任务。在一些品牌的手机上,系统应用甚至能够实时将人们的对话翻译成不同语言。骁龙的「专用 AI 处理单元」Hexagon 处理器的情感判断处理速度要比 CPU 快 30 倍,允许手机进行诸如 Transformer 架构模型的本地处理。高通展示了 Hugging Face 通过自然语言处理模型 BERT 处理分析手机上所有下拉通知中的内容,AI 会分析每条信息文字中的语气和情绪,将其按照紧急、重要、不紧急等情形分类显示,让你不会错过老板催促的邮件。如果消息太多找不到,你还可以用语音发出指令搜素特定类型的消息。在传感器中枢模块上,骁龙 8 还独创性的加入了一枚「always on」芯片模块,这枚功耗极低的 ISP 可关联终端的摄像头,带动相机 7×24 小时全天候启动,从而带来一些方便和安全特性——如果探测到二维码,手机将自动唤醒应用进行识别;在你用完手机放在桌面上时,它会自动锁屏;如果你拿着手机,有别人越过你的肩膀偷看,手机也会自动锁屏;又或者你想给别人分享手机屏幕主屏上的内容,这时短消息的提示横幅会被自动隐藏。很多人在买来手机时有一件要做的事就是把各种息屏显示、抬手唤醒功能关掉以追求省电,不过在骁龙 8 上你不用这么做了,新一代传感器模块 AI 算力提升了 75%,能耗降低了 50%。高通还承诺新的 ISP 在工作时不进行拍照或摄像,数据不出模块单元,可确保用户的隐私安全。高通展示了基于第 7 代 AI 引擎的摄像头 AI 应用。手机摄像头支持更出色的自动对焦、自动曝光和自动白平衡调节,手势检测让用户无需按下任何按键即可拍照,还有基于 AI 的视频背景虚化等特性。背景虚化 + 面部识别 + 姿态识别 + 手势,多种神经网络的效果现在已经可以同时在手机端实时完成了。人脸上的细节也很重要。高通 Spectra 首次全面取代了构成摄影基础的传统算法,让 AI 彻底接手了拍摄任务 ,其可识别人脸特征,确定拍摄对象的眼睛是否睁开,甚至是否在微笑。全新的人脸特征引擎可以检测 300 个特征点,而且还针对更多人脸特征进行了训练,包括眉毛、嘴唇、下颌线等。除了对焦和特效,AI 引擎和相机引擎可以协同工作,每秒处理 32 亿像素,实现更强的变焦能力。去年搭载于骁龙 888 上的「夜间模式」将大约六帧照片组合在一起形成合成图像。而骁龙 8 的相机多帧大引擎将结合大约 30 帧,提供「五倍的夜间模式」。因为在暗光条件下有更多的像素被追踪到,相机可以智能过滤掉因手抖引起的模糊,进而获得更清晰的图像。同时,人工智能还可以消除广角镜头的画面扭曲。随后是虚拟现实技术,高通展示了 AI 变革购物体验的新方向。通过 AR 技术,人们可以在家中布置虚拟家具、虚拟试穿运动鞋,实现更多个性化的购物体验。这些应用都是通过高通 AI 引擎优化实现的。在骁龙 8 移动平台上,高通还将 AI 技术融入到调制解调器和射频系统中,带来了全球首个 AI 天线调谐技术,检测用户握持终端时手部的位置并切换接收信号的天线,旨在实现更快数据传输、更佳网络覆盖和更久电池续航。这些都是如何做到的?我们知道,要想跑得起 AI 模型就需要强大的算力。在骁龙 8 移动平台的 AI 引擎上,高通实现了迄今为止最大的一次 AI 算力进步。具体来说,第 7 代 AI 引擎包含多个低功耗的 AI 子系统,由下一代 Adreno GPU、Hexagon 处理器、Kryo CPU 和第 3 代高通传感器中枢(Sensing Hub)组成,它们分别处理不同的计算需求。整个 SoC 的多个计算单元实现了 6TOPS 的异构算力。在应用广泛的一些 AI 模型上,如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等,推理速度比前代 AI 引擎快 4 倍,同时 AI 运算能效比前代提升了 1.7 倍。第 7 代 AI 引擎能够实现如此量级的提升,很大程度上得益于新一代的 AI 软件:除了 Hexagon 处理器张量计算性能翻倍,共享内存翻倍以外,其 AI 软件性能也提升了 2 倍,现在支持了 INT8 + INT16 的混合精度计算。更大的内存意味着芯片可以运行更大、更深的神经网络,而更高的精度则可以让算法推理的结果更加准确。开发工具上,新的神经网络处理 SDK 更新了算子支持,Qualcomm AI Engine Direct 可直接接入移动端深度学习框架 TensorFlow Lite 和 Android NN API,方便开发者将自己的 AI 模型更快地应用在移动端。新的 AI 技术层出不穷,要如何把机器学习模型塞进手机呢?对于工程师们来说这是一个非常有挑战性的工作,使用 AI 技术自动来完成是一个很有前景的方向。高通和谷歌合作,将神经网络架构搜索(NAS)引入了骁龙平台,并已集成进第 7 代高通 AI 引擎。正如 AutoML 的思路,高通提供的 NAS 工具 Neual Processing SDK 可以将硬件配置、工作需求(如帧数、准确度)作为参数输入,由 AI 算法帮助工程师快速实现深度学习模型的最优设计。AI 可以从最基础层面开始,根据初始网络搜索并进行优化构建符合移动端硬件的模型。它能够考虑时延、网络规模、精度、功耗等目标,让模型在手机上运行得更快,而开发者的工作时间也可以从数月缩短到数周。骁龙是全球首个支持 Google Cloud Vertex AI NAS 的移动平台。此前,高通有关提炼最佳神经网络架构的研究 DONNA 还被人工智能学术顶会 ICCV 2021 接收。高通希望在未来让 NAS 功能帮助多端部署工作,让 AI 模型快速部署至手机、笔记本电脑、VR 设备和汽车上。除了以上提到的技术和用例之外,骁龙 8 的 AI 引擎还能够实现哪些黑科技?比如,高通表示他们在与 Sonde Health 合作,开发一种基于音频识别的诊断技术,让手机只需要倾听你的声音就可以判断是否有抑郁、哮喘等健康问题。通过利用历史帧数据和 GPU 优化运动估计,Adreno 图像运动引擎可以让一些游戏的画面以双倍帧率运行,同时保持近乎相同的功耗。如今全球的游戏玩家已经超过 30 亿,而手机游戏每年的收入占比高达 52%。这其中,支持 Snapdragon Elite Gaming 的芯片组出货量已经超过 8 亿颗,高通的新技术会让很多玩家受益。按照高通的说法,就是要让移动游戏玩家享受端游级游戏体验。高通和各家 OEM 厂商、科技公司仅在今年就交付了超过 200 个机器学习模型。未来我们还可以看到更多以往无法想象的技术在手机上出现。开启移动体验的新变革,就需要最先进的技术。明年搭载骁龙 8 的旗舰手机上,性能强大,功耗降低,功能丰富的 AI 技术会给我们带来怎样的体验?让我们拭目以待。