2021/12/14 14:18

泽南机器之心原创

骁龙8四倍AI算力「硬科技」：上可超分下可增强信号，多个算法同时跑

2022 年的手机是这个样子：它会自动帮你整理所有消息，扫二维码不需要解锁，根据握持方式改变接收信号的天线，还能听说话的声音判断你是否患有疾病。

从异构算力，到可以升级的 GPU 驱动，高通的手机芯片，总能引领行业的新方向。

11 月 30 日，高通发布的全新一代骁龙 8 移动平台（骁龙 8 Gen 1）让我们对即将推出的安卓旗舰手机有了期待，从最近解禁的跑分来看，这块芯片 GPU 峰值性能提升了 59.7%，在 GFXBench 上分数甚至要比 iPhone 13 Pro 的 A15 还要高。

这还不是最大的，全新一代骁龙 8 可谓进行了全方位的升级，其搭载的第 7 代 AI 引擎实现了性能翻四倍的表现，提升了不止一个台阶，带来了全新的体验。

除了展台上的工程机可以稳定 60 帧玩《原神》，在骁龙技术峰会上，人工智能的概念贯穿始终，骁龙已被打造成为了所有移动终端协同工作的核心。

多个 AI 模型同时跑

过去，App 通常同时只会运行一到两个神经网络。但为了更好的体验，我们的应用中增加了越来越多的机器学习模型，随着终端特性的发展，这些神经网络每年又都在变得更复杂。

高通表示，第 7 代 AI 引擎可以在维持低功耗的同时搞定这些需求。

作为重要手机芯片厂商的产品，骁龙的 AI 引擎正在为 18 亿人提供支持，已经实现的一些强大功能包括：在拍摄照片时，机器学习算法会自动帮助人们调整相机设置，获得最优成像效果。AI 还能识别并理解用户语音，并基于用户指令完成任务。在一些品牌的手机上，系统应用甚至能够实时将人们的对话翻译成不同语言。

骁龙的「专用 AI 处理单元」Hexagon 处理器的情感判断处理速度要比 CPU 快 30 倍，允许手机进行诸如 Transformer 架构模型的本地处理。

高通展示了 Hugging Face 通过自然语言处理模型 BERT 处理分析手机上所有下拉通知中的内容，AI 会分析每条信息文字中的语气和情绪，将其按照紧急、重要、不紧急等情形分类显示，让你不会错过老板催促的邮件。如果消息太多找不到，你还可以用语音发出指令搜素特定类型的消息。

在传感器中枢模块上，骁龙 8 还独创性的加入了一枚「always on」芯片模块，这枚功耗极低的 ISP 可关联终端的摄像头，带动相机 7×24 小时全天候启动，从而带来一些方便和安全特性——如果探测到二维码，手机将自动唤醒应用进行识别；在你用完手机放在桌面上时，它会自动锁屏；如果你拿着手机，有别人越过你的肩膀偷看，手机也会自动锁屏；又或者你想给别人分享手机屏幕主屏上的内容，这时短消息的提示横幅会被自动隐藏。

很多人在买来手机时有一件要做的事就是把各种息屏显示、抬手唤醒功能关掉以追求省电，不过在骁龙 8 上你不用这么做了，新一代传感器模块 AI 算力提升了 75%，能耗降低了 50%。高通还承诺新的 ISP 在工作时不进行拍照或摄像，数据不出模块单元，可确保用户的隐私安全。

高通展示了基于第 7 代 AI 引擎的摄像头 AI 应用。手机摄像头支持更出色的自动对焦、自动曝光和自动白平衡调节，手势检测让用户无需按下任何按键即可拍照，还有基于 AI 的视频背景虚化等特性。

背景虚化 + 面部识别 + 姿态识别 + 手势，多种神经网络的效果现在已经可以同时在手机端实时完成了。

人脸上的细节也很重要。高通 Spectra 首次全面取代了构成摄影基础的传统算法，让 AI 彻底接手了拍摄任务，其可识别人脸特征，确定拍摄对象的眼睛是否睁开，甚至是否在微笑。全新的人脸特征引擎可以检测 300 个特征点，而且还针对更多人脸特征进行了训练，包括眉毛、嘴唇、下颌线等。

除了对焦和特效，AI 引擎和相机引擎可以协同工作，每秒处理 32 亿像素，实现更强的变焦能力。去年搭载于骁龙 888 上的「夜间模式」将大约六帧照片组合在一起形成合成图像。而骁龙 8 的相机多帧大引擎将结合大约 30 帧，提供「五倍的夜间模式」。因为在暗光条件下有更多的像素被追踪到，相机可以智能过滤掉因手抖引起的模糊，进而获得更清晰的图像。同时，人工智能还可以消除广角镜头的画面扭曲。

随后是虚拟现实技术，高通展示了 AI 变革购物体验的新方向。通过 AR 技术，人们可以在家中布置虚拟家具、虚拟试穿运动鞋，实现更多个性化的购物体验。这些应用都是通过高通 AI 引擎优化实现的。

在骁龙 8 移动平台上，高通还将 AI 技术融入到调制解调器和射频系统中，带来了全球首个 AI 天线调谐技术，检测用户握持终端时手部的位置并切换接收信号的天线，旨在实现更快数据传输、更佳网络覆盖和更久电池续航。

第 7 代 AI Engine，性能能效都翻倍

这些都是如何做到的？我们知道，要想跑得起 AI 模型就需要强大的算力。在骁龙 8 移动平台的 AI 引擎上，高通实现了迄今为止最大的一次 AI 算力进步。

具体来说，第 7 代 AI 引擎包含多个低功耗的 AI 子系统，由下一代 Adreno GPU、Hexagon 处理器、Kryo CPU 和第 3 代高通传感器中枢（Sensing Hub）组成，它们分别处理不同的计算需求。整个 SoC 的多个计算单元实现了 6TOPS 的异构算力。

在应用广泛的一些 AI 模型上，如 inceptionv3、mobilenet_v2、Resnet50、VDSR 等，推理速度比前代 AI 引擎快 4 倍，同时 AI 运算能效比前代提升了 1.7 倍。

第 7 代 AI 引擎能够实现如此量级的提升，很大程度上得益于新一代的 AI 软件：除了 Hexagon 处理器张量计算性能翻倍，共享内存翻倍以外，其 AI 软件性能也提升了 2 倍，现在支持了 INT8 + INT16 的混合精度计算。

更大的内存意味着芯片可以运行更大、更深的神经网络，而更高的精度则可以让算法推理的结果更加准确。开发工具上，新的神经网络处理 SDK 更新了算子支持，Qualcomm AI Engine Direct 可直接接入移动端深度学习框架 TensorFlow Lite 和 Android NN API，方便开发者将自己的 AI 模型更快地应用在移动端。

用手机完成台式机的任务

新的 AI 技术层出不穷，要如何把机器学习模型塞进手机呢？对于工程师们来说这是一个非常有挑战性的工作，使用 AI 技术自动来完成是一个很有前景的方向。高通和谷歌合作，将神经网络架构搜索（NAS）引入了骁龙平台，并已集成进第 7 代高通 AI 引擎。

正如 AutoML 的思路，高通提供的 NAS 工具 Neual Processing SDK 可以将硬件配置、工作需求（如帧数、准确度）作为参数输入，由 AI 算法帮助工程师快速实现深度学习模型的最优设计。

AI 可以从最基础层面开始，根据初始网络搜索并进行优化构建符合移动端硬件的模型。它能够考虑时延、网络规模、精度、功耗等目标，让模型在手机上运行得更快，而开发者的工作时间也可以从数月缩短到数周。

骁龙是全球首个支持 Google Cloud Vertex AI NAS 的移动平台。此前，高通有关提炼最佳神经网络架构的研究 DONNA 还被人工智能学术顶会 ICCV 2021 接收。高通希望在未来让 NAS 功能帮助多端部署工作，让 AI 模型快速部署至手机、笔记本电脑、VR 设备和汽车上。

除了以上提到的技术和用例之外，骁龙 8 的 AI 引擎还能够实现哪些黑科技？比如，高通表示他们在与 Sonde Health 合作，开发一种基于音频识别的诊断技术，让手机只需要倾听你的声音就可以判断是否有抑郁、哮喘等健康问题。

当然还有游戏画面中的超分辨率技术：

通过利用历史帧数据和 GPU 优化运动估计，Adreno 图像运动引擎可以让一些游戏的画面以双倍帧率运行，同时保持近乎相同的功耗。

如今全球的游戏玩家已经超过 30 亿，而手机游戏每年的收入占比高达 52%。这其中，支持 Snapdragon Elite Gaming 的芯片组出货量已经超过 8 亿颗，高通的新技术会让很多玩家受益。按照高通的说法，就是要让移动游戏玩家享受端游级游戏体验。

高通和各家 OEM 厂商、科技公司仅在今年就交付了超过 200 个机器学习模型。未来我们还可以看到更多以往无法想象的技术在手机上出现。

开启移动体验的新变革，就需要最先进的技术。明年搭载骁龙 8 的旗舰手机上，性能强大，功耗降低，功能丰富的 AI 技术会给我们带来怎样的体验？让我们拭目以待。

产业移动平台全新一代骁龙8

相关技术

大数据技术 AI基础设施 AI芯片技术

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

虚拟现实技术

虚拟现实，简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制地观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。

来源：维基百科

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

移动端深度学习技术

现阶段的移动端 APP 主要通过以下两种模式来使用深度学习： online 方式：移动端做初步预处理，把数据传到服务器执行深度学习模型，优点是这个方式部署相对简单，将现成的框架(Caffe，Theano，MXNet，Torch) 做下封装就可以直接拿来用，服务器性能大, 能够处理比较大的模型，缺点是必须联网。 offline 方式：在服务器上进行训练的过程，在手机上进行预测的过程。当前移动端的三大框架（Caffe2、TensorFlow Lite、Core ML）均使用 offline 方式，该方式可在无需网络连接的情况下确保用户数据的私密性。