手机是摄影的主流设备，时至今日，全球已有 92.5% 的照片是由智能手机拍摄的。但有些时候，我们对手机拍出的照片质量也并不一定完全满意：人人都向往单反画质、一键成片，但经常因为底不够大，AI 不够智能等问题无法如愿。
从多摄像头到 AI 芯片，手机厂商为此想出了不少办法。最近，有人展示了计算摄影的新技巧，不论你拍照技巧如何，AI 可以自动帮你消除照片中的瑕疵，比如去除眼镜片上的眩光：如果拍到了 PPT，算法还可以自动帮你调成正对画面，让上面的文字更加易读：此外把天空变蓝，草变绿，水变清等影像算法的「常规能力」更是不在话下，而且这回 AI 识别得更准了，不会像过去那样经常抠错图。这不是实验室中传出的 demo，而将是最近一系列旗舰机型的标配。11 月 16 日，高通在夏威夷举办的 2022 骁龙峰会上正式发布了第二代骁龙 8 移动平台。作为明年旗舰级手机的核心，除了一系列提升，其还带来了前所未有的 AI 认知能力。
为了让手机成为从拍照到出片端到端的完整影像平台，第二代骁龙 8 移动平台用一块全新的 ISP 实现了移动影像技术的融会贯通。
专用计算单元，搞定实时语义分割
要想让 AI 帮你修图，就要有足够强大的硬件。第二代骁龙 8 移动平台是下一代移动手机芯片的标杆，在使用台积电 4nm 制程提升算力，大幅增强能耗表现的同时，它搭载了高通旗下速度最快、最先进的 AI 引擎，前所未有的「认知 ISP」（Cognitive ISP）则大幅提升了 AI 图像处理能力， 支持实时语义分割实现照片和视频的自动增强。上图中 AI 识别画面中特定内容的过程名叫语义分割（Semantic Segmentation），是计算机视觉经典四任务（分类、定位、检测和分割）中相对最难的一个，结合了图像分类、目标检测和图像分割等任务，需要通过一定的方法将图像分割成具有语义含义的区域，并识别出每个区域块的语义类别，实现从底层到高层的语义推理过程，最终得到一幅具有像素级语义标注的分割图像。具体来说，算法需要自动帮你把画面中的重要人物、动物、背景，或是人物的五官、头发、手表、背包、眼镜等细节轮廓识别出来，就像这样：深度学习时代，人们通常使用神经网络来进行语义分割。即使是在 2022 年的 AI 顶会论文里，语义分割推理任务大多也还需要台式机 GPU 来执行。而有了第二代骁龙 8，我们已经可以直接在移动端本地完成这样复杂的任务了。为了把这种能力塞进手机，第二代骁龙 8 上进行了架构的重大更新。全新的认知 ISP 是 Spectra 图像处理单元的升级，它可以处理 2 亿像素摄像头传来的信息，优化视频和拍照时语义分割的速度，以便对画面中的每个细节进行专门的图像增强。
仅仅划分专门计算单元还不够，认知 ISP 与第二代骁龙 8 上的 AI 处理器之间通过「Hexagon 直连」技术实现了物理层面上的直连，以此来提高带宽，协同工作，以便实现更深层次的图像优化。骁龙的 AI 专用处理单元 Hexagon 也经历了架构变化，升级了微切片图块推理和更大的张量加速器，由于引入 INT4 精度格式的支持，在 AI 推理时性能最多可以提高 4.35 倍，功耗比提升 60%，可实现持续不断的 AI 推理。
凭借第二代骁龙 8 移动平台的实时语义分割能力，修图的整个过程在认知 ISP 和 AI 芯片里自动完成，手机现在可以实时提升照片画质，其过程在按下快门之前就已经开始了——你在手机屏幕取景框里看到的就是增强过的画面，所见即所得，彻底消除抓拍不到完美瞬间的焦虑。
在认知 ISP 的加持下， Snapdragon Sight 骁龙影像技术开启了专业品质相机体验的新时代，为我们带来了突破性的定制专业画质增强。每家手机厂商都可以基于新的硬件，按照自己擅长的方式调校出特有功能，在新手机到来之后，我们就可以看到实时语义分割的强大能力了。
AI 技术积累带来质变
通过 Mega Multi-Frame Engine，第二代骁龙 8 可以将多达 30 张图像的最佳部分组合成一张图像，大幅增强夜间拍摄效果，捕获上代 5 倍的细节。在超广角摄影任务中，通过几何校正引擎 GCE 校正 120 和 140 度全景照片中的镜头畸变、曝光补偿、色差和边角区域。还有专用的人脸检测 （FD）引擎，基于深度学习的 3D 人脸界标检测，识别准确率达到 95%，可以识别画面中人物的性别、情绪和表情，进行注视检测、头像叠加和几何个性化，为未来的 AR、IoT 和元宇宙 App 做好了准备。
为了实现最佳图像表现能力，第二代骁龙 8 与一些高端图像传感器进行了联合优化，包括与索尼 IMX 989 和 IMX 800，其率先支持了四倍数字重叠 HDR 技术。三星 ISOCELL HP3 是首款针对第二代骁龙 8 优化的 2 亿像素图像传感器，可提供专业级品质的照片和视频。影像能力是各家智能手机比拼的关键点，第二代骁龙 8 移动平台为计算摄影带来了强大的基础。不过，支撑它 AI 能力不仅能用来拍照，还能带来很多比以往更加直观的体验，高通还展示了让手机实现多语言翻译和转录、AI 视频增强、更复杂的语音指令、面向下一代游戏的高智能 NPC 等等能力。最近几年来，高通在 AI 领域的布局逐渐体现出了效果，不知不觉地，AI 成为了新芯片升级的重头戏。
高通在人工智能领域的投入由来已久，早在 2007 年该公司就启动了首个 AI 项目，2018 年成立了 AI 研究院，如今每年都有数十篇论文在 AI 学术顶会上出现。在正在举行的 NeurIPS 2022 上，高通展示了一系列技术，包括 FP8 浮点数降低机器学习算力需求、减小注意力机制内存用量、更高效的批处理贝叶斯优化方法等。看得出很多工作的目标是在有限算力的移动设备上部署 AI 算法。还有一些方向则是基础研究，高通还探讨了因果表示学习，深度学习有效性，甚至还有一个冷冻电子显微镜 (Cryo-EM) 成像的研究，可以利用 2D 图像高分辨率重建生物分子的 3D 结构。此前高通曾表示，自己的 AI 技术从最初发现到形成开源或商业化生态，只需要 2 到 3 年时间。等这样的技术落地，不知我们会看到什么黑科技出现。正如高通总裁、首席执行官 Cristiano Amon 在发布会上所说的：「只有发展出持续工作的处理器、实时连接的网络才能让 AI 的强大能力在生活中展现。高通正处在这一切的中心，我们已经有了完整的路线图。」 基于高通「统一的技术路线图」，AI 能力正在进入骁龙芯片的方方面面， 第二代骁龙 8 移动平台已为终端 AI 技术的应用打开了一扇创新的大门。
参考内容：
https://www.qualcomm.com/news/releases/2022/11/snapdragon-8-gen-2-defines-a-new-standard-for-premium-smartphone
https://www.qualcomm.com/news/onq/2022/11/neurips-2022-qualcomm-showcases-cutting-edge-advancements-in-machine-learning
https://www.youtube.com/watch?v=2Rqo7oniDlI
