此前，在一场直播活动中，英伟达 CEO 黄仁勋宣布推出 DLSS 3。DLSS 全名为 Deep Learning Super Sampling，它是英伟达发布的深度学习超级采样技术，其拥有开创性的光学多帧生成功能，其为游戏提供了不可或缺的三要素：提高帧率、最大限度地提升响应速度和改善图像质量。
在一系列游戏和引擎中，与传统渲染相比，DLSS 3 有助于将 GeForce RTX 40 系列的性能翻倍提高：
与此同时，英伟达副总裁 Bryan Catanzaro 也曾在 Twitter 上宣称：「神经渲染在 Ada 架构的 DLSS 3.0 加持下迈出了非常重要的一步！除了 DL 驱动的超分辨率，它还使用光流、运动矢量和 DL 来生成整个帧。DLSS 3 渲染的 8 个像素中有 7 个是来自神经渲染的。」这足以将渲染速度提高 5 倍。
尽管这项了不起的技术目前仅限用于几十款 3D 游戏，但神经渲染很快就会带来收益。这项技术将释放日常消费电子产品的新潜力。
在多数情况下，DLSS 3 在 4K 分辨率下比传统渲染技术性能提高两到三倍。虽然英伟达目前处于领先地位，但它也有竞争对手，比如英特尔 AI 驱动的高端软件 XeSS (Xe Super Sampling)，以及 AMD 的 RDNA 3 图形架构。
游戏引领了神经渲染的浪潮，因为它们非常适合使用机器学习技术。谷歌高级研究员 Jon Barron 表示：「只看图像的小 patch，试图猜出图像缺失了什么，这非常适合机器来学习。机器善于识别帧之间的相似性，包括那些帧率高到足以掩盖运动中的微小错误。」
不过 DLSS 3 也存在不完美的地方，其在场景转换方面存在缺陷。但是 Barron 和 Catanzaro 认为在神经渲染模型中通过添加训练数据可以弥补这一缺陷。
英特尔图形研究副总裁 Anton Kaplanyan 认为，未来神经渲染技术会让 3D 内容创作变得更加触手可及。不难看出，现在的社交网络已经逐渐商品化了，人们只需点击一个按钮，拍一张照片，就可与亲朋好友分享。如果我们想把这种体验提升到 3D，我们就需要吸引那些不懂专业工具的人成为内容创造者。
2023 年，3D 神经渲染的改进速度关乎其未来的发展。但与传统渲染相比，研究者缺少更多的经验。Barron 指出：「计算机图形学很神奇，它的工作效果非常好，我们有很多方法来解决问题，而这些方法可能永远适用。」
接下来的问题是，图形行业会在何时接受 3D 神经渲染作为一种替代方案。这种过渡可能是令人担忧的，因为押注错误技术或错误架构的代价可不小。
尽管如此，Catanzaro 相信 3D 神经渲染已经势不可挡。他说：「我们将会看到许多更加不同凡响的神经渲染技术。这些技术有的能够做阴影、折射和反射，将来我们会考虑那些比 DLSS 更强的神经渲染方法，我认为未来的图形领域将会是多种方法并行的。」
神经渲染最大的好处是效率
神经渲染的魅力不仅在于它潜在的性能，还在于它潜在的效率。DLSS 3 通过 RTX 在 Portal 游戏中提供的 530% 增益可以提高帧速率——或者通过将帧速率限制在一个目标内来降低功耗。如此一来，DLSS 3 可以减少呈现每一帧的成本。
英伟达 DLSS 3
这可不容小觑，因为消费电子领域面临着一个重要问题，即摩尔定律大势已去，就算没有，也只是苟延残喘罢了。Catanzaro 说道：「正如你所知道的，摩尔定律已经失去了势头，我个人认为后摩尔图像就是神经图像。对于英伟达来说，神经渲染已然成为一种具有代表性的方法，它不需要成倍增加晶体管数量就可以为公司带来巨大收益。」
然而，英特尔的 Kaplanyan 并不认为摩尔定律会消亡，但他也赞同神经渲染可以提高效率。他说：「芯片的大小可以解决，我同意我们有着大好的机会，可以通过机器学习算法，更有效地利用这种能量和这一领域，产生新的视觉效果。」
AMD、英伟达和英特尔这三家公司都与设备制造商合作，来设计新的消费笔记本电脑和平板电脑，于是效率便成为了三家公司的必争之地。对于设备制造商来说，效率提高带来了更薄、更轻、电池续航时间更长的设备，同时也提升了用户使用设备的功能。
显然，2023 年将是消费设备中神经渲染的奠基年。支持 DLSS 3 的英伟达 RTX 40 系列将推出多种台式电脑和笔记本电脑；英特尔预计将扩展其 Arc 图形线与即将到来的 Battlemage 架构；AMD 将推出更多使用 RDNA 3 架构的变体产品。
这些产品的发布为图形革命奠定了基础。当然，这不是一蹴而就的，需要花些功夫——但随着消费者对视觉效果和内容创造的要求越来越高，通过更小、更薄的创新，神经渲染可能是最好的交付方式。
原文链接：https://spectrum.ieee.org/ai-graphics-neural-rendering
