2022/06/16 14:07

首个元宇宙公益摄影展落地，揭开网易瑶台背后的技术面纱

网易瑶台何以成为新一代元宇宙活动平台？

自去年 10 月，Facebook 更名为 “Meta” 这一动作之后，元宇宙的概念开始愈演愈热，逐渐成为过去一年里科技圈最热关键词之一，并被称为“移动互联网后的新兴革命”“未来的互联网”。随着元宇宙浪潮席卷全球，各行各业纷纷开始在元宇宙赛道下注，着手布局元宇宙，教育元宇宙、工业元宇宙、文旅元宇宙等等都接踵而来，根据彭博行业研究报告预计，元宇宙有望在 2024 年达到 8000 亿美元的市场规模。在数字经济和后疫情时代的大背景下，元宇宙或许将成为数字经济的下一新增长点，也将为社会数字化转型提供全新路径。

毋庸置疑，元宇宙的想象空间正在不断被打开，越来越多的可能性开始在人们眼前铺展开来。近期，2022“生态守护映像”沉浸式公益生态摄影展成功举办，这是 “公益元宇宙” 的全新探索。在这场特殊的摄影展中，观众只需通过浏览器即可一键登入，足不出户，随时随地逛展。入场前，观众可以设置自己的虚拟形象，AI 识图自动生成人脸，数十款服饰随心挑选。入场后，观众可以自由操纵虚拟分身，随心切换观看视角，沉浸式欣赏摄影作品，此外，观众可以进入畅聊区，实时与其他志同道合的朋友视频、互动，探讨生态保护话题。

据悉，这场元宇宙公益摄影展由网易伏羲旗下沉浸式活动平台网易瑶台举办。网易瑶台于 2020 年 8 月上线，致力于用人工智能和科技创新的能力打造全新的线上活动模式，通过复刻线下真实的会议、会展场地，增加智能捏脸、表情迁移等 AI 技术，为用户打造一个身临其境的、虚拟的、面对面的、有仪式感的在线活动体验。

作为目前国内最接近元宇宙形态的产品之一，网易瑶台成功上线并应用的背后是网易伏羲突出的研发能力和网易游戏多年的技术积累。

虚拟分身，打造沉浸式参会体验

依托于网易伏羲行业首创的 AI 智能捏脸和表情迁移技术，网易瑶台中虚拟形象的表情会实时随着真实表情的改变而改变，所有观众都可以切身感受一个真实感、沉浸感、互动性更强的线上活动。

1. 用户通过 AI 智能捏脸实现千人千面的无门槛形象创建。

用户对于自身在虚拟世界中身份的代入感，源于虚拟分身与自身外貌的相似程度。由于虚拟人物捏脸系统的分层、耦合、非线性等特性，用户上手学习成本较高，难以在有限的活动准备时间内获得满意的虚拟分身形象定制。通过虚拟人智能捏脸技术，基于用户上传自拍图像，能够直接推理出与用户面部特征一致的瑶台内分身模型捏脸控制参数，实现无门槛的用户端高质量形象创建体验，支撑网易瑶台活动内千人千面的会场真实交流体验。

2. 基于 AI 表情迁移获得面对面的生动交流体验。

沉浸式活动与视频会议的最大区别在于，线上沟通体验不再仅限于真人视频互动，活动参与者虚拟分身在虚拟场景中的交流成为沉浸式互动的核心。伏羲虚拟人表情迁移技术能够以 25 帧每秒的帧率，实时地将真人视频流，推理成可驱动虚拟分身的面部表情动画序列。由于采用了图像帧 - 动画帧的端到端网络设计，网易伏羲 AI 表情迁移具备端测包体轻、计图算效率高、跨平台性好等特点，支撑了网易瑶台内即开即用的多人同屏表情互动体验。

3. 利用动画资源生产提升各议程沉浸感及互动性。

新手引导注意事项等流程，在沉浸式活动中往往以文字形式传达，对于用户而言必要但未免枯燥。网易瑶台开创性地引入虚拟人迎宾，通过虚拟人进行新手引导事项告知，显著提升了该流程交互性。在虚拟人迎宾环节背后，是网易伏羲虚拟人动画资源生产平台自动将各活动定制的注意事项文字，转换成语音、动作、表情动画，驱动迎宾虚拟人做出逼真的引导流程，使用户登陆即沉浸，确保了产品交互体验的连贯性。

游戏上云，一键登入告别繁琐流程

不同于传统活动存在线下诸多束缚，网易瑶台借助云游戏优势，最大限度缩减了操作流程。用户只需在浏览器打开活动网址，输入参会码便可参会，体验面对面沉浸式社交体验，无需额外下载浏览器，对登入设备的要求也很低。

1. 基于 WebRTC 协议实现不同设备低延迟接入。

借助 WebRTC，为网易瑶台应用添加基于开放标准云信的实时通信功能，支持瑶台与不同用户设备之间发送视频、语音和通用数据，在毫秒级的延时下，用户可以流畅地体验瑶台。

2. 采用分布式高可用集群部署方案以支持数千人同时交流体验。

为了支持网易瑶台沉浸式活动系统数千人同时体验云端会议，后端服务模块采用高可用集群节点模式部署，能支持弹性扩展服务节点以应对大型会议的压力、消除单点服务故障，提升系统的可用性，保障用户稳定地体验云端会议。

3. 利用公有云以及自研系统支持全球多地域用户体验。

依托于公有云，自研 CloudAPI 调度系统支持全球多地域用户同时进入瑶台，目前已服务了来自北美、南美、欧洲、南非、东亚等多地区用户。

自研 "ACE" 引擎，同步多人同屏实时移动

借助网易伏羲自研的分布式游戏引擎、跨服移动组件订阅系统以及自研的移动组件及物理系统，网易瑶台实现了千人甚至万人级别的同屏实时移动同步，以及实时同步来自于其他节点用户的状态。

1. 网易伏羲自研的分布式游戏引擎，能够做到千人甚至万人级别的同屏实时移动同步。

对于一个元宇宙产品来说，服务端承载量直接决定了活动的规模上限，往往随着同时在线人数的增加，服务端的各项性能指标会呈现指数级别的增长。而不同用户间的移动、状态的同步，往往就会成为性能瓶颈。不同的产品解决问题的方式也不尽相同，有将不同用户分配到不同的 "平行宇宙" 中来缓解同屏人数的，也有减少用户视野范围来缓解问题的。相较于其他产品，网易瑶台使用自研的分布式游戏引擎 "ACE"，实现了千人甚至万人级别的同屏实时移动同步。

2. 跨服移动组件订阅系统，实时同步来自于其他节点用户的状态。

对于一些如明星演唱会，粉丝见面会这样的特大型的线上活动，"ACE" 引擎实现了一套跨服务移动组件订阅系统，来支持将明星及关键人物的实时以及历史状态，同步给每一个用户。

3. 伏羲自研的移动组件及物理系统，开放世界的设计思路，多线程物理计算，场景动态加载，动态增删及持久化。

同时 "ACE" 引擎实现了一套支持线上开放世界的移动组件及物理系统，解决了跨节点长距离寻路，场景动态加载，开放世界中物体的动态增删，场景持久化，多线程物理计算等难题。

经验迁移、游戏积累，自主创新助力降本增效

网易伏羲还将网易游戏开发中积累的技术经验悉数运用到了瑶台的开发中，大幅提升了网易瑶台的研发效率，在此基础之上又针对项目的特殊性进行技术上自主创新，对于高效实现想法创意、快速迭代以及降本增效都有着极大的助推作用。

1. 开发流程化、标准化、工业化。

在国内游戏快速发展的今天，游戏逐渐走向精品化、工业化。日渐壮大的开发团队、越来越多且越来越复杂的开发需求对于开发效率、代码质量、迭代更新等等都是挑战。在多重复杂的环境之下，现在游戏开发不得不向工业 Pipeline 进行转型。

网易瑶台的开发团队在早期也面临如此的困难，在经过对问题分类整理、合理分析、充分讨论的前提下，瑶台整体开发团队开始尝试逐渐建立起一条条开发 Pipeline。

对于独立 Pipeline 完整的描述是：该 Pipeline 覆盖解决了一类问题，并对于资产输入、处理过程、最终产物等都做标准化定义，并且部分标准需要代码落地实现规范限制。最终该条 Pipeline 打通多个岗位，让不同岗位同学的工作时间是错开的、独立的，各个岗位能够通力合作，高质量、高效率的实现流水作业管线。

下面以一个基于视觉的测试管线为例，一般开发完毕之后大家都会经历 QA 阶段，QA 阶段主要验证逻辑的正确性，期间 QA 同学会有一些自动化工具配合自动测试。但其实还有一些功能不仅要测试逻辑的正确性，还要测试渲染的正确性，这块的测试往往都是纯人力测试，费时费力，而且容易漏掉细节信息。比如瑶台内针对大场景都做了遮挡剔除处理，原则上我们看到的物体有没有遮挡剔除都应该是一致的，但有时候因为各种原因可能会出现多剔除的现象，或者阴影不正确等各种小的渲染问题。针对这些情况，网易瑶台的做法是，实现一套运行时双屏渲染的方案，并且在左屏和右屏分别渲染有遮挡剔除的画面和无遮挡剔除的画面，这样就可以保证在所有逻辑代码都一样的情况下，仅仅测试遮挡剔除的渲染效果。同时会配合截图工具，将双屏分别进行截图，之后进行图像识别阶段，自动化标记不同渲染的区块信息，然后形成测试报告发送给程序同学。该工具除了可以用来测试遮挡剔除的，还可以测试任何产生视觉差异的功能效果，不同在于视觉检测规范不一样。

于此已经讨论、总结、归档、运行的 Pipeline 还有很多：

场景生产自动化工具：加快内容的迭代和开发，将重复性的工作编辑化、配置化，快速地增加新角色和新场景。
角色资源迭代工具：帮助美术快速验证角色模型和动作效果，同时提供便捷的角色资源管理，支持定制化角色资源导入，满足不同活动场景的需求。
UI 创作工作工具：帮助 UI/GUI 定义资源规范、从制作到产出全程可预览化，减少因为差异化渲染，提升完工效果。同时针对程序实现，网易瑶台针对标准化资产进行自动生成，自动生成所需要的 UI 界面、模块化代码，提升代码的结构性、健硕性、易读性。
场景 LOD 编辑工具：近乎全自动化的编辑工具，一键为全场景的物体生成 7 级 LOD，美术只需要做简单的视觉验证便可以交付效果。极大的提升了单场景的编辑效率，并且配合自动合面技术、自动区块划分技术，极大提升渲染效率。
.....

2. 应用运行能效化、自适应化。

网易瑶台目前已经支持云游戏、PC 端、移动端（Android、IOS），未来还会支持更多的平台。相对传统游戏应用，瑶台客户端使用的硬件条件更加宽泛。部分用户会有不包含独显、硬件老旧（十年前硬件）、网络带宽不够等等情况，为了适配这些情况，网易瑶台通过精细化性能分级、运行时数据分析、AI 智能推荐等手段让客户端运行在任意设备上都可以保持流畅帧率。

技术游戏化：将游戏中的技术全面运用到瑶台中来，创新型的 LOD 分级效果，遮挡剔除，视锥体剔除，动态加载（大世界场景），AOI 策略等等，极大的减少了千人、万人场景下的各种性能峰值，充分利用游戏的技术来优化和不断迭代。
标准化监控：网易瑶台在上线前会对同屏内的重要渲染指标、逻辑代码、内存使用等做量化监控，只有当所有量化监控满足指标之后才会进行发布，保证云游戏可以多路并存、保证在较高分级下适配更多的设备。
精细化性能分级：在量化监控性能的基础之后，瑶台对影响帧率的重点模块进行 5 档性能分级，在保证清晰度、用户体验友好度的原则下，对各种细分模块做了分级处理。如果瑶台发布的标准化等级客户端运行之后依旧卡顿，用户可自行切换分级效果，进而扩大适配范围。
数据分析、AI 推荐：为了进一步减少用户的操作，提升用户的体验感，网易瑶台会根据客户端在不同设备上的运行情况，构建 AI 模型。当用户在使用过程中发生卡顿时、用户首次登录时，自动为用户推荐、切换到适用的分级。

网易瑶台开发团队从用户需求出发，结合项目复杂的特殊环境，构建了一套基于各种 Pipeline 的工业化开发模式。全面地提升开发效率、保证开发质量，为用户打造一个稳定、友好、高效的创作平台。

据悉，网易瑶台沉浸式活动系统已经应用在线上发布会、大型会议、展览展会、艺术展、拍卖会等众多场景，服务包括 2022 中国国际大数据产业博览会、网易云音乐 IPO 大会、第 28 届国际低温工程会议、河南智慧文旅大会、MCON Festival 首届品牌元宇宙营销沉浸式峰会等多场景的活动需求。

产业元宇宙网易