产业资讯方案大厅机构大厅

爱奇艺AI弹幕蒙版让观众避开弹幕看视频中人物

文体娱乐广播电视

应用实例描述

以前「弹幕盖脸」几乎在视频平台里常见的现象,当在爱奇艺 APP 热门视频中,密密麻麻的弹幕都绕开视频主角,爱奇艺的」人脸与背景分割「让用户得到了更好的观看体验。 在观看视频的同时,既可以看到弹幕,又不影响整个视频主角的观看体验,通用语义分割模型使用专用数据集做了全盘精调之后,IOU 从 87.6% 提升到 93.6%。我们通过视频分片数来控制生产服务的并发,并在所有分片完成后在通过消息列队通知业务层,每个分片的生产有单独的状态监控和重试机制,最终同时使用了多台 GPU, 处理一段 90 分钟的视频大概需要 40 分钟。 实际上,弹幕模板里用到的深度学习模型不只是分割,还有识别,在对视频进行分割前」景别识别模型「会先对每一帧图形进行一次识别,判断当前帧属于近景还是远景。这个景别识别人物目前是判断图像是否是特写在近景镜头画面,这样的图像才会进入到风格模型中生成模板,而远景画面则不会生成蒙版,弹幕会像原来一样的覆盖整个画面,分割结束之后,系统会进一步利用」腐蚀「和」膨胀「等图像形态处理算法和分割模块输出的前景区域进行精细的裁剪,并根据应用场景的需要删掉画面占比小的前景区域。 与人工抠图相比,效率提高 750 倍。