Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

抛弃李飞飞论文自研算法,Versa能否打破Prisma们昙花一现的魔咒

打开 Versa,很容易让人想起 Prisma,这个曾经一夜爆红的图像风格迁移软件。

它们同样帮用户一键完成照片的风格化渲染,无论是梵高的「星空」风格、日本风俗画「浮世绘」风格、还是野兽派代表画家「Raoul Dufy」风格等。


图为 Versa 用户——设计师苏澳修作品

尽管产品功能与形态几乎一致,但 Prisma 等多数同类型产品的底层技术,是基于李飞飞在 ECCV 2016 上发表的论文「Perceptual Losses for Real-Time Style Transfer and Super-Resolution」。

「为什么 Prisma 做不下去,因为李飞飞不在他们公司啊。」Versa 联合创始人兼 CTO 赵维杰调侃道。

Versa 想要靠自己的技术来改变爆红后昙花一现的命运。

在赵维杰看来,他所主导研发的表示理论框架 ConceptNet 技术就是 Versa 的驱动力。今年 4 月上线产品背后同样使用了风格迁移技术,但仅五个月之后,Versa 又把人景分离技术融入产品中,后者是指将人物与背景区分开来的像素级技术。


Versa 人景分离技术实现过程

「所有做深度学习方向人都知道这个东西难,当大家看到我们能把头发丝都分出来的这个时候都很惊讶,都觉得我们在这个方向又往前走了一步。」赵维杰说。

根据赵维杰提供的数据,Versa 注册用户已超 400 万,其中不乏专业摄影师的身影,他们使用 Versa 的技术设计海报。

训练更快、更少数据依赖的 ConceptNet

技术之外,从产品体验的角度来看,照搬李飞飞论文中的算法有两个难以改变的问题:

它适用于风景而非人脸,画作风格迁移至人脸后会出现面部斜纹以及网格,效果不好;

在图像风格迁移功能之后,无法迭代新功能持续吸引用户持续使用。

很显然,大多数中国人更愿意自拍。「人脸上全是一道道的斜纹,有网格状的东西。这种应用在中国根本火不起来,就想要自己做一个。」赵维杰说。

艺术化图片的处理,本质上和人画画一样,需要有详有略的手法。在同一种风格下,眼睛有眼睛的画法,鼻子有鼻子的画法,背景有背景的画法,背景要用三分抽象七分写实的方法去画。

而赵维杰所说的 ConceptNet 基于表示理论,表示理论着眼于对世界的理解。在表示理论的支持下,ConceptNet 能够认清人物鼻子、眼睛、嘴巴所在何处。

「Prisma 只是做全局的纹理替换,我们能做得更好。」赵维杰说。他将 Prisma 的风格迁移技术比做一把大刷子,将照片全部涂抹上某一种风格。


采用 Versa 技术处理的人像照片

除图像处理效果外,ConceptNet 在训练速度以及对数据的依赖方面也有优势。在 Prisma 等其它 APP 的算法下,实现一种风格的迁移需要至少 8 万张图片,8 个小时左右的学习。

但 Versa 整个产品的训练过程中只用了 100 张训练图片,40 分钟便可收敛,即它将图片深度学习样本数量降低了 800 倍。

「以理论作发动机,让它不断地产生新应用点,再通过产品打出去」

能够将这一核心技术应用于 Versa 得益于赵维杰在创业之前的研究积累。2012 年,赵维杰加入华为,任算法工程师。在华为的前两年,赵维杰和同事围绕着表示理论进行了大量的基础研究。

当时,在华为手机的技术使用场景下,开发人员面临两个问题。首先,由于用户隐私保护条例,华为不能搜集用户信息,因此华为的数据收集能力相对较弱;其次,华为的算法需要在终端手机芯片上落地,因此算法需要适应计算能力有限的场景。

这两个限制被赵维杰称为两个「紧箍咒」,也正是由于这两个「紧箍咒」的存在,ConceptNet 才得以被仔细打磨。

「我们在华为做的事情是这套理论的初级想法,离开之后,我们把这套理论重新整理了一遍,称之为 ConceptNet。所以说不存在知识产权相关的问题。」针对知识产权方面的担忧,赵维杰解释称。


图为 Versa 用户——设计师苏澳修作品

技术储备为产品功能的不断迭代准备了弹药。「C 端产品是我们永不落幕的发布会。」

产品这一端,与赵维杰是大学室友的 Versa 创始人兼 CEO 蔡天懿有丰富经验。蔡天懿曾在巴黎微软任售前工程师,并于 2012 年在硅谷创办了帮助创业者匹配合伙人的产品 Dreamstorm,两年后被 EFACTOR 收购。2014 年回国后他加入格瓦拉任产品合伙人,主导了移动端产品的开发。

Versa 具有明晰的三年规划路线图,还有很多与图像风格迁移、人景分离类似的小节点正等待逐一上线。一旦这些技术实现有效融合,用户随意拍摄的图片、视频等内容,都可以一键完成艺术化再造。

「对于小公司来说,速度快非常重要。以理论作发动机,让它不断地产生新的应用点,这些应用点再通过产品打出去,是小公司能在这个时代赢的最重要的原因。」赵维杰说。


当前 Versa 团队

在今年乌镇世界互联网大会上,Versa 发布了面向企业的 OpenAPI,试图通过企业合作的方式向 C 端用户赋能。另一方面,为合作伙伴输出技术解决方案,也为 Versa 实现商业变现提供可能性。

「说到底我们还是希望能赋能整个行业的。」赵维杰说,「我们希望每一个用户,不论是艺术家还是对艺术不那么敏感的用户,都能通过我们的技术创造出艺术作品来。」

事实上,把技术隐藏在产品背后,让任何人都能在简单操作下完成内容创作,这一点也是快速打动真格基金创始人徐小平的燃点。

今年 4 月,Versa 获得了来自真格基金和臻云创投的 600 万人民币天使轮投资;并于 10 月完成了由红杉中国领投,真格基金、臻云创投跟投的 3000 万人民币等值美金的 Pre-A 轮融资。

产业Versa风格迁移创业公司
暂无评论
暂无评论~