Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

MIT提出生成式压缩:使用生成式模型高效压缩图像与视频数据


论文地址:https://arxiv.org/abs/1703.01467


摘要


传统的图像和视频压缩算法要依赖手动调整的编码器/解码器对(多媒体数字信号编解码器,codec),缺乏适应性,对被压缩的数据也不可知。在这篇论文中,我们描述了生成式压缩的概念,也就是数据的压缩使用生成式模型。我们也表明这是一个值得追随的方向,可在图像和视频数据上取得更准确的、视觉上更享受的高压缩重建。我们也证明,相比于传统的变长度编码方案,生成式压缩在比特误码率上有更大的复原力(例如,从有噪声的无线通信频道)。



图 1:传统图像压缩对比生成式图像压缩


图 2:图像的生成式压缩架构(左图)与视频的生成式压缩架构


图 3:使用各种压缩技术进行图像重建的对比


图 4:(a) 压缩图像真实可信度的验证 (η=压缩因子),NCode 与 JPEG、JPEG2000、Toderici et al[6] 方法进行对比,使用在未压缩图像上单独训练的卷积网络将每个样本分类到相应的 CIFAR-10 数据集类别中。(b) 每个 NCode 图像数据集上重建图像质量的损失(PSNR)用比特误码率函数 ε 表示。JPEG PSNR 在 ε ∼ 10−4 上的损失大约超过 7dB。

理论MIT生成模型理论论文计算机视觉图像压缩
1
上面放了一个 pix2Code 截图是什么意思