Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

图鸭科技提出图像压缩技术TNG:节省55%带宽

在社交网络上,用户每天都要使用、分享和下载图片,但是很多高清图片由于存储和带宽的压力被人为降低了画质。

伴随着 2K 手机和 4K 显示屏逐渐成熟并走向市场,用户对高清画质的要求也在逐渐增加。但是高清显示一直缺乏内容,成为行业发展的痛点。所以将低分辨图片转化为高清版本,并在各大设备上进行查看和分享,已成为市场的巨大需求。

今天,图鸭发布黑科技——Tiny Network Graphics(TNG),将解决这一痛点。

何为 TNG?

TNG 是图鸭科技在 2018 年推出的一款图像压缩技术,旨在在保持图片的质量下,尽可能降低图片的大小,使用户在带宽受限的网络情况下,仍然可以看到高清的图像;同时帮助图片类企业节约大量的带宽成本。

相比目前市面上的图像压缩技术,图鸭 TNG 采用了深度学习卷积网络(CNN)的编码方式,与 JPEG 相比,压缩率提升了 122%;与 WebP 相比,压缩率提高了 30%。而且相比 BPG/HEIF 等图片格式,TNG 采用了 CNN 技术而非 HEVC 编解码器,在保证图片质量的同时,避免了高昂的专利费用。

TNG 采用了何种方式

TNG 采用的算法是深度学习技术中的卷积神经网络(CNN)。卷积神经网络是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围,适合大型图像处理。

上图是卷积神经网络的示意图,我们看图可以发现,它就像搭积木一样,一个卷积神经网络由卷积、池化、非线性函数、归一化层等模块组成。最终的输出根据应用而定,如在人脸识别领域,我们可以用它来提取一串特征来表示一幅人脸图片。然后通过比较特征的异同进行人脸识别。

在 TNG 里,图鸭采用了量化与反量化的技术。通过量化技术将浮点数转换为整数或二进制数,这时通常采用的方法是:去除浮点数后面的小数,将浮点数变成整数。在解码端,又采用反量化技术将变换后的特征数据恢复成浮点数,如给整数加上一个随机小数。这样可以一定程度上降低量化对神经网络精度的影响,从而提高恢复图像的质量。

TNG 与 WebP 对比

WebP 是谷歌推出的影像技术。它采用了 VP8 编码内核,利用预测编码技术,达到减少数据量、加速网络传输目的。其图片压缩体积大约只有 JPEG 的 2/3。目前 facebook 等知名网站已开始使用 WebP 格式。

下图是 TNG 与 WebP 的 PSNR 值和 MISSIM 值对比

图 1 TNG 与 WebP 的 PSNR 值和 MISSIM 值对比图

熟悉图像压缩的朋友可以直接通过 PSNR 和 MS-SSIM 值看出:TNG 在图像压缩上明显优于 WebP。

下面是在低码字情况下 TNG 与 WebP 压缩效果对比

TNG

WebP

图 2 低码字情况下 TNG 与 WebP 压缩效果对比

相比 TNG,WebP 尽管保留了更多的细节,但是其失真更多,不利于后期恢复。而 TNG 采用了保边滤波的方法,让其失真更少,整体图像效果优于 WebP。

TNG 与 BPG 对比

BPG 是知名程序员、ffmpeg 和 QEMU 等项目作者 Fabrice Bellard 推出的图像格式,它以 HEVC 编码为内核,在相同体积下,BPG 文件大小只有 JPEG 的一半。尽管 BPG 有很好的压缩效果,但是 HEVC 的专利费很高,所以目前的市场使用比较少。

下图是 TNG 与 BPG 的 PSNR 值和 MISSIM 值对比

图 3 TNG 与 BPG 的 PSNR 值和 MISSIM 值对比图

我们可以看到,TNG 的 MS-SSIM 值整体优于 BPG,PSNR 值在高码字的情况下,也优于 BPG。

接下来就高码字和低码字两种情况来进行压缩图像对比。

在高码字情况下 TNG 与 BPG 对比


TNG

BPG

TNG

BPG

图 4 高码字情况下 TNG 与 BPG 压缩效果对比

上面 4 幅图是高码字的情况,在实际的测试中,BPG 会出现第二张图所示的块状——高频失真导致的振铃效应;以及第四张图所示的颜色失真情况;而反观 TNG 其基本不会出现这类的失真状况。

振铃效应是因为 BPG 在编码压缩时尽管图片的不同块内容不一样,但采用了同一编码参数,而导致的图像退化中信息量的流失,尤其是高频信息的丢失。

颜色失真是因为 BPG 在编码图片时,其 YUV 通道是分开进行编解码,产生了一些色差。

而 TNG 在编码时考虑到了整体图片的情况,采用了同一编码,也就避免了上述的情况。

在低码字的情况下 TNG 与 BPG 的对比


BPG

TNG

图 5 低码字情况下 TNG 与 BPG 压缩效果对比

上图是低码字情况下 BPG 与 TNG 的对比,BPG 压缩中出现了伪轮廓和块效应等问题,整个图片的连续性比较差;而 TNG 的图片连续性和物体的轮廓保持的比较好。

图片压缩整体对比


图 6 图鸭 TNG 图片格式与其他图片格式在同一压缩比下的 PSNR 值与 MS-SSIM 值对比

在上图我们可以看到在高码字的情况下,TNG 的 PSNR 是最优的。在低码字时,其 PSNR 值也是远远高于 WebP 和 JPEG2000。而且不论在什么压缩比下,TNG 的 MS-SSIM 值都是最优的。

产业产业图像压缩图鸭科技
5
暂无评论
暂无评论~