文章目录[隐藏]

  • 抗马赛克技术分析。
  • 抗马赛克技术的多领域应用。
  • 摘要

去除马赛克(真的可以一键去除马赛克吗？)

说白了，AI就是用机器代替人力的技术。像米托这样的软件，应该是离我们最近、最常用的。众所周知，在美颜相机、美图秀秀等软件诞生之前，照片的美化需要专业的美术设计师通过PS进行调整。与以往不同的是，很多米托app都增加了“一键AI修图”的功能，省去了传统ps修图复杂的操作流程。

随着5G时代的到来，AI技术得到了进一步的发展。近年来，互联网上出现了“AI换脸”技术，让人目瞪口呆。AI可以直接捕捉一个人的面部运动形态，然后转换成另一个人的面部，这样即使是直播，也可以在视频中使用才是正版。

这还不是最厉害的。近日，有网友利用AI技术开发了一款名为“一键去除马赛克”的软件。发布不久，迅速走红网络。这么神奇的技术，是怎么实现的？

抗马赛克技术分析。

在普及这项技术之前，首先要了解马赛克的概念。早期的马赛克指的是古希腊的拼贴马赛克工艺，现在指的是降低图像特定区域的色阶细节，造成色块被打乱，让人看不清具体画面的效果。

马赛克就像一把双刃剑。对于那些需要马赛克的电影，它不仅可以保护个人隐私，还可以通过模糊或屏蔽敏感信息来去除一些令人不舒服的画面，如暴力和恐怖。对于观众来说，可能就没那么友好了，就像手机上的刘海平一样。感觉有些内容被覆盖了，真的很不舒服。

目前流行的反马赛克软件有两种，分别是JavPlayer和PULSE。

JavPlayer使用深度学习视频超变分率算法对视频中的每一帧进行采样，然后通过AI算法还原马赛克像素。不过，也会有一些朋友表示怀疑。恢复的图像会是假的吗？

答:不会，因为这个软件通过CPU和GPU的大量AI操作来还原图像，对马赛克模糊进行重新锐化，然后插值补偿损失得到源图像。但需要注意的是，JavPlayer只能修复细码视频，这意味着马赛克网格比较大，丢失的像素比较少，所以插值补偿后的图像误差会比较小。

杜克大学的去马赛克方法不同。他们开发了一种叫做PULSE的算法。虽然也是一种视频超分辨率算法，可以将低分辨率的图像变为高清，但并不填充像素，而是创建高清大图像，然后降低图像的分辨率，与原始图像进行比较，找出匹配度最高的图像。

短短几秒钟，PULSE算法就能把1616像素的低分辨率图像提升到10241024的水平，效果确实不错。然而，恢复的图像和原始图像之间有很大的误差。例如，下面的马赛克奥巴马在使用PULSE算法后变成了一个白人。

简单来说，PULSE算法就是通过AI算法合成一张与原始图像匹配度最高的照片，而不是在原始图像之上进行还原，这与JavPlayer有很大的不同。

抗马赛克技术的多领域应用。

当然，防马赛克技术不仅仅局限于修复图片或视频，还广泛应用于其他领域。

为了提高光线追踪技术中高质量图像的输出速度，还需要对图像进行去噪，NVIDIA在这方面做得很好。此前，英伟达与深圳生命网络技术研究所和阿尔托大学的人工智能研究人员共同创建了一个名为Noise2Noise的项目。

项目组从mageNet数据库中获得了500，000幅图像，并对它们进行了噪声增强处理。然后利用这些图像进行降噪，从而训练AI的降噪能力。

Noise2Noise在医疗领域非常适用，比如扫描核磁共振图像，可以用来降低图像的噪声，方便医生查看更清晰的图像。

此外，NVIDIA的DLSS 2.0技术类似于Noise2Noise，可以使用AI修复图像。采用DLSS 2.0技术，显卡可以模拟1080P画面到4K显示。

除了NVIDIA，Adobe在防马赛克技术上也做了相当多的研究。

去年6月，Adobe正式公布了PS反向恢复技术，利用AI算法和机器学习来判断图片是否被修改过。在确认图像的变化后，这项技术会将图像恢复到修改前的原始形状。也就是说，即使图像是马赛克的，也可以恢复。

事实上，去马赛克是一种图像增强技术。这就好比vivo X50系列的超清修复功能，可以修复老照片，同时实现了vivo相册中文档阴影去除和照片路人去除的功能。

摘要

目前市场上还没有能完全有效去除马赛克的技术。现阶段，所有技术都使用AI来模拟和比较数据库中的相似图像。虽然有些技术是基于原图修复的，但本质上并不是原图。AI只能实现无限接近，修复后的图像不能等同于原始图像。

一般来说，马赛克图像可以理解为去除图像的子像素。一旦一个子像素丢失，即使是AI也无法按原样计算。因此，没有任何工具可以真正去马赛克。

但一直有人说，除了网友开发的反马赛克工具，其实很少有科技公司关心AI技术是否真的可以去编码，他们的最终目的是让低分辨率的图像变得高清，反马赛克只是一个附带的任务。