SR-ITM——融合超分辨率和逆色调映射（一）-FlyAI

SR-ITM——融合超分辨率和逆色调映射（一）

视觉计算

最后更新 2020-07-20 20:22 阅读 198

最后更新 2020-07-20 20:22

阅读 198

视觉计算

论文:Deep SR-ITM: Joint Learning of Super-Resolution and Inverse Tone-Mapping for 4K UHD HDR Applications
论文地址：https://arxiv.org/abs/1904.11176v1
代码：https://github.com/greatwallet/Pytorch-Implemented-Deep-SR-ITM

这篇文章为2019年ICCV的oral论文，以融合超分辨率技术和逆色调映射，来达到图像质量的改善。准备三期更新该系列论文。这篇解读先围绕超分辨率技术进行综述介绍，下一期围绕逆色色调技术展开综述讲解。最后一期主讲该超分辨率和逆半色调的融合算法。
![](https://dataset.flyai.com/2c8a538a160b8826e43d77cd0fdd399.png)
目前由于4K/8K  HDR电视的快速发展，HDR超高清视频提供更好的体验，而目前缺乏HDR视频，拍摄制作复杂。所以存在大量存在HD SDR视频需要算法改进。

超分辨率（SR）：
SR: Low resolution 到 High resolution
![](https://dataset.flyai.com/164c9f26fa29644f4f502a8d464993c.png)

逆色调映射(ITM): 
Standard dynamic range到High dynamic range
![](https://dataset.flyai.com/1a8985ff1f5d718240ffaaf1748b59e.png)

SDR:主要满足如下标准：
8 bits/pixel
BT.709 color container
Gamma transfer function

HDR:主要满足如下标准：
10 bits/pixel
BT.2020 color container
PQ transfer function

一、超分辨率技术
图像超分辨率在最近几年引起了广泛的注意，成为计算机视觉方向火热的研究方向。图像超分辨率的目的是将粗糙的低分辨率图像转换成更高视觉质量和细粒度信息的高分辨率图像。图像超分辨率也经常被叫做插值，上采样等等。一般可以使用单张图像或者多张图像来产生高分辨率图像。
图像超分辨率重构方法主要分为两类，分别为传统方法和基于深度学习的方法。传统经典的算法已经经过了几十年的发展，但是依然没有深度学习的表现好。因此，最近几年的算法主要基于深度学习的方法，通过深度学习重构出细节信息和较高的准确率。深度学习是机器学习的一个分支，主要是通过数据学习输入和输出之间的关系。除了图像超分辨率重构领域，深度学习在其他子领域也有出色的表现，如目标分类和检测、自然语言处理、语音识别等。

![](https://dataset.flyai.com/084901bcb27f311b4d032fd93f7600d.png)
SRCNN
SRCNN是第一次应用卷积神经网络到图像超分辨率领域，属于开创性工作。它仅仅由几个卷积层构成，每个卷积层后使用ReLU激活函数。整个网络中，只有3个卷积层和2个ReLU层，逐一堆叠起来，形成整个网络结构。该文章作者根据每层的功能不同，将第一层作为特征提取层，来提取输入图像的特征；第二层是非线性映射层，将特征图转换为高维的特征向量；最后一层聚集特征图然后输出最终的高分辨率图像。
![](https://dataset.flyai.com/9e757876cfdd274bcaf7433bde6d5e9.png)
VDSR
VDSR不像SRCNN和FSRCNN那种浅层网络，而VDSR是基于深度卷积网络结构而形成的非常深层的网络。该网络是基于VGG-net网络，整个网络使用3*3的卷积核。为了避免慢收敛的问题，他们提出了两个有效的策略。第一个是使用残差连接，使得网络可以可以处理高频信息，保证高频信息的不丢失。第二个是使用梯度剪切，这样可以允许用高的学习率来加速整个训练过程。他们的结果表明更深的网络可以提供更好的语义化信息和学习更一般化的表示，这可以被用来处理多尺度的超分辨率问题。
![](https://dataset.flyai.com/5506d4bc1ac4749b5101fa65dff27be.png)
ESPCN
ESPCN是一种快速重构超分辨率图像和视频的方法。在前面讨论的一些模型中，传统的SR技术主要是先通过双线性插值到目标尺寸图像，然后通过特征提取，最后重构出高分辨率图像，而ESPCN方法则是直接在原始图片大小进行特征提取，这样可以减少很大的计算量，直接在低纬LR空间进行特征提取，才使得该模型可以实时重构高分辨率图像。在特征提取后，ESPCN使用一种亚像素卷积的方法，实时投影到高纬空间，重构出HR图像。而该模型的特征提取很重要的减少了存储和计算的要求，可以实时在GPU上将视频转为1080p的视频。
![](https://dataset.flyai.com/94dd8397473c382bd76a5c55acff2d6.png)
CARN
该模型中，通过ResNet块来学习低分辨率图像和高分辨率图像之间的关系。而与其他模型不同的是，该模型之间的区别在于存在局部和全局级联模块。中间层的特征被级联并收敛到1×1卷积层上。本地级联连接与全局级联连接相同，该策略通过多级表示和多个快捷连接，使得信息传播更加有效。利用BSD，作者等人提出的64×64块对模型进行训练。通过对DIV2K数据集进行数据增强处理，采用损失adam用于优化。
![](https://dataset.flyai.com/4ebdc003b68540426007273d2ab3569.png)
LapSRN
LapSRN采用金字塔结构。LapSRN由三个子网络组成，逐步预测残差图像，其放大因子可达8倍。每个子网的残差图像被添加到输入的LR图像中以获得SR图像。第一个子网的输出为2×残差，第二个子网的输出为4×残差，最后一个子网的输出为8×残差。这些残差图像被添加到相应缩放的上采样图像中，以获得最终的超分辨率图像。本文将残差预测分支称为特征提取，将二次图像与残差相加称为图像重建分支。上图显示了由三种元素组成的LapSRN网络，即卷积层、ReLU层和反卷积层。按照CNN惯例，卷积层位于ReLU和子网络末端的反卷积层之前，以将残余图像的大小增加到相应的比例。
LapSRN使用了一个称为Charbonnier的L1损失函数的可微变量，它可以处理异常值。在每个子网中使用损失，类似于多损失结构。此外，卷积层和反卷积层的滤波器尺寸分别为3×3和4×4，每个滤波器有64个通道。训练数据与SRCNN相似，即来自Yang等人的91幅图像来自BSD数据集的200幅图像。
LapSRN模型使用三个不同的模型来执行2×4×和8×的放大。他们还提出了一个称为多尺度LapSRN的模型，该模型共同学习处理多个SR尺度。有趣的是，一个MsLapSRN模型比三个不同模型的结果要好。对这种效应的一种解释是，单一模型利用了共同的尺度间特征，有助于获得更准确的结果。
![](https://dataset.flyai.com/45d60935dab77c7a3a04ed423d330bd.png)
SRGAN
SRGAN提出使用一个对抗性目标函数来促进接近自然图像流形的超分辨输出。他们工作的主要亮点是由三个主要部分组成：
（1）编码像素级相似性的丢失;
（2）根据在高级别图像表示上定义的距离度量的感知相似性度量，以及（3）平衡最小-最大博弈的对抗性丢失。
在发生器和鉴别器之间,该框架基本上支持与高维图像在感知上相似的输出。
为了量化这种能力，他们引入了一种新的平均意见评分（MOS），由人工评分员手动分配，表示每个超分辨率图像的质量差/优。由于其他技术通常学习优化直接的数据相关度量（如像素误差）,在感知质量度量上明显优于竞争对手。
![](https://dataset.flyai.com/b111d377a4dba8b3b6bea8c40897b26.png)
 DRLN
密集残差拉普拉斯注意网络（ DRLN）被引入到图像的超分辨中。网络结构是模块化和层次化的，网络的主要亮点是
1）：模块化架构，
2）：密集连接的剩余单元，
3）：级联连接，
4）：拉普拉斯注意力结构。
DRLN利用了不同的连接，比如长跳转、中跳转、本地跳转和级联跳转。类似地，在每个块中，三个剩余单元密集连接以学习紧致表示。然后，在同一块中使用拉普拉斯注意对学习到的特征进行加权。该结构在每个块的整个网络中重复。目前，所有数据集的最佳结果都是由DRLN提供的。
与RCAN类似，DRLN采用丢包功能对网络进行训练训练设置与RCAN相同，即训练补丁大小、时间段数、优化器等。DRLN的改进可归因于具有Laplacian注意和级联结构的创新模块。与RCAN相比，DRLN的卷积层数明显减少。然而，另一方面，DRLN的参数数目更高；与使用昂贵的操作的RCAN相比，由于信道的级联，它在计算上是廉价的
![](https://dataset.flyai.com/968279e570bb7083f29d79d73f447ec.png)
DRN
DRN是CVPR2020年的文章，提出了一种新颖的方法，即对偶一致性联合学习，可以有效的重构高分辨率图像。

以上简要介绍超分辨率近几年进展的经典论文，如果对该领域感兴趣可以深入阅读论文。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可，转载请附上原文出处链接和本声明。
本文链接地址：https://www.flyai.com/article/613

讨论

500字

表情

每日优质讨论奖励 20FAI

发送

每日优质讨论奖励 20FAI

删除确认

是否删除该条评论？

取消删除