JASPER_W_

  • 12

    获得赞
  • 24

    发布的文章
  • 0

    答辩的项目

介绍一篇较新的暗图像增强论文(AAAI2020)

深度学习

最后更新 2020-05-12 19:57 阅读 158

最后更新 2020-05-12 19:57

阅读 158

深度学习

Progressive Retinex: Mutually Reinforced Illumination-Noise Perception Network for Low Light Image Enhancement 

image.pngProblems

•对比度增强和噪声去除是微光图像增强的耦合问题。现有的基于Retinex的方法没有考虑耦合关系,导致增强图像的欠平滑或过平滑。 

•两个任务之间存在耦合关系,这表现为:1)噪声水平确实取决于照明强度;2)噪声的存在显著影响照明的统计分布。忽略耦合关系可能导致对光照或噪声的不准确估计,从而导致欠平滑或过平滑增强结果

Method

•为了解决这一问题,本文提出了一种新的渐进式Retinex框架结构,该结构以相互增强的方式接收微光图像的光照和噪声,从而达到降噪微光增强的效果。具体地说,设计了两个全点卷积神经网络,分别对环境光和图像噪声的统计规律进行建模,并利用它们作为约束条件,便于相互学习。该方法不仅抑制了微小纹理与图像噪声之间的模糊性所带来的干扰,而且大大提高了计算效率。 

•此外,为了解决训练数据不足的问题,我们提出了一种基于摄像机成像模型的图像合成策略,该策略生成的彩色图像受到光照相关噪声的影响。在合成和真实的微光图像上的实验结果证明了我们提出的方法相对于最新的微光增强方法的优越性。

Contribution

•我们提出了一种新的渐进式Retinex框架,在该框架中,以相互增强的方式感知低光图像的光照和噪声,从而获得令人满意的增强效果。 

•我们设计了两个完全逐点卷积神经网络,分别对环境光和图像噪声的统计规律进行建模,并利用它们作为约束条件,以促进相互学习过程。 

•在合成数据和真实数据上的实验结果都证明了我们的方法优于现有的Retinex方法和其他SOTA低光增强方法。

Motivation

截屏2020-05-12 下午3.21.16.png•因此,我们设计了一个由点卷积单元组成的新的CNN模型来表示微光图像的光照和噪声统计特性。点态卷积层的原理如图所示。首先用逐点卷积表示每个像素的三个颜色分量之间的内在相关性,然后通过最大池运算在表示空间中选择具有统计意义的像素。多点卷积层的联合效应相当于在不同接收场中的多表示融合和非最大值抑制。最后选定的代表像素的统计信息被建模为Retinex分解的正则性。

image.png由于光照与噪声之间的耦合关系,所选的光照与噪声代表像素之间不可避免地存在交叉,这可能会引入统计建模的干扰。为了解决这一问题,我们提出了一种渐进学习机制,在该机制中,选择照明和噪声的代表像素,并以相互加强的方式进行统计建模。照度图可以作为噪声水平估计中抑制交叉点干扰的参考,反之亦然

Network Architecture

image.pngIM-NET

•IM-NET的目标是估计给定的低光斑的照度。最大亮度像素与环境光照关系最密切。为了选择最具代表性的像素,我们提出了一个完全点式的CNN,即IM-Net,来学习环境照明的表示。我们引入两个并行卷积分支来学习多尺度特征。一个分支由两个并行的1*1卷积单元组成,用于提取每个尺度的统计数据。具体地说,1×1卷积单元包含逐点卷积过程和max池操作。然后,将来自两个分支的特征组合在一起作为下一个1*1卷积单元的输入。 

•IM-Net基于选定的代表像素,能够准确地对环境光照的统计规律进行建模和估计。

NM-Net

截屏2020-05-12 下午3.28.38.pngLoss Function 

截屏2020-05-12 下午3.29.07.pngExperiments

image.pngimage.pngimage.pngInspiration

•1、存在一个较大的局限性,由于只考虑像素空间的统计分布而忽略了结构性质,1*1的卷积核感受野比较小,导致卷积的时候没有邻域信息。

本作品采用知识共享署名-非商业性使用-相同方式共享 4.0 国际许可协议进行许可,转载请附上原文出处链接和本声明。
本文链接地址:https://www.flyai.com/article/465
讨论
500字
表情
每日优质讨论奖励 20FAI
发送
每日优质讨论奖励 20FAI
删除确认
是否删除该条评论?
取消 删除