自监督图像增强网络:仅用微光图像训练
深度学习
最后更新 2020-05-26 16:30 阅读 5893
最后更新 2020-05-26 16:30
阅读 5893
深度学习
Self-supervised Image Enhancement Network: Training with Low Light Images Only
Problems
•一是如何保证预先训练的网络能够用于从不同设备、不同场景、不同光照条件下采集的图像,而不是建立新的训练数据集。
•另一个是如何确定用于监控的正常光图像是否最好,对于一个低光图像可以有很多正常光图像。
Method
•我们认为微光图像增强任务是以更直观的方式显示微光图像中包含的信息,而不是创建新的信息。
•同时,根据熵理论,直方图均匀分布的图像熵最大,信息量最大。基于以上分析,我们提出了一个假设,即增强图像最大通道的直方图分布应与直方图均衡化后的微光图像最大通道的直方图分布一致。在这种假设下,可以在没有正常光照图像的情况下设计损失函数,它不仅可以保持增强图像的真实性,而且可以保证增强图像具有足够的信息。
Contribution
•提出了一种新的基于最大熵的Retinex模型,并给出了其理论来源。
•结合深度学习,我们提出了一个自监督的微光图像增强网络,它可以在一幅微光图像上完成训练。
•该方法只需进行分钟级训练,实时性好。通过实验和客观指标验证了算法的增强效果和稳定性。
Maximum Entropy Based Retinex model
Architecture
Experiment
•1、dataset: 500个自然微光图像
•2、device: Nvidia GTX 2080Ti GPU and Inter Core i9-9900K CPU
•3、Evaluation Indexes: 灰度熵(GE)、颜色熵(CE,颜色熵是R、G、B通道的熵之和)、灰度平均照度(GMI)、灰度平均梯度(GMG)、LOE、NIQE、PSNR、SSIM
•4、在每一个实验中,唯一的区别是训练patch,它似乎对训练结果有影响。这些训练patch是随机选取和裁剪的
Result
Conclusion
•1、效果一般
•2、实验过程和数据增广可以参考