视频图像去雾霾算法研究与实现
来源:用户上传
作者:
摘要 通过课题的研究背景及意义，可以明确视频图像去雾霾的必要性。因为图像增强技术去雾霾时只增强对比度，去雾霾效果不好，所以本文选用图像复原算法。首先，结合暗通道先验理论和大气散射模型，实现单帧图像去雾霾。该方法会导致天空等特殊区域出现失真。然后，通过阈值法、定值法和容差机制法对大气光系数和透射率做出改进，总结出五种去雾霾优化算法。再结合调查问卷的结果从主观评价去雾霾效果，记录算法运行时间从客观评价去雾霾速度。最后，对背景静态的视频进行去雾霾。先提取背景帧，然后求取通用大气光系数和通用透射率，再用它们给每一帧图像去雾霾。此方法移除雾霾后视频不同帧图像之间无色差，同时去雾霾速度比较理想。
关键词：暗通道先验;图像去雾霾;视频去雾霾;容差机制
中图分类号： TP39 文献标识码：A
文章编号：1009-3044（2020）17-0167-03
Abstract： Through the research background and significance of the topic， it is possible to clarify the necessity of removing haze in video images. Because the image enhancement technology only enhances the contrast when haze is removed， the effect of defogging is not good， so the image restoration algorithm is used in this thesis. Firstly， the single-frame image defogging is achieved by combining the dark channel prior theory and the atmospheric scattering model. This method will cause distortion in special areas such as the sky. Then， the atmospheric optical coefficient and transmittance are improved by the threshold method， fixed value method and tolerance mechanism method， and five kinds of dehaze optimization algorithms are summarized. Combined with the results of the survey questionnaire from the subjective evaluation to the haze effect， the recording algorithm running time objectively evaluates the haze speed. Finally， go to the background static video to go haze. The background frame is extracted first， then the general atmospheric light coefficient and the universal transmittance are obtained， and then they are used to de- haze each frame of image. This method has no color difference between the images of different frames of the video after the fog is removed， and at the same time， the speed of de- haze is ideal.
Key words： dark channel prior;image defogging;video defogging;tolerance mechanism
1 绪论
视频图像在我们的生活中被广泛应用。雾霾影响视频图像的拍摄效果，妨碍我们直接从中直接获取有用信息。这说明视频图像去雾霾很有必要。目前视频图像去雾霾软件技术主要分为图像增强算法和图像复原算法。图像增强算法只注重对比度的提高，有时会出现残雾。图像复原算法从成像原理上进行去雾霾。最终本文使用图像复原算法分支下基于先验信息的暗通道先验理论进行视频图像去雾霾。
2 基于暗通道先验理论图像去雾霾的实现
暗通道先验理论[1]最简洁的描述：在绝大多数非天空的区域里，某一些像素总会存在至少一个通道具有很低的值。也就是说，该区域的光强最小值趋近于零。
公式（1）为大气散射模型，公式中I（x）为待处理的有雾霾图像，J（x）为需要恢复的清晰无雾霾图像，A是大气光系数，t（x）为透射率。基于大气散射模型的图像去雾霾算法就是解上述方程中J（x）获取原图像的过程。
观察公式（1），这是一个有无数解的方程。要想通过有雾霾图像反解出无雾霾图像，就需要借助先验知识。首先，通过有雾霾图像求解其暗通道图。然后，在有雾霾图像的暗通道图中选取灰度值前0.1%的像素点，记录下他们的位置，对应这些位置到原始有雾霾图像中，选取亮度值最高的点，将其三通道值作为大气光系数。接着，结合大气光系数和有雾霾图像的暗通道图，求解出预估透射率图。再将预估透射率图作为输入图，原始有雾霾图像作为导向图，进行导向滤波，得到精细透射率图。最终，结合精细透射率图、大气光系数和原始有雾霾图像，求解无雾霾图像。单帧图像去雾霾的實现如图1所示。 3 单帧图像去雾霾算法的优化
由于原始暗通道先验去雾霾算法对于天空等特殊区域处理不佳，本章着重于优化图像去雾霾算法。
3.1五种改进方法
本文应用阈值法、定值法和容差机制法，分别优化大气光系数和透射率，从不同方向对原始暗通道先验去雾霾算法（方法A）做出改进。同时，我们以调查问卷的结果作为人们对不同算法去雾霾效果的认可程度，结合主观分析，总结每个方法的特点。
过亮天空区域去雾霾后图像失真是由大气光系数A过大造成的。于是本文用阈值法优化大气光系数。通过大量实验，我们发现大气光系数220是一个临界值，高于此值容易发生去雾霾后图像失真现象。当大气光系数低于220时，不做优化。当大气光系数高于220时，取其值为220。阈值法优化大气光（方法B）只能解决过亮天空区域造成的影响，对于其他天空区域处理依旧不是很好。
经过不断实验，我们发现大气光系数取220可以兼容大量图像去雾霾的情况。当用定值法优化大气光系数时，会导致图像不同程度变暗，有时可以达到偏暗个性化的要求，有时会带来失真问题。定值法优化大气光（方法C）是一种快速去雾霾算法，在去雾霾速度上优于其他五种算法。
方法B和方法C只能消除过亮天空区域的影响，当天空区域不是很亮时，很难从大气光系数A单方面判断是否存在天空区域。此时需要考虑A与I的差值。吴城论文中[2]提到容差机制，将|I-A|<K定为特殊区域，将|I-A|>K定为可以用暗通道先验理论进行处理的区域。吴城认为K取60最佳。本文使用容差机制法优化大气光（方法D），当|I-A|<K时，优化大气光系数为220;当|I-A|>K时，大气光系数不优化。因为每张图像基本都存在特殊点，只是特殊点不构成区域时，不对图像造成影响。经总结，我们发现优化大气光系数作用于图像整体，这是因为每个像素点对应同一大气光系数。
因为每个像素点对应单独的透射率，所以优化透射率可以作用于图像局部。蒋建国提出[3]容差机制法优化透射率时无雾霾图像J的调整公式为：
蒋建国认为K取50效果最佳。容差机制法非线性优化透射率（方法E）自适应性最好，既可以防止天空区域失真，也能保留图像深处景色信息。
天空区域过多时，容差机制法非线性优化透射率（方法E）已经无法完全消除天空区域的失真，此时可以将天空区域的透射率设为定值1。容差机制法定值优化透射率（方法F）能处理天空区域过多的情况，但有时会导致非天空区域有残雾。
3.2不同改进算法优势的对比分析
在保证去雾霾效果的同时，提高处理速度也是必要的，因为去雾霾算法的处理效果和处理速度都决定着该算法能否应用于实际。通过记录程序运行时间，本文归纳出方法C是单帧图像快速去雾霾算法。
结合表1与图3，即可发现没有一种方法可以保证所有图像去雾霾效果都很好。因为每张有雾霾图像都有其个性，无共性。布局相似的两张有雾霾图像，去雾霾效果的主观评价差异却很大。这是因为针对不同图像，人们注重去雾霾后图像的区域不同。
4 视频去雾霾方法探索
视频去雾霾速度的提高和不同帧图像之间色差的减小，是本文主要考虑的两个问题。
本文原始去雾霾流程为：1）将有雾霾视频拆解成帧图像;2）对每帧图像进行去雾霾;3）将去雾霾后所有帧图像合成无雾霾视频。
本文使用原始去雾霾流程对背景动态视频进行处理时，去雾霾后的视频发生闪烁现象，这是由于不同帧图像之间透射率和大气光系数差异过大导致。本文更换视频源，使用原始去雾霾流程对背景静态视频进行处理，发现去雾霾后视频不同帧图像之间色差减小，但是去雾霾速度依旧很慢。
本文优化视频去雾霾流程：1）从有雾霾视频中每隔10帧取一帧，对取出的帧取平均，得到背景帧;（2）将背景帧的透射率和大气光系数作为通用透射率和通用大气光系数，对每一帧有雾霾图像进行处理;（3）将去雾霾后所有帧图像合成无雾霾视频。
使用优化视频去雾霾流程对背景静态视频进行处理时，去雾霾后视频不同帧之间无色差，同时去雾霾速度明显提高。观察图4，即可发现针对一个174帧长10秒的有雾霾视频，使用原始流程去雾霾时间长达200秒。优化流程后，针对该视频处理时间只需要16秒。使用优化流程处理一个长度为303帧的视频只需要17秒，处理时间不随原视频长度成比例线性大幅度增加。这说明该算法具有可行性。
5 结论
视频图像去雾霾是当今研究的热点问题。人们可以从去雾霾后的视频图像中直接获取有效信息。在视频图像去雾霾领域，被公认最实用的是暗通道先验算法。但是原始暗通道先验去雾霾算法对天空区域处理不佳，本文归纳并总结出五种图像去雾霾优化算法，可以从不同方面对去雾霾后天空区域失真进行改善。视频去雾霾方面，我们发现原始视频去雾霾流程会导致背景动态视频去雾霾后发生闪烁现象。我们用原始视频去雾霾流程对背景静态视频进行处理，处理后视频不同帧图像之间色差减小，但是去雾霾速度很慢。本文优化视频去雾霾流程后，再对背景静态视频进行处理，去雾霾后视频不同帧图像之间无色差，同时去雾霾速度很理想。最终，本文视频图像去雾霾算法均具有实用性。
参考文献：
[1] He Kaiming，Sun Jian，Tang Xiaoou. Single Image Haze Removal Using Dark Channel Prior.[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence，2010.
[2] 吴城. 基于暗原色先验的视频去雾研究[D].北方民族大学，2016.
[3] 蒋建国，侯天峰，齐美彬.改进的基于暗原色先验的图像去雾算法[J].电路与系统学报，2011，16（2）：7-12.
【通聯编辑：唐一东】
转载注明来源:https://www.xzbu.com/8/view-15314616.htm
