视频图像中雨滴去除技术研究

硕士毕业论文,视频图像雨滴去除技术研究

合肥工业大学

硕士学位论文

视频图像中雨滴去除技术研究

姓名：耿彪

申请学位级别：硕士

专业：信号与信息处理

指导教师：齐美彬；蒋建国

201203

硕士毕业论文,视频图像雨滴去除技术研究

视频图像中雨滴去除技术研究

摘要

计算机视觉系统越来越广泛地应用于智能交通、工业生产、目标识别等领域，但是恶劣天气严重影响到户外监控系统的识别，跟踪等性能。所以对视频图像进行预处理，消除各种天气因素的影响，对于一个全天候的户外视觉系统来说是必不可少的。而雨是最频繁的恶劣天气，视频图像受雨滴影响会严重退化，因此检测和去除视频图像中的雨滴是一项非常艰巨的任务。本文主要对视频图像中雨滴的去除进行了研究，将视频中雨景分成静态场景和动态场景两种类型，针对不同情况分别研究了各自的解决方法。

静态场景下雨滴的去除。针对目前已有静态算法不能同时保证雨滴去除效果和实时性的问题，本文提出一种基于样本模型的背景减法来分类检测雨滴。采用了视频序列的第一帧为模板来快速初始化背景模型，能快速实时地进行背景减法，对像素进行分类从而检测出雨滴。此外，使用了一个快速简单的方法来随机选取像素的八邻域值，从而准确建立与更新样本模型。在雨滴去除时，不再考虑相邻帧的像素信息，而是用其样本模型的均值来代替被雨滴所覆盖像素的亮度值。实验证明了该算法在具有较好的实时性的同时，也能有效的实现雨滴去除的目的。

动态场景下雨滴的去除。针对运动目标会对雨滴的去除造成严重干扰的问题，深入学习研究了目前动态场景下雨滴去除的几种方法，并分析它们的优缺点。本文在雨滴时域统计特性的基础上，实现了一种动态场景下雨滴的检测算法。与以往的雨滴检测方法有所不同，该方法不再利用雨滴的物理、色度特性以及相机的参数，而是根据雨滴在帧间亮度值变化差异相对较小的特性来区别雨滴与运动目标，使算法具有更好的鲁棒性。另外在传统的雨滴去除方法的基础上引入了帧内邻域像素的信息，由于空间相邻的像素有着非常相似的背景，使该方法能在场景复杂的情况下能有效地实现雨滴的去除的目的。

关键词：计算机视觉系统样本模型背景减法雨滴检测雨滴去除

硕士毕业论文,视频图像雨滴去除技术研究

Ｒｅｓｅａｒｃｈｏｎｒａｉｎｒｅｍｏｖａｌｉｎｖｉｄｅｏｉｍａｇｅ

ＡＢＳＴＲＡＣＴ

ｉｎｔｈｅｆｉｅｌｄｏｆｂｅｃｏｍｉｎｇｉｎｃｒｅａｓｉｎｇｌｙｗｉｄｅｌｙｕｓｅｄＣｏｍｐｕｔｅｒｖｉｓｉｏｎｓｙｓｔｅｍｓａｒｅ

ａｎｄｔａｒｇｅｔｒｅｃｏｇｎｉｔｉｏｎ Ｈｏｗｅｖｅｒ，ｉｎｔｅｌｌｉｇｅｎｔｔｒａｎｓｐｏｒｔａｔｉｏｎ，ｉｎｄｕｓｔｒｉａｌｐｒｏｄｕｃｔｉｏｎ

ｂａｄｗｅａｔｈｅｒｗｉｌｌａｆｆｅｃｔｆｏｒｓｅｖｅｒｅｌｙｔｈｅｉｄｅｎｔｉｆｉｃａｔｉｏｎａｎｄｔｒａｃｋｉｎｇｐｅｒｆｏｒｍａｎｃｅ

ｔｎｅ

ａｎｏｕｔｄｏｏｒｓｕｒｖｅｉｌｌａｎｃｅｅｌｉｍｉｎａｔｅｓｙｓｔｅｍ．Ｔｈｅｖｉｄｅｏｉｍａｇｅｐｒｅ—ｐｒｏｃｅｓｓｉｎｇ，ｔｏａｖｉｓｕａｌｅｆｆｅｃｔｓｏｆｉｍａｇｅｓｉｎｖａｒｉｅｔｙｏｆｗｅａｔｈｅｒｃｏｎｄｉｔｉｏｎｓＩＳｅｓｓｅｎｔｉａｌｆｏｒ

ａｄｖｅｒｓｅａ１１一ｗｅａｔｈｅｒｏｕｔｄｏｏｒｖｉｓｉｏｎｓｙｓｔｅｍｓ．Ａｎｄｒａｉｎｉｓａｌｓｏｔｈｅｍｏｓｔｆｒｅｑｕｅｎｔ

ｔｈｅｒａｉｎｆａｌｌｗｉｌｌｗｅａｔｈｅｒｃｏｎｄｉｔｉｏｎｓ；ｔｈｅｖｉｄｅｏｉｍａｇｅｉｎｆｌｕｅｎｃｅｄｂｙｂｅｓｅｖｅｒｅｌｙ

ｌＳａｏｆｒａｉｎｄｒｏｐｓｉｎｔｈｅｖｉｄｅｏｉｍａｇｅｄｅｇｒａｄｅｄ．Ｔｈｅｒｅｆｏｒｅ，ｄｅｔｅｃｔｉｏｎａｎｄｒｅｍｏｖａｌ

ｖｅｒｖｄｉｆｆｉｃｕｌｔｔａｓｋ．Ｔｈｉｓｐａｐｅｒｍａｉｎｌｙｓｔｕｄｉｅｓｔｈｅｒｅｍｏｖａｌｏｆ

ｓｃｅｎｅｓｒａｉｎＩｎｖｉｄｅｏｉｍａｇｅ Ｒａｉｎｖｉｄｅｏｉｓｄｉｖｉｄｅｄｉｎｔｏｔｗｏｔｙｐｅｓｏｆｓｔａｔｉｃａｎｄｄｙｎａｍｉｃｓｃｅｎｅｓ Ｐｏｒ

ｄｉｆｆｅｒｅｎｔｓｉｔｕａｔｉｏｎｓｓｔｕｄｙｔｈｅｉｒｓｏｌｕｔｉｏｎ，ｒｅｓｐｅｃｔｉｖｅｌｙ．

Ｒａｉｎｄｒｏｐｓｒｅｍｏｖｅｉｎ

ｇｕａｒａｎｔｅｅｔｈｅｓｔａｔｉｃｓｃｅｎｅ．Ａｔｐｒｅｓｅｎｔ，ｔｈｅｓｔａｔｉｃａｌｇｏｒｉｔｈｍｃａｎｎｏｔｅｆ托ｃｔｏｆｒａｉｎｒｅｍｏｖａｌａｎｄｒｅａｌ－ｔｉｍｅ．Ｓｏｔｈｉｓｐａｐｅｒｐｒｅｓｅｎｔｓｔｈｅ

ｏｎｂａｓｅｄｂａｃｋｇｒｏｕｎｄｓｕｂｔｒａｃｔｉｏｎｓａｍｐｌｅｍｏｄｅｌｔｏｄｅｔｅｃｔｏｆｒａｉｎ．Ｕｓｅｔｈｅｆｉｒｓｔｆｒａｍｅ

ｏｆｔｈｅｖｉｄｅｏｓｅｑｕｅｎｃｅ

ｓｕｂｔｒａｃｔｉｏｎｔｏｔｏｉｎｉｔｉａｌｉｚｅｔｈｅｂａｃｋｇｒｏｕｎｄ，ｔｈｕｓｒａｐｉｄ，ｒｅａｌ－ｔｉｍｅｂａｃｋｇｒｏｕｎｄｔｏｄｅｔｅｃｔｒａｉｎｄｒｏｐｓ．Ｉｎａｄｄｉｔｉｏｎ，ａｃｃｏｒｄｉｎｇ

ａｔｈｅｉｎｔｒａ—ｐｉｘｅｌｓｐａｔｉａｌｃｏｒｒｅｌａｔｉｏｎ，ｔａｋｉｎｇｓｅｌｅｃｔｅｄｅｉｇｈｔｎｅｉｇｈｂｏｒｈｏｏｄｐｉｘｅｌｓｉｍｐｌｅｍｅｔｈｏｄｒａｎｄｏｍｌｙ

ｖａｌｕｅｓｔｏｃｒｅａｔｅａｎｄｕｐｄａｔｅｔｈｅｓａｍｐｌｅ

ｃｏｎｓｉｄｅｒｔｈｅｐｉｘｅｌｉｎｆｏｒｍａｔｉｏｎｏｎａｍｏｄｅｌ．Ｗｈｅｎｔｈｅｒｅｍｏｖａｌｏｆｒａｉｎ，ｗｅｄｏｎｏｔｕｓｅｓｉｍｉｌａｒｆｒａｍｅ，ｂｕｔ

ｖａｌｕｅｓｏｆｐｉｘｅｌｓｔｈｅｍｅａｎｏｆｔｈｅｓａｍｐｌｅｂｙｒａｉｎｄｒｏｐ ｌｈｅ

ｃａｎｍｏｄｅｌｓｉｎｓｔｅａｄｏｆｔｈｅｂｒｉｇｈｔｎｅｓｓｃｏｖｅｒｅｄｅｘｐｅｒｉｍｅｎｔｐｒｏｖｅｄｔｈａｔｔｈｅａｌｇｏｒｉｔｈｍｎｏｔｏｎｌｙｈａｓｂｅｔｔｅｒｒｅａｌ－ｔｉｍｅ，ｂｕｔａｌｓｏ

ｅｆｆｅｃｔｉｖｅｌｙｒｅｍｏｖｅｒａｉｎｄｒｏｐｓｉｎｔｈｅｖｉｄｅｏｉｍａｇｅ

Ｒａｉｎｄｒｏｐｓｒｅｍｏｖｅｉｎｄｙｎａｍｉｃ

ｗｉｌｌｃａｕｓｅａｓｅｅｌｌｅｓ．Ａｓｔｈｅｐｒｏｂｌｅｍｔｈａｔｍｏｖｉｎｇｔａｒｇｅｔｏｆｒｅｍｏｖｉｎｇｌｏｔｏｆｉｎｔｅｒｆｅｒｅｎｃｅｆｏｒｒａｉｎｒｅｍｏｖａｌ．Ｓｔｕｄｙｓｅｖｅｒａｌｗａｙｓ

ｐｒｅｓｅｎｔ，ａｎｄａｎａｌｙｓｉｓｒａｉｎｄｒｏｐａｔｏｆｔｈｅｉｒａｄｖａｎｔａｇｅｓａｎｄｄｉｓａｄｖａｎｔａｇｅｓ

ａｎｏｆｒａｉｎｄｒｏｐ，ａｃｈｉｅｖｅＣｏｍｂｉｎａｔｉｏｎｏｆｔｈｅｔｉｍｅｄｏｍａｉｎｓｔａｔｉｓｔｉｃａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓ

ｓｃｅｎｅ．ＡｌｓｏａＩｇｏｒ ｉｔｈｍｏｆｒａｉｎｒｅｍｏｖａｌｕｎｄｅｒｄｙｎａｍｉｃ

ｃｏｒｒｅｌａｔｉｏｎｂｅｔｗｅｅｎｎｅｉｇｈｂｏｒｉｎｇｐｉｘｅｌｓｔｏｕｓｅｔｈｅｔｅｍｐｏｒａｌａｎｄｓｐａｔｌａｌ０ｔｒａｉｎｉｍｐｒｏｖｅｔｈｅｔｒａｄｉｔｉｏｎａｌｗａｙｒｅｍｏｖａｌ．Ｄｉｆｆｅｒｅｎｔｆｒｏｍｐｒｅｖｉｏｕｓｍｅｔｈｏｄｏｆｒａｉｎｒｅｍｏｖａｌ，ｔｈｉｓａｌｇｏｒｉｔｈｍ１０ｎｇｅｒＩＳｎｏｃｏｎｓｉｄｅｒｅｄｔｈｅｓｈａｐｅ，ｓｐｅｅｄ

ａｓａｎｄｏｔｈｅｒｐｈｙｓｉｃａｌｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ｃｏｌｏｒｃｈａｒａｃｔｅｒｉｓｔｉｃｓ，ａｓｗｅｌｌ０５ｔｈｅｃａｍｅｒａｐａｒａｍｅｔｅｒｓ，ｂｕｔａｃｃｏｒｄｉｎｇｔｏｔｈｅｒａｔａ

硕士毕业论文,视频图像雨滴去除技术研究

ｃｈａｎｇｅｏｆｔｈｅ

ｂｅｔｗｅｅｎａｄｊａｃｅｎｔｉｎｔｅｒ－ｆｒａｍｅｂｒｉｇｈｔｎｅｓｓｖａｌｕｅｓｏｆｔｈｅｒａｉｎｄｒｏｐ，ｄｉｓｔｉｎｇｕｉｓｈｒａｉｎｄｒｏｐｓａｎｄｍｏｖｉｎｇｔａｒｇｅｔｓ．Ｗｈａｔｉｓｍｏｒｅ，ｏｎｔｈｅｂａｓｉｓｏｆｔｈｅｔｒａｄｉｔｉｏｎａｌｍｅｔｈｏｄｏｆｒａｉｎｒｅｍｏｖａＩ，ｉｎｔｒｏｄｕｃｅｎｅｉｇｈｂｏｒｈｏｏｄｐｉｘｅｌｉｎｆｏｒｍａｔｉｏｎｉｎｔｈｅｓａｍｅｆｒａｍｅ Ｄｕｅｔｏｔｈｅａｄｊａｃｅｎｔｉｎｔｅｒ－ｐｉｘｅｌｈａｓａｖｅｒｙｓｉｍｉｌａｒｂａｃｋｇｒｏｕｎｄ，ｔｈｉｓｍｅｔｈｏｄｅｆｆｅｃｔｉｖｅｌｙａｃｈｉｅｖｅｔｈｅｒｅｍｏｖａｌｏｆｒａｉｎ．

Ｋｅｙｗｏｒｄｓ：ｃｏｍｐｕｒｅｒｖｉｓｉｏｎｓｙｓｔｅｍ；ＳａｍｐｌｅＭ。ｄｅｌ；Ｒａｉｎ

ｓｕｂｔｒａｃｔｉｏｎ；Ｒａｉｎｒｅｍｏｒａｌ：ｄｅｔｅｃｔｉ。ｎ；Ｂａｃｋｇｒｏｕｎｄ

硕士毕业论文,视频图像雨滴去除技术研究

致谢

随着本文工作的顺利完成，两年多的研究生学习即将结束，回顾这几年在实验室生活的点点滴滴，使我受益匪浅。从老师对我学业的指导和鼓励，到同学、朋友和家人给予我的支持和关心，都使我在学习和生活方面有了很大的进步，这些经历将作为我的宝贵财富永远铭记在心。

首先要感谢我的导师齐美彬教授和蒋建国教授，他们严谨的治学态度，丰富的专业知识，对事业孜孜不倦的专研精神和平易近人的处事作风给我留下了深刻的印象。在我攻读硕士学位期间，他们不仅对我的学业给予了极大的帮助，而且在思想、生活等各方面给我以无微不至的关怀，在此谨向恩师们致以最真挚的谢意！

感谢实验室的兄弟姐妹们：感谢陈俊峰、陈家银、王宝、李明、董艳春、王长生、张莉、吴晖、张婕、胡珍珍、任静等师兄师姐在我学习过程中的悉心指引和帮助；感谢王涛、许郴、汪巍、安红新、贺伟、彭乐、汪涛、冯如吉、李双江、张敏、郎丽娜、潘燕、张银霞等同学对我学习和实验的鼎力相助，两年半的时间，我们互相交流，共同进步；感谢吴东飞、谢成明、周丹风等师弟师妹的信任和帮助，在此祝你们在未来的学习和工作中一帆风顺！

最后，我要感谢我的父母，他们在我的求学路上一直默默地支持着我，感谢他们对我精神和物质上的深切关怀和支持，这一直是我克服困难、不断进步的强大动力，向他们表示深深的谢意！

作者：耿彪２０１２年３月