教育资源为主的文档平台

当前位置: 查字典文档网> 所有文档分类> 工程科技> 信息与通信> 全局光流场估计技术及展望

全局光流场估计技术及展望

上传者:何文斌
|
上传时间:2015-05-11
|
次下载

全局光流场估计技术及展望

全局光流综述性文章,非常详细,全面

第26卷第5期2014年5月

计算机辅助设计与图形学学报

oiurnalofComuter-AdedDesin &ComuterGrahicsJ    pgpp

Vol.26No.5

Ma2014y 

全局光流场估计技术及展望

宋 爽,杨 健*,王涌天

()北京理工大学光电学院光电成像技术与系统教育部重点实验室 北京 100081()anit.edu.cn@bjyg

摘要:光流法是运动分析最为重要的技术之一,其能够从相邻帧图像中恢复出目标物体以及背景的运动信息,从

而实现目标检测、运动跟踪以及特征识别等.文中从全局光流计算的基本原理出发,详细分析了非均匀光照校正、能量函数构建和优化方案设计等全局光流场估计技术的关键步骤;同时深入探讨了全局光流场估计技术存在的大位移计算、遮挡检测、弱纹理运动估计等难题.最后对全局光流场估计技术所面临的挑战进行了分析,并展望了其未来的发展方向.

关键词:光流场;运动估计;光照校正中图法分类号:3391PT

TchnoloandProsectofGlobalOticalFlowe     gypp 

,,anSonShuanYanJiandWanYontian ggggg   

(KLoPITaSsoEoCSoOtaEboratorotoelectronicainchnolod em,Mnistrucationina,hoolcsd ectronics,eahmentidhcinl    f yf f f pygg gyyy    )iinstitutechnoloiin00810BeInoTeBe jggy,jg 1f  

:O,wAbstractticalflowisoneofthemostimortanttechnoloiesformotionanalsishichcan            ppgyreconstructthemotionofobectsfromconsecutiveimaeframesandhencecanbeutilizedforobect               jgj

,mlobaloticalflow,therincileofdetectionotiontrackinandfeatureidentification.Basedonthe          gpppg :,unmaintechniuesarereviewedindetailfromthreesectionsnoniformilluminationcorrectionener-          qgy

,lobalfunctionconstructionandotimizationschemedesin.Meanwhilethreemaindifficultiesfor         gpg,,oticalflowanalsisarestudiedthorouhlwhichincludelaredislacementcomutationocclusion         pygygpp

,cdetectionandweaktextureestimation.Atlasthallenesaresummarizedandrosectsofthis           gpptechniuearemade.  q

:;wordsoticalflow;motionestimationilluminationcorrectionKe   py 0世纪50年代,Gribson等基于运动结构重建  2

,第一次提出了原理(ructurefrom motionSFM)st 

]1

,在随时间变化的二维图的概念[光流(calflow)oti p

场来定义,运动场为目标在三维空间的运动变化,而光流场为运动场在二维平面的投影.理想情况下,无需预先获取运动场景的背景信息,根据光流场即可实现目标的运动重建.然而在实际计算过程中,通常将光流场描述为图像的时序亮度变化,因而当出现以下2种情况时光流场并不能对三维空间中的运动)目标进行描述:运动目标为规则均匀分布的旋转1)球型物体;图像获取时光照强度或方向变化.2

光流技术能够从图像序列中检测、识别以及跟踪

像序列中,运动的三维场景由于亮度模式的变化而产生的流动即为光流.在该概念提出时,光流被认为是动态图像的几何表示,即空间运动物体在成像平面像

[]

素运动的“瞬时速度”Neahdariour2对998年,.1gp

光流技术进行了重新定义,认为光流为图像中几何与辐射度变化的动态描述.综合来说,光流可由运动

);基金项目:国家“八六三”国家“九七三”重点基础研究发展计划项目(高技修回日期:收稿日期:----131310CB7325052020200320;0829.);,北京市优秀人才支持计划(宋 爽(女,硕士研究生,术研究发展计划(主要研究方向为医学1989—)13AA013703009011000004).2010D20,男,博士,副教授,影像分析、虚拟现实与增强现实等;杨 健(论文通讯作者,主要研究方向为机器视觉、医学图像处理、虚拟现实与增77—)19,男,博士,教授,博士生导师,主要研究方向为现代光学设计及光电仪器工程、图像工程与视频处理技术、虚拟现强现实技术;王涌天(57—)91实与增强现实技术等.

全局光流综述性文章,非常详细,全面

842

计算机辅助设计与图形学学报     第26卷

目标,该技术综合了图像处理、计算机视觉、模式识别等多门学科的知识,实现难度较大.然而,运动分析技术具有众多的应用需求,如人机交互、安全监控、视频压缩编码等.近年来,对运动分析技术的研究成为国际研究的热点,权威期刊和会议每年都会发表数十篇与光流法相关的论文.

在序列图像中,由于运动目标的属性不同、场景光源的变化、运动幅度不均匀以及噪声干扰等因素,光流法的普遍应用面临严重挑战.为规范化光流法

[]的评价标准,94年,Barron等3第一次提供了一19

[1]

使用亮度和梯度恒定假设以及各习,osdek等1Gw

向异性先验假设,该方法能够去除奇异点,避免图像

[2]

在全局光流框目标遮挡边缘过度平滑.rox等1B

增加了离散特征约束,架中引入了S同时FT算子,I提高了算法使用Carbonnier函数作为惩罚函数,h的鲁棒性以及对小尺度大幅度运动估计的有效性.

[3]

使用结构-纹理分解方法对图像进行预del等1We

处理,克服了阴影及反射造成的干扰,在由粗到精的

迭代过程中,对每层中间估计结果进行中值滤波,提

[4]

将二维微分算子映高了算法的鲁棒性.robin等1T

套数据集以及光流计算的评估准则.随着数据集的不断完善,国内外学者陆续提出了不同的光流方法,在精度、鲁棒性和实时性等多方面均取得了重大突破.然而单一数据集并不能对算法进行全面的评测,数据集需包含复杂多变的场景,并包含不同范围、幅度以及纹理的运动信息.为此,07年,Middlebur20y

[]

的B图像模态、运动幅度aker等4从图像运动种类、

射到正交空间中,构造新的惩罚函数,克服了传统L1范数在弱纹理区域出现分段恒定运动的问题.

1 全局光流场估计技术的基本原理

全局光流场估计技术实质上是对2帧或多帧时变图像进行整体性运动估计的过程.通常情况下,该方法基于2帧图像的对应特征构造能量函数,通过迭代优化使能量最小,从而得到每个像素的光流.图表示原始其中(x,1所示为存在运动的2帧图像,y)

(表示该像素在图像中任意像素坐标,x+u,y+v)后在第二帧图像中水平和垂直方向发生运动(u,v)))分别表示图1和I(的像素坐标,I(x,tx,t+1y,y,在t和t+1时刻的灰度值.中像素(x,y)

等角度提供了4种类型的标准测试数据,文中简称基于M它为促进光流法的迅速发ddleburiy数据集,

[]

展提供了有效的测试平台.011年,Baker等5又提2出较为完备的评测手段,包括平均角误差(eraeavg

[3]

,AA和流端点误差(anularerrorE)owfl g

[6]

,等,该评测方法的提出使得endointerrorFEE) p

ddleburMiy数据集的光流法评价更具统一性和规

[]

范性.另外,harstein等7提出基于光流场的颜色Sc编码方法,使用色度表示光流方向,饱和度表示光流大小,从而能够直观地对光流进行描述.

ldreth等提出的从二维光流场恢复三维空间Hi

运动的理论直到2Lman0世纪70年代末才被UL

1]

目前,光流估计技术主要包括2类:等证明[以.

]98-

(法为代表的局部光流法[和acasnadeL-K)Lu-K

(法为代表的全局光流场估以HScS)ornhunckH--10]

计技术[局部法在图像感兴趣区域中假设光流在.

图1 连续帧图像的光流估计原理

固定邻域范围内具有相同的值.其存在的问题是在空间结构遮挡的边缘光流估计误差较大,常会出现过度平滑的现象;同时局部区域尺度的设计较为困难,只能获得稀疏光流场.全局法假设光流在局部区域内的变化具有平滑性,或遵循相同的变化规律.此方法能够提高对图像中结构边缘探测的精确度,获得稠密光流场,因此在实际应用中备受青睐,并逐渐成为光流法发展的焦点.然而,全局光流场估计技术在大位移计算、遮挡检测和弱纹理运动估计等方面仍面临较大的挑战.为克服全局光流的缺陷,国外许多学者在Mddleburiy数据集基础上进行了深入学

全局光流场估计技术的基本假设为亮度恒定假设,可表示为

)())I(x,tI(x+u,v,t+11=y,y+

)假设2帧图像间存在微小运动,对式(右侧进行泰1)勒展开,舍去高阶项,则有等式I(x,tI(x,=y,y,

若以,,分别表示,)t+v+.I+uxItyIxtxy,则有

ty

()uIvII02x+t=y+

)令每个像素的光流(为ω,则式(可改写为u,v)2

I·ω+I0t=()3

全局光流综述性文章,非常详细,全面

第5期宋 爽,等:全局光流场估计技术及展望

843

)的运动分由式(可得沿图像梯度方向(II3x,y)量,而其正交方向的运动分量为不定值.但事实上,图像中每个像素的光流均包含2个分量,而亮度恒定假设仅提供了一个约束方程,因而该问题是不适

[10]

因此,若图像中定的,该现象被称为“孔径问题”.

()()

其中k表示循环数,其值一般u0和v0为初始值,

设为0,通过对λ的值根据光流估计的精确度确定.)式(进行迭代,直到结果收敛,即得到最优光流.8

2 全局光流场估计技术的关键步骤

全局光流场估计技术主要包括3个关键步骤,包括非均匀光照校正、能量函数构建和优化方案设计等.其中非均匀光照用于消除部分图像中由光照引起的噪声,减小能量函数中假设引起的误差,能量函数描述光流估计中由假设所引起的误差,优化方案用于能量函数的最优化.作为光流法的核心步骤,能量函数可以细分为数据保真约束、先验约束、惩罚函数和权重因子4个模块;其中惩罚函数作用到数据保真约束和先验约束上分别构成数据保真项和先验项,权重因子控制这2项的影响力度.如图2所示

内容需要下载文档才能查看

每个像素的运动是独立的,则无法恢复光流场.但在真实场景中,有限尺寸目标上的所有点具有相似或相同的速度,即假设速度场的亮度变化是平滑连续的.令uux,uuvvx,vv\\\\y,x=x=y=y=则有如下一阶平滑假设y,

2222

()uuvv04x+x+y+y=

然而,上述2种假设并不严格成立,故光流估计可转

化为求取误差最小的优化过程.此时,通过亮度恒定假设构造的亮度恒定函数uIvIIx+t称为数据y+保真约束,该约束和惩罚函数共同构成数据保真项,通过一阶平滑假设构造的平滑函以函数ED表示.

数u该约束和惩罚函数uvvx,x,y,y称为先验约束,因此有ED=共同构成先验项,以函数EP表示.,uIvIEP=ΨP1(uu+ΨP2(+ΨD(x+t)x)y+Iy)

;(=1,其中ΨD和ΨPvv2,3,4)+ΨP4(ΨP3(x)y)ii

分别为数据保真项的惩罚函数和先验项的惩罚函)(数,综合式(有ΨD=ΨP1=ΨP2=ΨP3=ΨP4=24)即p,

22222

)ED=(uIvIIEP=uuvv5x+t),x+x+y+y+y(

图2 全局光流场估计技术的关键步骤

2.1 非均匀光照校正

在获取图像序列时,光源的强度及照射方向并不总是保持恒定,同时目标对不同光源的反射率和吸收率也不同.因而,模型设计需考虑3个方面的难)点:图像序列中相同目标的亮度可能发生改变;1)图像序列中不同目标的深度信息可能发生误判;2

)部分目标可能被遮挡.3

17]

、亮传统非均匀光照校正技术包括图像滤波[

]18]1920-

、和高阶光学不变特征检测[度变化模型构建[

21]

等.图像滤波虽然能去除大部分高约束关系加权[

能量函数可表示为Eg=min  至此,

其中λ为权重因子.该能量函数的求解EP)dxdλy;

16]15-

,有可采用全变分法[

(ED+

--=0uxuuyxyEgEgEg=0--

vxvvyxy

)),将式(代入式(有56

2 

()6

u+IIv=IIλu-xxty

()722

Iu+Iv=IIλv-xtyyy

分别以u和v表示u邻域和v邻域的均值,且令

频噪声,但易造成过度平滑,丢失图像细节信息;亮度变化模型的构建可自适应地同步估计亮度和运动,但无法克服阴影的影响;光学不变特征虽然对光源变化的敏感度较低,但其只对彩色图像具有较好的效果;高阶约束往往需要求取图像Hssian矩阵,e

该过程对奇异点较为敏感,易引入大量的噪声:以上方法在应用上均具有一定的局限性.为此,文献[13,]同时根据材料的反射率和目标阴影分布进行亮22

度建模,将图像分解为结构和纹理2部分,分别对应图像中的大目标和小尺度结构信息,结构-纹理图

[3]24-

求解,其中纹理图像可去除像可采用RF模型2O

)则式(可表示为u=u-u和v=v-v,7

2Iu+IIv=IIu-λ)λx+xxt(y

.2

v-Iv+IIu=IIλ)λxt(y+yy

采用S法可获OR(successiveoverrelaxation)  

--

得u和v的迭代计算公式

kk

x(xt)((k+1)k)u=u-22

IIλ+x+y

kk

Iu+Iv+Ixt)((y(yk+1)k)I=v-22

IIλ+x+y

()8

全局光流综述性文章,非常详细,全面

844

计算机辅助设计与图形学学报     第26卷

12]3,2大部分因反射和阴影引起的噪声,如图3所示[.[5]

使用具有光学不变特对于彩色图像,mmer等1Zi

等亮度变化情况下是不变的;S通道在阴影情况下是不变的,因而,在实际计算过程中,可将3个通道赋予不同的权值,从而对非均匀光照进行校正,如图

.4所示1

[]

内容需要下载文档才能查看

征的H该方法的优V颜色空间进行光流的估计.S

势在于H通道在诸如阴影、遮挡、高光及光源频谱

图3 结构-

内容需要下载文档才能查看

纹理分解图像

图4 不同颜色空间的估计结果

2.2 能量函数构建

光流的估计主要是基于一系列约束关系进行求解,但在真实场景中,约束关系因不严格成立而往往存在误差,所以光流的估计需要构建能量函数,以描述该误差.能量函数的构建是全局光流场估计技术的核心步骤,本文将其分为4个部分:数据保真约束、先验约束、惩罚函数和权重因子.

)数据保真约束1

如第1节所述,数据保真约束表示当时变图像的亮度值随时间的变化不严格满足特定恒等关系的误差.全局光流场估计技术的数据保真约束一般由亮度恒定假设所构造的亮度恒定函数uIvIIx+ty+构成,该函数由亮度恒定假设所构造.为保证该假设的成立,使用21节中的校正技术可去除部分由非.均匀光照所产生的噪声,但一般不能完全消除非均匀光照的影响.

为提高将亮度恒定函数作为数据保真约束的鲁棒性,目前常用的改进方法是根据梯度恒定假设构)建梯度恒定函数I(x,tx+u,t+=I(y,y+v,

[]1

),将其作为数据保真约束2然而梯度恒定假设1.仅在目标存在平移运动时才成立,并且在后续优化过程中对能量函数进行线性近似时需要图像满足二次可微的条件.因而,当图像中存在小尺度目标快速

运动或多种运动模式并存的情况下,梯度恒定假设的缺陷将大大降低光流估计的精度.

然而梯度恒定假设存在的问题在亮度恒定假设中是完全可以避免的,且因图像序列并不始终包含光源或真实场景分布所引起的所有噪声,数据保真约束仍可通过亮度恒定函数进行构建.此外Boxr

12]

证明了更高阶恒定假设并没有梯度恒定假设等[

效果好,因此提出同时采用亮度恒定函数和梯度恒定函数构建数据保真约束,可以获得更精确的光流.

[5]

但由于2种假设分别存在各自的应用范畴,Xu等2

:{提出二元权值映射α(来控制2种约束的x)0,1}

[25]

权重,提高光流估计结果的精度和鲁棒性,如图5所示.

)先验约束2

如第1节所述,先验约束表示当时变图像的光流场变化不严格满足特定先验恒等关系时的误差.全局光流场估计技术的先验约束一般由平滑函数构成,该函数由一阶平滑假设所构造,即认为光流场的变化具有全局平滑性.其存在两方面的难点:一是由于缺乏光流场随时间的变化信息,只能用于2帧图像序列的光流估计;二是当图像中存在多个独立目标或目标遮挡的现象时,边缘的光流场易被过度平滑.

针对第一个方面的难点,传统先验约束主要用

全局光流综述性文章,非常详细,全面

第5期宋 爽,等:全局光流场估计技术及展望

845

于2帧图像的光流估计,在处理包含多帧图像的视频时需要在先验约束中添加时间约束,并使用单

]222763]-

和双向[时间校正技术.其中单向校正技术向[

背景中存在微小运动的情况.而双向校正技术又被称为中间帧估计技术,即在已知图像帧数时,选择中间帧作为参考帧进行双向迭代校正,其适用于任意运动情况,可有效恢复退化的单帧图像.单向和双向

[23]

所示.时间校正结果如图6

假设光流随时间是渐变的,即在先验约束中添加ut,,和v其中u其主要适用于静态utvvt??t,t=t=

图5 不同值时的光流估计结果

图6 

内容需要下载文档才能查看

单向和双向时间校正结果

  针对第二方面难点的主要解决方法为优化传统

平滑假设,其包括3种方式:采用加权一阶平滑模

28]29]

、使用高阶平滑模型[和构建特定模式的局部型[

16]

方式一通常基于图像亮度的梯度函数运动模型[.

像中不存在弹性运动、目标遮挡等现象,且目标数目较少时,可精确估计光流场;其缺点是无法避免先验约束和数据保真约束产生的相互干扰问题.实际应用中,先验约束应增强在数据保真约束正交方向的作用,而削弱数据保真约束方向的作用.

另一类解决方法是使用各向异性先验约束.一

11]

构造各向异性先验方面可通过采用正则化张量[

构造权重因子,只在当目标边缘两侧的灰度信息差别明显时,才可避免目标边缘的过度平滑;方式二因假设光流的高阶微分为0,需要图像分布满足特定的形式;方式三假设图像局部区域具有相同的运动模式,只可应用于有限种类场景的光流估计,自适应性差,且光流场的过度平滑现象严重.以上3种方式均属于各向同性范畴,其优点是计算复杂度低,在图

约束,其中该张量的2个正交特征向量分别表示数通过构据保真约束的约束方向r1和其正交方向r2;

造受r可以自适应调整先验1,u和v约束的函数,约束的力度,应用较为广泛;另一方面可使用Hberu

图7 基于正则化张量的估计结果

版权声明:此文档由查字典文档网用户提供,如用于商业用途请与作者联系,查字典文档网保持最终解释权!

下载文档

热门试卷

2016年四川省内江市中考化学试卷
广西钦州市高新区2017届高三11月月考政治试卷
浙江省湖州市2016-2017学年高一上学期期中考试政治试卷
浙江省湖州市2016-2017学年高二上学期期中考试政治试卷
辽宁省铁岭市协作体2017届高三上学期第三次联考政治试卷
广西钦州市钦州港区2016-2017学年高二11月月考政治试卷
广西钦州市钦州港区2017届高三11月月考政治试卷
广西钦州市钦州港区2016-2017学年高一11月月考政治试卷
广西钦州市高新区2016-2017学年高二11月月考政治试卷
广西钦州市高新区2016-2017学年高一11月月考政治试卷
山东省滨州市三校2017届第一学期阶段测试初三英语试题
四川省成都七中2017届高三一诊模拟考试文科综合试卷
2017届普通高等学校招生全国统一考试模拟试题(附答案)
重庆市永川中学高2017级上期12月月考语文试题
江西宜春三中2017届高三第一学期第二次月考文科综合试题
内蒙古赤峰二中2017届高三上学期第三次月考英语试题
2017年六年级(上)数学期末考试卷
2017人教版小学英语三年级上期末笔试题
江苏省常州西藏民族中学2016-2017学年九年级思想品德第一学期第二次阶段测试试卷
重庆市九龙坡区七校2016-2017学年上期八年级素质测查(二)语文学科试题卷
江苏省无锡市钱桥中学2016年12月八年级语文阶段性测试卷
江苏省无锡市钱桥中学2016-2017学年七年级英语12月阶段检测试卷
山东省邹城市第八中学2016-2017学年八年级12月物理第4章试题(无答案)
【人教版】河北省2015-2016学年度九年级上期末语文试题卷(附答案)
四川省简阳市阳安中学2016年12月高二月考英语试卷
四川省成都龙泉中学高三上学期2016年12月月考试题文科综合能力测试
安徽省滁州中学2016—2017学年度第一学期12月月考​高三英语试卷
山东省武城县第二中学2016.12高一年级上学期第二次月考历史试题(必修一第四、五单元)
福建省四地六校联考2016-2017学年上学期第三次月考高三化学试卷
甘肃省武威第二十三中学2016—2017学年度八年级第一学期12月月考生物试卷

网友关注视频

第4章 幂函数、指数函数和对数函数(下)_六 指数方程和对数方程_4.7 简单的指数方程_第一课时(沪教版高一下册)_T1566237
北师大版数学 四年级下册 第三单元 第二节 小数点搬家
每天日常投篮练习第一天森哥打卡上脚 Nike PG 2 如何调整运球跳投手感?
外研版英语三起6年级下册(14版)Module3 Unit2
沪教版八年级下次数学练习册21.4(2)无理方程P19
冀教版小学数学二年级下册第二单元《有余数除法的整理与复习》
第8课 对称剪纸_第一课时(二等奖)(沪书画版二年级上册)_T3784187
冀教版小学数学二年级下册第二单元《余数和除数的关系》
精品·同步课程 历史 八年级 上册 第15集 近代科学技术与思想文化
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
人教版二年级下册数学
苏科版八年级数学下册7.2《统计图的选用》
冀教版小学数学二年级下册第二单元《租船问题》
【部编】人教版语文七年级下册《逢入京使》优质课教学视频+PPT课件+教案,安徽省
8.对剪花样_第一课时(二等奖)(冀美版二年级上册)_T515402
第五单元 民族艺术的瑰宝_15. 多姿多彩的民族服饰_第二课时(市一等奖)(岭南版六年级上册)_T129830
六年级英语下册上海牛津版教材讲解 U1单词
【部编】人教版语文七年级下册《过松源晨炊漆公店(其五)》优质课教学视频+PPT课件+教案,辽宁省
沪教版八年级下册数学练习册21.3(2)分式方程P15
人教版历史八年级下册第一课《中华人民共和国成立》
冀教版小学数学二年级下册第二单元《有余数除法的竖式计算》
外研版八年级英语下学期 Module3
北师大版八年级物理下册 第六章 常见的光学仪器(二)探究凸透镜成像的规律
冀教版英语四年级下册第二课
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T502436
沪教版八年级下册数学练习册20.4(2)一次函数的应用2P8
七年级英语下册 上海牛津版 Unit5
19 爱护鸟类_第一课时(二等奖)(桂美版二年级下册)_T3763925
【部编】人教版语文七年级下册《老山界》优质课教学视频+PPT课件+教案,安徽省
河南省名校课堂七年级下册英语第一课(2020年2月10日)