基于LBM的苹果采摘机器人视觉图像自动修复算法_陈玉

机器人;视觉;控制

2010年11月DOI:10.3969/.jissn.1000-1298.2010.11.030农业机械学报第41卷第11期

基于LBM的苹果采摘机器人视觉图像自动修复算法

陈??玉??赵德安

(江苏大学电气信息工程学院,镇江212013)*

??????摘要????为恢复被果树枝叶遮挡后丢失的信息,首先通过计算遮挡因子,确定果树枝叶对苹果的遮挡区域;然后,利用格子波尔兹曼方法求解各向异性扩散方程,估计丢失的信息,提出了基于格子波尔兹曼方法的图像修复算法。实验证明,该算法能够有效实现苹果图像中枝叶遮挡部分的修复。与基于曲率驱动扩散的图像修复算法相比,该算法具有较高的峰值信噪比。由于算法的高度并行性,可以将其用于构建并行图像处理系统,并且适合苹果采摘机器人视觉系统。

关键词:苹果??采摘机器人??格子波尔兹曼方法??图像修复

中图分类号:TP242??6+2文献标识码:A文章编号:1000-1298(2010)11-0153-05

AutomaticImageInpaintingAlgorithmforAppleHarvesting

Robot??sVisionSystemBasedonLBM

ChenYu??ZhaoDean

(SchoolofElectricalandInformationEngineering,JiangsuUniversity,Zhenjiang212013,China)

Abstract

Withtheaimtorecoverthelostinformationoftheappleharvestingrobot??svisioncausedbythebranchesandleaves,anautomaticimageinpaintingalgorithmwasproposed.Bycalculatingthesocalledblockedfactor,theareablockedbythebranchesandleaveswasconfirmedatfirs.tAndthen,aLatticeBoltzmannmethodbasedonimageinpaintingalgorithm(LBMII)wasusedtorecoverthelostinformation.TheexaminationresultsshowthattheLBMIIcanrecovertheappleimageeffectively,andhashigherPNSRthanthealgorithmbasedonthecurvature-drivendiffusions.Moreover,theparallismoftheLBMIIcanbeusedtobuildthehighspeedparallelimageprocessingsystemforappleharvestingrobo.t

Keywords??Apple,Harvestingrobo,tLatticeBoltzmannmethod(LBM),Imageinpainting

????引言

苹果采摘机器人视觉系统中,果实的识别和定

位是其中的关键环节,能否快速、准确地识别和定位

[1]果实直接影响机器人操作的实时性和可靠性。

实际情况中,果实往往受到果树枝叶的遮挡,从而影

响对果实的识别效果和定位精度。此外,目前开发

的采摘机器人有很多,但随着机器人的进一步

智能化,算法随之越来越复杂,机器人的实时性也越

收稿日期:2010-04-14??修回日期:2010-05-24

*国家??863??高技术研究发展计划资助项目(2006AA10Z254)和江苏大学高级人才科研基金资助项目(09JDG025)

作者简介:陈玉,讲师,主要从事模式识别和机器人视觉研究,E-mai:lchenyu@http://wendang.chazidian.com[2~4]来越低。为提高算法的实时性,本文选用格子波尔兹曼方法[5~6](LatticeBoltzmannmethod,简称LBM)实现图像处理算法。相对于传统的数值解法,LBM具有稳定性好、编程简单、计算效率高的特点。另外LBM是一个天然的并行离散系统,可以用于构建高速并行图像处理系统(例如基于FPGA的并行图像处理系统),从而可以极大地提高算法的实时性。为恢复被果树枝叶遮挡后丢失的信息,本文首

机器人;视觉;控制

154农??业??机??械??学??报??????????????????????????????????2010年

先在对苹果采摘机器人的视觉图像进行阈值分割的基础上通过计算遮挡因子,确定果树枝叶对苹果的遮挡区域;然后,利用格子波尔兹曼方法求解各项异性扩散方程,提出基于LBM的图像修复算法(LBMbasedonmiageinpainting,简称LBMII),估计丢失的信息,为下一步的图像识别和定位提供更完整的信息。

形,其区域跨度较长,且宽度较窄。本文实验图像尺寸为462??288,实验中发现树枝和树叶的宽度普遍

小于10个像素点。为提取这种狭长的连通区域,本文将Lee等

[10]

于1997年提出的判断人体毛发区域

的算法改进如下:??首先在HIS空间下对苹果图像进行分割,如图2所示。??针对每个非苹果区域的像素,穿过该像素沿0??、45??、90??和135??四个方向作4条线,直到到达苹果区域像素为止,计算该线的长度。??如果4条线中有1条长度小于10个像素,那么该像素则被认为在遮挡区域的内部而被保留。??如果4条线的长度均大于10个像素,则该像素作为非遮挡区域。

图3给出了上述算法对图2进行遮挡区域提取的实验结果。图3中可以看到,提取结果中存在着大量干扰。

1??基于偏微分方程的图像修补

目前图像修补模型大部分都是基于偏微分方程(partialdifferentialequation,简称PDE)。例如,Bertalmio、Sapiro、Caselles和Ballester首先提出了一个有效的图像修复算法,即BSCB算法

[7]

。后来,

Chan、Shen和Esedoglu等对图像修补问题进行了系统的理论分析和研究,提出了基于总体变分(totalvariation,简称TV)模型的图像修补算法

[9]

[8]

。但是以

上两种模型都没有满足连接性原则。2001年,TonyChan和Shen提出了CDD算法。CDD算法在扩散过程中考虑了轮廓的几何信息(曲率),克服了前两种算法只能修补较小区域的缺陷。

CDD算法是基于非线性扩散方程,即??u??u=??f(|k|)((x,y)??D)??u|u=u0

c

(1)

图1??存在枝叶遮挡的苹果图像Fig.1??Imageofapplefruitblockedby

thebranchesandleaves

??

((x,y)??E)

式中??D??????待修补区域????u0??????原始图像

E??????D的补集D中的一个闭合区域,它包

含了待修补区域周围的信息f(|k|)为图像等照度线的曲率函数,一般取

f(|k|)=|k|=??

??u|??u|

(2)

随着修补过程的进行,E中的图像信息将延伸到D中,最终将待修补区域填充,完成修补操作。然而,将该算法应用于苹果采摘机器人的视觉系统中却存在着两个问题:首先,CDD算法中需人工确定待修补区域D,这在机器人视觉系统的实现中没有意义;其次,该算法耗时较长。

为克服第1个缺陷,在修补区域的自动提取中,通过计算遮挡因子,确定果树枝叶对苹果的遮挡区域;为克服第2个缺陷,在图像修补算法中,首次将格子波尔兹曼方法引入到了图像修补领域。由于格子波尔兹曼方法具有实现简单、算法高度并行化的特点,因此可以利用FPGA实现图像的并行处理,从而极大地提高算法的运算速度。

图3??对图2进行遮挡区域提取的实验结果Fig.3??ExtractingblockingareaaccordingtoFig.2

????

图2??HIS空间下苹果图像分割结果Fig.2??ImagesegmentinHISspace

2??修补区域的自动提取

图1是一幅苹果图像。从图1可以看出,果树

的树枝呈长条状,而树叶虽然较宽,但仍然呈长卵

为此,本文采用所谓的遮挡系数来滤除干扰。

机器人;视觉;控制

第11期??????????????????????陈玉等:基于LBM的苹果采摘机器人视觉图像自动修复算法155

Li

Ei=

Mi

2

(3)

fi(r,t)??????局部平衡分布函数

这里fi(r,t)和fi(r,t)满足

fi

(0)

(0)

(0)

其中,Mi为图3中各连通区域Di的边缘(即??Di)的长度,Li为苹果区域A与Di相邻部分的长度,即??Di????A的长度。式(1)中,当Li<Mi时,Ei<1,这表明连通区域Di部分被苹果区域包围;Ei越接近于零表明连通区域Di被苹果区域包围的部分越少,其作为枝叶遮挡区域的可能性也随之降低;因此,如果给定一个阈值T,那么满足Ei??[T,1)的连通区域D

i即可认定为枝叶遮挡区域。图4给出了利用遮挡系数去噪后的结果。

??i=其中

1-9

=??iu

i

??f

i

=

??f

i

(0)i

(5)

(i=0)

??(M??[0,1])

(i=1,2,??,8)

9

式中??u??????网格中粒子的总数

fi=fi+??fi+??fi

(0)

(1)

2(2)

利用Chapman-Enskog展开式有

+o(??)

3

(6)(7)

2=+??

01

将式(4)左边泰勒展开可以得到fi(r+??Ci,t+??)-fi(r,t)=??

fi(r,t)+

2

2

+Ci??3

??

图4??利用遮挡系数对图3去噪后的结果Fig.4??DenoisingFig.3withblockedfactor

??

+Ci??2

fi(r,t)+o(??)(8)

在式(4)两边分别根据??的一阶无穷小和二阶无穷小联立方程,分别可以得到

??(0)(0)(1)fi+Ci??fi=-fi0??(0)2(0)(2)

fi-??[(??-0??5)Ci??fi]=-fi??t1??

(10)

将式(9)和式(10)两边对i求和,得

??u

=00

(11)

3??基于格子波尔兹曼方法的图像修补

目前格子波尔兹曼方法在图像处理领域主要用于图像各向异性去噪,例如,陈玉等构造的各向异性

[11]

扩散LBM模型,QianshunC等构造的TV模型

[12]

(9)

。

LBM将流体看成由大量离散粒子组成的时空离散系统,空间结构如图5a所示。粒子分布在离散空间中的每个网格中,其数量代表网格点的状态。每个时刻每个网格中的粒子从不同方向(本文用i表示)向其邻居移动并发生碰撞,如图

5b和图5c所示。

??u-[(??-0??5)??u]=0(12)??t19

将式(12)两边乘以??,并由式(11)可以得到??u-[(??-0??5)??u]=0(13)

??t9

很明显,式(13)是一各向异性的扩散方程,利用该方程可以实现图像的修补工作。

4??基于LBM的图像修补算法(LBMII)

图5??LBM空间结构,以及粒子的移动与碰撞示意图Fig.5??Construction,streamingandcollisionofLBM

(a)空间结构??(b)粒子移动??(c)粒子碰撞

第一步,利用遮挡系数给出待修补区域,为了保证待修补区域的完整性,可以使用一定宽度的模板对待修补区域进行膨胀操作;第二步,必须对LBM模型初始化。本文将图像中的像素点看作是网格空

间中的元胞,将原始图像作为LBM模型的初始值,

LBM中模型的演化方程可以写为

fi(r+??Ci,t+??)-fi(r,t)=1(0)

(fi(r,t)-fi(r,t))式中??????????松弛时间????????????时间步长

ir,??(4)

粒子密度分布函数和局部平衡分布函数的初始值设置如式(3)。第三步,对待修补区域以外的图像区域,保持图像不变;在待修补区域中,利用基于LBM

机器人;视觉;控制

156农??业??机??械??学??报??????????????????????????????????2010年

程:粒子从元胞内以特定方向向其邻居移动,在各个元胞内部发生碰撞,从而对元胞的状态产生影响,即

fi(r+??hCi,t+??t)=

fi(r,t)+

1(0)

[fi(r,t)-fi(r,t)]了较为明显的印迹;而当??定义为式(15)时,待修复区域与图像背景没有明显的边界,并且两者很好地融合在一起。这表明当??定义为式(15)时,对苹果图像的修复是非常有效的。5??2??主观评价

图7给出了LBMII在苹果图像修复中的实验结果。图8给出了CDD算法的实验结果。图7和图8中,第1列为存在枝叶遮挡的苹果图像,第2列为修复后的结果。从图7中可以看到,两幅苹果图像中的枝叶遮挡部分已经被很好地修复了;而图8中,枝叶遮挡部分经修复后,灰度仍与周围像素存在较大的差别。从图7和图8的实验结果来看LBMII算法是有效的。所有测试都是在InterT6500CPU、2GB内存的个人计算机上,以Windows7为操作系统,利用Matlab7编程实现的。

每次碰撞后必须以式(3)重新计算局部平衡分布函数。如果达到最大迭代次数,则退出迭代。第四步,输出??(r,t)。

5??实验与讨论

5??1??参数的选取

为了实现图像的各向异性扩散,必须将松弛因子??设为图像梯度的递减函数,因此QianshunC等将??定义为

??=a+a=0??5

式中??r、a??????常数

但是,式(14)存在两方面的缺陷:??虽然Sterling证明了当松弛因子大于0??5时可以保证模型的稳定[13]

性,但文献[14]指出当松弛因子??大于0??5,且十分接近0??5的时候,LBM模型仍然会变得不稳定。根据式(14),当图像梯度很大的时候,

|??u|r|??u|

(14)

变得非常小,LBM模型仍然可能不稳定。??利用式(14)LBM的宏观方程与TV模型是一致的,这导致了LBM模型不满足图像修复的连通性原则

为克服以上两种不足,将式(14)修改为

??=a+k=??

|k|

??(a??[

0??55,0??6])|??u|??u|??u[8]

。

图7??LBMII的苹果图像修复实验结果Fig.7??ImageinpaintingbasedonLBMII

??

(15)

这时,模型的宏观方程与CDD算法基本一致。

图6a和图6b分别给出了当??定义为式(15)和式(14)时模型对苹果图像的修复结果。很明显,当??定义为式(14)时,待修复区域仍然在图像中留下

图6????分别定义为式(15)和式(14)时模型

对苹果图像的修复结果

Fig.6??

Imageinpaintingas??isdefinedas(15)

and(14)respectively

(a)??定义为式(15)??(b)??定义为式(14)

??

图8??CDD的苹果图像修复实验结果Fig.8??ImageinpaintingbasedonCDD

5??3??客观评价

表1通过计算图9中测试图像的修复结果与原(

机器人;视觉;控制

第11期??????????????????????陈玉等:基于LBM的苹果采摘机器人视觉图像自动修复算法157

和CDD算法的计算精度的客观评价;同时,表1还通过给出每次迭代计算所花费的CPU时间,给出了对LBMII和CDD

算法计算速度的客观评价。

表1??LBMII和CDD算法的迭代耗时和峰值信噪比Tab.1??Time-costandPSNRanalysisofLBMIIandCDD

图片Lena

算法LBMIICDDLBMIICDD

摄影师

LBMIICDD

尺寸256??256256??256210??204210??204256??256256??256

迭代时间/s??次-1

0??0290??0250??0140??010??0290??022

PSNR53??2852??5643??3538??7940??2336??21

血细胞

图9??测试图像Fig.9??Testimages

(a)Lena??(b)血细胞??(c)摄影师

然后提出了一种基于格子波尔兹曼方法的并行图像修补方法,通过求解各向异性扩散方程,对遮挡区域进行修补操作,从而估计出丢失的信息。主观评价结果显示,经LBMII算法处理后,苹果图像中的枝叶遮挡部分已被很好地修复;而在CDD算法的修复结果中,枝叶遮挡区域经修复后,灰度仍与周围像素存在较大的差别。客观评价结果表明CDD算法相对于本文算法,其实验结果中存在较为明显的待修复区域的遗留痕迹。本文图像修复算法具有高度并行性,可以用于构建并行图像处理系统,特别适合如苹果采摘机器人视觉系统这类对实时性要求高的图像处理系统。另外,本文算法具有较高的峰值信噪比,说明该算法具有较高的计算精度。

文

献

从表1可以看出,在时间上,经典的CDD算法相对于本文算法较为快速。但由于本文图像修复算法的高度并行性,可以用于构建并行图像处理系统,这样特别适合苹果采摘机器人视觉系统这样的对实时性要求高的图像处理系统。在计算精度上,本文算法具有较高的峰值信噪比,说明本文算法具有较高的计算精度。

6??结束语

为恢复被果树枝叶遮挡后丢失的信息,首先通过计算遮挡因子,确定果树枝叶对苹果的遮挡区域;

参

考

1??BulanonDM,KataokaT,UkamotoH,eta.lDevelopmentofarea-ltimemachinevisionsystemfortheappleharvestingrobot

[C]??SICEAnnualConference,Sapporo,2004.

2??王津京,赵德安,姬伟,等.采摘机器入基于支持向量机苹果识别方法[J].农业机械学报,2009,40(1):148~151.WangJinjing,ZhaoDean,JiWe,http://wendang.chazidian.compplefruitrecognitionbasedonsupportvectormachineusinginharvestingrobot[J].TransactionsoftheChineseSocietyforAgriculturalMachinery,2009,40(1):148~151.(inChinese)3??蔡健荣,周小军,王锋,等.柑橘采摘机器人障碍物识别技术[J].农业机械学报,2009,40(11):171~175.CaiJianrong,ZhouXiaojun,WangFeng,

eta.lObstacleidentificationofcitrusharvestingrobot[J].Transactionsofthe

ChineseSocietyforAgriculturalMachinery,2009,40(11):171~175.(inChinese)

4??袁挺,李伟,谭豫之,等.温室环境下黄瓜采摘机器人信息获取[J].农业机械学报,2009,40(10):151~155.

YuanTing,LiWe,iTanYuzh,ieta.lInformationacquisitionforcucumberharvestingrobotingreenhouse[J].TransactionsoftheChineseSocietyforAgriculturalMachinery,2009,40(10):151~155.(inChinese)5??ChenSY,ChenHD,MartinezD,

eta.lLatticeBoltzmannmodelforsimulationofmagnetohydrodynamics[J].Physics

ReviewLetter,1991,67(27):3776~3779.

6??QianYH,HumieresD,http://wendang.chazidian.comtticeBGKmodelsforNavier-Stokesequation[J].EurophysicsLetters,1992,17(6):479~484.

7??BertalmioM,SapiroG,CasellesV,eta.lImageinpainting[C]??Proc.SIGGRAPHACM,2000:417~424.

8??ChanTF,ShenJ.Mathematicalmodelsforlocalnon-textureinpaintings[J].SIAMJ.App.lMath.,2002,62(3):1019~1043.

9??ChanTF,ShenJ.Non-textureinpaintingbycurvature-drivendiffusions(CDD)[J].JournalofVisualCommunicationand

ImageRepresentation,2001,12(4):436~449.

10??LeeTK,NgV,GallagherR,eta.lDullrazor:asoftwareapproachtohairremovalfromimages[http://wendang.chazidian.computersinBiology

andMedicine,1997,27(6):533~543.

页)