水果采摘机器人视觉系统研究进展_卢军

图像;识别;视觉

第51卷第21期第年期月21112012

湖北农业科学Vol．51No.21Nov．，2012

HubeiAgriculturalSciences

水果采摘机器人视觉系统研究进展

卢

军，王贤锋，后德家

430070）

（华中农业大学理学院，武汉

摘要：概述了近年来国内外水果采摘机器人视觉系统的特点并进行了分析和归类，分析了不同视觉系统和方法的主要特征、所使用的传感器、检测水果的图像处理技术策略、检测效果以及系统的优点和局限性，并对研究的现状进行了综述。经分析发现大多数视觉系统是通过电荷耦合器件（CCD）摄像机来获取图像，利用颜色和纹理分析作为特征，由各种分类器进行水果的检测，通过多相机或者距离传感器来进行空间定位和尺度测量。指出了水果采摘机器人视觉系统存在的问题和有待改进的方面，并初步提出了一些设想和建议。

关键词：水果；采摘机器人；机器人视觉；空间定位；颜色和纹理分析中图分类号：TP242．6＋2

文献标识码：A

文章编号：0439－8114（2012）21－4705-04

DevelopmentofMachineVisionSystemforFruitHarvestingRobots

LUJun，WANGXian－feng，HOUDe－jia

（CollegeofScience，HuazhongAgriculturalUniversity，Wuhan430070，China）

Abstract：Areviewofpreviousstudiesonautomaticlocatingfruitsontreesusingcomputervisionmethodswasperformed．Themainfeaturesoftheseapproachesweredescribed，especiallyfocusingonthesensorsutilizedforcapturingtreeimages，theimageprocessingstrategyusedtodetectfruits，theresultsobtainedintermsofthecorrect／falsedetectionrates，andtheadvantagesandlimitationofthesystems．ThemajorityoftheseworksuseCCDcamerastocapturetheimagesanduselocalorshape－basedanalysistodetectthefruits，usemulticamerasorrangesensestolocatethefruits．Theaffectingfactorsofthesesystemssuchastheintensityoflight，occlusion，andalgorithmefficiencywerepointedout；andsomeopinionsandad-vicesonmachinevisionsystemweregiven．

Keywords：fruit；harvestrobot；machinevision；spaceorientation；colorandshapeanalysis

水果种植业的迅速发展提升了果园机械的市场需求。采摘作业所用劳动力占整个生产过程所用劳动力的33％～50％，采摘作业比较复杂，季节性很强，若使用人工采摘，不仅效率低、劳动量大，而且容易造成果实的损伤，直接影响到水果的品质。使用采摘机器人不仅提高了采摘效率，而且降低了损伤率，节省了人工成本，提高了果农的经济效益，因此，提高采摘作业机械化程度具有重要意义。随着农业从业者的减少及老龄化趋势的不断加大，采摘机器人的开发利用具有巨大的经济效益和广阔的市场前景，符合社会发展的需求。

任何一种水果采摘机器人的正常工作均依赖于对作业对象的正确识别，因而要实现水果采摘机器人对水果的收获，关键是要从果树中识别出水果并确定水果的准确空间位置，以便为机械手的运动提供参数，完成水果的采摘。因此，视觉系统性能的好坏会直接影响到水果采摘效果。视觉系统的性能应从精度和速度两方面来评价。影响视觉系统精度和速度的因素较多，比如不稳定的光照、风、水果和树叶的相互遮盖、水果自身生长程度不一等等。目前仅依靠机器视觉识别水果的方法还未能达到商业化程度，要尽快改进算法、降低使用成本、缩短采

收稿日期：2012－02－24

基金项目：中央高校基本科研业务费专项资金资助项目（HZAU：2011QC024）作者简介：卢

军（1979－），男，湖北宜昌人，讲师，在读博士研究生，研究方向为图像处理和机器人视觉，（电话）15827641151（电子信箱）

lujun5918＠163．com。

图像;识别;视觉

4706湖北农业科学2012年

摘时间、提高机器识别率和采摘效率［1］。判断草莓的姿态，并根据草莓的成熟度实现了果实的选择性采摘；试验证明该方法的平均判别速度为

1

1．1

水果识别研究进展

非绿色水果识别研究进展

国内外在机器人采摘领域已进行了不少研究，

1s/个，果柄误判率为7％，在采摘过程中仅对5％的

果实造成损伤。姜莉等［9］研究了自然光照条件下成熟石榴的识别，利用同态滤波进行图像增强，将图像从RGB空间转换到HIS空间，并将色调和饱和度融合，有效去除暗背景和灰背景，利用区域面积并结合形态学特征去除噪音实现区域分割，最后利用优化后的霍夫变换提取形心和半径，恢复遮挡果形。

同时，也有一部分工作通过采用较复杂的图像处理技术和模式识别方法，达到了不错的检测效果。蔡健荣等［10］采用遗传算法得到描述柑橘形状的最佳拟合椭圆参数，因任意椭圆都可以用5个变量描述，对这些变量进行二进制编码使之形成初始的基因码，在给定的图形匹配率公式的作用下进行遗传运算可以得到全局最优解，通过对变量添加一些约束条件，提高遗传算法收敛速度，试验结果表明该算法相对传统的圆形霍夫变换算法减少了空间需求和时间消耗，且利用椭圆来描述柑橘外形更接近真实情况。

视觉系统的采摘对象主要集中于颜色和背景差距较大、形状规则的水果，如接近红色的苹果、柑橘、番茄等［2］，由于目标与背景颜色的差距大，通过不同的颜色特征可以较好地实现对图像的分割，将水果从复杂的背景中提取出来。形状规则的则可通过提取其边缘特征，通过模式识别等方法将水果从复杂的背景图像中提取出来。也有部分工作将颜色特征和形状特征予以整合，从而提高识别的精度和效率。为了克服光照不均匀的现象，部分研究增加频闪光来改善照明条件，或者采用近红外光、超声成像的方式来获取图像。另外，也有将多类图像进行整合，采用图像融合技术来实现水果检测的研究［3］。

对于树上的非绿色水果，主要提取颜色特征、结合使用纹理特征和形状特征进行检测是多数采摘机器人视觉系统所采用的技术手段。蔡健荣等［4］利用彩色摄像机将获取到的RGB彩色图像转换到

HIS颜色空间，并将色调和饱和度结合产生融合图像，利用大津（Otsu）算法自动获取分割阈值，提取目

标区域；然后利用提取的区域形态特征进一步分割图像，去除颜色类似的枯叶和其他背景，提取成熟水果区域。徐惠荣等［5］建立了利用柑橘、树叶、树枝在R-B颜色指标上的差异进行树上柑橘识别的颜色模型，并利用动态阈值法，根据图像特征动态产生阈值T，将柑橘从背景中分割出来，试验结果表明在顺光和逆光条件下识别率均较高。古辉等［6］提出一种结合多种颜色特征和纹理特征进行分割的方法，能有效解决果蔬目标和背景颜色差异较小时的果蔬对象识别问题；同时，提出一种新理念解决果实被部分遮挡时中心点和采摘点确定问题，且利用几何校正方法有效定位了叠加的多个果蔬，试验结果表明该算法效果良好。蔡健荣等［7］采用2R－G－B色差分量，通过Ostu自适应阈值算法进行图像分割，利用形态运算消除随机噪音，并对分割区域进行标记，利用区域面积和区域最小外接矩形长宽比参数进一步去除背景区域；对于多果重叠问题，利用T＝Sqrt（S×I）形成新的图像提取边界，再结合形态学运算实现分割；最后利用优化的圆形霍夫变换提取目标图像的形心坐标及半径，恢复遮挡果形；经验证，有95％的果实能被正确识别。郭峰等［8］利用基于OHTA颜色空间的图像分割方法从背景中分割草莓，通过计算二值化草莓分割块的惯性主轴来

1．2绿色水果识别研究进展

近几年，对于树上绿色水果的检测逐渐成为国

内外农业机械领域的一个研究热点，通过采用许多新的图像处理方法和手段获得了树上绿色水果识别定位研究的成果。树上绿色水果的检测技术对于成熟绿色水果的自动收获、水果产量的前期估计和销售策略的制定等方面具有重要意义。

由于果树的树叶颜色为绿色，所以将绿色的水果从树冠中分割识别出来比识别非绿色水果难度要大得多，绿色水果在分割识别时颜色将不能作为一个主要特征，所以得寻求其他能够有效区分水果与树叶及背景的技术手段和检测算法，近几年围绕绿色水果的识别也派生出了一系列的工作。

司永胜等［11］以8×8像素的正方形区域为分割单位，选择颜色差R－B作为颜色特征，选择灰度均值、标准偏差和熵作为纹理特征，形成特征向量空间，采用间隙统计法确定苹果图像的最佳聚类数。将特征向量空间和最佳聚类数作为输入，运用均值聚类对树上绿色苹果图像进行聚类和分割。试验结果表明该算法能有效处理光照且果实识别的正确率达到81％。Ferhat等［12］利用颜色、环形Gabor滤波器提取的纹理特征以及特征果（类似于“特征脸”）组合成的特征向量，通过在3个不同尺度上滑动3个子窗口从而在整幅图像中寻找绿色柑橘。每个子窗口分类3次并利用多数投票的方式确定最终的

图像;识别;视觉

第21期卢军等：水果采摘机器人视觉系统研究进展4707

分类结果，试验结果表明在验证集上有75．30％的真实水果被正确检出。Raphael等［13］通过4个步骤实现了从彩色图像中估计绿色苹果数量的算法，首先利用颜色和平滑度来检测每个像素属于苹果的概率，然后将高概率且连通的区域定义为种子区域，接着将种子区域的边界分割为很多小段的弧，最后将这些弧组合起来并与理想的苹果模型进行比较，从而获得最终的检测结果。在两个验证集上的试验均表明该算法的识别率达到85％以上。

了估计图像中的水果数量、半径以及产量等目标。

在采用新的传感技术手段及图像融合技术进行识别和定位方面，也派生出一些新的工作。

Jimenez等［19］利用红外激光测距仪获得树上球形水

果的深度图像和反射图像，再整合这两种图像获得边界像素、顶部像素、凸区域和反射区域等4个原始特征，然后通过圆形霍夫变化算法获得球形水果的空间位置、半径和反射率等参数，该算法应用到柑橘采摘机器人上获得了较好的效果。Bulanon等［20］采用结合机器视觉系统和激光距离传感器的方式定位水果，其中用机器视觉系统识别苹果，用激光距离传感器来测量距离，田间试验结果显示末端执行器能够在7．1s的时间内采摘单果，采摘成功率达到90％。

Hiroshi等［14］通过高光谱成像及图像处理算法

的方式实现了树上绿色柑橘的识别。利用波长在

369～1042nm的高光谱相机对不同品种的绿色水

果成像，基于线性判别函数实现了高光谱图像的分割，通过空间域处理分割图像，检测出绿色的柑橘。水果检测试验表明在测试集上80％～89％的水果被成功检出，但是对于被遮挡和高对比度的水果检测存在困难。Wachs等［15］利用近红外热成像和视觉成像融合的方式，利用低层和高层视觉特征分别作用于两类图像模式，并采用互信息最大化的方式来优化参数，采用自适应投票的方式实现了决策级的图像融合，最终实现树上绿色苹果的识别，其融合后的识别精度约为75％。

3

3．1

存在的问题与展望

水果生长条件的不确定性

水果采摘机器人的作业对象是具有生命的离

散个体，不同种类的水果具有不同的形状和颜色，而同一类水果具有不同的品种，且同一品种的水果在不同的生长环境（光照、营养、水分等）条件下，个体的形状或颜色也会有所差异。另外，水果在不同的成熟阶段，本身的形状、颜色、纹理等外观特征也可能发生较大变化。而且水果在树上的位置是不确定的，果实的生长是随着时间和空间而变化的，这就要求水果采摘机器人能适应种类、品种和生长条件的变化，能处理形状和颜色上的细微差异。

2水果空间定位机制研究进展

采摘机器人的视觉系统不仅仅要能够从背景

中检测出树上的水果，而且要能够对视场中的水果进行空间定位，从而指导自身的末端执行器件完成水果采摘作业。树上水果通常采用双目相机和多目相机，通过多视几何方法和立体匹配技术进行空间定位；也有一些工作通过结合相机和其他距离传感技术来进行空间定位。

3．2环境条件的不确定性

水果采摘机器人的工作条件在不断发生变化，

工作时的天气条件可能时时改变，一天中的不同时辰也会导致光照度发生很大变化。自然光照度变化和阴影等都会给图像获取和图像分析带来困难，影响识别的正确率。这就要求水果采摘机器人不仅要具有与生物体柔性相对应的处理功能，而且还要能够顺应变化无常的自然环境，在视觉、知识推理和判断等方面具有相当高的智能。

Alessio等［16］利用装在两个机械手臂上的4个

相机同时获取4幅图像，并分别对左右手臂上的两台相机获取的两幅图像进行立体匹配以获得惟一的中心，然后将二维坐标映射到三维空间。对于左右手臂获得的目标，通过立体匹配技术和动态优化技术分配由哪个手臂实现采摘，并且在采摘过程中不断对目标位置进行修正。周俊等［17］利用双目视觉相机获取图像，利用霍夫变化检测出果实目标，并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型，从而获得目标质心的空间位置坐标，同时还在机械手上添加了单目摄像机以实现小尺度的精确伺服定位。Rakun等［18］通过整合物体颜色、纹理以及三维形状信息来识别水果，利用多视几何方法来进行空间定位，较好地处理了光照不均匀、部分遮挡以及相似背景等问题，最终实现

3．3遮挡情况的不确定性

遮挡是影响水果采摘机器人能否正常有效工

作的一个重要因素。在有光源直射的地方，由于不同物体的遮挡可能导致在工作视场内有明显的阴影，这就明显影响识别的速度和效果。另外，采用可见光相机在理论上只能检测视场范围内能够看到的水果，而无法检测到完全被遮挡、隐藏在树冠内部的水果。同时，视场内的水果可能部分被树干、树叶或者其他水果遮挡，也给有效地检测和识别带来了较大的困难。水果采摘机器人必须能够快速、高

图像;识别;视觉

4708湖北农业科学2012年

效地处理以上不同的遮挡情况，准确地对树上水果进行定位。

通过以上分析可以看出，虽然近年来国内外学者在树上水果识别方面已经开展了一些研究，但基于树上水果识别中的复杂性和不确定性，水果采摘机器人视觉系统应在充分提取树上水果及其背景的边界、颜色、纹理信息的基础上，充分利用邻域及上下文信息，并结合多种软件和硬件的技术手段，着力解决分割识别定位过程中的生长条件差异、光照变化、阴影和遮挡等诸多问题。

［7］蔡健荣，周小军，李玉良，等．基于机器视觉自然场景下成熟柑橘

识别［J］．农业工程学报，2008，24（1）：175－178．［8］郭［9］姜

峰，曹其新，崔永杰，等．用于草莓收获机器人的果实定位莉，沈明霞，王学林．基于计算机视觉的自然光照条件下

军，李玉良，等．基于遗传算法的树上柑桔形状特

和果柄检测方法［J］．农业工程学报，2008，24（10）：89－94．成熟石榴的识别［J］．浙江农业学报，2009，21（3）：278－282．［10］蔡健荣，范

征提取［J］．江苏大学学报（自然科学版），2007，28（6）：469－

472．［11］司永胜，刘

刚，高

瑞．基于K－均值聚类的绿色苹果识别技

术［J］．农业机械学报，2009，40（增刊）：100－104．

［12］FERHATK，WONSL，ALIV．Greencitrusdetectionusing

‘eigenfruit’，colorandcirculargabortexturefeaturesunder

4结语

水果采摘是一个季节性强的劳动密集型工作，

naturaloutdoorconditions［J］．ComputersandElectronicsinAgriculture，2011，78（2）：140-149．

［13］RAPHAELL，ODEDC，AMOSN．Determinationofthenum-

基于人口老龄化以及农村劳动力越来越少的趋势，单调繁重的水果采摘作业需要高效率、低成本、通用化的采摘机器人技术。随着精准农业研究与示范工程的开展和农业机器人成本的下降，水果采摘机器人必将越来越广泛地应用到农业生产过程中，有着巨大的发展潜力。这就对水果采摘机器人的视觉系统在处理时间和精度上提出了更高的要求，它必将随着机器人的普及得到更快的发展。

参考文献：

［1］宋

健，张铁中，徐丽明，等．果蔬采摘机器人研究进展与展望［J］．农业机械学报，2006，37（5）：158－162．

［2］张瑞合，姬长英，沈明霞，等．计算机视觉技术在番茄收获中的应

用［J］．农业机械学报，2001，32（5）：50－52，58．

［3］JIMEZR，CERESR，PONSJL．Avisionsystembasedona

berofgreenapplesinRGBimagesrecordedinorchards［J］．ComputersandElectronicsinAgriculture，2012，81（1）：45-57．［14］HIROSHIO，WONSL．Greencitrusdetectionusinghyper-

spectralimaging［J］．ComputersandElectronicsinAgricul-ture，2009，66（2）：201-208．

［15］WACHSJP，STERNHI，BURKST，etal．Lowandhigh－

levelvisualfeature－basedappledetectionfrommulti－modalimages［J］．PrecisionAgric，2010，11（6）：717-735．

［16］ALESSIOP，GIORGIOG．Localizationofsphericalfruitsfor

roboticharvesting［J］．MachineVisionandApplications，2001，13（2）：70-79．［17］周

俊，刘

锐，张高阳．基于立体视觉的水果采摘机器人系

统设计［J］．农业机械学报，2010，41（6）：158－162．

［18］RAKUNJ，STAJNKOD，ZAZULAD．Detectingfruitsin

naturalscenesbyusingspatial－frequencybasedtextureanal-ysisandmultiviewgeometry［J］．ComputersandElectronicsinAgriculture，2011，76（1）：80-88．

［19］JIMENEZAR，CERESR，PONSJL．Avisionsystembased

laserrange－finderappliedtoroboticfruitharvesting［J］．Ma-chineVisionandApplications，2000，11（6）：321-329．

［4］蔡健荣，赵杰文．自然场景下成熟水果的计算机视觉识别［J］．农

业机械学报，2005，36（2）：61－64．

［5］徐惠荣，叶尊忠，应义斌．基于彩色信息的树上柑橘识别研究［J］．

农业工程学报，2005，21（5）：98－101．［6］古

辉，芦亚亚，丁维龙，等．自然场景下果实目标的识别和定位［J］．浙江工业大学学报，2007，35（3）：267－273．

onalaserrange－finderappliedtoroboticfruitharvesting［J］．MachineVisionandApplications，2000，11（6）：321-329．［20］BULANONDM，KATAOKAT．Fruitdetectionsystemand

anendeffectorforroboticharvestingofFujiapples［J］．AgricEngInt：CIGRJournal，2010，12（1）：203－210．

（责任编辑昌炎新）