脐橙采摘机器人快速视觉定位系统研究_刘祚时

图像;识别;视觉

第35卷第3期江西理工大学学报

ＪｏｕｒｎａｌｏｆＪｉａｎｇｘｉＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙ

DOI：１０．１３２６５／ｊ．ｃｎｋｉ．ｊｘｌｇｄｘｘｂ．２０１４．０３．０１３Vol.35,No.3Jun.20142014年6月文章编号：２０９５－３０４６（２０１４）０３－００６８－０５

脐橙采摘机器人快速视觉定位系统研究

刘祚时a，

摘王亚平b，吴翠琴a（江西理工大学，a.机电工程学院；b.电气工程与自动化学院，江西赣州341000）要：基于双目视觉设计了脐橙采摘机器人果实快速识别与三维视觉定位系统.利用归一化2R-G-B色差模型阈值分割提取目标果实；采用游程编码快速进行连通区域标记及区域形状特征描述；通过最优采摘目标策略选取最佳采摘对象.针对目标的外形、纹理区分度小，容易出现多候选匹配情况，采用形心特征点与邻域灰度互相关性相结合的匹配算法立体匹配.通过定位实验验证了系统的实时性和精度性能.实验数据表明：系统定位单个果实时间为0.6s左右，在220~850mm距离范围内误差小于12mm，可以较好满足采摘机器人实时性和精度要求.

关键词：脐橙；采摘机器人；视觉定位；游程编码

中图分类号：TP391文献标志码：A

Studyonthefastvisionpositioningsystemintherobot

pickingnaveloranges

LIUZuo-shia,WANGYa-pingb,WUCui-qina

（a.SchoolofMechanicalandElectricalEngineering;b.SchoolofElectricalEngineeringandAutomation,

JiangxiUniversityofScienceandTechnology,Ganzhou341000,China）

Abstract:http://wendang.chazidian.combelingconnectedcomponentsandrecordingcharacterizationofregionalshapesarecarriedoutwiththerun-lengthencoding.Thebestpickingtargetisselectedwiththeoptimalpickingtarget.Hencethemultiplecandidatesmatchingisapttooccurduetotheappearanceandtextureofthetargetfruitwithoutsignificantdifference.Thealgorithmofcancroidsfeaturecombinedwithregionalcross-correlationsmatchingisusedtorealizethestereomatching.Theperformancesofreal-timeandprecisionofthesystemareverifiedbythepositioningexperiment.Theexperimentalresultsshowthatthelocalizationtimeforafruitisabout0.6s,andtheerrorislessthan12mmwithinthedistancerangingfrom220to850mm,whichcanmeettherequirementsofreal-timeandaccuracyinthepickingrobot.Keywords:navelorange；pickingrobot；visuallocalization；run-lengthencoding

是提高农业自动化，解决劳动力不足的必然发展趋

0引言势[1].在脐橙自动化采摘过程中对空间果实准确、

实时定位是成功采摘的关键.

双目视觉系统具有感知信息量丰富、全局性

好、精度高、非接触式测量等无可替代的优势，已广

泛应用于机器人导航、工业测量等方面[2-3].针对工脐橙作为赣南特色产业,种植面积居世界之首，果实采摘是一项繁重的劳动.随着人口老龄化，农业劳动人口不断缩减，实现脐橙自动化采摘

收稿日期：2014-05-21

基金项目：江西省教育厅青年科学基金项目（GJJ12357）：刘祚时（），男教授，，E-mail:69229680@http://wendang.chazidian.com.

图像;识别;视觉

第35卷第3期

近年来研究的热门课题

[4-7]

刘祚时，等：脐橙采摘机器人快速视觉定位系统研究

69

作于自然环境下的采摘机器人目标识别和定位，是通过颜色分量特征关系进行图像分割.在不同光照条件下对自然生长的果实进行图像采样，在

.采摘机器人是一个高

实时系统，其中识别定位是影响采摘机器人实时性的关键环节.提高视觉定位系统的实时性与准确性，进而改善采摘机器人性能、提高作业效率是目前采摘机器人应用推广亟待解决的重要问题.文中主要针对脐橙果实的快速识别、立体匹配和三维重建进行了研究.采用游程编码快速进行连通区域标记及区域形状特征描述；结合脐橙表面纹理、果形区分度小的特点，提出了脐橙采摘机器人目标果实快速识别和定位方法，设计了非结构环境下的双目视觉快速定位系统.为实时性场合下视觉定位提供了一种解决方案.

RGB颜色空间分析目标和背景R、G、B分量值关系.图像行采样像素各颜色通道值如图1（b）.可见

目标果实与背景在色差模型2R-G-B下灰度对比度较大.2R-G-B色差模型灰度直方图如图1（c），具有明显双峰特点，因此可设定阈值将目标分离[8].为了对不同光照强度有更好的适应性采用归一化色差（2R-G-B）/（2R+G+B）<T阈值分割.取全局阈值T=0.29时分割效果如图2（b）.得到分割后的图像经过中值滤波滤除噪声，转化成二值图像如图2（c）.对于部分果实存在粘连情况，将阈值分割后果实区域进行颜色变换求取灰度图像[9]，再采用高斯-拉普拉斯算子提取出果实的边界区域如图2（d）.再将图2（d）与二值化图像2（c）或运算可以较好将粘连果实分开如图2（e）.最后通过3次

1

1.1

果实识别

颜色特征分析与图像分割

根据果实颜色与背景颜色有明显的差异特点，

3×3模板的形态学腐蚀和膨胀处理，去掉图像中的噪声和小孔洞，得到连通果实区域，如图2（f）.

（a）行像素采样（b）采样行颜色通道分量曲线

（c）图像2R-G-B模型直方图

图1目标与背景各颜色通道分量与2R-G-B模型直方图

（a）原图

（b）分割后图像（c）图像二值化（d）果实边界提取

（e）图像（c）（d）或运算（f）形态学腐蚀、膨胀（g）随机圆法环拟合

图2目标分割提取

1.2区域特征分析

由于采摘过程是逐个摘取果实，因此要采用最

子填充算法和两步扫描法等，其都以像素为基本单元进行分析，计算代价高、实时性差.游程编码法[10]以游程为基本操作单元，连通区域分析基本单元由像素级转到游程级，提高了区域分析效率.文中采，

优采摘目标策略选取优先采摘对象.分割后的图像呈现多个目标连通区域，区域分析通常是图像处.常用的区域分析方法有种

图像;识别;视觉

70

具体步骤如下.

江西理工大学学报

Pi=S－S+γC－Cmaxminmaxmin

2014年6月

（6）

只需一遍扫描即可完成区域标记及形状特征计算，

第1步，初始化游程结构体数组，从左到右逐行扫描图像，编码记录一行中游程的编号RLEi、行坐标Ri、起止位置Xi、Yi，以及将指针Qi加入所邻接的父游程（当前游程上一行游程）所指向的根游程（首个父游程）链表.属同一根游程的游程组成一个区域对象.

第2步，判断当前游程与父游程的邻接关系，按四邻域方向判断重叠区域（K表示重叠像素数），如图3，有三种情况：訩若与上一行游程都不邻接（如RLE0），则创建新的根游程链接指针，并加入根游程链表；訪若与上一行单邻接（如RLE1与RLE0邻接），则将该游程指针加入父游程的根游程指针链表；訫若与上一行多个游程复邻接（如RLE3与

其中γ为比例系数.扫描整个区域后对堆栈内区域按优先度值Pi进行排序，选择优先度最高的区域为采摘目标，提取区域边界，采用随机圆环法[11-12]拟合求取目标圆心坐标和半径参数如图2（g）.

2立体匹配

立体匹配过程即找到左图特定点在右图中对应

的点.传统的匹配方法有基于区域匹配和基于特征匹配.基于区域匹配是以窗口内灰度分布的相似性进行判别图像对吻合程度，匹配计算量大，实时性差.基于特征的匹配是根据目标的特征点，边缘形状等特征进行匹配，具有匹配速度快，匹配精度高，但是特征匹配在寻找对应匹配点时很可能存在多个候选点或匹配点不存在，容易出现误匹配，如图4.

水平坐标

水平坐标

RLE1、RLE2复邻接），则将所邻接的父游程对应的

根游程链表中的成员更新合并到其中编号最小根游程链表中，并将当前游程指针加入合并后的根游程链表.

RLE0

R0R1R2

X0

X1

RLE1

X3

RLE3

K

Y0

Y1

X2

Y3

RLE2

Y2

X

垂直坐标

左图像

垂直坐标

X-DmaxX搜索区域极线

右图像

图4视差范围内多候选匹配图

图3游程编码示意图

文章利用形心特征点与邻域灰度互相关性相结合的匹配算法，通过由粗到精实现目标匹配.在形心特征点匹配过程中加以极线约束和视差范围约束.左图像中的点在右图像中只在对应的极线

（1）（2）（3）（4）

高度上搜索，考虑到畸变误差，将垂直方向上搜索范围限定在对应极线高度的上下三个像素范围内.在水平方向上搜索限定在机器人作业空间对应有效视差范围X-Dmax~X内，如图4.在搜索区域内的目标中心点为候选匹配点.针对搜索区域存在多候选匹配，容易出现误匹配的情况，采用邻域区域灰度相关性为唯一约束.文中采用光照强度适应性较好的归一化互相关性系数R（x,y），如式（7）.

第3步，统计区域的面积S，周长L、区域中心坐标p（，）等特征参数.往根游程链表中加入游程RELi+1时区域特征如下式（1）~式（4）：

Si+1=Si+Yi+1-Xi+1+1

Li+1=Li+2（Yi+1-Xi+1+1）＋2－2K

i+1=[i×Si+（Yi+1-Xi+1+1）（Xi+1+Yi+1）]/2Si+1i+1=[i×Si+（Yi+1-Xi+1+1）Ri+1]/Si+1

通常小面积区域为噪声干扰、距离远和不在采摘范围内的果实图像，所有行扫描完后，先去除这些小面积区域.再按公式（5）进行区域圆度检测.

Si

Ci=4πi

（5）

其中Si是区域的面积（区域像素总数），Li为区域的周长（区域边界像素个数）.Ci为区域的圆度，越接近1是表示区域形状越接近圆形.将面积在预设定范围内的圆形区域标记并加入堆栈.由于近距离目标比远距离目标成像大，外侧无遮挡的果实圆度较好.以近距离、外侧目标优先采摘的原则，选用优先度函数如式（6）.

R（x,y）＝

i=-Mj=-N

軈）（Q（x′+i,y′+j）-Q軍）ΣΣ（P（x+i,y+j）-P

2

2

MN

姨

i=-Mj=-N

軈）ΣΣ（Q（x′+i,y′+j）-Q軍）ΣΣ（P（x+i,y+j）-P

i=-Mj=-N

M

N

（7）

軈=ΣΣ（P（x+i,y+j））P

i=-Mj=-N

（8）

图像;识别;视觉

第35卷第3期

M

N

刘祚时，等：脐橙采摘机器人快速视觉定位系统研究

（9）

71

軍＝ΣΣ（Q（x′+i,y′+j））Q

i=-Mj=-N

取目标果实的像素坐标；通过摄像机标定获的摄像机内部参数外部参数.根据成像原理计算果实在摄像机坐标系的三维空间坐标，流程图如图6.

开始

其中P（x,y）为左图中目标中心点灰度，Q（x′,y′）为右图对应候选匹配点灰度，2M＋1，2N＋1为模板的高、宽.

匹配步骤如下：

步骤（1），在左图选取采摘目标，以该目标点中心P（x,y）建立9×9模板窗口，形心匹配加以极线约束视差约束，确定候选匹配点Q（x′,y′）.

步骤（2），选取一个候选匹配点，在它的15×15邻域窗口内移动模板，搜索与左图模板灰度分布相关性R（x,y）最高的匹配点.

步骤（3），判断相似性最高的匹配点是否满足匹配要求，R（x,y）＞L认为是正确匹配，接受该匹配点对；否则，匹配失败，转到步骤（2），对下一个候选匹配点进行匹配.

步骤（4），记录最后匹配点对坐标参与视差计算，若所候选匹配均不满足，则匹配目标不存在，转至步骤（1）进行下一目标匹配.

读左摄像机

信息并校正果实目标分割游程编码区域标记

读右摄像机信息并校正果实目标分割游程编码区域标记

候选特征点匹配互相关性系数R（x,y）唯一匹配图像视差

确定优先采摘目标

双目相机模型

三维坐标信息

结束

图6系统软件流程图

4实验与结果分析

系统利用两个型号相同LogitechQuickCam公

3目标定位

摄像机模型采用小孔成像的线性模型，双目摄

司的pro5000USB接口的CMOS摄像机，分辨率

像头主轴平行设置，双目模型如图5所示.

P（x,y，z）

Z1

I1

y1

x1

y2

O1

b

O2

x2

fZ2

P1（x1,y1）

P2（x2,y2）

Ir

L1

Z

1280×1024，视角50°，焦距8mm，图像信息处理采用便携式PC机，其CPU为A6-3400M四核，主频为2.4GHz，内存4GB，windows7操作系统.通过多角度棋盘标定板拍摄20组图像，采用Matlab标定工具箱标定[13]，系统采用VC++结合OpenCV库编程实现系统算法，开发调试软件界面如图7.

图5双目摄像机模型图

其中f为摄像机的焦距，b为两摄像机的基线长.

P1（x1,y1）和P2（x2,y2）为目标点P在两成像平面内的成像点坐标.通过三角测距原理可得目标果实的三维空间坐标点P（x，y，z）坐标如式（10）：

x＝bxx1-x2

y＝by（10）

x1-x2

z＝bf

x1-x2

ΣΣΣΣΣΣΣΣΣΣΣΣΣΣΣΣΣΣΣ

图7定位软件界面

实时性实验.以常用的种子填充的区域分析算法[14]作参照对比，系统区域分析阶段通过分别调用种子填充算子算法类和游程编码算法类，对固定视深为300mm和800mm的植株果实目标各做

通过CMOS双目摄像机实时获取目标信息，提

图像;识别;视觉

72

江西理工大学学报2014年6月

20组定位对比实验，其中单目标、多目标各10组.

测试系统完成一次定位过程的平均时间，对比试验结果如表1.

表1

算法种类

单目标

种子填充法游程编码法

多目标

单目标

多目标

重遮挡情况下的果实定位还有待深入研究.

5

算法运行时间对比实验/s

视深300mm

视深800mm

结论

在果实目标识别阶段对连通区域通过游程编码进行区域标记和区域特征参数检测.采用最优采摘目标策略，选取优先采摘对象.采用形心特征点与邻域灰度互相关性相结合的匹配法在提高了匹配速度的同时保证了匹配精度.视觉定位系统在机器人的工作空间内能较好满足精度和实时性要求.通过该定位系统研究也为其他视觉定位系统在实时性应用场合应用提供了一种参考解决方案.参考文献:

[1]金衡模,高焕文,王晓燕.农业机械自动化的现状与推进模式[J].中国农业大学学报,2000,5（2）:44-49.

0.78220.6124

0.89270.6915

0.79950.6373

0.91390.7147

定位精度实验.为了验证系统的定位精度通过双目摄像机随机选取深度范围在220~850mm的200个不同位置的植株目标果实进行识别试验，记录实测坐标和计算坐标.结果成功识别出果实

188次，有8次漏识别（没有检测到果实），有4次

误识别（将背景当作果实），部分实验数据如表2.

表2

序号

实测坐标/mm

部分实验数据

计算坐标/mm

时间/s

[2]张庆君,胡修林,叶斌,等.基于双目视觉的航天器间相对位置和

姿态的测量方法[J].宇航学报,2008,29（1）:156-161.

[3]JiménezAR,CeresR,PonsJL.Avisionsystembasedonalaserrange-finderappliedtoroboticfruitharvesting[J].MachineVisionandApplications,2000,11（6）:321-329.

[4]ArefiA,MotlaghAM,MollazadeK,etal.Recognitionand

localizationofripentomatobasedonmachinevision[J].AustralianJournalofCropScience,2011,5（10）:1144.[5]赵

鹏,赵德安.双目立体视觉在果树采摘机器人中的应用[J].农机化研究,2009,31（1）:212-214.

12345678910

(123,232,220)(256,156,293)(451,278,449)(361,248,383)(431,288,358)(342,338,568)(435,436,627)(356,259,746)(364,453,779)(366,137,849)

(119.17,224.14,227.22)(255.15,148.89,297.52)(442.89,283.44,455.25)(356.25,244.56,379.27)(428.54,283.58,359.13)(347.23,342.18,572.69)(434.22,428.14,620.12)(359.25,256.04,735.07)(356.13,450.12,791.54)(377.02,147.23,857.63)

0.57300.56280.65850.56100.57740.54460.56480.61890.63870.6231

[6]蒋焕煜,彭永石,应义斌.双目立体视觉技术在果蔬采摘机器人

中的应用[J].江苏大学学报,2008,29（5）:377-380.

[7]KondoN,NishitsujiY,LingPP,etal.Visualfeedbackguided

roboticcherrytomatoharvesting[J].TransactionsoftheASAE,1996,39（6）:2331-2338.

[8]赖有华,叶海建.几种阈值分割法在工程图自动识别中的应

用[J].江西理工大学学报,2006,27（4）:31-33.

[9]蔡健荣,周小军,李玉良,等.基于机器视觉自然场景下成熟柑

以上实验结果表明，该系统定位单个果实时间为0.6s左右，游程编码法进行区域特征分析相比以像素为基本单元的种子填充算法实时性更好，视野中有多目标情况时实性优势更明显.特征点与邻域互相关性相结合匹配算法在提高匹配效率的同时保证了匹配精度.系统识别率达94%，在距离范围220~850mm内误差小于12mm，可以较好满足采摘机器人实时性和精度要求.该方法针对近距离、部分遮挡目标果实有较好的定位效果，在严

橘识别[J].农业工程学报,2008,24（1）:175-178.

[10]胡涛,郭宝平,郭

军,刘

轩,等.基于改进游程连通分析的快速目刚,等.苹果采摘机器人果实识别与定位然,等.立体图像对的极线校正[J].计算

标描述算法[J].光电工程,2009,36（2）:116-121.

[11]司永胜,乔

方法[J].农业机械学报,2010,41（9）:148-153.

[12]朱庆生,胡章平,刘

机工程与设计,2009,30(17）：4027-4030.

[13]孙玉青,冀小平.Matlab标定工具箱在摄像机定标中的应用[J].

太原科技,2010,194(3）:99-100.

[14]吴潜,居太亮.应用种子填充算法提取图像的形状特征[J].

电讯技术,2001,41(4）:88-90.