番茄收获机器人视觉系统标定的研究_闫薇

机器人;控制;系统

2006年11月 农 机 化 研 究 第11期

番茄收获机器人视觉系统标定的研究

闫 薇，冯 江，刘小勇

（东北农业大学 工程学院，哈尔滨 150030）

摘 要：番茄收获机器人在番茄收获中是靠其视觉系统来获得目标位置信息的，而在定位过程中，首先遇到的就是摄像机的标定问题。为此，主要研究了番茄收获机器人双目视觉系统的标定，标定出了番茄收获机器人双目视觉系统的内部参数和外部参数，为番茄收获机器人双目定位系统提供了系统参数。 关键词：自动控制技术；番茄收获机器人；标定；视觉系统

+

中图分类号：TP242.62 文献标识码：A 文章编号：1003─188X(2006)11─0123─03

0 引言

机器人视觉系统的标定就是要解决相机坐标系与图像坐标系之间的关系、确定两个摄像机之间的相对位置、获得摄像机的属性参数，建立一个有效的摄像机模型。目前，摄像机标定技术可以分为两类[1,2]：一是传统的标定技术；二是自标定技术。传统的标定技术是利用一个标准参照物与其对应图像的对应约束关系来确定摄像机模型的参数，可以用一幅以上的图像进行标定。1992年，Hartley和Faugeras等人首次提出了摄像机自标定技术，目前已成为计算机视觉领域的研究热点之一。其通过控制摄像机运动得到图像序列，利用从图像序列的匹配信息中得到的约束关系来计算摄像机模型的参数，但这些方法都要求具有主动视觉平台，实现起来价格昂贵。为此，利用传统标定方法建立了番茄收获机器人双目视觉系统的标定模型。

取与摄像机坐标系的xy平面平行，如图1所示。 XwZw

Yw

世界坐 标系平面 P(x,y) P(Xc,Yc,Zc)

Xc

x

镜头平面

Yc像平面 Z

y

物平面

图1 摄像机成像的几何关系及坐标系

4) 计算机图像坐标系O0uv：即数字图像在计算机中所在的坐标系。它是以像素为单位的图像坐标系，如图2所示。 O

u

O(u,v)

x

vy

1

1 摄像机模型

在图像采集中需要将客观世界的3-D场景投影到摄像机的2-D像平面上，这个投影关系可用成像变换进行描述。成像变换涉及不同坐标系之间的变换，其主要的坐标系如下所述。

1) 世界坐标系OwXwYwZw：它是客观世界的绝对坐标，用它来表示3-D场景的绝对位置，如图1所示。

2) 摄像机坐标系OcXcYcZc：以摄像机的光心为坐标系的中心，一般常取摄像机的光学轴为Z轴，如图1所示。

3) 像平面坐标系O1xy：即摄像机感光面所在的

收稿日期：2005-12-17

作者简介：闫 薇（1972-）,女，黑龙江克东人，讲师，硕士，

(E-mail)wyan1111@http://wendang.chazidian.com。

图2 图像坐标系

2 视觉系统标定

摄像机坐标系与世界坐标系之间的关系可以用一个旋转矩阵R和平移向量t来描述。因此，空间中某一点P在世界坐标系和摄像机坐标系下的齐次坐标存在如下关系：

?Xc???

?Yc?=?R?Z??0T?c?????1?

?Xw??Xw?

????

t??Yw??Yw?

???=M1?? (1)

Z1?Zw

?w???

????1???1?

坐标系，它是以毫米为单位的图像坐标系。一般常

?R1

?

其中，R=?R4

?R?7

R2R5R8

R3??tx????R6?为正交矩阵，t=?ty?，

?t?R9???z?

- 123 -

机器人;控制;系统

2006年11月 农 机 化 研 究 第11期

0T=[000]。

?Xwim11+Ywim12+Zwim13+m14?ui(Xwim31+Ywim32+?

?Zwim33)=uim34

(7) ?

(XmYmZmmvXmYm+++?++wi2324iwi31wi32?wi21wi22

?Zwim33)=vim34?

由摄像机针孔模型的几何比例关系可得

?x=f?Xc/Zc

(2) ?

y=f?Y/Zcc?

在式(7)的方程组表示，如果标定目标上有N个已知点，并知道它们的空间坐标与它们的图像坐标，则有2N个关于M矩阵元素的线性方程，可将方程组简写为

Km=U (8)

把式(2)写成矩阵的形式，则有

?x??f???Zc?y?=?0?1??0???

0??0?1??

f0

?Xc?

??

?Yc? (3) ?Z??c?

式中 f—摄像机的焦距。

在图像坐标系中，图像中任意一个像素在两个坐标系下的坐标关系由齐次坐标求得，则

?x??dx0?u0?dx?????

=??ydyvdy00?????1??001?????

?u?

??

?v? (4) ?1???

其中，K为2N×11矩阵，m为未知的11维向量，

U为2N维向量。当2N＞11时，用最小二乘法求出

上述线性方程组的解为

m=(KTK)?1KTU (9)

由式(7)可知，利用6个或6个以上已知点与它们的图像点坐标，就可以求出M矩阵。然后可由式(5)表示的关系式算出摄像机的全部内外参数。因此，可以将式(7)中M矩阵与摄像机内外参数的关系写成为

′?m11

?m34?m′21

?m′?31

′m12′m22′m32

′m13′m23′m33

′?m14

?m′24?1??

axR3+u0R9ayR6+v0R9

R9

axtx+u0tz?

?

ayty+u0tz?

?tz?

其中，dx和dy分别是每一个像素在x轴和y轴方向上的物理尺寸。

在图2中，u0，v0是点o1在u和v坐标系中的坐标，也就是图像的主点。图像的主点也就是图像的中心点，是光轴穿过图像平面的点。对于不需要精确中心位置的系统，通常假设图像帧存的中心点即为图像中心点。对于要求较高的视觉系统，有必要给出较高精度的图像中心的位置（于希娟，2004）。由于番茄收获机械手的双目视觉系统是要求精度不很高的中心位置的系统，所以本文采用图像帧存的中心点为图像的主点。

由以上各式，得到P点的三维坐标与其投影点p的图像坐标（u，v）的关系为

?u??ax???Zc?v?=?0?1??0???

0ay0

u0??Xw?

Rt?????v0????Yw?

?01??? (5) 1??Zw??

ff

,ay=，只dxdy

?axR1+u0R7

?

=?ayR4+v0R7?R7?

axR2+u0R8ayR5+v0R8

R8

(10)

，由式子左边的矩 令mi=[mi′1mi′2mi′3]（i=1,2,3）

阵可知，第3行前3列所组成的向量r3=[R7R8R9]是正交单位矩阵R的第3行，所以有r3=1，则从

m34m3=1中求出m34=

1。摄像机其它参数由下面求m3

得，即

ax=m34m1?u0m34m3 ay=m34m3?v0m34m3

′ R7=m34m31′ R8=m34m32′ R9=m34m33

=M1?M2X=MX

其中，M1由ax和ay决定的，ax=

与摄像机内部结构有关，称这些参数为摄像机内部

参数；M2由摄像机相对于世界坐标系的方位决定，称之为摄像机外部参数（吴婷，2005）。 将式(5)改写为

?ui??m11m12???

Zci?vi?=?m21m22

?1??m

???31m32

m13m23m33

m14??m24?m34??

?Xwi?

??

?Ywi? (6) ?Z??wi????1?

tz=m34 ′?u0R7)/ax R1=(m34m11

′?u0R8)/ax R2=(m34m12

′?u0R9)/ax R3=(m34m13

R4=(m34m′21?v0R7)/ay ′?v0R8)/ay R5=(m34m22

′?v0R9)/ay R6=(m34m23

′?u0tz)/ax tx=(m34m14

′?v0tz)/ay ty=(m34m24

其中，(Xwi,Ywi,Zwi)为空间第i点的坐标；(ui,vi,1)

为第i点的图像坐标；mij为投影矩阵M的第i行j列元素。由式（6）可得如下方程

- 124 -

机器人;控制;系统

2006年11月 农 机 化 研 究 第11期

3 实验结果

实验采用PC Camera摄像头，600×800个感光元素，感光面积为4.86mm×3.64mm，接口为USB。模板为4×4个黑色方块（如图

3所示）。

图3 标定模板

4 结论

本文通过选取合适的世界坐标系构建了番茄收获机器人视觉系统的标定模型，并通过实验得出了番茄收获机器人视觉系统的内外参数。 参考文献：

[1] 马桂珍.基于双目视觉的手术器械跟踪定位技术

[J].微计算机应用,2005(2):181-183.

[2] 郝晓辰,刘 爽.双目立体视觉测量模型与同名点

匹配研究[J].仪器仪表学报,2005(2):11-13. [3] 李茂西,王从军,陈 鑫.平行光线对双目视觉测量

系统的影响研究[J].机械与电子,2005(5):15-17. [4] A. R. Jimenez, R. Ceres, J. L. Pons. A survey

of computer vision methods for locating fruit on trees[J].Transaction of the ASAE,2000, 43(6):1911-1920.

[5] 傅其凤,崔彦平,葛杏卫.基于双目视觉模型的炮弹

落地姿态测量方法的研究[J].燕山大学学报,2005 (3):271-274.

[6] Zhenyou Zhang.A Flexible New Technique for

camera Calibration[J].IEEE Transaction on pa-

图4 标定结果

对上述双目视觉系统的参数的确定，本文选取了模板的位置距离摄像头的距离分别为初始位置、与初始位置之间距离增加100mm、与初始位置之间距离增加200mm这3个位置图像。标定结果如图4所示。

ttern analysis and machine intelligence,2000, 22(11):1246-1253.

Research on Calibration Technique of Vision System of Tomato

Harvesting Robot

YAN Wei, FENG Jiang, LIU Xiao-yong

（College of Engineering, Northeast Agricultural University, Harbin 150030, China）

Abstract：The tomato harvesting robot obtained positional information of object by its vision system, but in the process of locating, the first facing problem is the problem of camera's calibration. Hence, this paper mainly studied the calibration of the binocular cameras vision system and calibrated inner and outer parameters of binocular cameras vision system of the tomato harvesting robot, it could provide system parameters for confirming binocular cameras locating system of the tomato harvesting robot.

Key words：auto-control technology; tomato harvesting robot; calibration; vision system

- 125 -