基于极线几何的机器人视觉伺服控制系统分析_杨逢瑜

机器人;视觉;控制

第28卷第1期

　　　Vol.28,No.1

西华大学学报(自然科学版)

　　　JournalofXihuaUniversity·NaturalScience

2009年1月

　　　Jan.2009

文章编号:1673-159X(2009)01-0014-03

基于极线几何的机器人视觉伺服控制系统分析

杨逢瑜,王其磊,关红艳,陈君辉,王　顺,娄　磊

(兰州理工大学流体动力与控制学院,甘肃兰州730050)

摘　要:为了更好地解决机器人视觉伺服控制系统中运行误差的问题,引入了一种基于图像的交互式几何建模方法。该方法利用自动方式标定模型的平行线、特征点,得到摄像机参数,进而计算出模型的几何信息,然后从图像中提取要素,提出一种最优控制运行方式,并且以此为基础提出了视觉伺服控制器的设计。仿真与试验结果表明,这种控制方法能够使图像上特征向量的误差收敛到零,机器人能够到达期望的位姿上。

关键词:极线几何;机器人;视觉伺服控制　　中图分类号:TP242.6

　　文献标识码:A

TheAnalysisofRoboticVisualServoControl

SystemBasedonEpipolarGeometry

YANGFeng-yu,WANGQi-lei,GUANHong-yan,CHENJun-hui,WANGShun,LOULei

(CollegeofFluidPowerandControl,LanzhouUniv.ofTech.,Lanzhou730050China)

Abstract:Inordertosolvetheproblemoffunctionerrorforroboticvisualservocontrolsystem,aninteractivemethodofimage-basedmodelingispresented.Inthispaper,theparallellinesandcharacteristicpointsofamodel,whicharegainedfrominteractivein-put,areusedtocomputecamerasparameters,andfurthermodelsgeometricinformation.Textureinformationisalsoobtainedfromtheimages.Anoptimalcontrolmodeisproposed,andthedesignofvisualservocontrollerisputforwardbasedonthemode.Thesimula-tionandexperimentresultsshowthatthiscontrolmethodcanmaketheerrorofcharacteristicvectorsofanimageconvergetozero,andtherobotcanreachthedesiredpositionandorientation.

Keywords:epipolargeometry;robotic;visualservocontrol

　　随着国内外学者对机器人视觉伺服系统研究的深入,人们按照不同的标准对视觉伺服系统的分类

是多种多样的,不同结构的系统有各自的特点及优缺点。视觉系统可以将三维空间的物体特征映射到二维图像平面上,再利用所获得的图像信息来控制机器人,这就需要建立图像特征向量变化与机器人

[1-3]

空间位姿变化的一种关系,极线几何讨论的是两个摄像机图像平面的关系,本研究将极线几何的理论应用到视觉伺服控制中,找到当前摄像机位姿所获得的图像与期望图像的关系,然后利用这样一个关系控制机器人。

机使用针孔摄像机,采用eye-in-hand摄像机与机器人结构,能够从图像中提取N个可以使用的特征点,机器人期望的位姿已经知道。在不需要估计机器人末端的位姿和周围场景3D信息的情况下,保证目标始终在视觉范围内,机器人运动过程中直接使用摄像机获得的图像信息控制机器人运动到期望的位姿。初始位姿为X1,期望的位姿为X2,初始位姿与期望位姿的变换矩阵为T。1(R1　t1)

2

2

2

2　数学建模

2.1　极线几何关系

在双目立体视觉系统中,数据是两个摄像机获得的图像,即左图像I,如图1所示。如1与右图像Ir果p在两个图像上的投影点,1,p2是空间同一点p

1　系统问题设计

假设机器人手臂和摄像机已经准确标定,摄像

　　收稿日期:2008-06-20

),男,,,,。

机器人;视觉;控制

第1期杨逢瑜等:基于极线几何的机器人视觉伺服控制系统分析

-1

15　　　

T

称p1与p2互为对应点。对于对应点的寻找与极线

几何密切相关

。

令F×M5)可以写成ppr1Ml1,则式(rFl=0,F称为基本矩阵(FundamentalMatrix)。基本矩阵是极线几何的一种代数表示,将极线约束采用基本矩阵平移矢量定义基本矩阵,可以表示为

-T-1

F=ARArSl对应点的归一化图像坐标,式(6)可以写成

pSp 0rRl=

-TT

-1

T

(6)

当摄像机内部参数A,Alr已知,可以求得特征

(7)

式中,p A A,p ,p r=rpr,pl=lplrl为特征对应点

图1　双目立体视觉中的极线几何关系

的归一化图像坐标。

定义E=RS为本质矩阵(EssentialMatrix),它只与视觉系统的结构参数有关。

2.2　极线约束方程

将两个摄像机的投影方程写成

spMX(MXll=lW=l1　m1)WspMX(M)Xrr=rW=r1　mrW

3　视觉伺服控制器的设计

(1)

从已知的期望位姿1

2

2

R1　1,计算出相应

2

式中,X在世界坐标系下的齐W为空间某点P次坐标;p和p点分别在左右图像的图像齐次lr是P坐标。将M矩阵中左面的3×3部分分别记l和Mr作M1部分分别记作m。l1和Mr1,右边3×l和mr

由于上述中两边是三维向量,上述包含了三个等式,用这个等式消去sl与sr后,就可以得到一个

与s无关的p与p的关系,这就是极线约束。l和srlr

为了使上述消去过程

更清晰,引入t=

T

tttxyz的反对称矩阵×。由定义,×,的不可逆矩阵。

-1

T

的本质矩阵E=RS

。对于每一个第一视角获得的特征点7)可以得到相应的在最终期1,根据式(望视角图像平面中的极线参数2,即,

2ibici

T

=E·1(8)

[4-6]

现在,使用任务函数的思想设计控制器。

根据图像平面中所有选取的特征点调整某一

T

个输出误差函数..收敛到1零,来表示一个基于图像的视觉伺服策略。文章假设机器人周围的环境是三维静止的,那么误差函数有下面的形式:

E·=·1

·c+i

这里,1

T

×是一个不满秩

=

a·bi+i

(9)是在当

将式(1)右边的向量记作m,即

m=mM(2)r-r1

Ml1m1

将由m定义的反对称矩阵记作×,将×

左乘式(1)的两边,则由×m=0可知,

前摄像机位置用参数X表示,得到的特征点图像坐

标。,误差

函数表示点到极线2上目标点的距离。

建立任务函数的导数与摄像机运动的关系,

c

ab﹒iii·Je(

10)img·根据控制理论,这里的控制任务能够完成当且仅当存在一个控制量U,这个控制量可以在有限的时间内使=0。使用最简单的梯度法就可以满足任务函数以指数收敛到零,下面以期望的速度作为控制输入量,

e﹒=-λ·e　λ>0cspsM=0rr-lr1M1

-1

l1

(3)

sl

将上式两边除以s,并记s,得r

sr×sMr1Mp1×pr

T-1

l1

(4)

式(4)右边向量为×pm×p,可见该向量r=r

与p4)两边,并将所得式两边r正交,将pr左乘式(除以s后得到以下重要关系:

-10×Mr1Ml1p1=

(5)

式(5)的意义是,它给出了pl和pr所必须满足的关系。可以看出,在给定p5)是一l的情况下,式(个关于pr的线性方程,即Ir图像上的极线方程。反过来,在给定p5)是一个关于pr的情况下,式(l的线性方程,即Il图像上的极线方程。

(11)

机器人;视觉;控制

16　　　

西华大学学报·自然科学版2009年

根据式(10)和(11)得到控制输入量:

+

U=-λ·Jimg·e

+

(12)

图

3为摄像机图像平面,描述了各点在摄像机

移动过程中所经过的轨迹

,摄像机先做旋转运动,虚线为旋转过程各点经过的轨迹,当各点达到各自极线上时,摄像机再做平移运动,使得各点沿着极线逼近期望位置,粗线代表其轨迹,可以看出,各点最终将到达期望的位置上。在整个过程,机器人的控制输入量如图4所示。图5描述了误差函数e最终收敛到零。

这里,J表示图像雅可比矩阵的伪逆矩阵。img

当摄像机在初始位置获得的图像和在期望位置

获得的图像方位相同时,图像上特征点到其相对应的极线的距离为零。只考虑摄像机的旋转运动。

Te﹒1iai·J·imgrotT

(13)

这里可以看出矩阵J中并不包含图像特征imgrot

点的深度。因为摄像机的平移运动是沿着极线方向往期望位置移动,并不受先前旋转运动的限制。根

据式(12)和(13)可以确定各关节的控制输入量。

4　仿真实验

结合使用机器人工具箱和极线几何工具箱(EpipolarGeometryToolbox)来实现机器人视觉伺服控制算法的仿真。首先在空间中以[1　2　0.7]为中心,半径为1的球体内,随机选择15个点,然后给定摄像机的初始位姿和期望位姿,并记录下摄像机在各个位姿上所获得的图像平面上各点的位置。初始位姿为

0.9698

T0c i0.17100.17360

期望位姿为

100T0c d00

100100

-0.22170.91510.33680

-0.1013-0.3652

0.9254

-0-1

0.21(14)

100

1

(15)

图4　机器人运动控制输入量图3　图像平面内特征点运动轨迹

[4]

图2描述了摄像机在往期望位姿移动过程中的某一时刻的位姿和空间中选择的各点的位置。这里,所选取的点在整个移动过程中,始终保持在摄像

机视野范围内。

图5　误差函数e的变化

5　结论

极线几何的理论和性质与机器人视觉伺服控制

图2　基于极线几何的机器人视觉伺服运动仿真

结合在一起,将特征点沿着极线移动(下转20页)

机器人;视觉;控制

20　　　

西华大学学报·自然科学版2009年

子程序,从而计算出当前环境温度和控制电压下的合闸时间,完成所建神经网络模型在DSP上的实现。

另一方面,由于断路器的操动机构的机械老化、触头电磨损和机构运动部件阻尼系数的改变等不确定因素可能导致永磁机构断路器操作时间的改变。因此,为了补偿这些不确定的因素的影响,采用自适应算法。在同步关合过程中,根据位置信号判断开关实际合闸时间,与开关触发时间相减得到Δt,由于断路器的机械老化、触头磨损和阻尼系数的改变是一种缓慢过程,为了减小偶然因素造成的干扰,对10次历史操作记录的Δt采用加权滤波,从而可以预测第n+1次操作所需补偿的操作时间为:

t(n)=∑at(n-i);　∑a1,a(i)=1.3a(idici=i=1i=1

-1)。

经过Δtt自适应的补偿,减少了1环境补偿和Δ开关机构的分散性。

10

10

引起DSP系统的中断,在中断服务程序中计算出电压过零点的时刻,并根据当前的环境温度,控制电压和机械磨损及老化计算出断路器的合闸时间,从而确定发合闸启动信号的时刻

[7-8]

。

3　小结

本文研究了智能断路器同步控制技术及其实现方法,首先对断路器关合空载变压器进行了仿真分析,通过FIR滤波器对电网信号进行预处理,线性插值计算信号过零点,通过基于L-M算法的BP神经网络计算断路器的合闸时间,得到了计算合闸时间的多项式,完成了神经网络模型在DSP上的实现,对断路器自适应补偿的分析,完成了智能断路器同步关合控制系统的设计。随着操动机构及控制技术的不断发展,断路器的同步控制技术将会取得更大的发展。

2　同步关合控制系统的设计

综上所述,本文所设计的智能断路器同步关合控制系统结构如下图所示

:

参　考　文　献

[1]林莘.永磁机构与真空断路器[M].北京:机械工业出版社,2002.

[2]李利,徐建源.真空断路器的同步关合控制[J].华北电力大学学报,2002(5):104-107.

[3]陈皓.微机保护原理及算法仿真[M].北京:中国电力出版社,2007.

[4]方春恩,邹积岩,从吉远,等.基于DSP的无功补偿电容器组同步投切装置[J].高压电器,2003,39(6):21-23.

[5]董长虹.Matlab神经网络与应用[M].北京:国防工业出版社,2005.

[6]幸晋渝,刘念.基于DSP和人工神经网络的智能同步断路器研究[J].电力自动化设备,2005(1):21-24.

[7]张雄伟,邹霞,贾冲.DSP芯片原理与应用[M].北京:机械工业出版社,2005.

[8]来清民,张玉英.基于MSP430单片机的智能同步开关控制

图7　智能断路同步关合控制原理框图

三相触头间隙电压和电流波形及环境温度和控制电压,通过A/D转换送入DSP测控系统进行实时不断采样,在接到手动或远动合闸信号后,合闸信号

(上接16页)

系统[J].微计算机信息,2007,23(4-2):115-117.

(编校:夏书林)

[M].合肥:安徽大学出版社,2002:159-165.

[2]CHAUMETTE.F,ImageMomentsaGeneralandUsefulsetofFeaturesforVisualServoing[J].IEEETrans.onRobotics,2004,20(4):713-723.

[3]FICOCELLI.M,JANABI-SHARIFI.F.AdaptiveFilteringforPoseEstimationinVisualServoing[J].In:ProofIntCononIntelli-gentRobotsandSystems,2001,34(4):19-24.

[4]MARINOTTINI.G,PRTTICHIZZO.D.EpipolarGeometryToolboxformatlab.UniversityofSiena,http://egt.dii.unisi.it,2005.

到期望的位置。这种控制方法具有不需要事先知道3D场景信息的优点。最后进行仿真试验,得到了很好的控制效果,图像上的特征点能够最终收敛到期望的位置,误差收敛到零,为极限几何的应用奠定了基础。

参　考　文　献

[1]　韦穗,杨尚骏,章权兵,等.计算机视觉中的多视图几何

(编校:夏书林)