基于BP网络的足球机器人视觉系统的标定_袁野

机器人;视觉;控制

第23卷第7期2001年10月

文章编号:1002-0446(2001)07-0752-04

机器人　ROBOT

Vol.23,No.7　Oct.,2001

基于BP网络的足球机器人视觉系统的标定

袁　野　仲崇权　欧宗瑛

1.2

1

2

⒇

(1.大连理工大学自动化系　大连　116024;　2.大连理工大学机械系CAD&CG研究所　大连　116024)

摘　要:摄像机标定是足球机器人(MIROSOT)视觉系统的基础.由于实际空间点的三维几何位置与其在图像中对应点之间的是一种复杂的非线性映射关系,而BP网络它可以实现从输入到输出的任意的非线性映射,本文将BP网络应用于足球机器人视觉系统的标定,采用Levenberg-Marquardt的学习算法,实验结果证明了该算法的可行性.

关键词:MIROSOT,摄像机标定,BP网络,Levenberg-Marquardt算法中图分类号:　TP24　　　　文献标识码:　B

ANEWALGORITHMOFCAMERACALIBRATIONBASED

ONBPNEURALNETWORKSINMIROSOT

1,212

YUANYe　ZHONGChong-quan　OUZong-ying

(1.AutomationDepartment,DalianUniversityofTechnology,Dalian,116024;

2.CAD&CGlab,MechanicalEngineeringDepartment,DalianUniversityofTechnology,Dalian,116024)

　Abstract:

CameracalibrationisthebaseofMIROSOT.Therearecomplexnonlinearrelationshipsbetweenthe

3Dpointandthematchedimagepoint.BPneuralnetworkscanrealizeanynonlinearrelationshipfrominputtoout-put.AnewalgorithmofcameracalibrationusingLevenberg-MarquardtalgorithmbasedonBPneuralnetworkswasappliedinMIROSOTinthispaper.Theexperimentalresultsshowthatthealgorithmisfeasible.　Keywords:MIROSOT,cameracalibration,BPneuralnetworks,levenberg-Marquardtalgorithm

1　引言

足球机器人(MIROSOT)是一个涉及机器人视觉,控制结构,通信方案,传感器应用等多个研究

领域的典型的智能机器人系统,因其复杂性而引起了人们的广泛关注.其中视觉跟踪系统是其中较为关键的技术,也可以说是整个系统的基础,摄像机标定则是实现三维欧氏空间立体视觉的基本而又关键的一步.空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系是由摄像机成像的几何模型决定的,实现图像坐标系向实际空间坐标系的精确转换,是标定系统的功能.由于CCD摄像机的参数未知或者不稳定,从而导致成像过程不稳定,并且CCD摄像机数字化图像分辨率低,存在量化误差,导致较大的非线性镜头畸变,因而线性模型不能准确描述摄像机成像的几何关系,对于这样一个典

⒇[1]

型的非线性系统,本文采用神经网络进行足球机器人的视觉系统标定.

2　足球机器人中采用的视觉系统的非线性分析

在足球机器人视觉系统中,要求通过摄取的图像中的点,可以快速准确的得到对应的空间点,以便作出控制决策.足球机器人比赛中使用的视觉系统是垂直悬挂在自己队上空2米的普通非量测摄像机,由于这种摄像机光学系统中存在加工误差和装配误差,物体点在摄像机像面上实际所成的像与空间点之间存在着非线性关系.小孔透视模型是一种理想状态模型,它将复杂的光学成像几何简化为一个线性的系统.对于要求精度较高的足球机器人系统,显然不再适用.下面我们讨论一下各种影响测量

机器人;视觉;控制

第23卷第7期

袁　野等:　基于BP网络的足球机器人视觉系统的标定753

准确性的因素.2.1　几何畸变

因摄像机制造和工艺等原因,光学系统存在着非线性几何失真,使得目标像点存在着多种类型的几何畸变.其中包括:

1)径向畸变(RadialDistortion)

径向畸变主要是由镜头形状缺陷造成的,是关于摄像机镜头的主光轴对称的.正向畸变成为枕形畸变,负向畸变成为桶形畸变[2].

2)偏心畸变(DecenteringDistortion)

偏心畸变主要是由光学系统光心与几何中心不一致造成的,即镜头器件的光学中心不能严格共线.这类畸变既含有径向畸变,又含有切向畸变.

3)薄棱镜畸变

薄棱镜畸变是由于镜头设计缺陷和加工安装误差所造成的,如镜头与摄像机像面有很小的倾角等.这类畸变相当于在光学系统中附加了一个薄棱镜,不仅会引起径向偏差,而且引起切向误差.

一般情况下,几何畸变在中心部分失真较小,而在图像边缘处存在较大的畸变误差,必须进行几何校正,才能消除上述畸变.

2.2　透视畸变

足球机器人视觉系统摄像机要求尽量将摄像头光轴与足球场地垂直,在实际安装中很难保证镜头没有倾斜,若没有保持垂直,将出现透视畸变.即使在上述几何畸变经过校正之后,使用小孔成像的线性模型从图像点向空间点变换仍将造成误差.2.3　其它影响测量的因素

在标准曝光条件下,各个光敏元件的输出信号存在差别,使得在均匀光照条件下,每个像元的响应度不同,导致图像失真;CCD是空间离散的采样机构,摄像机电路将CCD一行所有有效光敏元件产生的离散信号进行平滑处理,形成电视连续信号以后,图像卡又对这个连续信号重新采样,形成离散信号.这种离散、平滑、离散的过程,导致图像卡得到的像素点与摄像机光敏元件没有确定的对应关系.除此之外摄像机内部自动增益控制(AGC)电路能自动调整增益,使输出电路信号在一个合适的幅度,这也使得输入输出关系不确定.

因此,空间点与其图像对应点之间是一种复杂的非线性关系.用图像中的像元位置难以准确计算实际空间点间的实际尺寸.企图用一种线性方法来找到这种对应关系几乎是不可能的.一种常用的摄的图像坐标来确定摄像机的内参数、外参数以及畸变参数.然后根据得到的内外参数及畸变系数,再将图像中的点通过几何关系得到空间点的世界坐标,这种方法很显然不能囊括上述的所有非线性因素,只能选择几种主要的畸变,而忽略其它不确定因素.本文采用的标定方法根据BP网络能够以任意的精度逼近任何非线性关系这个特点,跳过求取各参数的繁琐过程,利用图像坐标点和相应的空间点作为输入输出样本集进行训练,使网络实现给定的输入输出映射关系,对于不是样本集中的图像坐标点也能得到合适的空间点的世界坐标.

3　基于BP网络的标定

BP网络是一种多层前馈神经网络,它可以实现从输入到输出的任意的非线性映射[3],它的权值调整使用的是反向传播的学习算法,在确定了BP网络的结构后,利用输入输出样本集对其进行训练,使网络的权值和阈值进行调整,反映了给定样本的输入输出非线性关系,然后对非样本集中的输入,也能给出合适的输出,这种性质称为泛化功能[4].3.1　应用于标定的BP网络结构

BP网络可有一个或多个隐层,本文我们构造的网络结构包括一个输入层,一个隐层和一个输出层.隐层的神经元采用正切函数作为非线性阈值函数,输出层选用线性神经元,这样网络的输出可以是任意值.输入节点是图像的坐标(xd,yd),单位是像素,输出节点为对应的空间点的世界坐标,因为足球场地是一个平面,不失一般性,可以设Z=0.因而输出为(xw,yw),单位是毫米.为了防止输入端的数据太大,使神经元迅速饱和而麻痹,可以将输入输出数据通过除以一个常数控制在[01]范围内.

应用于足球机器人视觉系统的BP网络结构如图1所示.其隐层和输出层的输出表达式可如下表示

n

yj=f(∑wjixi+θj)

i=1

(1)

　　其中,f(.)是一激活函数,θj是一个外部阈值.wji是第i个输入和第j个输出之间的权值,xi为输入矢量第i个输入(i=1,2,…,n),n为输入矢量维数;yj表示第j个神经元的输出(j=1,2,…,m),m为输出矢量维数.

在本系统中,设S为隐层神经元的个数,隐层的n=2,m=S.输出层的n=S,m=2.其中输入矢量x1dx.1xwy2w.

机器人;视觉;控制

754

　　　　机　器　人2001年10月

图1　BP网络结构

3.2　BP网络学习算法

标准的BP算法使用最速下降静态寻优算法,在

修正权值时,使学习过程发生震荡,且收敛很慢,本文选用Levenberg-Marquardt优化算法,其学习算法如下

w(k+1)=w(k)+(JTJ+_I)-1JTe(k)(2)　　其中,J为误差对权值微分的Jacobian矩阵,e(k)为k时刻的偏差向量,_为一个标量.当_很小时,上式接近Gauss-Newton法.Gauss-Newton迭代具有二阶收敛速度,但稳定性较最速下降法要差.当μ很大时,上式接近最速下降法,最速下降法的收敛速度是一阶的,但它的稳定性较好.该算法兼顾了最速下降法和Gauss-Newton法的优点,使迭代过程既快又稳定

.

3.3　样本的选择

样本对标定的精度影响很大,因此样本的选择应以保证样本的完备性为原则.足球机器人的比赛场地是尺寸为130cm×90cm的深绿色,长方形场地上进行,本文采用下式所示的标定点阵

xd(i,j)=100i+(j+1)

9i=0～

12

yd(i,j)=100j+(i+1)

13j=0～

8

(3)

得到117个不同的xd和yd值,此外补充边界的22个点,共得到139个标定点.

具体的标定过程如下,使用绘图仪打印如图2所示的标定点阵的一张130cm×90cm的图纸,贴在足球场地上,其中标定点处打印成以(i,j)为中心,半径为5mm的小圆,摄取图像后,计算每个小圆的形心作为标定点.

依上述方法得到学习样本后,对网络进行训练,误差达到允许范围后,将非标定点的图像坐标作为输入,可以得到精度较高的空间坐标.

综上所述,在足球机器人视觉系统的标定中,经过反复测试,发现S取10效果最好.太多的神经元反而会引起过拟和现象,这是因为隐节点之间的相关性使得在样本处通过各隐节点协调得到较高精度,而由于逼近的函数过于复杂,导致在非样本处不能很好的插值.

图2　标定点阵

机器人;视觉;控制

第23卷第7期

袁　野等:　基于BP网络的足球机器人视觉系统的标定755

4　实验结果及分析

在实际标定过程中,选取误差平方和指标为0.00001,最高迭代次数为10000,μ的初值选取为0.001,μ的增加系数选择10,减小系数选择0.1,μ的最大值为1e10.经过训练使网络收敛后,对真实的足球场地进行检验,比赛场地用白线划出中线和球门区域,每隔10cm用白线划出区域线.将摄得的图像中的白线栅格交点作为输入,得到的网络输出即为

相应空间点的坐标.如图3所示,(a)为输入样本,即标定点阵的图像坐标;(b)为输出样本,即标定点阵的空间坐标;(c)为一些非标定点的图像坐标作为验证神经网络有效性的输入;(d)为得到的BP网络的输出与这些非标定点的真正的空间坐标,其偏差向量的标准差为(0.3513,0.3434)(mm).可以用于足球机器人的视觉系统的标定

.

(a)输入样本(单位pixel)　　　　　　　　　　　　　　　　(b)输出样本(单位

mm)

(c)用于检验的输入;白线栅格交点图像坐标(单位pixel)　　　(d)BP网络的输出(+)与足球场地的白线栅格交点(o)(单位mm)

图3　空间点坐标图

5　结论

足球机器人的视觉系统中,摄像头固定,视场固定,待标定的空间各点具有共面特征,由于它们的三维几何位置与其在图像中对应点之间的是一种复杂的非线性映射关系,且具有不确定性,很难精确建模.本文应用能充分逼近复杂的非线性关系的BP神经网络,使用Levenberg-Marquardt优化算法进行摄像机标定,得到的实验结果精度较高,适用于足球机器人位置的精确确定.

参考文献

1　RobertM.HaralickandLindaGShapiro,ComputerandRobot

Vision.Addison-WeslayPublishingCompany,1992

2　EmanueleTrucco,AlessandroVerri.Introductorytechniquesfor3-Dcomputervision.PrenticeHall,19983　SuCT,ChangCA,http://wendang.chazidian.computersinindustry,1995,27(1):225-236

4　Daschbach,AbellaandMcNichols:ReverseEngineering:ATool

http://wendang.chazidian.computersandIndustrialEngineering,1995,29(1-4):637-640

作者简介:

.:.