基于平行直线的摄像机标定方法_马长正

机器人;视觉;控制

??2009年10月

第35卷第10期北京航空航天大学学报JournalofBeijingUniversityofAeronauticsandAstronauticsOctober??2009Vo.l35??No??10

基于平行直线的摄像机标定方法

马长正????董明利????祝连庆????吕乃光

(北京信息科技大学光电信息与通信工程学院,北京100192)

????摘??????要:针对视觉测量中摄像机镜头畸变对精度的影响问题,提出一种基于平行直

线求解镜头畸变系数及摄像机标定的方法.考虑到空间直线在理想摄像机模型下的成像仍然是直线的特点,根据畸变对直线的影响,利用径向畸变的数学模型和参数分解的方法对径向畸变系数进行线性求解;仅存在切向畸变的点和理想点到主点距离相等,采用非线性拟合直线确定理想点的方法求解出切向畸变系数.对标靶点进行畸变校正,计算出摄像机内外方位参数.

实验结果表明,该方法得到了准确可靠的标定参数.

关??键??词:视觉测量;畸变系数;摄像机标定

中图分类号:TP391.4

文献标识码:A????????文章编号:1001-5965(2009)10-1210-04

Cameracalibrationwithparallellines

MaChangzheng??DongMingli??ZhuLianqing??L??Naiguang

(SchoolofOptoelectronicInformationandTelecommunicationEngineering,

BeijingInformationScienceandTechnologyUniversity,Beijing100192,China)

Abstract:Tosolveprecisionproblemofthecameralensdistortioninvisionmeasuremen,tanewmethodfornonlineardistortioncorrectionandcameracalibrationwaspresented.Consideringthefactthatacamerafo-llowedtheperspectivecameramodelifandonlyiftheprojectionofevery3Dlineinspaceontothecameraplanewasaline,thecoefficientsofradialdistortionwerecalculatedwiththeradialanamorphicmodelandlin-earcharacteristic.Thedistancesfromthepointswithtangentialdistortionandtheidealpointstotheprincipalpointwereequivalen,tandthecoefficientsoftangentialdistortionwereobtainedwiththeidealpointsgottenbymitatingthestraightlinei.Thedistortioncoefficientswereusedtocorrectthedistortionpoints,andtheparam-etersofthecamerawereestimated.Theexperimentalresultsshowthattheaccurateandreliablecalibrationpa-rameterswereobtained.

Keywords:visionmeasuremen;tdistortioncoefficien;tcameracalibration

????摄像机标定是视觉测量领域里从二维图像获

取三维空间信息必不可少的步骤[1-2]维空间结构和观测参数(摄像机站位参数、标定参数)同时进行最优估计的方法,该方法标定精

度较高,但算法比较繁琐,计算量较大,且对初始

值的选择比较敏感,初始值选择不当很可能得不

到准确解;文献[6]的平面标定方法是介于上述

两种方法之间的一种方法.该方法的优点是适用

范围较广且精度较高,缺点是需要确定模板上点

阵的物理坐标以及图像和模板之间的点的匹配,

这给标定带来了不便;文献[7-8]提出的径向约.到目前为止,摄像机标定的方法已经有很多种,典型的有以下几种:文献[3]于70年代初提出的直接线性变换标定方法,从摄影测量学的角度深入的研究了摄像机图像和环境物体之间的关系,建立了摄像机成像几何的线性模型,这种线性模型参数的估计由线性方程的求解来实现,该方法没有考虑镜头的畸变,所以精度不高;光束平差法

??收稿日期:2008-10-07[4-5]是对三

??基金项目:国家自然科学基金资助项目(50675015,50475176);北京市属市管高等学校人才强教计划资助项目(PXM2007_014224_044674)??(-),男,,,m..

机器人;视觉;控制

??第10期????????????????????????马长正等:基于平行直线的摄像机标定方法1211

束方法是典型的两步法.该方法基于摄像机镜头仅有径向畸变的假设,核心是利用径向一致约束来求解除摄像机光轴方向的平移外的其它摄像机外参数,然后再求解摄像机的其它参数.方法最大好处是它所使用的大部分方程是线性方程,从而降低了参数求解的复杂性,因此其定标过程快捷,稳定性较好,但是,文献[7-8]的方法只考虑了径向畸变,没有考虑切向畸变.

本文着重研究一种基于平行直线的标定方法,不但求解出镜头的径向畸变系数,而且求解出了切向畸变系数,利用求解出来的径向畸变系数和切向畸变系数进行畸变校正,进而标定摄像机的内外方位参数.

根据畸变系数对曲线形成的作用过程,应有

yd

===A+=xdxxxA+

B

=

xd

246

1+k1r+k2r+k3r+??

2

4

6

A++Bk1+Bk2+Bk3+??(2)

xdxdxdxd

式中,A为直线的斜率;B为截距.

实际上,畸变系数在6次方项以后的数值已经很小,可以忽略.由于使用的是以中心点为原点

的坐标,而实际采用的像素坐标是以图像左上角为坐标原点.转换关系为

x=u-u0y=v-v0xd=ud-u0yd=vd-v0

式中,u,v,ud,vd为理想点和畸变点实际对应的像素坐标值.在曲线上获取N个采样点后,依据式(2)列方程组:

1

ud1??1

udN

ud1??rudN

22

1??求解径向和切向畸变系数

在理想的摄像机小孔成像模型中,空间的直线成像后仍为直线

[9]

(3)

.由于镜头畸变的存在,导

致直线成像后形成不同的表现形式.假设仅存在径向畸变,其体现形式如图1a所示.径向畸变的数学模型为

xd=x+??x=x+x(k1r+k2r+k3r??)yd=y+??y=y+y(k1r+k2r+k3r??(1)

式中,(x,y)为校正后坐标;(xd,yd)为畸变坐标;(??x,??y)为径向畸变分量;k1,k2,k3??为径向畸变系数;r=像中心.

根据径向畸变对成像直线的影响,当某直线在成像后仍旧保持直线,则该直线所成的图像一定通过图像对称中心点

[10]

2

4

6

2

4

6

ud1

??rudN

4

4

ud1??rud6

6

ABkB1=kB2kBvd1ud1

????(4)vdNud??

??1

(xd-u0)+(yd-v0),(u0,v0)为图

式中,kB1=k1B,kB2=k2B,kB3=k3B,最小二乘算法求解方程组即可得出相应的k1,k2,k3.

只考虑径向畸变和切向畸变,摄像机镜头的畸变模型可以表示为

x??=x+k1xr+k2xr+k3xr+??????

p1(r+2x)+2p2xyy??=y+k1yr+k2yr+k3yr+

p2(r+2y)+2p1xy

式中,(x??,y??)为像面上任意一点的实际像面坐标,它以主点(u0,v0)为坐标原点;(x,y)为(x??,y??)的理想点坐标.

根据切向畸变的影响,仅存在切向畸变的点和理想点到主点的距离相等(图2).利用式(4)求解出的径向畸变系数对实际点进行畸变矫正,得到只有切向畸变的点.实际理想直线难以确定,通过最小二乘法拟合只有含切向畸变的点,得到拟合直线,用该拟合直线代替理想直线进行求解.计算出拟合直线上到主点距离和切向畸变点到主

2

22

4

6

2

22

4

6

.实际上难以确定过

图像中心的直线

,这里采用平行直线逼近方法来拟合经过对称成像中心点的直线.两条不同方向过图像中心的拟合直线,它们的交点就是图像的中心(u0,v0).

由于径向畸变的存在,导致原始直线成像时变为曲线,曲线的弯曲程度和畸变成正比,与距对称中心距离也成正比(图1b所示).

(5)

??

a??径向畸变b??径向畸变引起的变形曲线

点距离相等的点,该点即为理想点(图3).根据式5)(p1,p).图1??径向畸变及其引起的变形曲线

机器人;视觉;控制

1212北京航空航天大学学报????????????????????????????2009年??

数和切向畸变系数迭代优化求解出更精确的解.畸变校正流程如图4

.

根据每一次畸变校正前和校正后图像的误差与T比较,决定程序的执行路径.当E(i)小于T时停止循环,此时的畸变系数就是所求的最优畸变系数(k1,k2,k3,p1,p2)opt.

2??求解摄像机的内外方位参数

摄像机的线性成像模型可以综合表示为世界坐标系到图像像素坐标系的变换:

图2??

切向畸变的影响

zc

=fx00

0u0fy0

v01

xw

R0

T

ywzw=MX

(8)

式中,zc为摄像机坐标系坐标;fx,fy分别为x,y轴上的归一化焦距;R和T为世界坐标系到摄像机坐标系变换的旋转矩阵和平移矢量;M为投影矩

图3??

拟合理想直线

阵;(xw,yw,zw,1)为特征点在世界坐标系中的齐次坐标;(u,v,1)为特征点的像素齐次坐标;mij为M的第i行j列元素;X=[xw??yw??zw??1].

根据第1节求解出径向畸变系数和切向畸变系数,由式(3)、式(5)对控制点实际像面坐标(ud,vd)进行畸变校正,得到理想点坐标(u,v).这样就可用理想摄像机模型求解M.根据式(8)有

xwm11+ywm12+zwm13+m14-uxwm31-????uywm32-uzwm33=um34

xwm21+ywm22+zwm23+m24-vxwm31-????vywm32-vzwm33=vm34

????如果靶标上有n(n>6)个已知点,则可以得到2n个线性方程,利用最小二乘法就可以得到M,进而对M进行分解得到摄像机的内外方位参数.

(9)

T

3??试验及结果

图4??畸变校正流程图

设计了平面标定参照物,该参照物是在一平面标定板上精确加工了851个(23行??37列)已知距离的二维共面圆形特征点阵,且行和列上的点在同一直线上(图5),平面标定板大小(640mm??400mm).

(6)

对M以及摄像机内外方位参数的解算,是在标定参照物上的特征点三维空间不共面的条件下进行的.而对于二维标定参照物,比如标定平板,

(7)

其上的特征点是共面的,由此,在求解M时,会导致秩不足而无法得到逆矩阵.为了解决这个问题,对直线Ll(l=1,2,??,n)的畸变点进行校正,用校正后的点拟合直线,用这些点到拟合直线的距离平方和El作为这条校正直线的误差值:

El=

??

m

j=1

(axj-yj+b)

2

a+1

2

式中,a,b分别为拟合直线的斜率、截距.

E(i)=

??E

l=1

n

l

式中,E(i)为第i次循环后的所有直线的误差和.T

机器人;视觉;控制

??第10期????????????????????????马长正等:基于平行直线的摄像机标定方法1213

上,前后移动标定平板可以构成三维空间非共面特征点阵

.

T=

-285.-180.mm

??499.u0=1521.523像素????v0=1005.165像素fx=2614.674像素????fy=2613.590像素????通过测量三维空间来检测摄像机标定方法是

[8]

常用的一种方法.通过标定或重构后建立的摄像机模型,成像光线可以被??反投??回三维空间,也就是说,光线由像点,通过投影中心投射到物空间,由于误差的存在,导致不同角度拍摄的同一物空间点的像点经过摄像机内外方位参数计算得到的物空间坐标并不相同,所以,可以根据同一物空间点通过不同的像点计算的空间坐标的误差半径(空间误差半径)来表示摄像机标定的精度.这里,标定参照物上的828个特征点全部用来评价新的摄像机标定方法,评价结果如表2.

表2??平均误差和最大误差

空间误差半径

平均值最大值

线性标定法文献[7-8]方法

1.8424.898

0.2751.059

mm

本文方法0.1970.742

图5??标定实验设备

实验使用NikonD100型单反数码相机拍摄,

分辨率为3008??2000像素.PC机采用Pentium(R)4,3.06GHz高速CPU,512M内存.实验拍摄的标靶畸变图像如图6所示

.

????可以看出,与线性标定方法相比,文献[7-8]考虑了径向畸变的方法,提高了标定精度,本文提出的基于平行直线同时求解出径向畸变和切

图6??畸变的标靶图像

向畸变的方法,标定的精度较文献[7-8]的方法有较大提高,平均误差半径在0.2mm以下.

采用本文的摄像机标定方法,计算出的畸变系数如表1,畸变校正后的点和实际点如图7.

表1??畸变系数

系数数值

k1-1.64??10-8

k23.41??10-15

k3-4.23??10-22

p14.96??10-9

像素p25.94??10-

9

4??结??论

基于平行直线进行摄像机标定的方法,利用求解出的畸变系数对图像进行畸变校正,采用理想摄像机模型求解摄像机的内外方位参数,减小了镜头的畸变对摄像机标定精度的影响,提高了摄像机标定的精度.实验过程中该方法与文献[7-8]方法进行了比较分析,表明了该方法的有效性,且该方法主要通过线性方程求解参数,过程简便、鲁棒性强,在视觉测量领域有很大应用价值.

参考文献(References)

[1]冯文灏.关于近景摄影机检校的几个问题[J].测绘通报,

2000(10):1-3

+??校正后的点;????实际点.

FengWenhao.Oncalibrationofclose-rangecameras[J].Bu-lletinofSurveyingandMapping,2000(10):1-3(inChinese)[2]孟晓桥,胡占义.摄像机自标定方法的研究与进展[J].自动

化学报,2003(1):110-124

MengXiaoqiao,HuZhany.iRecentprogressincamerasel-fcal-ibration[J].ActaAutomaticaSinica,2003(1):110-124(inChinese)

图7??畸变校正前后的点

????摄像机的其他标定参数如下:R=

880343(下转第1219页)

机器人;视觉;控制

??第10期????????????????????赖国俊等:控制点排列对图像校正的影响及重复校正

表8??两次校正后控制点中心坐标的标准差

标准差/像素

xstd??ystd

第1次校正0.24690.2258

第2次校正0.09540.0942

nauticsandAstronautics,2005(inChinese)

1219

[2]PrattWK.Digitalimageprocessing:PIKSscientificinside

[M].4thEditioned.NewYork:Wiley-Interscience,2007[3]RaffelM,WillertCE,WereleyST,eta.lParticleimageve-locimetry[M].2nded.BerlinHeidelbergNewYork:Springer,2007

[4]任禹桥.昆虫拍动翼的三维流动结构研究[D].北京:北京

航空航天大学航空科学与工程学院,2006

RenYuqiao.Three-dimensionalflowstructureofinsectflappingwing[D].Beijing:SchoolofAeronauticScienceandEngineer-ing,BeijingUniversityofAeronauticsandAstronautics,2006(inChinese)

[5]LuYuan,ShenGongxin.Three-dimensionalflowstructuresand

evolutionoftheleading-edgevorticesonaflappingwing[J].JournalofExperimentalBiology,2008,211(8):1221-1230[6]陆远.拍动翼前缘涡三维空间结构及演化[D].北京:北京

航空航天大学航空科学与工程学院,2007

LuYuan.Three-dimensionalflowstructureandevolutionsoftheleading-edgevorticesonflappingwing[D].Beijing:SchoolofAeronauticScienceandEngineering,BeijingUniversityofAero-nauticsandAstronautics,2007(inChinese)

[7]谭广琨.仿生机械鱼模型摆动的三维流动测量与流动机理

研究[D].北京:北京航空航天大学航空科学与工程学院,2007

TanGuangkun.Thequantitativemeasurementandmechanisminvetigationonthree-dimensionalflowofmimicrobotfishoscilla-tion[D].Beijing:SchoolofAeronauticScienceandEngineer-ing,BeijingUniversityofAeronauticsandAstronautics,2007(inChinese)

[8]SandwellDT.BiharmonicsplineinterpolationofGEOS-3and

SEASATaltmeterdata[J].GeophysicalResearchLetters,1987,2:139-142

表9??两次校正后控制点中心坐标的平均校正偏差

平均校正偏差/像素

abs??yabs

第1次校正1.52412.2672

第2次校正0.0956

0.0942

4??结??论

本文研究了在使用双调和样条构建映射函数的条件下,控制点排列方式的变化对图像校正精度和准度的影响,得到了以下结论:增加某个方向

的控制点数目不仅可以提高该方向的校正精度,还可以同时提高另一个方向的校正精度;并且,增加图像变形较大的那个方向的控制点数目更有利于提高总体的校正精度;校正精度基本上随着控制点总数的增加而提高.此外,重复校正可以大大地提高校正的准度和精度,尤其是校正的准度.在本实验中,发生几何变形的图像经过一次重复校正已经可以保证校正的精度和准度达到实验要求了.但是,重复校正需要耗费更多的时间.

参考文献(References)

[1]赖国俊.体视PIV的应用研究[D].北京:北京航空航天大

学航空科学与工程学院,2005

LaiGuojun.Improvementinstereo-PIV[D].Beijing:SchoolofAeronauticScienceandEngineering,BeijingUniversityofAero-

(编??辑:刘登敏)

(上接第1213页)

[3]AbdelAzizYI,KararaHM.Directlineartransformationfrom

comparatorcoordinatesintoobjectspacecoordinatesinclose-rangephotogrammetry[C]//ProcoftheSymposiumonClose-RangePhotogrammetry.FallsChurch,VA:AmericanSocietyofPhotogrammetry,1971:1-18[4]TriggsBil,lMclauchlanPeter,HartleyRichard.Bundleadjus-t

ment??amodernsynthesis[C]//ProcoftheIntWorkshopon

VisionAlgorithms:TheoryandPractice.Freiburg,Germany:Springer-Verlag,1999:298-372

[5]WengJuyang,PaulC,MarcH.Cameracalibrationwithdistor-tionmodelsandaccuracyevaluation[J].IEEETransactionson

PatternAnalysisandMachineIntelligence,965-980

1992,14(10):

erasandlenses[J].IEEE,RoboticsAutomat,1987(4):323-344

[9]FredericD,OliviewF.Straightlineshavetobestraight_automa-tioncalibrationandremovalofdistortionfromscenesofstructure-denvironments[J].MachineVisionandApplications,2001,23:14-24

[10]YangYongyue,DengShanx,iWangXuns.iCorrectionofana-morphicvisionimagewithperspectivelines[J].JournalofAp-pliedSciences,2006,24(6):628-632

[11]王亚东,丁明跃,彭嘉雄.一种基于摄像机模型的畸变图像

校正方法[J].自动化学报,1997,23(5):717-720

WangYadong,DingMingyue,PengJiaxiong.Correctionofdistortionimagebasedoncameramodel[J].ActaAutomaticSinica,1997,23(5):717-720(inChinese)[12]ZhangYanzhen,OuZongying,XueBindang.Errorcorrection

methodbasedonslopeforcameraradialdistortion[J].Min-iMicroSystem,2002,23(5):625-627

[13]SalciJ,ArmangueX,BatlleJ.Acomparativereviewofcamera

calibratingmethodswithaccuracyevaluation[J].PatternRec-ognition,2002,35(7):1617-1365

[6]ZhangZ.Aflexiblenewtechniqueforcameracalibration[J].

IEEETransactionsonPatternAnalysisandMachineIntell-igence,2000,22(11):1330-1334

[7]TsaiRY.Anefficientandaccuratecameracalibrationtechnique

for3Dmachinevision[C]//ProcIEEEconferenceonComputerVisionandPatternRecognition.MiamiBeach,Florida:[s.n.],1986:346-373

[8]TsaiRY.Aversatilecameracalibrationtechniqueforhigh-ac-isionif编??辑)