基于小靶标拼接的大视场摄像机标定方法_霍炬

图像;识别;视觉

第42卷第6期

Vol.42No.6红外与激光工程InfraredandLaserEngineering2013年6月Jun.2013

基于小靶标拼接的大视场摄像机标定方法

霍炬1，杨宁2，杨明2，董文博1

(1.哈尔滨工业大学电气工程系，黑龙江哈尔滨150001；

2.哈尔滨工业大学控制与仿真中心，黑龙江哈尔滨150080)

摘要：为了解决在大视场摄像机高精度标定中大尺寸靶标难以制作加工的问题，提出了一种基于小靶标拼接的大视场摄像机标定方法。该方法将小靶标在摄像机视场内多个位置进行摆放，通过各个小靶标之间的刚体变换，并考虑拼接过程中存在的约束条件，将各个小靶标拼接成一个覆盖整个摄像机视场的大靶标，然后使用该大靶标对大视场摄像机进行标定。仿真和实际实验表明该方法标定精度与使用实际大靶标进行标定时标定精度相当，能够实现对大视场摄像机的高精度标定。关键词：摄像机标定；大视场；刚体变换；小靶标

中图分类号：TP391文献标志码：A文章编号：1007-2276(2013)06-1474-06

Calibrationofcamerawithwidefield-of-viewbased

onsplicedsmalltargets

HuoJu1,YangNing2,YangMing2,DongWenbo1

(1.ElectricalEngineeringDepartment,HarbinInstituteofTechnology,Harbin150001,China;

2.ControlandSimulationCenter,HarbinInstituteofTechnology,Harbin150080,China)

Abstract:Inordertosolvetheproblemthatalargescaletargetishardtofabricateinthehighprecisioncalibrationofcamerawithwidefield-of-view,acalibrationmethodbasedonsplicedsmalltargetswasproposed.Inthismethod,smalltargetswereplacedindifferentpositionsinthefield-of-viewofthecamera,andthenalargescaletargetcoveringthewholefield-of-viewofthecamerawassplicedusingthesmalltargetsonthebasisofrigidtransformation,whiletherespectiveconstraintsintheprocessofsplicingwereconsidered.Thenthesplicedlargescaletargetwasusedtocalibratethecamerawithwidefield-of-view.Simulationandrealexperimentsresultsshowthattheprecisionofcalibrationwiththesplicedtargetisequivalenttotheprecisionofcalibrationwithreallargescaletarget,indicatingthatthemethodproposedinthispapercanachievethehighprecisioncalibrationforcamerawithwidefield-of-view.

Keywords:cameracalibration;widefield-of-view;rigidtransformation;smalltarget

收稿日期：2012-10-05；修订日期：2012-12-03

基金项目：中央高校基本科研业务费专项资金(HIT.NSRIF.2014019)

作者简介：霍炬(1977-)，男，副教授，博士，主要从事视觉测量、半实物仿真方面的研究。Email:torch@http://wendang.chazidian.com

图像;识别;视觉

1475

红外与激光工程第42卷

0引言

随着工业制造技术的发展，摄像机在应用中视场越来越大，因此对大视场摄像机高精度标定的需求也越来越迫切。为了实现对大视场摄像机的高精度标定，需要能够尽可能覆盖整个视场区域的标定靶标，然而大尺寸高精度标定靶标无论在加工还是维护上都存在诸多困难。为了解决这一问题，国内外已有不少学者进行了深入的研究，并提出了相应的标定方法。孙军华等借鉴Zhang方法[1]，提出了一种利用平面单应性将视场内小靶标拼接成大靶标的大视场摄像机标定方法[2]。余明浪等提出了一种利用直线间交点构造覆盖摄像机视场的大型靶标的标定方法[3]。李为民等提出了一种差分式大视场标定方法[4]，该方法在标定过程中采用多项式模型，因而无法得到焦距、畸变系数等具有物理意义的参数，同时，该方法对各个子靶标的位姿有严格的要求，这些都限制了该方法的应用范围。虽然针对大视场摄像机标定已有不少相应算法提出，但在实际应用中对操作简单、灵活，标定精度与传统摄像机标定方法相当的大视场摄像机标定方法的需求仍较为迫切。

因此，文中提出一种基于刚体变换的小靶标拼接方法，该方法在拼接过程中只需各小靶标共面，并充分考虑了拼接过程中存在的约束条件，操作简单、灵活，拼接精度高。通过该拼接方法由多个小靶标建立覆盖整个摄像机视场的相应大靶标，然后利用传统摄像机标定方法实现对大视场摄像机的高精度标定。

图1透视投影模型各坐标系之间的转换

Fig.1Transformationofcoordinatesystemsinperspective

projectionmodel

在透视投影模型下，空间点P的世界坐标(xw，

yw，zw)T与其投影点p在图像坐标系下的坐标间的映射关系为[8]：

11111111111

111111111111111

u1

zcv=0f/dycy0

110

1111111111111111111111

f/dxγcx0

11111111111

xw

11

RtOT1

ywzw1

111111111111111

(1)

式中：f，dx，dy，cx，cy，γ构成了摄像机的内参数，其中，f为摄像机焦距；dx，dy是摄像机感光元器件间的横向和纵向间距；(cx，cy)为摄像机主点在图像坐标系下的坐标；γ为倾斜因子，一般情况下γ为0；

R是一个3×3正交旋转矩阵，表示摄像机坐标系和世界坐标系的旋转关系，t是一个3×1的平移向量，表示了摄像机坐标系与世界坐标系的位置关系，R，

t称为摄像机的外参数；zc表示空间点P在摄像机坐标系下的z坐标。

由于加工、安装等原因，摄像机镜头往往存在畸变，空间投影并不严格遵守透视投影成像模型。摄像机镜头畸变可分为径向畸变、切向畸变、离心畸变和薄棱镜畸变等。通常径向畸变对摄像机成像影响较大，因此文中只考虑径向畸变。设空间点P在像平面所成像点p的理想坐标为pu(xu，yu)，实际坐标为

1摄像机模型

透视投影模型是计算机视觉中广泛应用的一种摄像机成像模型，成像映射涉及到不同坐标系间的转换[5-7]。定义如下坐标系：图像坐标系以计算机图像左上角为坐标原点，横纵轴分别为u，v方向；像平面坐标系以光轴与像平面的交点Ou为坐标原点，

pd(xd，yd)，两者有如下关系：

x，y轴分别为像平面的水平和垂直轴；摄像机坐标系以光心Oc为坐标原点，z轴为摄像机光轴，x，y轴分别与像平面坐标系的x，y轴平行；世界坐标系为三维空间的参考系。各坐标系之间的转换关系如图1所示。

…

xu=xd(1+k1r2+k2r4+k3r6+…)

yu=yd(1+k1r2+k2r4+k3r6+…)

，r=

姨xd+yd

(2)

式中：k1，k2，k3…为径向畸变系数，一般情况下，只取第一项(即k1)即可。在引入摄像机镜头畸变后，摄像机内参数再加入畸变系数k1。摄像机标定的主要任

图像;识别;视觉

第6期霍炬等：基于小靶标拼接的大视场摄像机标定方法

1476

务就是对摄像机的各个内外参数进行求解[9-10]。过程中，由于小靶标所占标定平面的比例较小，直接标定得到的摄像机参数只能反映靶面区域的成像规律，使用这些参数对其他区域进行重构时误差通常非常大；同时，由于使用了成像平面较小部分区域的图像信息，使得解算出的参数耦合较大。以上两个原因使得单独使用外参无法通过公式(7)获得理想的拼接结果。为了解决这一问题，考虑使用平面靶标对大视场摄像机标定过程中存在的以下三个约束条件：

2基于小靶标拼接的大视场摄像机标定

2.1基于刚体变换的小靶标拼接基本原理

考虑通过单一小靶标对摄像机进行标定，可以获取该小靶标坐标系与摄像机坐标系的转换关系，如公式(3)所示：

Xc=RcwXw+Tcw(3)

式中：Xc，Xw分别为空间点在摄像机坐标系和小靶标坐标系中的坐标；Rcw，Tcw为相应的两坐标系间的旋转、平移矩阵。

设小靶标i上的特征点Pi的坐标为Xwi，其在小靶标j坐标系下的坐标为Xwj，则该点在摄像机坐标系下的坐标可由公式(4)、(5)分别表示为：

(1)在一次大视场摄像机标定中，最终标定结果应该只包含一个内参矩阵和一个外参矩阵，其中外参矩阵表示了摄像机坐标系与参考坐标系的转换关系。在标定过程中，每个小靶标都对应一个旋转矩阵和平移向量，表示摄像机坐标系与其靶标坐标系的转换关系，而它们的内参矩阵应该是一样的；

Xci=RcwiXwi+TcwiXcj=RcwjXwj+Tcwj

与小靶标j坐标系的转换关系，如公式(6)所示：

(4)(5)

(2)大视场摄像机标定结果应使得所有小靶标的重构精度达到最优；

显然，Xci=Xcj，联立公式(4)、(5)可得小靶标i坐标系

-1

-1

(3)拼接结果应满足共面约束，即拼接的大靶标应该是个平面。

根据以上三个约束条件，可将拼接过程分为两部分，首先利用第一个条件求取摄像机参数的初始值，然后利用剩下的两个约束条件对摄像机参数进行优化，以获取较高的拼接精度。

由径向一致约束可得公式(8)

????????????????????????????????????????????????

Xwi=RcwiRcwjXwj+Rcwi(Tcwj-Tcwi)

-1

-1

(6)

记Rji=RcwiRcwj、Tji=Rcwi(Tcwj-Tcwi)，公式(6)可简化为：

Xwi=RjiXwj+Tji

大靶标，如图2所示。

(7)

利用公式(7)即可将多个单一小靶标拼接成一个

Tyjr1j

-1

-1

Tyjr2j

-1

[YdijxwijYdijywijYdij-Xdijxwij-Xdijywij]TyjTxj=Xdij(8)

Tyjr4jTyjr5j

-1-1-1

??????????????????????????????????????????????????

图2基于刚体变换的小靶标拼接

令[r1jr2jrxjr4jr5j]T=[Tyjr1jTyjr2jTyjTxjTyjr4jTyjr5j]T，将第j个靶标上的标定点在该靶标坐标系下的坐标和与其相对应的图像坐标代入公式(8)，可解出r1j，r2j，

′

′

′′′′′-1-1-1-1

Fig.2Spliceofsmalltargetsbasedonrigidtransformation

2.2基于刚体变换的小靶标拼接的改进

在2.1节所述的基于刚体变换的小靶标拼接

∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩

∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩∩

Txj，r4j，r5j的最小二乘解。将获得的解代入公式(9)、(10)

′′′

ss

Tyj=

Srj-Srj-4(r1jr5j-r2jr4j)2

2(r1jr5j-r2jr4j)2

1，当r1jr5j-r2jr4j≠0，其中Srj=r1j+r2j+r4j+r5j

′′′′′2′2′2′2

1，当r′r′-r′r′≠0，其中r′、r′为{r′、r′、r′、r′}中不为0的两个元素

1j5j2j4jajbj1j2j4j5j′2′2

raj+rbj

′

′

′

′

(9)

s=sgn(xijXij＞0∩yjiYij＞0)，其中xij=r1jxwij+r2jywij+Txij，yij=r4jxwij+r5jywij+Tyij

图像;识别;视觉

1477

姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨姨

红外与激光工程第42卷

r1j=r1Tyj

′

r2j=r2jTyj

′

J2=ΣΣZwij=

′

i=0N

j=0n

Nn

r3j=姨1-r1j-r2jr5j=r5jTyj

′

r4j=r4jTyj

(10)

r6j=s姨1-r4j-r5j

′

ΣΣ((r)x

i=0

j=0

7sjws

+(r8)sjyws+(r9)sjzws+(Tz)sj)i(15)

s=-sgn(r1jr4j+r2jr5j)Tyj=TxjTyj

目标函数为：

可得摄像机的部分外参(r1j~r6j，Txj，Tyj)，r7，r8，r9可由旋转矩阵的单位正交性求得。

令k1=0，即不考虑镜头畸变，将第j个小靶标的标定点坐标代入公式(11)，可得外参Tzj和内参fj的初值。

F2=min(J2)=

min

ΣΣΣ

N

n

i=0

j=0

((r7)sjxws+(r8)sjyws+(r9)sjzws+(Tz)sj)i(16)

Σ

可以看出，代价函数J1，J2具有同样的物理意义，均为重构点与原始点的距离差，因此可将两式相加得到基于刚体变换小靶标拼接方法的全局优化函数

[yij-dyYdij]

姨姨

fjTzj

=wijdyYdij(11)

F=F1+F2=min(J1+J2)=min

式中：yij=r4jxwij+r5jywij+Tyj，wij=r7jxwij+r8jywij。若fj＜0，则r3j，

ΣΣΣ

N

n

i=0j=0

(EBackproject_ij+(r7)sjxws+(r8)sjyws+(r9)sjzws+(Tz)sj)i(17)

Σ

r6j，r7j，r8j，符号取反，并将新的参数代入公式(10)重新计算Tzj和fj。

利用上一步获取的参数Tzj，将所有小靶标的特征点在其各自靶标坐标系下的坐标和相应的图像坐标代入公式(12)，可得摄像机内参f的初始值。

经过如上两步即可得到精度较高的拼接大靶标。

2.3基于拼接靶标的大视场摄像机标定

在得到高精度拼接大靶标后，通过传统摄像机标定方法中的Tsai两步法[11]使用拼接好的大靶标对摄像机进行标定，并对标定结果进行精度验证，从而完成整个大视场摄像机的标定过程。基于刚体变换小靶标拼接的大视场摄像机标定具体步骤如图3所示。

yijf=wijdyYij+dyYijTzj(12)

最后，令主点为图像中心，即(cx，cy)=(width/2，

height/2)，width，height分别为图像的宽和高pixel。通过上述几步计算就得到所有摄像机标定参数的初始值{(r1~r9)j，(Tx)j，(Ty)j，(Tz)j，k1，f，cx，cy}，j=1…n为小靶标编号。在获取所有摄像机标定参数的初始值后，接下来利用约束2与约束3对这些参数进行非线性寻优。

根据约束2，计算每个小靶标的图像特征点到其靶标坐标系的反向投影误差EBackproject_ij(第i个小靶标的第j个特征点的反向投影误差)，令代价函数为

N

n

图3基于刚体变换小靶标拼接的大视场摄像机标定

Fig.3Calibrationofcamerawithwidefield-of-viewbasedonsmall

targetssplicingwithrigidtransformation

3实验结果

3.1仿真实验及结果分析

首先通过计算机仿真实验对所提大视场摄像机标定方法稳定性进行验证。利用公式(1)生成理想的特征点坐标，并加入不同强度的白噪声(snr∈[8，100]，幅值在0~1pixel之间变化)，然后使用所提方法进行标定，并计算标定点的重构精度，绘制摄像机参数随噪声强度变化的曲线。假设摄像机的参数如表1所示。

摄像机参数随噪声强度变化如图4所示，图中横坐标为噪声信噪比snr的倒数，径向畸变系数k1，焦距f其随噪声变化的误差以相对误差表示(误差与真值的百分比)，反向投影误差以所有特征点误差的RMS表示。

J1=ΣΣEBackproject_ij

i=0

j=0

(13)

目标函数为

F1=min(J1)=min

ΣΣΣ

N

n

i=0

j=0

EBackproject_ij

Σ

(14)

即优化后的参数使得所有小靶标的反向投影误差之和达到最小。

由约束3可知各个小靶标共面，即在参考坐标系下，各小靶标坐标系在z方向上没有位移，拼接靶标在参考坐标系下的z坐标为0，则得到约束3的代价函数为：

图像;识别;视觉

第6期霍炬等：基于小靶标拼接的大视场摄像机标定方法

1478

表1仿真参数设置噪声的增强而逐渐增大，这表明，基于刚体变换的小靶标拼接标定方法的稳定性随着噪声强度的增强而

T/mm[10,20,1000]T

Tab.1Simulationparameters

f/mm60

k10.0003

cycx

/pixel/pixel320

240

Ax/(°)10

Ay/(°)10

Az/(°)10

下降。但从仿真结果可以看出，虽然在噪声较大时，文中所提方法的标定精度出现了较大幅度的波动，但总体精度仍然较好。因此，可以认为所提方法仍具有很好的稳定性。

从图4中可以看出，基于刚体变换的小靶标拼接标定方法的标定精度随着加入噪声强度的增强而下降，摄像机各参数的标定误差的波动幅度也随着

3.2实际标定实验及结果分析

为验证文中所提方法可行性，分别使用实际大靶标与2.2节方法拼接出的大靶标进行标定。实际大靶标如图5(a)所示，受实验条件限制，在小靶标拼接时，将图5(a)所示大靶标分成若干小靶标，然后使用2.2节方法进行拼接并进行标定。实验中所用摄像机为

TM6710，摄像机标定反向投影误差如图6所示。

(a)k1误差随噪声变化的曲线(相对误差)

(a)Curveofk1errorwiththechangesofnoise(relativeerror)

(a)实际大靶标(a)Reallargescaletarget

(b)由大靶标分成的小靶标(b)Smalltargetsdividedby

largescaletarget

图5实验中使用的标定靶标

Fig.5Calibrationtargetusedinexperiments

(b)f误差随噪声变化的曲线(相对误差)

(b)Curveofferrorwiththechangesofnoise(relativeerror)

(a)大靶标标定误差

(a)Calibrationerrorsoflargescaletarget

(c)反向投影误差RMS随噪声变化的曲线

(c)CurveofreverseprojectionerrorofRMSwiththechanges

ofnoise

图4仿真标定结果与真值偏差随噪声变化曲线

(b)基于刚体变换的拼接标定误差

(b)Calibrationerrorsofsplicedtargetbasedonrigidtransformation

图6摄像机标定误差

Fig.4Curveofdeviationbetweensimulationresultsandrealvalues

withthechangesofnoise

Fig.6Errorsofcameracalibration