基于卡尔曼滤波的摄像机标定方法_翟晋

机器人;视觉;控制

第34卷第9期 光电工程 Vol.34, No.9 2007年9月 Opto-Electronic Engineering Sep, 2007 文章编号：1003-501X(2007)09-0060-06

基于卡尔曼滤波的摄像机标定方法

翟 晋，周富强，张广军

( 北京航空航天大学 仪器科学与光电工程学院，北京 100083 )

摘要：本文提出了一种基于迭代扩展卡尔曼滤波的摄像机标定方法。将二维平面靶标图像上的特征点看作是匀速运动的点，以观测到的特征点图像坐标和对应世界坐标作为滤波器的输入，摄像机内外参数的估计值作为滤波器的输出，根据迭代扩展卡尔曼滤波算法得到摄像机内外参数的最优估计。通过仿真和真实实验，结果表明，对于有限数量的平面靶标标定图像数据，该算法具有较高的标定精度和较好的鲁棒性。

关键词：摄像机标定；平面靶标；卡尔曼滤波；摄像机参数

中图分类号：TP391 文献标志码：A

Camera calibration method based on Kalman filter

ZHAI Jin，ZHOU Fu-qiang，ZHANG Guang-jun

( School of Instrument Science & Opto-electronics Engineering, Beihang University, Beijing 100083, China )

Abstract：A camera calibration method based on the Iterated Extended Kalman Filter (IEKF) was proposed in this paper. The feature points in two-dimensional planar target images were considered in uniform motion. Taking the image coordinates and the corresponding world coordinates of the observed feature points as the filter inputs and taking the estimated value of the intrinsic and extrinsic camera parameters as the filter outputs, the optimized values of the intrinsic and extrinsic camera parameters were obtained with IEKF algorithm. Simulation and real experiments to evaluate the performance of the proposed method on test data are reported, and the results show that this method is robust and feasible algorithm with good precision for a few calibrated images of planar target.

Key words：camera calibration; planar target; Kalman filter; camera parameters

引 言

在三维机器视觉领域内，摄像机参数标定是指获得摄像机内部空间几何特性和光学特性(即摄像机内部参数)以及摄像机坐标系相对于某一世界坐标系的三维位置和方向关系(即外部参数)近似值的过程。在线或者离线摄像机标定是机器视觉领域内从二维图像提取三维空间信息必不可少的步骤，广泛应用于三维测量、物体三维模型重建、自动装配、机器人标定、机器导航以及视觉监控等诸多领域。在很多情况下，整个系统的性能主要取决于摄像机参数的标定精度，如三维测量[1, 8]。

为了获得较高的标定精度，一般需要利用多幅高质量靶标图像，采用非线性优化方法来估计摄像机参数，如广泛采用的Levenberg-Marquardt(LM)优化算法[1, 9]和Newton Raphson(NR)法[2, 10]。在一些现场在线标定环境中，难以采集到足够数量的高质量标定图像，而只能利用单幅或者少量图像进行标定。在一些动态机器视觉应用场合，需要通过连续拍摄同一运动物体的图像，对摄像机的参数进行动态标定。由于卡尔曼滤波最优估计方法考虑到估计参数与观测数据的统计特性，利用前一时刻的估计值和当前时刻的观测值更新对状态变量，最终可得到精确的估计值。近年来，许多学者将卡尔曼滤波算法应用在摄像机标定的研

收稿日期：2006-09-10；收到修改稿日期：2007-07-28

基金项目：国家自然科学基金资助项目(50605002)，教育部新世纪优秀人才支持计划资助项目(NCET-05-0194)

作者简介：翟晋(1983-)，女(汉族)，湖南株洲人，硕士研究生，主要研究工作为图像处理与机器视觉。E-mail:zjin8316@http://wendang.chazidian.com

机器人;视觉;控制

2007年9月 翟 晋 等：基于卡尔曼滤波的摄像机标定方法

61

究上，如Castro[2]等提出的基于三维立体靶标标定方法，首先用扩展卡尔曼滤波(EKF)估计针孔模型的内部参数，然后利用NR算法获得镜头畸变系数；Tommaselli[3]等将迭代扩展卡尔曼滤波应用于摄像机的动态标定；Stringa[4]等采用扩展卡尔曼滤波标定出摄像机的外部参数，主要应用在视频监控方面。以上这些方法主要采用三维靶标，其应用场合受到诸多限制。

本文将二维平面靶标图像上的特征点看作是匀速运动的点，利用系统噪声和观测噪声的统计特性，以观测到的特征点的图像坐标和对应世界坐标作为滤波器的输入，内外参数的估计值作为滤波器的输出，根据迭代扩展卡尔曼滤波算法得到摄像机内外参数的最优估计。由于Kalman滤波具有良好的动态特性和参数的最优估计特性[5]，因此将它作为摄像机参数估计的一种新途径，可应用于主动视觉的运动估计以及摄像机系统的动态在线标定。

1 摄像机模型

如图1所示，三维世界坐标系为OwXwYwZw，摄像机坐标系为OcXcYcZc，图像坐标系为OuXuYu，O1(u0,v0)为主点，投影坐标系为O′X′Y′，定义OcXc//OuXu//O′X′，OcYc//OuYu//O′ Y′，OcZc垂直于投影坐标系平面。设点P在OwXwYwZw下坐标为(xw，yw，zw)，在OcXcYcZc下坐标为(xc，yc，zc)，则：

?xw??r1r2r3tx??xw??xc?

?y??rrrt??y??y?RT??c?w?=?456y??w? (1) ??=

???zc??01??zw??r7r8r9tz??zw?

????????

110001??1??????

其中：R和T分别表示OwXwYwZw坐标系与OcXcYcZc坐标系之间的旋转和平移变换。采用四元素q=[q0，q1，q2， q3]T来表示旋转矩阵R，其中q02+q12+q22+q32=1，则有：

222

r3??q02(q1q2?q0q3)2(q1q3+q0q2)?+q12?q2?q3

??2222

r6?2(qqqq)qqqq2(qqqq)=+?+??120301232301? (2) ??

222?r8r9?2(q2q3+q0q1)q0?q12?q2+q3

???2(q1q3?q0q2)?

设空间点P在图像平面的投影点为Pu(xu，yu)，摄像机在x和y方向上的有效焦距为αu和αv，主点坐

Oc

Yc

图1 摄像机模型

Fig.1 Camera model

?r1

R=??r4

??r7

r2

r5

标为(u0，v0)，则有：

[xu

yu]T=[αuxc/zc+u0

αvyc/zc+v0]T (3)

公式(1)~(3)描述了摄像机的投影模型，其模型参数为q0，q1，q2，q3，tx,，ty，tz，αu，αv，u0，v0。由摄像机模型可知，由图像平面上的投影点图像坐标，可以确定空间的一条直线方程，而由空间任意点，可以惟一确定其投影点的图像坐标[6-7

，12]

。

2 基于卡尔曼滤波的摄像机参数估计

2.1 状态模型

提取一幅平面靶标图像上的特征点，假设提取的特征点是做匀速运动，把点数的增加作为时刻的变化，靶标点的坐标作为点在不同时刻的运动坐标。取摄像机内外参数作为状态参数，则状态向量为xk=(q0，q1，q2，q3，tx,，ty，tz，αu，αv，u0，v0)T，由此建立摄像机模型的状态方程为[11]

xk=Φ(k,k?1)xk?1 (4) 其中：xk-1、xk分别为k-1和k时刻的状态向量，Φ(k，k-1)为11×11的k-1到k时刻的状态转移矩阵。同一幅图像内在不同时刻的状态向量的参数是不变的，式(4)为一线性位移不变方程，矩阵Φ(k,k-1)=I是个11阶的单位方阵，处于临界稳定状态。

机器人;视觉;控制

62 光电工程 第34卷第9期

2.2 测量模型

在标定过程中，特征点的图像投影坐标(xu，yu)和对应的世界坐标(xw，yw，zw)是可观测到的[13]，选为观测向量，同时约束条件q02+q12+q22+q32=1也作为观测向量，则模型的测量方程可描述为

zk=[h1(k),h2(k),h3(k)]T+[n1(k),n2(k),n3(k)]T=Hk(xk)+Nk (5)

其中Nk是零均值白噪声，为时间函数。Hk(xk)可由摄像机的投影模型得到：

r1(k)xw+r2(k)yw+tx(k)?

hkαk()=()+u0(k)=xu(k)1u?r7(k)xw+r8(k)yw+tz(k)??r4(k)xw+r5(k)yw+ty(k)?hkαk()=()+v0(k)=yu(k) (6) ?2v

rkxrkytk()+()+()z7w8w?

?h(k)=q2(k)+q2(k)+q2(k)+q2(k)=1

0123

?3??

2.3 卡尔曼滤波算法

设特征点从时刻0运动到时刻k，图像点坐标(xu，yu)作为观测值：z1，z2，…，zk。在卡尔曼滤波方法分析中，利用观测值z1，z2，…，zk求出的状态矢量xk最优估计x′k|k，称为滤波估计。而利用观测值z1，z2，…，zk-1的最优估计x′k-1|k-1通过状态方程(4)求得的估计x′k|k-1称为一步估计。由于状态矩阵为11阶单位阵I，状态不变，一步估计状态x′k|k-1=x′k-1|k-1，一步估计误差方差阵Pk|k-1=Pk-1|k-1。卡尔曼滤波最优滤波估计方程组为[14]

T

Kk=Pk?1|k?1Hk(HkPk?1|k?1Hk+Rk)?1 (7)

x′=x′+Kk(zk?Hkx′) (8) kkk?1k?1k?1k?1

Pk|k=(I?KkHk)Pk?1|k?1 (9)

式(7)是最优滤波增益方程，Kk为卡尔曼增益，Rk为噪声Nk协方差阵，是3×3矩阵；式(8)和(9)是最优滤波方程，分别得到k时刻最优状态估计x′k|k和最优误差方差阵Pk|k。通过上述公式来完成参数的最优估计。优化算法过程如图2。

已知测量方程(5)是非线性方程，采用扩展卡尔曼滤波算法，需将方程(5)线性化，为此利用一步状态估计x′k-1|k-1，将Hk围绕它进行泰勒展开，然后取线性项作为Hk的近似表达式记作Mk，是2×11矩阵。具体是通过对Hk的每个状态

参数求导得到Mk：Mk=[?H/?x′k-1|k-1]。由于扩展卡尔曼滤波算法只取泰勒级数线性项，并忽略高阶项，不可避免地引入线性化误差，故采用补偿方法[15]：当观测到zk时，仍需用得到的x′k|k取代x′k-1|k-1对Hk重新进行线性化，再一次利用zk改善对x′k|k状态的估计，经过反复多次迭代，通过平滑技术改进参考估计来降低线性化误差。迭代过程如下：设迭代子ηi，迭代初值ηi=x′k-1|k-1，第i次迭代时的滤波方程为

′′′ηi′=x′k?1|k?1+Kk;ηi(zk?Hk(ηi)?Mk;ηi(xk?1|k?1?ηi)) (10)

TT?1

Kk;ηi=Pk?1|k?1Mk;ηi(Mk;ηPk?1|k?1Mk;ηi+Rk) (11)

i

当进行最后一次迭代时，即i=j时，迭代结束，x′k|k=η′i，最优滤波估计误差方差阵为

Pk|k=(I?Kk;ηjMk;ηj)Pk?1|k?1 (12)

3 实验

3.1 仿真实验

张正友提出的基于2D平面靶标的摄像机标定方法[1标定结果进行比较。

，9]

具有精度高，操作简单，无需复杂的辅助调整设

备，近年来在机器视觉领域内得到广泛应用。本文将基于Kalman滤波的摄像机标定结果与张正友方法的

机器人;视觉;控制

2007年9月 翟 晋 等：基于卡尔曼滤波的摄像机标定方法

63

设图像分辨率为768×576像素，摄像机内部参数和外部参数矩阵的真实值分别为：αu=2611像素，αv=2602像素，(u0，v0)=(358.5，279.5)，旋转矩阵的四元数表示为q0=0.237，q1=0.675，q2=0.670，q3=-0.201以及

?2.481×10?29.986×10?14.606×10?2?7.588×101???

M=[RT]=?8.082×10?17.087×10?3?5.889×10?1?1.184×102?

??5.884×10?15.183×10?2?8.069×10?12.882×103???

采用迭代扩展卡尔曼滤波算法，利用同样的图像数据，标定的摄像机参数如下：

αu=2624像素，αv=2630像素，(u0，v0)=(363.8，288.4)，旋转矩阵的四元数表示为q0=0.238，q1=0.675，q2=0.668，q3=-0.201以及

?2.603×10?29.993×10?14.698×10?4?8.187×101???

M=[RT]=?8.064×10?16.851×10?3?5.92×10?1?1.277×102?

??5.920×10?15.328×10?2?8.051×10?12.899×103???

从结果可以看出，标定结果接近张正友的标定结果，表明基于迭代扩展卡尔曼滤波的摄像机标定方法是可行的。但卡尔曼滤波对初值的依赖性很大，只有合适的初值，迭代扩展卡尔曼滤波算法才能保证收敛。

为了考虑算法鲁棒性，在图像特征点的图像坐标数据中加入标准偏差为0.1~1.0像素的随机高斯白噪声，然后利用带有噪声的特征点进行标定。采用相同的步骤重复标定1000次，取平均值作为标定结果。图3为标定结果与噪声的关系曲线，从误差曲线可以看出，随着噪声水平的不断增加，标定误差也随之较缓慢增加，并且处在一个可以接受的范围。从仿真实验的结果可以看出本文所述算法具有较好的鲁棒性。

3.2 真实实验

如图4所示，真实实验使用的棋盘状平面靶标，用16mm镜头的Mintron386-1摄像机拍摄，提取方格交叉点为特征点，图像大小为768×576像素，每幅图提取100个特征点的世界坐标和图像坐标作为卡尔曼滤波观测数据，标定结果如表1。从实验结果看出标定点再投影RMS误差可达到0.076像素，随着标定图像数目的增多各参数在误差允许范围内逐渐逼近真实值。

为了进一步验证本文标定结果的准确性，采用同样的图像，用张正友[1]的平面标定方法进行标定，同样每幅图像提取100个标定点，将标定结果进行比较，比较结果见表2。本方法采用与张正友方法同样的摄像机模型，但采用迭代扩展卡尔曼滤波优化算法进行非线性求解。因为卡尔曼滤波优化算法考虑到估计参数与观测数据的统计特征和噪声，从表2可看出，在用同样多幅图像时，本方法的标定精度要优于张正友的非线性优化方法，在利用有限幅图像进行标定时，基于卡尔曼滤波的标定方法能提高标定精度，满足特殊

机器人;视觉;控制

64 光电工程 第34卷第9期

场合对标定精度的要求。

图4 真实实验靶标

Fig.4 Target of real experiment

4 结 论

本文利用卡尔曼滤波优化算法标定摄像机，基于二维平面靶标，根据迭代扩展卡尔曼滤波算法即可得到内外参数。通过仿真实验和对仿真结果的分析，表明算法的可行性，数据结果是有效的，真实实验标定点再投影RMS误差可达到0.076像素，算法具有较高的标定精度和较好的鲁棒性。卡尔曼滤波优化算法考虑到估计参数与观测数据的统计特征和噪声，计算简单，估计精度高，速度快，利用有限数量的标定特征点能够得到较好的标定精度，是一种可行的摄像机内外参数的估计方法。鉴于卡尔曼滤波的动态估计特性，所提出的基于卡尔曼滤波的摄像机标定方法将会在主动视觉的运动估计以及动态在线测量等领域得到广泛应用。 参考文献:

[1] ZHANG Zheng-you. A Flexible New Technique for Camera Calibration [J]. IEEE Trans on Pattern Analysis and Machine

Intelligence，2000，22(11)：1330-1334.

[2] Guido J CASTRO，Julian M GALLEGO，Luis P E CABELLO. An Effective Camera Calibration Method [A]. IEEE，

AMC’98-Coimbra. 5th International Workshop[C]. Coimbra, Portugal：IEEE，1998：171-174.

[3] TOMMASELLI Antonio M G，TOZZI Clesio L. Line based Camera Calibration in Machine Vision Dynamic Applications [J].

SBA Controle&Automacao，1999，10(2)：100-106.

[4] Elena Stringa，Carlo S Regazzoni. A Novel Camera Calibration Algorithm based on Kalman Filter [J]. Proc 15th ICPR, IEEE，

2000，1：1872-1875.

[5] Vincenzo Lippiello，Bruno Siciliano，Luigi Villani. Position and Orientation Estimation based on Kalman Fitering of Stereo

Images[A]. Intemational Conference on Control Application[C]. Mexico City, Mexico：IEEE，2001：702-707.

[6] Roger Y Tsai. A Versatile Camera Calibration Technique for High-accuracy 3D Machine Vision Metrology using Off-the-shelf

TV Cameras and Lenses[J]. IEEE Journal of Robotics and Automation，1987，RA-3(4)：323-344.

[7] Joaquim Salvi，Xavier Armangue，Joan Batlle. A Comparative Review of Camera Calibrating Methods with Accuracy

Evaluation[J]. Pattern Recognition，2002，35(7)：1617-1635.

[8] 马颂德，张正友. 计算机视觉－计算理论与算法基础[M]. 北京：科学出版社，1998.

MA Song-de，ZHANG Zheng-you. Computer Vision-based Computing Theory and Algorithm [M]. Beijing：Science Press，1998.

[9] 张广军. 机器视觉[M]. 北京：科学出版社，2005.