基于菱形模板的摄像机标定方法_刘杰才

机器人;视觉;控制

第34卷 第4期 指挥控制与仿真 Vol.34 No.4 2012年8月 Command Control & Simulation Aug. 2012 文章编号:1673-3819(2012)04-132-05

刘杰才,彭真明,雍 杨

基于菱形模板的摄像机标定方法*

(电子科技大学光电信息学院,四川 成都 610054)

摘 要:在传统的基于平面模板的摄像机标定算法和基于3个非线性点在特定运动下的标定算法的基础上,提出了一种基于菱形模板的摄像机标定算法,本算法只需要知道菱形的一个夹角就能标定出摄像机的内参数矩阵。弥补了传统算法在标定时需要知道特征点世界坐标的不足,减少了制定模板世界坐标带来的误差;同时本算法不需要菱形特征点做任何运动,避免了旋转特征点带来的人为误差。该算法的标定精度仅取决于特征点检测的精度,实验结果验证了该文算法的有效性。 关键词:摄像机标定;内参数矩阵;菱形模板;世界坐标

中图分类号:TP391.41 文献标识码:A DOI: 10.3969/j.issn.1673-3819.2012.04.029

Camera Calibration Method Based on Rhombus Template

LIU Jie-cai, PENG Zhen-ming, YONG Yang

(University of Electronic Science and Technology, Chengdu 610054, China)

Abstract: This paper presents a method of camera calibration using rhombus template, which is based on the research of traditional template-based camera calibration and calibration method with three non-collinear points under special motions. The intrinsic parameters of the camera can be calculated with an angle of the rhombus, avoiding the disadvantage of the traditional method which needs to know the world coordinates of feature points. It reduces the error caused by the world coordinates, and the feature points do not need to do any motions, avoid the human error caused by rotating the feature points. The accuracy of the proposed algorithm depends only on the accuracy of feature points detection, the experimental results show that the proposed method is effective. Key words: camera calibration; intrinsic parameters; rhombus template; world coordinates

摄像机标定在计算机视觉中,特别是在3D重构中是非常重要的关键技术。就现有的研究成果来看,摄像机标定算法根据标定方式的不同,主要可以归结为:传统标定方法[1-7],自标定方法 [8-9]和基于主动视觉的标定方法[10-11]三类。传统标定方法用一个已知的标定块作为空间参照物,通过空间点和图像点之间的对应关系,计算出摄像机模型的内外参数;基于主动视觉的自标定不需要已知参照物,摄像机被精确地安装在可以控制的平台上,通过自主地控制摄像机做特定运动来获得多幅图像,利用图像和可控制的摄像机运动参数来确定摄像机的内参和外参,但是该方法需要使用高精度的运动控制平台,使其运用受到了限制;自标定方法不需要任何外在的特

收稿日期:2012-02-17 修回日期:2012-03-20 *基金项目:中央高校基本科研业务费资助项目(ZYGX

2010J063);中国科学院光束控制重点实验室基金项目(2010 LBC001);总装预研基金项目(9140A01060108DZ02)。

作者简介:刘杰才(1986-),男,四川绵阳人,硕士研究生,研

究方向为图像处理与分析、计算机视觉。 彭真明(1966-),男,博士,教授,博士生导师。 雍 杨(1978-),女,博士,副研究员。

殊标定物或某些三维信息已知的控制点, 而是仅仅利用了图像对应点的信息,直接通过图像来完成标定任务,但是算法的精度和鲁棒性不高。

近年来,基于平面模板[2-7]的摄像机标定算法因为它的灵活性得到了广泛的应用。在张正友的棋盘模板标定算法中[2],通过求世界坐标与图像坐标之间的单应矩阵来求解内参数,并假设世界坐标的Z=0平面正是标定模板平面,需要知道特征点在世界坐标系下的精确坐标,以及特征点的图像像素坐标,从而求解出精度很高的摄像机内参数矩阵;在基于3个非线性点做特定运动的标定算法[13]中,需要人为控制特征点做旋转180º的特定运动,在此过程中,如果控制不够准确,很容易引入较大的人为误差。

文献[7]中提出了一种基于菱形模板的摄像机标定算法,该算法是通过计算圆环点,建立绝对二次曲线对摄像机内参数的约束方程来标定摄像机,获得的结果精度不够高,而本文提出的基于菱形模板的标定算法,采用菱形作为标定模板,只需要已知菱形的任意一个角即可求解出摄像机的内参数。避免了在求解特征点世界坐标时带来的误差;同时也能避免旋转特征点时带来的人为误差,提高了摄像机

机器人;视觉;控制

第4期 指挥控制与仿真 133

标定的精度。

由于正方形是一种特殊的菱形,本文中采用正方形作为标定模板,分别用文献[2]算法和本文算法分别对相机内参数进行标定,并通过对特征点图像像素坐标的重投影,分析了标定算法的误差,验证了算法的有效性。

平面模板中菱形的成像过程如图1所示,其中l1

表示菱形的边长, 表示菱形AB和BD两条边的夹角。因为菱形的两条对角线相互垂直且互相平分,在已知边长和一个夹角的情况下,可以很容易求得对角线BC的长度。本文采用3个约束方程来求解摄像机的内参数矩阵,如式(3),式(4),式(5)所示:

???

1 基本理论

1.1 摄像机成像模型

计算机视觉中,摄像机模型解决的是三维场景中的点和平面上的点之间的对应问题。空间任意一点P与其在图像上的投影位置P'之间的位置关系可以通过式(1)描述[1]:

?fu

zp'P'?K?RT????0

??0

sfv

u0?v0???RT? (1) 1??

???

BA?l1 (3) BC?2l1cos( (4)

2

??????

???

???

BA?BC?BA?BC?cos() (5)

2

其中BA,AC, 都是已知条件,BC的长度可由式(4)求解。

??????

2 求解内参数矩阵

从图1可知,菱形的对角线AD,BC,相交于点O,因为AD,BC互相垂直且相互平分,因此O点是AD的中点,同时也是BC的中点,所以O点的世界坐标可用式(6)表示[12]:

O?

11

(A?D)?(B?C) (6) 22

其中,zp'是一个比例因子,表示P点的投影深度,K表示摄像机的内参数矩阵,R和T表示摄像机的外参数矩阵,分别表示从世界坐标到摄像机坐标的旋转矩阵和平移矩阵。

在基于平面模板的摄像机标定算法中,我们假设世界坐标系的Z=0平面正是平面模板所在的平面,因此世界坐标和图像像素坐标之间的成像关系可以用公式(2)表示[1]:

zp'P'?HP?K?r1

r2

t?P (2)

A,B,C,D,O分别代表点A,B,C,D,O世界

坐标,而在成像平面上,a,b,c,d

,o,分别为A,B,C,D,O在成像平面的投影点,如图2所示。

其中,H称为平面靶标点到图像像素点之间变换的单应矩阵,r1,r2表示旋转矩阵R的第一和第二列,P表示P点的世界坐标,P表示P点的图像像素坐标。

1.2 菱形的几何描述

'

'

图2 菱形在成像平面中的投影点a,b,d,c

从图2可知,o点是成像平面坐标系中直线ad,和bc的交点,所以o点的图像像素坐标可以用式(7)

表示:

o?(a?d)?(b?c) (7)

其中,(a?d)表示直线ad,而(b?c)表示直线

bc;a,b,c,d,o,分别表示a,b,c,d的图像像素坐

标。式(7)说明o点的图像像素坐标可用直线ad和

图1 平面模板中菱形的成像描述

bc的交点坐标来表示。

根据式(1)和式(6)可以得到[12]:

机器人;视觉;控制

134 刘杰才，等：基于菱形模板的摄像机标定方法 第34卷

2zoo?(zaa?zdd) (8)

令h1??h11

h12

h13?,h2??h21

T

h22

h23?,式

T

2zoo?(zbb?zcc) (9)

(17),式(18),式(19)可以化简为[13]:

T?V11??T?4zo2?V22

?b?D (24) T??V12??

2

D???l1

其中,za,zb,zc,zd,zo分别是空间中点

A,B,C,D,O的投影深度;,,,,,分别表示

a,b,c,d的图像像素坐标。在式(8)两边叉乘,式(9)两边分别同时叉乘向量b和c化简后可以得到

A,B,C三点的投影深度za,zb,zc与O点的投影深

4l12(cos( /2))2

2l12cos( /2)??,b是

T

描述对称矩阵B的一个向量[12],

度zo之间的关系为:

za?2m zo,zb?2m zo,zc?2m3zo (10) 12

Vij?[hi1hj1hi1hj2?hi2hj1hi2hj2hi3hj1?hi1hj3

hi3hj2?hi2hj3hi3hj3]

到:Ub?0,其中有:

T

其中:

m1?m2?m3?

?i,j?1,2?

。

(o?d)?(a?d)(??(?)(o?c)?(b?c)(b?c)?(b?c)(??(?(c?b)?(c?b)

将式(24)两边叉乘向量D,并化简可以得

(11) (12) (13)

式(11),式(12),式(13)中的a,b,c,d,o,分别表示

a,b,c,d的图像像素坐标。联合式(1),式(3),式(4),式(5)有[12]:

K(zaa?zbb)?l (14) K?1(zcc?zbb)?4l12(cos(2 (15)

2

K?1(za?zb?K?1(zc?zb?2l12(cos(2 (16)

2

将za,zb,zc代入式(14),式(15),式(16)可得:

22

?1

2

21

2T 2T??

?4(cos(V2(cos())V22?12?22

??

2TT?? (25) 2(cos())V11?V12U?

??2??

T2T??V22?4(cos(V12

??2??

因此,对于每一幅视图,我们可以得到一个方程Ub?0,其中U是一个3×6的系数矩阵,我们只需要知道夹角 就可以很容易地求解出系数矩阵,b是一个

6×1的未知向量,当我们得到两幅或两幅以上视图时,就可以得到向量b的唯一解,然后就可以通过Cholesky分解或矩阵求逆来求解摄像机的内参数矩阵。

3 实验结果与分析

为了验证算法的正确性,本文采用正方形作为标定模板,共拍摄12幅视图,图像分辨率为640×400。拍摄模板图像如图3所示。

4zohKKh1?l (17) 4zo2h2TK?TK?1h2?4l12(cos(2 (18)

24zo2h1TK?TK?1h2?2l12(cos(2 (19)

2

2

T1

?T?1

21

其中:

h1?(m1a?m2b) (20)

h2?(m3?m2 (21)

因为K?TK?1是一个对称矩阵,因此我们令[1] ?B11B12B13?

?B?K?TK?1???B21B22B23? (22)

??B31B32B33??

因为B是一个对称矩阵,所以矩阵B可以用一个

图3 标定所拍摄模板图像(共12幅)

先对所拍摄的图像进行亚像素角点检测,并分别用文献[2]算法和本文算法进行标定。标定结果如图4所示。

含有6个变量的向量来描述[1]:

b??B11

B12B22B13B23

B33? (23)

T

只要求解出了向量b,就可以很容易的求解出摄像机的内参数矩阵K。

机器人;视觉;控制

第4期 指挥控制与仿真 135

Range of fu

Image numbers

目的增加导致标定结果出现一定的波动,而本文算法不会出现较大波动,稳定性较好,证明了本文算法的有效性和正确性。在文献[2]算法中成像平面中图像坐标轴的夹角设为90º,本文算法结果如表1所示。

表1 成像平面图像坐标轴夹角随图片数目的变化

图像数目 夹角(度)

6 7 8 9 10 11 12 89.82

89.82

89.83

89.84 89.84 89.84

89.83

(a)fu随图像数目的变化

Range of fv

Image numbers

最后根据摄像机成像原理,对菱形的四个特征点进行重投影,并将结果和检测到的特征点进行对比,从而分析标定的误差,5幅图像标定结果误差对比如图5、图6所示。10幅图像标定结果误差对比如图7、图8所示。12幅图像标定结果误差对比如图

9、图10所示。

Reprojection error (in pixel) - To exit: right button

y

(b)fv随图像数目的变化

Range of u0

Image numbers

x

图5 文献[2]算法5幅图像误差

Reprojection error(in pixel)

Y

(c)u0随图像数目的变化

Range of v0

X

图6 本文算法5幅图像误差

Reprojection error (in pixel) - To exit: right button

Image numbers

y

x

(d)v0随图像数目的变化

图4 内参数随图像数目的变化( “o-”表示本文结果,

“*-”表示文献[2]算法结果)

图4中展示了采用文献[2]算法和本文算法分别对采集到的图像进行标定,内参数随图像数目变化的结果。从标定的结果中可以看出,文献算法随图像数

[2]

图7 文献[2]算法10幅图像误差

机器人;视觉;控制

136 刘杰才，等：基于菱形模板的摄像机标定方法 第34卷

Reprojection error(in pixel)

X4 结束语

本文提出了一种基于菱形模板的摄像机内参数标定方法,利用了菱形的两条对角线互相垂直且平分的特性构建求解内参数的约束方程,在已知菱形的任意一个角度的情况下,对摄像机的内参数进行标定。避免了传统方法在求解内参数时需要制定特征点的精确的世界坐标的弊端,也避免了文献[2]算法中旋转特征点带来的人为误差,本文算法的标定

图8 本文算法10幅图像误差

结果精度仅仅取决于用于标定的特征点的检测精度,其有效性有了显著提高。

y

x

参考文献:

[1] Z.Y. Zhang. Flexible Camera Calibration by viewing a

plane from Unknown Orientations[C]. In Proc. 7th International Conference on Computer Vision, Kerkyra, Greece, 1999:666-673.

[2] Z. Zhang, Camera calibration with one-dimensional

objects [J]. IEEE Trans. Pattern Anal. Mach. Intel, 2004, 26(7): 892-899.

[3] 刘碧霞,李绍滋,郭锋,等.一种简单快速的相机标定新

方法[J].计算机工程与科学,2011,33 (1):88-92.

[4] 詹总谦,张祖勋,张剑清.基于双LCD的相机标定模型

及其精度分析[J].测绘通报,2009(11):14-16.

[5] Z. Zhang, D. Zhu, J. Zhang, et al. Improved robust and

accurate camera calibration method used for machine vision application[J].Optical Engineering,2008,47 (11): 1-11

[6] Datta, A, Jun-Sik Kim, Kanade, T. Accurate camera

calibration using iterative refinement of control points[C]. 12th International Conference on Computer Vision, 2009:1201-1208.

[7] 杨利. 一种基于菱形的摄像机标定方法[J]. 电脑知

识与技术,2008(2):352-354.

[8] R. Hartley. Self- Calibration from Multiple Views

with a Rotating Camera[C]. Proc. Third European Conf. Computer Vision, J-O. Eklundh, ed, vol.800-801, 1994:471-478.

[9] Q. T. Luong, O.D. Faugeras. Self-calibration of a

moving camera from point correspondences and fundamental matrices[J]. International Journal of Computer vision, 1997,22(3):261-289.

[10] 吴福朝,李华,胡占义.基于主动视觉的摄像机自标定

方法研究[J].自动化学报,2002,27(6):736-746. [11] S.D.Ma. A Self-Calibration Technique for Active

Vision System[J]. IEEE Trans. on Robot Automation, 1996,12(l):114-120.

[12] Z. Zhao, Y. Liu, Z. Zhang. Camera Calibration with

Three Noncollinear Points under Special Motions [J]. IEEE Trans on Image Processing, 2008, 17(12):2393- 2402.

图9 文献[2]算法12幅图像误差

Reprojection error(in pixel)

Y

X

图10 本文算法12幅图像误差

由图5到图10可以看出,当图片数目较少时两种算法的重投影误差均在0.1个像素左右,但随着图片数目的增加,本文算法稳定性较好,而传统算法误差会变大。因为传统方法中图片数目增加,特征点数目增加,特征点的世界坐标的误差会使得标定结果的误差增大,而本文算法因为不需要知道特征点的世界坐标,只需要知道角点检测的结果,所以本文算法的标定结果精度仅仅取决于角点检测的精度,角点检测精度越高,标定结果的精度也就越高。