光笔式大视场三维视觉测量系统_冯萍

机器人;控制;系统

第21卷第9期光学精密工程

OpticsandPrecisionEngineeringVol．21No．92013年9月Sep．2013

924X（2013）09-2217-08文章编号1004-

光笔式大视场三维视觉测量系统

*冯萍，魏振忠

（北京航空航天大学精密光机电一体化技术教育部重点实验室，北京100191）

摘要：针对先进制造业对大型装备大范围精密尺寸测量需求，根据双目立体视觉测量原理设计了一种光笔式大视场三维视觉测量系统。基于透视投影变换下的时针顺序和共线性不变量设计了光笔特征点空间分布模式，实现了特征点的准确识别与接触探头坐标的计算。应用双目立体视觉传感器的透视投影和齐次坐标三维测量模型，以一维基线尺靶标自由移动和基准长度约束为核心，通过本质矩阵E的线性求解结合非线性优化实现了其结构参数的现场精确标定。研制了由光笔、双目立体视觉测量系统、便携式三脚架、一维基线尺靶标和测量软件构成的大视场三维视觉测量系统，完成了机器人本体表面三维数据的稠密测量实验，在7m×4．7m测量范围内系统的测量精度优于0．2mm。实验显示设计的光笔式大视场三维视觉测量系统在光笔结构、发光点识别方法和系统标定方法上均具有新的思路。

关键词：三维视觉测量;大视场;光笔;标定;光斑识别

中图分类号：TP242.6；TP391文献标识码：Adoi：10．3788/OPE．20132109．2217

LightprobebasedlargeFOV3Dvisionmeasurementsystem

FENGPing*，WEIZhen-zhong

（KeyLaboratoryofPrecisionOpto-mechatronicsTechnologyofthe

MinistryofEducation，BeihangUniversity，Beijing100191，China）

*Correspondingauthor，E-mail：fengping@buaa．edu．cn

Abstract：Tomeettherequirementsoflarge-scaleequipmentforlargescopeprecisemeasurementinadvancedmanufacturingindustry，alightprobebasedlargeFieldofView（FOV）3Dvisionmeasurementsystembasedonthebinocularstereovisionprinciplewasproposed．Thespatialdistributionmodeofthecharacterpointsonthelightprobewasdeterminedaccordingtotheinvariantsofclockwisedirectionandcolinearityunderaper-spectiveprojection，bywhichthecharacterpointswererecognizedandthecoordinatesoftheprobewerecalcu-lated．Byusinga3Dmeasurementmodelbasedonperspectiveprojectionandthehomogeneouscoordinatesofabinocularstereovisionsensor，thestructureparametersofthebinocularstereovisionsensorwerecalibratedthroughlinearlysolvingtheessentialmatrixE，furtherfollowingwithnonlinearoptimizationbyfreelymovinga1Dtargetwithknownpreciselength．AtruelargeFOV3Dvisionmeasurementsystemwasconstructed，whichconsistsofalightprobe，abinocular3Dvisionmeasurementsystem，aportabletripod，a1Dtargetandasetofmeasurementsoftware．Therealexperimenttomeasurethedense3Ddatawasperformedonarobotbodysurfaceinafieldof7m×4．7mandtheaccuracybetterthan0．2mmwasachieved．Theseresultsshowthatthedesignedsystemhasimprovementinthelightprobestructure，recognitionmethodsofluminouspointsandthesystemcalibrationmethods．

Keywords：3Dvisionmeasurement；largeFieldofView（FOV）；lightprobe；calibration；lightspotrecognition

02-21；修订日期：2013-04-22．收稿日期：2013-

——列车轮对/车体运动状况在线运动测试仪（No．2012YKU14032）基金项目：国家重大科学仪器设备开发专项—

机器人;控制;系统

2218

光学精密工程

第21卷

1引言

目前，在以大型飞机、船舶、机车等为代表的现代大型装备制造业领域，大范围现场高精度测量技术在装配、对接和质量控制等任务环节中的需求越来越多。现有的大范围三坐标测量技术及

系统主要有：三坐标测量机（CMM）［1-2］、双电子经

纬仪测量系统［3-5］、关节臂坐标测量系统［6-8］、激

光跟踪仪

［9-10］、室内GPS系统［11-13］

以及流动式三维扫描测量系统

［14-15］

。三坐标测量机通过控制精密三轴机械运动，完成探头与被测物体表面接触点的三维坐标测量，测量精度很高，常作为小批量或单件装备的比对计量用基准设备。当测量范围较大时，三坐标测量机的本机尺寸会变得很庞大，成本也急剧增加，因此无法用三坐标测量机实现测量。双电子经纬仪测量系统基于前方交汇原理，通过两台电子经纬仪的望远镜，由人工同时瞄准被测工件上的突出特征点，如角点、交叉点或人工标志点等实现三维坐标测量，测量效率低且重复性不好。关节臂坐标测量系统依靠控制柔性关节臂的精确运动，通常用于精确测量较小尺寸范

围的工件，

大范围测量则难以保证高的精度。激光跟踪仪是目前大型工件装配对接采用最广泛的光学测量设备，它具有测量范围大、精度高的特点。但激光跟踪仪通常价格昂贵，一台跟踪仪仅能跟踪测量一个靶球，且无法测盲孔，测量中的遮挡问题也未有效解决。室内GPS测量系统的基本原理与全球定位系统类似，使用红外脉冲激光发射器代替卫星，可对被测物进行360°空间测量；安装到位后无需转站，一次安装、多次使用，可消除转站造成的误差，并可通过增加接收器在一定程度上解决测量遮挡问题，但仍无法测量盲孔，且成本昂贵。流动式三维扫描测量系统主要应用于工件表面三维形貌的稠密测量，一般要求测量距离较近，且数据处理时间相对较长，不适合应用在仅需少量关键特征点的场合。

综上所述，现有的大范围三坐标测量技术及系统在测量范围、测量精度、现场柔性、测量遮挡和盲孔及成本等几项关键指标上，均难以同时满足大型装备装配对接的需求。随着高分辨率CMOS成像芯片技术的发展及其成本的降低，大范围高精度视觉测量成为可能，并随之出现了基于双目立体视觉和柔性光笔相结合的大视场三维

视觉测量模式。在该模式下，具有特定空间拓扑

几何约束的柔性光笔，可随被测工件表面的空间分布自由改变自身方位，由高精度双目立体视觉测

量系统方便测得工件上测量点（包括遮挡点、

深盲孔等）的三维坐标，从而更好地满足大型装备装配对接测量任务的需求。具有代表性的有AICONMoveInspectHR［16］测量系统。本文设计了光笔式大视场三维视觉测量系统，该系统在光笔结构、发光点识别方法和系统标定方法上均有新思路，具有测量范围大、精度高、运用范围广等优点。

2系统总体结构设计

如图1所示，光笔式大视场三维视觉测量系统主要由双目立体视觉测量系统、柔性光笔、数据

处理计算机构成。另外，

还有用于系统校准用的一维基线尺靶标和平面靶标

。

测量系统的基本工作原理为：两台高分辨率数码相机构成可实现空间三维坐标测量的双目立体视觉系统，由液晶显示器构成的平面靶标实现相机内部参数的标定，

由一维基线尺靶标实现系统结构参数的标定。柔性光笔由精密接触探头和发光二极管（LED）发光点构成，共形成6个空间

特征点，

它们的空间相对位置由机械加工保证，由双目立体视觉测量系统测得LED发光点的空间

坐标，即可精确计算接触探头的空间坐标，实现工件表面被接触点的测量。柔性光笔的设计使测量系统可适应工件表面大的深度变化，并解决遮挡和盲孔测量问题，如图2所示，因而具有很好的现场适用性。

图1光笔式大视场三维视觉测量系统组成Fig．1ConfigurationoflightprobebasedlargeFOV3D

visionmeasurementsystem

机器人;控制;系统

第9期冯萍，等：光笔式大视场三维视觉测量系统

2219

图2

光笔与工件表面接触测量示意图

Fig．2

Sketchofcontactmeasurementbetweenlightprobeandpartsurface

3光笔设计

光笔实质上是测量特征点的发生装置，高精度的三坐标测量提供高质量成像的空间特征点。同时，空间拓扑的结构设计使光笔具备了良好的现场测量柔性，

不仅避免了测量遮挡问题的发生，而且可以测量盲孔。光笔的拓扑结构设计一方面应使接触探头P点的坐标可计算，另一方面应使5个LED发光点易于识别。本文设计的光笔结构

如图2所示，

1，2，3，4，5为5个LED发光点，它们与接触探头P点为共面设计，它们之间的距离精确已知。其中，点2，

4，5和点P共线（设为L1），点1，2，3也共线（设为L2）。3．1

接触探头P点的计算

设P点与5个LED发光点之间的距离分别为Dp1，

Dp2，Dp3，Dp4，Dp5，点P和点1，2，3，4，5的空间坐标分别为（xp，yp，zp）和（xi，

yi，zi）（i=1，2．．．，5），则有下列约束成立：

‖x22

p－xi‖=Dpi，

（1）其中：xp为待求点，

xi为已知点，Dpi已知。若5个LED发光点的空间三维坐标均由双目立体视觉

测量系统测得，

则xp可求。由于点1，2，3和点2，4，5分别线性相关，即存在下列约束：{x1=α1x2+β1x3

x

=α，（2）

2

2x4+β2x5

其中：αi和βi（i=1，

2）为不为零的常数。因此，5个已知的距离Dpi（i=1，

2，…，5）形成5个如式（1）的约束等式，其中只有3个是独立的。因此，

柔性光笔在实际使用时应避免仅有3个共线LED

发光点可见的情况，至少应有4个发光点同时可见。3．2

LED发光点的识别

柔性光笔上5个LED发光点被成像后，

形成亮度突出的椭圆形光斑。本文采用文献［

17］的方法获得了高精度的光斑中心图像坐标。在此基础上，根据LED发光点的空间拓扑约束在透视投

影变换下的不变量识别光斑，

即实现图像中光斑与光笔上LED发光点的准确对应，从而确定Dpi以实现接触探头P点的空间三维坐标计算。

光笔上5个LED发光点的空间拓扑约束存在的透视投影不变量具备两个性质：

（1）共面点的时针顺序在透视投影变换下保持不变［18］

，

即点按顺时针或者逆时针排列的顺序保持不变。

（2）点的共线性保持不变［19］，即原来共线的点仍然保持共线。

基于上述两个性质，首先识别光笔中的发光

点2（如图2所示）。发光点2分别与发光点1，

3以及发光点4，5共线。因此，发光点2同时满足

两个共线约束。取5个发光点图像坐标中的任意

一个，记为I1，其它4个点分别记为I2，I3，I4，I5，并

做如下的矢量角度计算：

cosθ=

（I1ITi）（I1Ij）

ij（I1Ii）（I1Ii）］［（I1Ij）（I1Ij）］（i，j=2，3，4，5，且i≠j），

（3）其中：I1Ii，I1Ij为光笔发光点图像形成的矢量，θij

为矢量I1Ii与I1Ij的夹角。若有3个由式（3）计算的角度θij满足0≤θij≤Δθ（Δθ为设定的一个接近零的阈值）或者Δθ≤θij≤π（Δθ为设定的一个接近且小于π的阈值），则可以确定I1为发光点2的图像点。否则，改变I1，重复上述计算。

发光点2的图像点确定后，仍然记为I1，下面确定发光点4和5的图像点。在上述识别发光点2的过程中，若有两矢量I1Ii和I1Ij的夹角θij满足0≤θij≤Δθ，则点Ii和Ij即为发光点4和5的

图像点。进一步做距离计算，

若有：‖I1Ii‖＜‖I1Ij‖，

（4）则点Ii为发光点4对应的像点，点Ij为发光点5对应的像点。反之，则点4和5的对应关系对调。由此可知，另外的两个像点即为发光点2和3对应的像点。

机器人;控制;系统

2220

光学精密工程

第21卷

记发光点2和5对应的像点分别为I2和I5，以矢量I2I5为参考矢量，计算I5与发光点2和3对应的像点形成的两个矢量分别与矢量I2I5的夹角（逆时针），按照式（3）计算得到的角度θij＜90°的矢量像点为发光点1对应的像点，另一个为发光点2对应的像点。

4系统测量模型

设大视场双目立体视觉测量系统的两个摄像

机坐标系分别为olxlylzl和orxryrzr，

图像坐标系分别为OlXlYl和OrXrYr，如图3所示

。

图3大视场双目立体视觉测量系统测量模型Fig．3

MeasurementmodeloflargeFOVbinocularstereovisionsystem

将世界坐标系oxyz建立在左摄像机上，左摄像机的标定矩阵为Kl，右摄像机的标定矩阵为Kr，大视场双目立体视觉测量系统的测量模型可表示为：

{

ρlX槇l=Ktx槇l=Kl［I|0］x槇l

，（5）

ρrX槇r=Krx槇r=Kr［R|－RC槇r］x槇l

其中：ρl，ρr为不为零的比例常数，X槇l、X槇r分别为左右摄像机图像点的齐次坐标，x槇l、x槇r分别为左右摄像机坐标系下三维物点的齐次坐标，

x槇为世界坐标系下三维物点的齐次坐标。I为单位矩阵，R为右摄像机坐标系到世界坐标系的旋转变换矩阵，C槇r右摄像机坐标系的原点在世界坐标系下的齐次坐标。为表达方便，令T=－RC槇r

。式（5）中，ρl，ρr和x槇为待求量，即自由度有5

个；而且式中的每个等式可以提供3个独立的约束，两个等式可以提供6个独立的约束。因此，由式（5）可确定x

槇，实现三维测量。5测量系统标定

标定是获得系统测量模型式（5）中模型参数

R和T的过程。而摄像机的标定矩阵Kl和Kr，即内部参数的标定已经完成。本文提出R和T的标定采用线性解析与非线性优化相结合的方法，线性解析完成非线性优化初值的求解，在此基础上通过非线性优化获得精确解。5．1

由本质矩阵E线性求解R和T的初值

双目立体视觉传感器的本质矩阵E满足如下约束：

X^T^

lEXr=0，

（6）

其中：X^l，

X^r分别为左右摄像机的归一化图像坐标。E由R和T确定，求得E即可获得R和T。E的具体定义如下［20］：

E=［T］×R，

（7）

其中：［T］×为由平移矢量T形成的反对称矩阵。

采用如图4所示的一维基线尺靶标进行标定。已知两特征点P1和P2之间的精确空间距离，将该靶标在测量视场内至少摆放5个不同位置上，由P1和P2对应的像点坐标及已知的标定矩阵Kl和Kr，结合式（6）形成线性方程组即可求得相差一个比例因子意义下的本质矩阵E。进一步结

合式（7）对本质矩阵E进行奇异值分解［21］

，可求得旋转矩阵R和相差一个比例因子的平移矢量

T'（这里令T'=αT，α为比例因子），可作为进一

步优化求解的初值

。

图4标定用一维基线尺靶标

Fig．41Dtargetwithknownpreciselengthforcalibration

5．2非线性优化求R和T的精确解

［7］

将式（6）中的E写为关于R和T的11维矢

机器人;控制;系统

第9期冯萍，等：光笔式大视场三维视觉测量系统

2221

量x，即：

x=［t'，rT

y，t'z1，r2，r3，r4，r5，r6，r7，r8，r9］．（8）由于T'=αT=［1，t'y，t'z］。式（6）可以改写为：

f（x）=x^TX^

l［（1－rt'z）R2－

（t'^1

^^y－Yrt'z）R－（Yr－Xrt'y）R3］=0．（9）

其中：Ri

（i=1，

2，3）为旋转矩阵R的行构成的矢量。

考虑旋转矩阵R的正交性，即RT

R=I，得到6个等式约束，为：

oi（x）=0，（i=1，2，…，6）．（10）

为进一步加强目标函数的代表性，一维基线

尺靶标摆放在不同位置时，

特征点P1和P2之间的距离随摆放位置变化的分散性应越小越好，具体

表示为：

e（x）=d2－d2

i1i=0，（11）

其中：d2

1表示一维基线尺靶标第1个摆放位置时特征点P和P2之间距离的平方，d21i表示一维基

线尺靶标第i（i≠1）个摆放位置时特征点P1和P2之间距离的平方。

根据式（9）、（10）、（11）建立目标函数，为：

2N

minF（x）=

∑λ2

1fi（x）+

i=1

6

N－1

∑λo2

2i

（x）+

∑λ2

3ei（x），（12）

i=1

i=1

其中：N为一维基线尺靶标摆放的位置数，λi（i=

1，2，3）为罚因子。基于式（12），以4．1节求得的R和T'的线性

解为初值，

采用Levenberg-Maquart优化算法可得到关于R和T'的精确解。由R和T'求得的一维

基线尺靶标特征点P1和P2的距离d'及它们之间的标准距离d，可求得比例因子α，从而求得精确的T，由此完成标定。

6

测量系统搭建及实验

6．1

系统搭建

图1为构建的大视场双目立体视觉测量系统，其各部分如图5所示。两台EOS5D数码相机的分辨率均为4368pixel×2912pixel（图5（a）），镜头为CannonEF-24-105mmf/4ISUSM，基线距离约为3m。一维基线尺靶标如图5（b）

所示，两特征点之间的距离为1234．15mm，精度

为0．01mm。柔性光笔如图5（c）所示，用碳纤维

材料加工，

其特征参数如表1所示，由高精度三坐标测量机测得。图5（d）为采用19″LGL1972H

LCD形成的平面靶标，分辨率为1280pixel×1024pixel，像素点距离为0．294mm，精度为0．01mm

。

图5

测量系统局部放大图

Fig．5

Portionalenlargementofmeasurementsystem

表1柔性光笔特征参数数据

Tab．1Parametersofflexiblelightprobe

特征点特征点中心坐标/mmxyz1139．0983－0．00010．000020．00370．00230．00003－138．5577

－0．30890．000041．7794139．15990．00005

3．5725

277．5139

0．0000