白车身视觉检测系统中多类型传感器全局校准技术

上传者：古幼鹏
|
上传时间：2015-04-24
|
密次下载

白车身视觉检测系统中多类型传感器全局校准技术

doi：10.3969/j.issn.1000-1158.2014.03.03第35卷第3期计量学报 Vol.35，№3白车身视觉检测系统中多类型传感器全局校准技术

刘玥，林嘉睿，刘涛，刘常杰，叶声华

（天津大学精密测试技术及仪器国家重点实验室，天津300072）

摘要：针对白车身视觉检测系统中传感器数量多、种类各异、分布空间大、位置关系复杂等问题，提出了一种适用于工业现场的多视觉传感器全局校准技术。基于坐标系间接统一法，设计多个精密立体靶标作为坐标系转换中介，利用激光跟踪仪获取现场校准数据，在单位四元数数学模型的基础上，求解两坐标系间最优转换矩阵，将固定式传感器和柔性传感器的测量坐标系统一到全局坐标系。该方法已在某企业在线测量项目中成功应用，现场只需完成传感器坐标系与全局坐标系转换关系标定，降低了复杂现场环境对多传感器全局校准的限制，简化了校准过程，提高了环境适应性，校准后检测系统各向测量精度均优于±0.2mm，满足白车身在线测量精度要求。

关键词：计量学；全局校准；多类型传感器；白车身；激光跟踪仪

中图分类号：TB92 文献标识码：A 文章编号：1000-1158（2014）03-0204-06

Muiti-sensorGiobai悦aiibrationTechnoiogyof灾isionSensorin悦arBody-in-憎hite灾isuaiMeasurementSystem

（StateKeyLaboratoryofPrecisionMeasuringTechnology驭Instruments，TianjinUniversity，Tianjin300072，China）

Abstract：Anovelglobalcalibrationmethodforthemulti-sensorvisionmeasurementsysteminindustrialfieldisLIUYue， LINJia-rui， LIUTao， LIUChang-jie， YESheng-hua3Dtargetsaredesignedastheintermediaryincoordinatestransformation，andfieldcalibrationdataisacquiredbyalasertwopreciserelationsinthecarbody-in-whitevisionmeasurementsystem.Basedontheindirectcoordinatestransformation，proposedtosolvetheproblemofmultiplesensorsofdifferenttypes，largedistributionspaceandcomplicatedpositionestablishedinordertounifythestationarysensorcoordinatesandflexiblesensorscoordinatestotheglobalcoordinatetransformationrelationbetweenthesensorcoordinatesandtheglobalcoordinatesisneededintheapplicationfiled.Therefore，thecomplexenvironmentalrestrictionisreducedinmulti-sensorglobalcalibration.Meanwhile，theenvironmenttracker.Onthebasisoftheunitquaternionglobalcalibrationmodel，theoptimizedtransformationparameterscanbesystem.Themethodhasbeenappliedintheinlinemeasurementstationofacompanysuccessfully.Onlythecalibrationofadaptabilityisimprovedandthecalibrationprocessissimplified.Themaximumdeviationofthevisionmeasurementsystemis±0.2mm，whichmeetstheaccuracyrequirementsofthemanufacturedimensionchangescontrolofcarbody-in-white.Keywords：Metrology；Globalcalibration；Multi-sensorvisionmeasurementsystem；Carbody-in-white；Lasertracker1 引言

基于三维视觉检测技术的白车身三维视觉检测

系统具有非接触、速度快、可在线等突出优点，能够

收稿日期：2013-06-14；修回日期：2013-09-23实现汽车白车身各分总成、总成上关键点三维尺寸［1］的100豫在线测量。利用工业机器人的柔性在线视觉检测系［2］统，实现了柔性测量和高度自动化，已广泛应用于现代汽车制造业。近年来随着汽车工业的飞速

基金项目：国家863计划（2012AA041205）；“十二五”国家科技支撑计划（2011BAF13B04）

作者简介：刘玥（1988-），男，天津人，天津大学精密测试技术及仪器国家重点实验室硕士，主要从事视觉测量的研究。

liuyue2007@http://wendang.chazidian.com

发展，对于车身制造和在线检测提出了更高的要求，尤其是针对车身底部关键尺寸的控制已经越来越受到生产的重视。由于工业机器人运动轨迹受限于滚床、夹具以及待测车身，无法满足车身底部特征的测量要求，因此必须引入固定式视觉测

［3］

量系统，将固定式传感器安装在车身底部测量

2 多类型视觉传感器全局校准技术

2.1 精密靶标的设计

设计了基准靶标和介质靶标辅助来完成全局校准。

基准靶标作为测量基准用于标定传感器相机的外部参数，建立相机坐标系与世界标系的转换关系。待测点，与柔性检测系统构成多类型传感器视觉测量系统，见图1

内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看

。

图1 白车身视觉检测系统

为了确保测量系统的功能实现和测量精度，测量系统的全局校准则成为至关重要的一个环节，由于柔性传感器与固定传感器的机械结构、测量方式不同，且固定式传感器分布空间较大，以及车身检测现场环境复杂等因素，给全局校准技术提出了很大的难题，因此必须研究一种适用于工业现场的多类型视觉传感器高精度全局校准技术。

目前，针对工业现场多视觉传感器现场全局校

准技术的研究较少，天津大学冯克猷和罗明［4］

、合肥工业大学卢荣胜和香港城市大学Y.F.Li［5］等学

者使用双经纬仪交会测量系统，通过精密靶标实现大视场视觉测量系统的全局校准，此方法在较大空间内能取得较高精度，但在复杂环境下，双经纬仪摆放空间受限并且交汇测量易存在测量盲区，坐标系建立采集控制点步骤繁杂，在车身检测现场应用需要改进。

针对上述方法的局限性本研究提出了一种应用于复杂现场环境的大视场多类型视觉传感器的高精度全局校准方法。用激光跟踪仪作为外部精密坐标测量设备，通过精密靶标建立坐标系间的转换关系，完成全局校准。该方法操作简单，能够在车身检测现场等复杂环境下高效率地完成不同类型视觉传感器间的全局校准任务，满足在线监控白车身加工尺寸变化的精度要求。

靶标需要在相机视场内提供足够多的控制点，由于5受到现场环境的限制，靶标体积不宜过大，因此采用

密加工中心铣削而成，*7的圆孔阵列作为相机测量特征点，保证了加工精度，圆孔采用精如图2所

示。结合精密圆孔拟合算法以及单应性矩阵的获取

方法［6］

，实现标定点的精确提取及与其三维世界坐

标的准确对应。为了便于激光跟踪仪进行现场标定，设置4个激光跟踪仪3.81cm靶球磁座作为激光跟踪仪测量的控制点，并使用精度高于激光跟踪

仪的三坐标测量机（CMM）精确标定圆孔圆心和匹配磁座放置的靶球球心间的位置关系，建立起相机坐标系到跟踪仪坐标系的转换关系。

图2 基准靶标

介质靶标作为固定传感器的附件，校准时安装3在相机一侧，。靶标上提供的激光跟踪仪测量点，通过机械加工与传感器精密配合，用于建立传感见图

器测量坐标系，并定义此坐标系为传感器坐标系。考虑靶标应用于复杂的现场环境下，采用冗余控制点的设计，将靶标加工为方型套筒，为控制点设置留有充足的空间，在除底面外的3个面上，共设置9个

激光跟踪仪测量点作为控制点，其位置关系使用激光跟踪仪事先标定，在现场只需测量任意3个控制点即可建立固定式传感器的传感器坐标系，从而降低了复杂环境对控制点测量的限制。

内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看

图3 介质靶标装配图

2.2 白车身视觉检测系统全局校准的实现

白车身视觉检测系统全局校准系统如图4所示，由激光跟踪仪和精密靶标组成，使用激光跟踪仪作为高精度外部坐标测量设备，设计多种精密靶标作为坐标系转换的中介，辅助从相机坐标系到全局坐标系的转换。本研究提出的全局校准技术分为柔性传感器全局校准和固定式传感器全局

内容需要下载文档才能查看

校准两个部分。

图4 白车身视觉检测系统现场全局校准系统

为了降低复杂现场环境对全局校准的影响，将固定式传感器相机坐标系到传感器坐标系转换关系的标定安排在环境条件良好的实验场所进行，见图5仪建立起传感器坐标系到全局坐标系的转换关系，

。在系统测量现场，只需如图4所示使用激光跟踪即完成固定式传感器全局校准。

柔性传感器通过连杆安装在机器人末端法兰盘进行坐标测量，现场环境对其约束较小，但是需要标定手眼关系

［7］

。本研究应用了一种不依赖于机器

人运动模型的方法，能够在环境良好的实验场所中快速准确地获得手眼关系。使用图5中的标定系统，将基准靶标作为中介固定放置在测量空间内，得到柔性传感器坐标系和靶标坐标系之间的关系，

内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看内容需要下载文档才能查看

并

图5 固定传感器相机标定系统

利用激光跟踪仪建立靶标坐标系到跟踪仪坐标系的转换关系及连接杆件销孔坐标系到跟踪仪坐标系的转换关系，由于实际安装时销孔坐标系与法兰盘坐标系重合，从而由坐标变换链：传感器坐标系→靶标坐标系→跟踪仪坐标系→法兰盘坐标系（销孔坐标系），实现手眼标定。

机器人法兰盘坐标系与机器人基坐标系之间的转换关系，可以通过机器人正向运动学模型得到。最后需要对机器人外部参数进行校准，如图6所示，TCP将机器人变换至少在跟踪仪坐标系下的坐标值，3个位姿，每个位姿下测量出

型［8］

得到TCP在机器人基坐标系下的坐标值，同时利用D-H从而

模将机器人基坐标系与跟踪仪坐标系统一起来，再利用激光跟踪仪建立跟踪仪坐标系与全局坐标系的转换关系，进而将机器人基坐标系到全局坐标系统一起来，完成机器人外部参数的校准。

图6 机器人外部参数校准示意图

要将柔性与固定式视觉传感器的测量坐标系统一到全局坐标系，必须在现场标定中以相同的全局控制点作为基准，利用激光跟踪仪测量控制点精确建立全局坐标系，获取现场校准数据完成整体系统的全局校准。

2.3 全局校准参数的求解

全局参数的求解分为坐标系转换矩阵求解和相机外部参数求解两个部分。坐标系转换矩阵由平移矩阵T和旋转矩阵R组成，可以表示坐标变换关系

为：

Pi=RQi+T

（1）

式中，Pi、Qi为第i点在两个相关坐标下的坐标值。

常用的旋转矩阵表示方法有三点法、微小角近以及四似法、罗德里格矩阵法、奇异值分解法（SVD）元数法，文献［9］中对上述几种方法进行了详细的对比分析。其中奇异值分解法和四元数法易于实现且实用性较强，但是由于靶标设计的限制控制点较为密集，SVD算法在此情况下V向量方向具有随机性，容易产生奇异解，在本研究中使用无法保证稳定征向量将q带入式（1）即可求得旋转矩阵R，T则可由下式得到

相机外部参数求解采用相机标定法，通过已知像机针孔近似透视成像模型：

赞=Mp赞wρp

T=-R（8）

即对应于H最小特征值的单位特型QTuHQu最小，

因此求R的问题转化为求一个单位向量Qu使二次

相机内参和外参标定系统，确定外部参数。根据摄

（9）

M为3×4投影矩阵，M=粤［R式中：ρ为比例因子，

性，所以采用单位四元数表示旋转矩阵。设向量q

=［q0q1q2q3］T

为单位四元数组，旋转矩阵的单位

四元数的表示方法为

［10］

：?q2222

R=?（q1q2-q0q3）2（q1q3+q0q2）???22（0+q（qq1q1-q2+q2-q0q32?

3）q20-q21+q22-q2

32（q2q3-q0q1）?1q3-q0q2）2（q2q3+q0q1）q20-q21-q22+q2

??3?

（2）

则可限制四元数的第一个元素为正，在机器视觉实际应用中，转角一般小于即q180°，基于单位四元数的旋转矩阵估计算法

0跃［110。

］

，将问题转化为求二次型最小特征值对应的单位特征向量。首先建立目标函数

minJ1=

∑N

i=1

p′i-Rpi-T

（3）

根据空间中全局控制点位置不变的性质，则两组点有相同的质心，将两组坐标数据质心化，分离出T。

取=∑i=1pi， =∑i=1p′i

， qi=pi- q′i

=p′i-，则式（3）化为

minJ2=

∑N

i=1

q′i-Rqi

（4）

作如下定义：

p=［q…qN］p′=［q′q′N］

M=pp′T

，1qS2=M+MT

，β=

1q′P

2…，2

+P′2

，

γ=trace

（M），ω=（m-m这里m32

23，m13-m31，m21-m12）T

（5）

ij是M的元素，trace为矩阵的迹，进一步定义对称矩阵

[β-γω

ω（β+γ）I-S

]（6）

其中，I为3×3单位阵，则式（4）问题化为如下问题，即

minJ3=QTuHQu

（7）

本关系；渣T］表征了二维图像坐标到三维世界坐标之间的基其中，粤为内部参数矩阵；R为单位正交旋

转矩阵；T为平移矩阵；

rrr 粤=?fx

uv0??1?r3?

f0y0?； R=??r4

r21???

?r7

r58

r6??； T=［t8??

x为相机在 ty tz］T

。

其中，fx和fyx、y方向的有效焦距，u0和v为相机的像面中心。0由此定义靶标坐标系到像面坐标系的转换矩

阵：

?rrrtxHt

=?c?r1

r25r3t?y?Rt?c

（10）

?r7rr6t??=[cTt? 0

91z??

01]

= 0，使用基准靶标进行标定，采用直接线性变换［12，13］

控制点为共面点，的方法解出投影矩阵

则zwM。

3 实验验证

本文提出的方法已在某企业在线测量项目中进行了实验验证。

白车身视觉检测系统由20台固定式视觉传感器和4台柔性视觉传感器组成，固定传感器通过连杆-万向球的机械连接形式安装在滚床下方的适当位置，柔性传感器通过连杆安装在机器人法兰盘上，现场使用激光跟踪仪（FaroXi）进行标定。

白车身视觉检测系统需要将测量数据与车身数模标准值进行比对，选择车身静态坐标系作为全局坐标系，即在工装夹具不发生变化的情况下，直接根据定位工装建立的坐标系。现场使用激光跟踪仪测量预留全局控制点建立车身坐标系，在视觉传感器

安装完成后，使用本文论述的方法对整体系统进行全局校准。

利用校准后的系统测量基准白车身上的待测点，获得其在车身坐标系下的坐标值（表1），并与基准白车身待测点在激光跟踪仪下的测量结果（表2）进行对比，得到测量点坐标偏差，见表3。其中固定式传感器测量点与柔性传感器测量点分别取10个，固定视觉测量系统测量待测点的坐标最大偏差为mm，yRMS=0.066mm，zRMS=0.072mm。柔性视觉坐标分量的RMS误差为：xRMS=0.124mm，yRMS=±0.1mm，各坐标分量的RMS误差为：xRMS=0.073

差较大，主要是由于测量过程中引入了工业机器人定位误差。

4 结论

本文针对白车身视觉检测系统传感器数量多、种类各异、分布空间大、位置关系复杂等问题，提出了一种激光跟踪仪结合多种精密靶标的视觉检测系统现场全局校准方法，解决了多类型传感器视觉测量系统在恶劣现场环境下的全局校准问题，该方法操作简单，效率高，并在白车身在线检测现场验证了0.2mm，满足白车身视觉检测系统的测量精度要求。

xyz测量系统测量待测点坐标最大偏差为±0.2mm，各0.116mm，zRMS=0.157mm，总体测量系统满足白车身视觉检测系统的测量精度要求。柔性视觉测量偏

表1

固定测量点序号

xy其可行性与精度，校准后的测量系统最大误差低于

视觉检测系统测量结果z柔性测量点序号

1199.22

1199.36

-529.23

2191.07

2190.99

-663.92

529.31