服务机器人智能空间中QR+Code人工地标的设计、定位与识读

高技术通讯２０１３年第２３卷第１２期：１２７５—１２８３

ｄｏｉ：１０．３７７２／ｊ．ｉｓｓｎ．１００２－０４７０．２０１３．１２．０１０

服务机器人智能空间中ＱＲＣｏｄｅ人工地标的设计、定位与识读①

李国栋②＋”

田国会③＋

王洪君“

周风余＋

济南２５００６１）

济南２５０１００）

吴皓＋

（’山东大学控制科学与工程学院（”山东大学信息科学与工程学院

摘要研究了服务机器人智能空间中ＱＲＣｏｄｅ人工地标的设计、定位与视觉伺服识读

问题。首先设计了一种基于ＱＲＣｏｄｅ技术的新型人工地标，并利用世界平面的单应分解

方法得到了机器人上所搭载摄像机相对人工地标坐标系的位置和姿态信息，然后建立了移动机器人的运动学模型，并采用一种令机器人作纯旋转运动的简便方法实现了机载摄像机坐标系相对移动机器人坐标系的外参数的标定，最后设计了基于位置的视觉伺服识读算法来控制移动机器入完成对ＱＲＣｏｄｅ内存储的丰富信息的读取。实验结果表明，该

人工地标识别距离远，定位精度高，且所设计的识读算法简单有效。

关键词视觉伺服，外参数标定，ＱＲＣｏｄｅ，服务机器人智能空间

式构造出了一种自相似人工地标，并给出了一种提

０

引言

智能空间（ｉｎｔｅｌｌｉｇｅｎｔｓｐａｃｅ）是一种新的复杂的

取该人工地标的简单方法；Ｎ一１使用ＲＦＩＤ标签完

成了室内环境下机器人的定位；Ｋａｍｏｌ等¨２１利用

ＲＦＩＤ射频标签完成了对物品的存在区域的粗定位；

韩国Ｈａｇｉｓｏｎｉｃ公司开发的移动机器人ＳｔａｒＧａｚｅｒ定

人机交互协作环境，它基于知识分布与智能分布思想，利用分布于环境中的多种类型的传感器和无线网络技术，实现机器人对环境的全面感知和对人的行为意图的正确理解，从而使其完成相应的服务ｌｌ引。利用智能空间技术可以降低机器入本身对所携带传感器的要求，还可使各种类型的异构机器人得以共存，从而相互协作。因此，智能空间技术的应用，使服务机器人更好地为人提供各种主动服务

成为可能”ｊ１。

位系统通过将包含位置与姿态信息的红外标签分布于顶棚，实现了机器人的实时精确定位；赵守鹏¨３Ｊ提出了一种基于快速响应码（ＱＲＣｏｄｅ）的二维自相似人工地标，并应用到了机器人的自主定位中。ＱＲＣｏｄｅ的引入，改变了以往所提出的人工地标只具备辅助机器人进行导航定位的功能，使人工地标包含各类高层语义信息，从而在应用层为机器人提供支持成为可能。本研究为克服文献［１３］所设计地标无法提供姿态信息的缺点，设计了一种新型的基于

ＱＲＣｏｄｅ编解码技术的二维地标，这种地标的内部

将知识和智能分布于环境中去，需要各种载体，其中人工地标（ａｒｔｉｆｉｃｉａｌｌａｎｄｍａｒｋ）就是一种有效的知识载体。人工地标是指人工特殊设计的，具备指引机器人导航、定位功能的物体或标志。因其具有

易于检测和信息量大等优点，被广泛应用于移动机

是包括空间全局语义描述层一区域规划层一局域描述层的三层分层空间模型或用于机器人导航的局部二维栅格地图¨４｜，外围标识则为移动机器人提供有效的位姿信息，通过世界平面的单应分解方法可以方便地得到机器人相对人工地标的位姿。然后为了控制移动机器人完成对ＱＲＣｏｄｅ内存储的丰富信息的读取，建立了移动机器人的运动学模型，标定了

器人的导航定位中，取得了许多卓有成效的研究成果【６引。Ｚｉｔｏｖａ和Ｆｌｕｓｓｅｒ一１设计了包含两个同心圆的地标，并给出了基于仿射运动不变性的人工地标识别方法；Ｓｃｈａｒｓｔｅｉｎ和Ｂｆｉｇｇｓ【ｌ叫利用尺度相似的模

①８６３计划（２００６ＡＡ０４０２０６；２００９ＡＡ０４２２２０），国家自然科学基金（６１０７５０９２），山东省自然科学基金（ＺＲ２０１１ＦＭ０１１）和山东大学自主创

新基金（２０１１ＪＣ０１７）资助项目。②男，１９８１年生，博士；研究方向：视觉伺服，机器视觉等；Ｅ．ｍａｉｌ：ｌｇｄ＠ｘｔｕ．ｅｄｕ．ｃａ③通讯作者，Ｅ—ｍａｉｌ：ｇ．ｈ．ｔｉａｎ＠ｓｄｕ．ｅｄｕ．ｃｎ

（收稿日期：２０１３－０３－２１）

一１２７５—

高技术通讯２０１３年１２月第２３卷第１２期摄像机相对移动机器人的外参数，并设计了基于位置的视觉伺服控制律。实验结果表明，这种新型人工地标不仅能够提供丰富的信息，而且识别距离远、识读精度高，同时设计的视觉伺服识读算法简单有

效。

表１面向全局语义地图生成的ＱＲＣｏｄｅ人工物标

存储信息编码

１

ＱＲＣｏｄｅ人工地标设计

与基于ＱＲＣｏｄｅ的人工物标‘１５，１６１类似，ＱＲ

Ｃｏｄｅ人工地标也可分为内部信息表示和外围标识两部分，如图１所示。

表２所示为面向局部导航地图生成的ＱＲ

Ｃｏｄｅ

人工路标的内部信息编码方式。

表２面向局部导航地图生成的ＱＲＣｏｄｅ人工路标

存储信息编码

图１

ＱＲＣｏｄｅ二维码人工地标

１．１内部信息表示

本文所设计的人工地标按功能可分为面向全局

语义地图生成的ＱＲＣｏｄｅ人工物标及面向局部导

航地图生成的ＱＲＣｏｄｅ人工路标两大类。面向全

局语义地图生成的ＱＲＣｏｄｅ人工物标主要张贴于大物品表面，机器人对整个家庭环境进行遍历，通过对人工物标内存储的信息进行识读来建立家庭环境中关键物品的位置、尺寸、所处房间及如何到达物品所处位置的全局语义地图。面向局部导航地图生成

的ＱＲＣｏｄｅ人工路标对环境可通行性信息进行编

表２中的物品标识分为墙断、门、普通物品等三大类。其具体物理意义见表３。

表３不同种类物品的尺寸信息说明表

码并存储，机器人通过对其进行识读来建立用于导航的二维栅格地图。两大类人工地标功能不同，所以其编码方式也有所区别。

表１所示为面向全局语义地图生成的ＱＲ人工物标的内部信息编码方式。

全局语义地图使机器人可以全面地了解环境中的对象，为机器人方便有效地进行与服务任务相关的知识自动推理提供支持。

Ｃｏｄｅ

物品种类第１组数字第２组数字第３组数字第４组数字墙断

ｈＪ

起点横坐标起点纵坐标终点横坐标终点纵坐标中心点横坐标

中塞亲纵

坐标

门宽朝向

物品

中塞亲横

中心点纵半长（横坐半宽（纵坐

标方向）

标方向）

．．———１２７６ －－——

李国栋等：服务机器人智能空间中ＱＲＣｏｄｅ人工地标的设计、定位与识读

墙断用字符Ｗ（即英文ｗａｌｌ）表示，类似地，门用

字符ｄ（ｄｏｏｒ）表示，普通物品用所对应英文单词的首字母表示。对于门的第４组数字，南北朝向用００００表示，东西朝向用０００１表示。１．２外围标识

外围标识由最外围的同心圆环和内部的矩形框

组成，机器人通过利用Ｈｏｕｇｈ变换检测圆环的方法可以在相对复杂的家庭环境中从较远距离快速定

位、识别出人工地标，而机器人通过识别矩形框的４个角点来间接地对自身进行定位并最终完成地标信息的视觉伺服识读。

在服务机器人智能空间中，所设计的人工地标是标准化的，即外围标识中的矩形框大小固定，其外

边长Ｚ＝１４．３ｃｍ。因此，以共心圆圆心Ｏ为坐标原

点，以垂直纸面向外的单位矢量为ｚ轴，以平行于矩

形框左右边长的单位矢量为石轴，在人工物标上固

联物体坐标系｛Ｏ｝，则矩形框的四个外顶点在｛Ｏ｝中

的３Ｄ齐次世界坐标Ｐｉ＝［Ｘｉ，Ｙｉ，０，１］Ｔ（江１，…，４）

为已知，分别是：

Ｐ１＝［一７．１５—７．１５０

１］７

Ｐ２＝［一７．１５

７．１５０

１］’Ｐ，＝『７．１５７．１５

０

１］Ｔ

Ｐ４＝［７．１５

—７．１５０

１］Ｔ

上面４个点的彳分量均为０，因此，可记与只对

应的点只（ｉ＝１，…，４）为：

Ｐ１＝［一７．１５—７．１５１］Ｔ

Ｐ２＝［一７．１５７．１５１］ＴＰ３＝［７．１５

７．１５

１］Ｔ

＾：［７．１５

—７．１５

１］’

２人工地标的定位

已知人工地标的３Ｄ模型，即Ｐｉ（ｉ＝１，…，４）．，若还知道摄像机的内参数矩阵置和Ｐｉ所成的像ｃｐｉ，根据世界平面的单应分解法就可求出目标坐标系｛Ｄ｝在当前摄像机坐标系｛ｃ｝中的位姿［。Ｒ。ｌ。ｔ。］。

若只在摄像机坐标系｛Ｃ｝中的齐次图像坐标

为≯ｉ＝［。Ｕｉ，。ｑ，１］Ｔ，则Ｐｉ在｛Ｃ｝中的归一化射影坐

标为

。ｍｉ＝Ｋ。１’ｉ＝［。戈ｉ。Ｙｉ

１】１

（１）

根据射影成像模型，有盯》ｉ＝肼。Ｒ。Ｉ。ｔｏ】只

（２）

其中，ｏｒｉ为摄像机｛ｃ｝主平面前方的３Ｄ点Ｐｉ的成像深度。记旋转矩阵。Ｒ。＝［。ｒ。，。１＂２，。ｒ。×。ｒ：］，则式（２）可进一步写为

ｒ置］

盯；ｍｉ＝［。，。

。，２

。ｆ。］Ｉ—ｌ

（３）

Ｌ－ｌＪ

记世界平面的欧氏单应阵为

Ｈ＝［‘，ｌ。，２。ｔ。】

（４）

进而有

盯；ｍｉ＝ＨＰｉ

（５）

在式（５）中，ｏｒｉ表示摄像机主平面前方空间３Ｄ点只的成像深度。令日被尺度因子ａ单位化为Ｆ一范数为１的日’：

Ｈ７＝ａ／／Ｈ’，＝１

（６）

将式（６）代人式（５），得

盯；ｍｉ＝二－日’只

（７）

式（７）中存在未知尺度因子ｏｒｉ和Ｏｔ，等式两端的矢量作叉乘，有

盯；ｍｉ×（仅１Ｈ’Ａ）＝ｏ

（８）

将日’的第』行记为ｈｔｆｆ，并将式（８）展开，整理得

０’

。ｙｉ辨印一。戈ｉ印

一。），；年

０１

［兰；｝］＝Ａ。＾’：。

（９）

其中Ａｉ∈Ｒ３”，记Ａ＝［Ａ。’，Ａ２７，…，Ａ。’］７，考虑到约束（６）与ｈ’，＝１等价，记矩阵Ａ的奇异值分解

Ａ＝叻矿，则ｈ’可取为ｙ的最后一列矢量。

记求得的Ｈ７＝【口ｂ

ｃ】，根据式（４）、式（６）

可知：

【ａ

ｂ

ｃ】＝ａ［。ｒ．‘／＇２。ｔ】

（１０）

对式（１０）等号两端前两列列矢量分别取２一范数，有

ｔｌｔ：±业监掣业２±————ｉ——一

【１１）（１１）

将式（１１）代人式（６），可以求得两个世界平面的欧氏单应：

Ｈ：上－日，

ａ

（１２）

－－——１２７７．．．——

高技术通讯２０１３年１２月第２３卷第１２期至此，求得了具有二重多义性的世界平面的欧氏单

图２所示为Ｌｅａｄｅｒ１一ＤＸ型服务机器人及利用

应日，为消除二重多义性，给出约束：

约束：目标平面的３Ｄ点只一定位于摄像机前

方。

Ｄｅｎａｖｉｔ－Ｈａｒｔｅｎｂｅｒｇ方法建立的广义三自由度机械臂的各个连杆坐标系。Ｌｅａｄｅｒ１．ＤＸ由山东大学服务机器人实验室自主研发，采用两轮差分驱动外加一个作为支撑轮的万向轮的结构。只要在两个驱动轮

施加特定的转速，即可使其实现笛卡尔空间中的期望运动。

给出的约束意味着式（５）中的ｏｒｉ＞０。因此，目标坐标系｛Ｏ｝的圆点位于摄像机｛ｃ｝的前方是约束成立的必要条件。将｛Ｏ｝的圆点Ｐ＝［０

代入式（５），并根据式（６）可得

Ｌ，

０

１］

ｏｒｉ＝ｈ”＝塑＞０

Ｏｔ

７

（１３）

其中，ｈ’，，、ｈ３３分别是日７和日的最后一个元素。

取ｏｔ＞０，ｈ３３＞０，这意味着ｈ’取为ｙ的最后

一列矢量，且ｈ’最后一个元素取正值。可以看出，在约束条件下，一定可以消除二义性，得到符合约束

条件的唯一日。

求得日后，摄像机外参数可由式（４）给出：［。Ｒ。Ｉ。ｔ。］＝［。，１，。ｒ２，。，ｌＸ。，２，‘ｔ。］。

为消除角点提取操作和图像本身噪声引入的误差，对。Ｒ。作奇异值分解。Ｒ。＝ＵＤＶＴ，则Ｕ矿是满足ｍ．ｉｎ｛ＩＲ—Ｒ。Ｉ，）条件的旋转矩阵。

至此，人工地标相对摄像机坐标系｛Ｃ｝的位姿得到了确定。

表４广义机械臂各连杆运动学参数

图２移动机器人运动学建模

根据图２所建立的连杆坐标系可确定出如表４

所示的各连杆的Ｄ—Ｈ运动学参数。

３

人工地标的识读

本节以定位结果为基础设计机器人控制律，控

制服务机器人运动到一个合适的位姿，完成ＱＲ

Ｃｏｄｅ码的视觉识读。可以看出，这是一个典型的非完整约束移动机器人的视觉伺服控制问题。为解决这一问题，首先将移动机器人抽象成一个具有旋转

在表４中，ｄ，Ⅱ，０，ｄ分别表示连杆扭角、连杆长度、关节角和连杆偏置。最后一列（连杆类型）中，Ｒ

一平移一旋转三自由度的广义机械臂，并对其进行运动学建模，然后标定出坐标系｛刚与摄像机坐标系｛ｃ｝的关系。靠，将｛Ｏ｝相对｛Ｃ｝的位姿。Ｌ转换为相对于机器人坐标系｛尺｝的位姿８Ｌ，最后设计出基

于位置的视觉伺服控制律。３．１移动机器人建模

移动机器人共有３个自由度，因此可将其抽象

代表转动关节，Ｔ代表移动关节。

由各个连杆的Ｄ—Ｈ参数可以确定出连杆变换

矩阵‘。１ｒ。（ｉ＝１，２，３）。进而广义机械臂的运动学方

程和机器人坐标系｛Ｒ｝的笛卡尔速度与各关节速度

之间的关系式为

Ｃ１３——￥１３

００１０

ｄｃｌｄｓｌ０１

￥１３Ｃ１３

为一类广义三自由度机械臂。利用Ｄｅｎａｖｉｔ和

ｏＴＲ＝

００

００

Ｈａｒｔｅｎｂｅｒｇ提出的机械臂运动学建模方法，在各个关节分别固联坐标系｛ｉ｝（江１，２，３），并取基坐标系｛０｝和末端执行器坐标系｛Ｅ｝均与机器人坐标系｛Ｒ｝重合，确定出运动学参数，即可建立移动机器人

所对应的广义机械臂运动学方程和运动微分方程。

刚载鳓

㈣，

李国栋等：服务机器人智能空间中ＱａＣｏｄｅ人工地标的设计、定位与识读

根据式（１４）可知，当ｄ＝０时，雅可比矩阵奇异，机

器人处于奇异位姿，此时机器人位于世界坐标原点处。可以在广义机械臂处于非奇异位姿时，由机器人在笛卡尔空间的位置和速度得到广义机械臂的各关节位移和速度。３．２摄像机外参数标定

８足。ｃ压。Ｔ：

厂一０．０７９６

—０．１９９２—０．０２４０—０．９７９７

０．９７６７］

—０．０８６０

８Ｒ，＝ｌ一０．９９６０

Ｌ

０．０４０６

—０．１９６５Ｊ

图４所示为摄像机的外参数标定原理图。

摄像机外参数标定是指确定机器人坐标系｛引相对摄像机坐标系｛Ｃ｝的位姿［。足。ｌ。ｔ。】。要想将人工地标坐标系｛Ｏ｝相对｛Ｃ｝的位姿［。Ｒ。ｌ。ｔ。】转换为｛ｏ｝相对｛刚的位姿【８Ｒ。Ｉ８ｔ。】，进而以｛Ｒ｝为参考坐标系设计控制律，必须对摄像机外参数进行标定。

下面给出一种简单易行的机器人上固定摄像机的外参数标定方法。

首先打印一张黑色矩形图案，在其上固联如图３（ａ）所示的目标坐标系｛Ｏ｝，将其贴到墙面上，使ｘ。垂直于地面，ｚ。垂直于墙面，手工测量出｛Ｏ｝

的原点相对地面的高度圮，然后移动服务机器人，使移动机器人的朝向垂直于墙面，手工测量出机器

｛Ｄ｝

图４摄像机外参数标定原理图

令移动机器人沿其转轴ｚ。作纯旋转运动，运动后的机器人坐标系记为｛Ｒ‘｝，对应的摄像机坐标系为｛Ｃ＋｝，根据图４可知，有如下齐次变换链成立：

８贮Ｌ＝８ＴＲ。８Ｔｃ—Ｔｏ

（１５）

人上表面距地面的高度‰，采集如图３（ｂ）所示的

标定物的图像。

记８％。＝［８Ｒ。，Ｒ‘８ｔ。Ｒ‘］，展开：

『］

（ａ）简易外参数标定示意图（ｂ蛎定物图像

图３移动机器人朝向墙面采集的图像

（８Ｒ月。一１３３）８ｔ。＝８Ｒ：ｔ。一８ＲＲ。８Ｒ。。‘ｔ。一８ｔＲ。

ｘ

（１６）

由于移动机器人仅能作绕ｚ轴的转动和ｘ轴的移动，因此式（１６）中８Ｒ。．一Ｉ，。，有如下形式：

『。０—１

一ｓＯｃＯ—ｌ０

０］

０

“足Ｒ。一１３。３＝ｌ

ｓＯ

ｌ

０

０ｊ

摄像机的内参数可由张正友的摄像机内参数标

定算法事先标定出来，Ｋ值为

ｏ８５７．８７２

ｏ

这意味着由机器人的已知运动只能求得８ｔ。的ｘ，Ｙ

分量。令机器人沿转轴转动２５。到达｛尺＋｝，采集如图５所示的图像。

『＿８６５ １１１４

Ｋ＝１

０ｏ

３１９ ５］

２３９．５

１

Ｌ－Ｊ

根据已知的Ｋ值，按照第３节的世界平面单应分解法可求得对应图３（ｂ）的［。Ｒ。Ｉ。ｔ。］为

ｒ一０．０４０６

０．９９６０ｏ．０２４０

０．０７９６０．１９９２

Ｉ一７．２８０２３

［。Ｒ。Ｉ‘ｔ。］－ｌ

ｏ

０．９７９７０．１９６５

ｌ一８．０８８８

Ｊ

０．０８６０—０．９７６７ｌ４９．６９８３

以＝［≯：。卜可根据刚堋定螨

为８Ｒ。＝ｒｏｔ（Ｋ，一９０。） ｒｏｔ（ＺＲ，１８０。），则８Ｒ，＝

口

图５机器人转动后采集的图像

一１２７９—