机器人头部的视觉跟踪系统研究

2003年5月OPTICALTECHNIQUEMay　2003

文章编号:100221582(2003)0320347203　　

机器人头部的视觉跟踪系统研究

宋博1,黄强1,郝群2,张伟民1,别海罡1

Ξ

(1.北京理工大学机电工程学院,北京　100081;2.北京理工大学光电工程系,北京　100081)

摘　要:对运动目标进行识别和跟踪是机器人视觉的一项关键技术。提出了一种可以快速跟踪运动目标的系统设计方案,采用了双计算机处理和Memolink通信方式的机器人控制结构,以图像处理为基础,在图像经过校正之后,通过区域分割和目标识别两个步骤来确定目标的位置,并控制机器人对目标进行跟踪。实验表明,该方法具有较高的速度和准确性。

关键

词:机器人视觉;区域分割;目标识别中图分类号:TP242.6+2　　　文献标识码:A

Researchonrobothead’svisualtracking

SONGBo1,HUANGQiang1,HAOQun2,ZHANGWei2min1,BIEHai2gang1

(1.Dept.ofElectro2MechanicalEngineering,BeijingInstituteofTechnology,Beijing　100081,China)(2.Dept.ofOptoelectronicEngineering,BeijingInstituteofTechnology,Beijing　100081,China)

Abstract:Recognizingandtrackingagivenobjectisakeytechnologyofrobotvision.Themethodtotrackfastmovingob2jectbasedonimageispresented.ItwasfoundedonthestructureofdualcomputerandacommunicationmodebasedonMemo2link.Afterimagecalibrating,theobjectpositionwascalculatedbyregionsegmentationandobjectrecognition.Thehighspeedandaccuracyofthismethodwasprovedbyexperiments.

Keywords:robotvision;regionsegmentation;objectrecognition

1　引　言

计算机视觉技术已经在移动机器人、视频监视与跟踪、自动导航等方面得到越来越广泛的应用[1]。对目标物体进行运动跟踪是一个机器人视觉的关键技术之一,它除了要求系统能够对图像进行处理,以找出目标位置之外,还要求系统能够根据目标位置控制机器人运动,以实现其对目标的跟踪。由于系统的任务较为繁重,因此现有的此类系统往往有速度慢、实时性差的缺点。

本文提出了一种能够实时对运动物体进行跟踪的系统设计方案,并将其应用在具有三自由度运动的机器人头部,实现了机器人头部对运动目标的跟踪[2]。实验证明,本文提出的方法较好地解决了现有此类系统速度慢的缺点,并且具有较高的准确性。

算机将难以满足运动跟踪的实时性要求,因此本文提出了双计算机处理和Memolink通信方式的机器人控制结构,使用两台计算机分别负责视觉信息的处理和机器人运动的控制(图1)。

图1　系统总体设计方案

Memolink是系统间进行快速通信的一种有效

解决方案,它通过在一台计算机中加入一块公共内

存,并将此内存通过电缆供其他计算机读写来实现计算机间的通信。具有通信速度快和通信前无需握手的优点。在本系统中,摄像机拍摄到图像后,首先由视觉处理计算机进行图像处理,处理结果经Memolink传递到运动控制计算机,运动控制计算机再根据图像处理结果控制机器人头部的运动。

2　视觉跟踪系统的总体方案

为了实现机器人头部的视觉跟踪,需要完成图像处理和头部运动控制的任务,如果只使用一台计

Ξ收稿日期:2002210225

3　视觉信息处理

基金项目:863资助项目(2001AA423290)

作者简介:宋博(19792),男,辽宁人,北京理工大学硕士研究生,从事机器人视觉研究。

347

光　学　技　术　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　第29卷

　　视觉分析与处理是本系统的关键技术之一,本文所设计的机器人视觉处理系

统的流程图如图

图2　视觉处理流程图

2所示。系统使

用一个CCD摄像头来采集图像,在对图像进行一系列的预处理之后,对其进行区域分割,以得到多个区域,再搜索这些区域,根据已知目标特征找到目标所在的区域。如果找到,则控制机器人跟踪目标,同时更新目标的特征,以用来在下次搜索时使用。如果没有找到相匹配的目标,则可能目标被暂时隐藏或丢失,这时开始下一次处理,以等待目标再次出现。　3.1　图像的获取与预处理本文使用微小型CCD摄像头来获取图像。通过图像采集卡将拍摄的图像传送到计算机内。这里有一个需要注意的问题就是图像校正。由于摄像头镜头的非线性失真,使得获取的图像有畸变[4,5],特别是在图像的边缘部分。镜头的焦距越短,畸变现象越严重,为了在后面的分析中得到较好的效果,必须对图像进行校正。图像的畸变分为径向畸变和切向畸变,其中径向畸变是主要因素[4,5],因此本系统只考虑径向畸变,其校正模型为

Xu=Xd(1+k1r2+k2r4)

24

Yu=Yd(1+k1r+k2r)

区域是图像中在某些特征方面具有相似性的一组像素的集合,通常应该把表示目标的像素单独分割成一个区域。在本系统中,从图像中最直接得到的信息就是图像的灰度信息,因此可以根据灰度信息来进行区域分割,我们的目标是要为图像中的每一个像素找到它应该属于的区域。

区域分割通常可以分为两个步骤[1,3,8,9],第一步找到一些区域种子,这些区域种子是未来区域的起始点,第二部称之为区域扩张,把剩余的像素归入适当的区域中,当所有的像素都归入到某个区域中之后,区域分割过程也随之完成,最后得到的就是一些独立的区域,每个区域用一个数字来代表。具体的步骤如下:(1)找出一些不属于任何区域的像素作为区域种子。

(2)把这个像素的灰度与周围四连通的不属于任何区域的像素的灰度相比较,如果差值在某一阈值以下,就把它作为同一区域合并。

(3)对于那些新合并的像素,反复进行(2)的操作。

(4)反复进行(2)、(3)操作,直到区域不能再扩

r2=X2d+Y2d

其中Xu,Yu为校正后坐标;Xd,Yd为校正前坐标;

k1,k2为变形系数;r为像素点到图像中心的径向距离。图3给出了校正前后的图像对比。

(a)原始图像　　　　　　　　　(b)校正后图像

图3图像畸变校正图

3.2　图像分析

为了实现对目标的跟踪,必须首先得到目标的位置,因此就要对图像进行分析以得出目标在图像坐标系中的坐标,再将其转换为目标在实际坐标系中的坐标。以此来控制机器人跟踪目标。此过程可以分为区域分割和目标识别两部分[3,6,8]。

3.2.1　区域分割348

张为止。

(5)返回到(1),寻找新的区域种子。

在实际的应用中,为了使区域分割不至于对图像灰度值的变化过于敏感,也可以不使用像素作为最小的区域[9],而把一个n×n的矩形区域作为分割的最小单位,将每个区域内n×n个像素的平均灰度值作为该区域的灰度值。但采用此种方法时,会出现下述情况:如果把n定大了,则区域的形状就不自然,小的对象就会漏过,若把n定小了,则又会出现最初的问题。在实际系统中,可以通过实验确定n值大小。

3.2.2　目标识别

现在就要搜索所有的区域来找出目标,这时需要根据已经定义的目标特征计算出各个区域的特征。这些特征是我们根据系统在具体的环境中预先已经定义好的。特征定义的精细程度对于识别结果的准确性有很大影响,因此可以根据系统不同的应用场合来决定。

k

用Wk={wki|i=1,2,…,I}来表示区域R的特征,k=1,2,…,K,而W={wi|i=1,2,…,I}表示目标的特征。在一般的系统中,可以取目标的灰度及它在图像中的大小和位置作为特征(I=3)[3,9]。对于每一个wki,i=1,2,…,I,需要定义一个函数fi(w)来衡量一个区域的特征wki与目标的

第3期宋博,等:　机器人头部的视觉跟踪系统研究

特征wi的匹配情况是怎样的。而区域Rk的全局匹配函数ck则可以这样来定义

I

c=

k

i=1λf∑

I

ii

(wki)

i

例和微分系数。

在使用这样的比例微分控制的控制系统之后,通过实验调节kp和kd,kdνkp,系统可以既有较高的反应速度,同时又具有稳定性。

i=1

λ∑

I

4　实　验

i=1

其中λi是第i个特征的权值,特别是当使的时候,上式可以简化为

I

λ∑

i

=1

c=

k

i=1

λf∑

ii

(wki)

在本系统中,视觉处理系统和运动控制系统分

别使用了Windows和RT2Linux作为其软件开发平台。RT2Linux是实时操作系统,使用它可以满足运动控制的实时性,而Windows操作系统强大的多媒体性使其成为图像处理的理想平台。

将此系统装配在具有三自由度的机器人头部,摄像头固定在头部,机器人通过转动头部来实现物体运动的跟踪。头部在三个自由度上的运动足以使其面向任何方向。系统如图4所示。在本系统中,视觉处理系统使用的是MINTRON1204型号

　　在得到了一系列的ck之后,即可根据ck的值来确定目标物体所在的位置。为了加快搜索的速度,通常可以采用两步搜索法[9],先根据部分重要的特征来找出一些候选区域,再根据所有的特征在这些候选区域中做进一步的搜索,确定最终的区域。

本文使用以摄像头的焦点为中心的球面坐标系)来表示目标在来描述目标在空间的位置,以(α,β

此球面坐标系中的方向坐标。由于我们从图像中得

到的是目标在图像坐标系中的坐标,而图像坐标系是直角坐标系,因此需要将其变换到球面坐标系中。当以图像的中心作为图像坐标系的原点,以摄像头光心作为球面坐标系的原点时,上述变换可表示为

θxx・tan

2α=arctan

Xy・tan

Y

的摄像头以

图4　机器人头部

及HI2

TACHIIP5010BD图像处理板,Memolink是连接视觉处理系统和运动控制系统的桥梁,我们选用的产品采用PCI接口,最大传输速率为1Mbytes/s或1Mwords/s,。当目标运动时,头部即可跟踪目标的运动,始终保持机器人头部正对目标。图5记录了在跟踪过程中,摄像机所拍摄的部分图像序列。

(a)系统正面　　　　　　(b)系统背面

β=arctan

θy2),(x,y)分别为目标在球面坐标系和图其中(α,β

像坐标系中的坐标;(X,Y)为图像的大小(以像素为单位);θy方向上的视角。x,θy为摄像头在x、

因为视觉处理系统处理的是上一个周期的图像,所以所得到的目标坐标也就是上一个周期的坐标,如果用此方向坐标来作为运动控制系统的输入,则头部将始终滞后一个周期。为了加快系统的速度,本文采用了比例微分控制,系统的输入输出控制函数为

Iα(k+1)=kpeα(k)+kd(eα(k)-eα(k-1))Iβ(k+1)=kpeβ(k)+kd(eβ(k)-eβ(k-1))e,　eα(k)=αβ(k)=βk-αk′k-βk′

1　　　　　　2　　　　　　　3　　　　　　4

5　　　　　　6　　　　　　　7　　　　　　8

图5　实验过程(图中深色小球为目标)

5　结　论

本文给出了一种以计算机图像处理为基础的运

动物体跟踪系统的设计方案。系统采用了双计算机处理和Memolink通信方式的机器人控制结构,使用了两台计算机分别进行图像处理和运动控制,保

(下转第353页)证了系统具有较高的速度。

349

其中Iα(k+1),Iβ(k+1)为在t(k+1)时间上控制

系统的输出;(αk,βk)来表示在时间t(k)时间目标

)表示在该时刻机器人头部的的方向坐标;(α,βk′k′方向坐标;eα(k),eβ(k)分别为表示该时刻头部位置与

目标位置之间的偏差;kp,kd分别为控制系统的比

第3期韦剑剑,等:　渐变眼镜片的设计及评价

的圆标记。

从图5(a)可见球面度曲线在视远区和视近区参

考点周围变化速率均相当缓慢,所以

图4　子午线光焦度渐增示意图

这种镜片视

远区和视近区参考点附近都没有光焦度的突变。由图5(b)可见0.5m-1等柱面度线为边界标记的视远区和视近区都比较宽阔,最大柱面度值为1.87m-1,小于光焦度增量,以1.0m-1等柱面度线标记的的中央过渡区,宽度达到0.01m,所以这种类型镜片视远、视近都有理想的视觉效果。

焦度,而视近区参考点附近球面度变化速率较快。

由图6(b)可见它的视远区比上例的镜片视远区更加宽阔,视近区则比上例的视近区狭小。最大柱面度值为1.9m-1。这种镜片主要是让佩戴者在视远时具有良好的动态视觉效果。

图6　设计举例二

5　结　论

从上文所述的结果可见,基于狄利克雷条件的

软设计方法是可行的。通过采用微分几何曲面理论和数值分析表明,设计得到的镜片球面度和柱面度在整个渐变表面具有比较理想的、均匀平缓的分布。根据使用条件,合理选取镜片子午线曲率多项式系数,可设计满足不同使用要求的渐变镜片。参考文献:

图5　设计举例一

[1]BorishIM,GrisdaleE.视光学手册(OPTICALGUIDE)[M].上

例2.取参考点A和B的间隔h=40mm,点A

和镜片中心之间距离l=0.017mm,子午线光焦度渐增方式如图4中的曲线2所示。从图6(a)可见这种镜片在整个视近区球面度变化速率非常缓慢,变化幅度也小,球面度小于8.0m-1的区域几乎覆盖整个镜片上部,因此整个视远区都能提供稳定的光

海:上海医科大学出版社,陈雄编译,1999:52～75

[2]WinthropJT.Progressiveadditionspectaclelens[P].USPatent

number5123725,1992,6,23

[3]让皮埃尔?肖沃,贝尔纳?布尔东克勒,桑德兰?弗朗索瓦.多

焦眼镜透镜[P].中华人民共和国国家知识产权局发明专利,

CN1218198A,1999,6,2

[4]梅向明,黄敬之.微分几何(第二版)[M].北京:高等教育出版

社,1998:89～141

(上接第349页)

图像分析与处理是本系统的关键技术之一,本文通过区域分割和目标识别两个步骤来确定目标的位置。采用基于目标特征的搜索,保证了图像分析结果具有较高的准确性。

未来的工作将主要集中在立体视觉上面,以使机器人在跟踪目标的同时能够同时知道目标的深度信息。参考文献:

[1]贾云得.机器视觉[M].北京:科学出版社,2001.

[2]LiZH,HuangQ,LiKJ,etal.Designofahumanoidheadwith

rapidvision[C].Proc.of2001InternationalWorkshoponBIO2RoboticsandTelepoeration,2001:158—163.

[3]GinhouxR,GutmannJ.Model2basedobjecttrackingusingstereo

vision[C].IEEEConferenceonRobotics&Automation,2001:

[4]

[5]

[6]

[7]

[8]

[9]

1226—1232.

WengJ,CohenP,HerniouM.Cameracalibrationwithdistortionmodelsandaccuracyevaluation[J].IEEETrans.onPatternAnal2yseandMachineIntelligence,1992,14(10).

LenzR,TsaiR.Techniquesforcalibrationofthescalefactorandimagecenterforhighaccuracy32Dmachinevisionmetrology[J].IEEETransactionsonPattenAnalysisandMachineIntelligence,198810(5).

EvelandC,KonoligeK,BollesR.Backgroundmodelingforseg2mentationofvideo2ratestereosequences[C].ConferenceonVisionandPatternRecognition,SantaBarbara,CA,1998.

BetkeM,HaritaogluE,DavisL.Real2timemultiplevehicledetec2tionandtrackingfromamovingvehicle[J].MachineVisionandApplication,2000(12).

PylkkoH,RiekkiJ,RoningJ.Real2Timecolor2basedtrackingviaamarkerinterface[C].Proc.ofthe2001IEEEInternationalCon2ferenceonRobotics&AutomationSeoul,Korea,2001:1214—1219.

何赋,马天宇等.VisualC++数字图像处理[M].北京:人民邮电出版社,2001.

353