融合边缘检测与HSV颜色特征的车牌定位技术

第２４卷第８期　计算机应用研究　Ｖｏ１．２４　Ｎｏ．８　２００７年８月　Ａｐｐｌｉｃａｔｉｏｎ　Ｒｅｓｅａｒｃｈ　ｏｆ　Ｃｏｍｐｕｔｅｍ　Ａｕｇ．２００７　融合边缘检测与ＨＳＶ颜色特征的车牌定位技术　．　王枚　，王国宏　，潘国华　（１．海军航空工程学院，山东烟台２６４００１；２．烟台市公安局，山东烟台２６４０００；３．烟台职业学院，山东烟台　２６４０００）　摘要：车牌定位是车牌识别系统的关键技术，定位的准确与否直接影响车牌识别的结果。车牌区域具有空间　特征——边缘信息丰富，颜色空间信息——伴生与互补特性。若利用边缘特征丰富进行定位，受对比度及噪声　影响较大；利用颜色信息受车身颜色及光照影响较大，误识率较高。针对这一特点，提出了一套融合灰度边缘检　测与车牌区域特有的颜色特征，准确进行车牌定位的算法。对２００幅各种情况下从交通卡口获取的实测彩色图　像进行试验，准确定位率为９９．５％。　关键词：车牌定位；ＨＳＶ颜色特征；边缘检测；融合　中图分类号：ＴＰ３９１．４１　文献标志码：Ａ　文章编号：１００１—３６９５（２００７）０８—０２０９—０３　Ｍｅｔｈｏｄ　ｏｆ　ｖｅｈｉｃｌｅ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ　ｌｏｃａｔｉｏｎ　ｆｕｓｉｎｇ　ｅｄｇｅ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ＨＳＶ　ｃｏｌｏｒ　ｆｅａｔｕｒｅ　ＷＡＮＧ　Ｍｅｉ。　，ＷＡＮＧ　Ｇｕｏ—ｈｏｎｇ　，ＰＡＮ　Ｇｕｏ—ｈｕａ　（１，Ｎａｖａｌ　Ａｅｒｏｎａｕｔｉｃａｌ　ＥｎｇｉｎｅｅｒｉｎｇＩｎｓｔｈｕｔｅ，Ｙａｕｔａｉ　Ｓｈａｎｄｏｎｇ２６４００１；２，Ｙａｕｔａｉ　Ｐｕｂｌｃｉ　Ｓｅｃｕｒｉｔｙ　Ｂｕｒｅａｕ，Ｙａｎｔａｉ　Ｓｈａｎｄｏｎｇ　２６４０００，Ｃｈｉｎａ；３　Ｙａｎｔａｉ　Ｖｏｃａｔｉｏｎａｌ　Ｃｏｌｌｅｇｅ，Ｙａｕｔａｉ　Ｓｈａｎｄｏｎｇ　２６４０００，Ｃｈｉａｎ）　・　Ａｂｓｔｒａｃｔ：１１ｈｅ　ｖｅｈｉｃｌｅ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ　ｌｏｃａｔｉｏｎ　ｗａｓ　ｔｈｅ　ｋｅｙ　ｔｅｃｈｎｉｑｕｅ　ｏｆ　ｔｈｅ　ｖｅｈｉｃｌｅ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｓｙｓｔｅｍ：ｔｈｅ　ａｃｃｕ—　ｒａｃｙ　ｗｉｌｌ　ｉｎｆｌｕｅｎｃｅ　ｔｈｅ　ｐｌａｔｅ　ｒｅｃｏｇｎｉｔｉｏｎ　ｒｅｓｕｌｔ．Ｔｈｅ　ａｒｅａ　ｏｆ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ　ｈａｓ　ｓｐａｃｅ　ｆｅａｔｕｒｅ　ｗｉｔｈ　ｗｏｎｄｅｒｆｕｌ　ｅｄｇｅｓ　ａｎｄ　ｃｏｌｏｒｆｕｌ　ｆｅａｔｕｒｅ　ｗｉｔｈ　ｃｏｎｃｏｍｉｔａｎｔ　ａｎｄ　ｃｏｍｐｌｅｍｅｎｔ　ｆｅａｔｕｒｅ．Ｔｈｅ　ｌｏｃａｔｉｏｎ　ａｃｃｕｒａｃｙ　ｓｈｏｕｌｄ　ｂｅ　ｉｎｆｌｕｅｎｃｅｄ　ｂｙ　ｎｏｉｓｅｓ　ｏｒ　ｃｏｎｔｒａｓｔ　ｕｓｉｎｇ　ｅｄｇｅｓ　ｉｎｆｏｒｍａｔｉｏｎ　ａｎｄ　ｂｙ　ｖｅｈｉｃｌｅ—ｂｏｄｙ’Ｓ　ｃｏｌｏｒ　ｏｒ　ｖｉｓｉｂｌｅ　ｌｉｇｈｔ　ｕｓｉｎｇ　ｃｏｌｏｒ　ｆｅａｔｕｒｅ．Ｆｏｒ　ｔｈｉｓ　ｐｏｉｎｔ　ｔｈｅ　ｐａｐｅｒ　ｓｈｏｗｓ　ａｎ　ａｒｉｔｈｍｅｔｉｃ　ｆｕｓｉｎｇ　ｇｒａｙ　ｅｄｇｅ　ｄｅｔｅｃｔｉｏｎ　ａｎｄ　ｐｌａｔｅ　ａｒｅａ　ｃｏｌｏｒ　ｆｅａｔｕｒｅ　ｔｏ　ｌｏｃａｔｅ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ．Ｔｈｅ　ｅｘｐｅｒｉｍｅｎｔｓ　ｏｎ　２００　ａｕｔｏｍｏｂｉｌｅ　ＲＧＢ　ｒｅａｌ　ｃｏｌｏｒ　ｉｍａ—　ｇｅｓ　ｔｈａｔ　ｗｅｒｅ　ｔａｋｅｎ　ｕｎｄｅｒ　ｖａｒｉｏｕｓ　ｃｏｎｄｉｔｉｏｎｓ　ｆｒｏｍ　ｔｒａｆｆｉｃ　ｓｔａｔｉｏｎｓ　ｓｈｏｗ　ｔｈｅ　ｃｏｒｒｅｃｔ　ｌｏｃａｔｉｏｎ　ｒａｔｅ　ｏｆ　９９．５％．　Ｋｅｙ　ｗｏｒｄｓ：ｖｅｂｉｃｌｅ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ　ｌｏｃａｔｉｏｎ；ＨＳＶ　ｃｏｌｏｒ　ｆｅａｔｕｒｅ；ｅｄｇｅ　ｄｅｔｅｃｔｉｏｎ；ｆｕｓｉｏｎ　误识率较高。ｂ）基于颜色空间的彩色图像处理的方法。常用　０　引言　的算法有利用彩色边缘颜色对车牌进行定位　等。其特点符　车牌自动识别系统具有很高的理论研究和实际应用价值，　合人的视觉感知，但因为彩色图像为三维空间，处理速度相对　随着计算机和视频技术的发展，已成为智能交通系统的重要组　较灰度图像慢。现在随着计算机技术的发展，处理彩色图像从　成部分，并已广泛应用于车辆追查和跟踪、车辆出入控制、公路　硬件及软件实现上已经成为可能。该算法的优点是利用车牌　收费监控等领域。车牌定位对车牌识别系统来说至关重要，其　区域颜色特征，对一般车身颜色与车牌区域颜色明显不同的车　定位准确度在很大程度上影响着以后的字符分割和识别结果。　辆定位率很高且速度较快；缺点是对于车身颜色与车牌区域颜　车牌的定位属于图像分割的范畴。目前车牌定位技术主　色接近部分较多、车牌褪色等情况，也很难准确定位。　要有两大类：ａ）基于空间灰度图像的处理。常用算法有边缘　现在我国已成为汽车消费大国，车辆类型繁多，其前脸装　饰也较多，尤其是各类面包车、小型汽车；车身的颜色变化也较　检测后使用数学形态学定位　０ｊ、灰度直方图定位　ｊ、Ｈｏｕｇｈ　多；有些车辆车牌破损严重，如卡车等；车牌倾斜、光照不均等　变换提取车牌边界线后进行定位　等方法，由于早期计算机　情况出现较多，造成车牌的误识率增加。一般情况下，边缘检　处理速度及内存容量的限制，处理灰度图像比较方便，现在仍　测中感兴趣区域（ＡＯＩ）包括两个前大灯、车上的汉字或字母标　有许多学者在这类方法上进行研究。该算法的优点：可利用车　志及装饰等，进行车牌的分割，需要其他的限制条件进行判别，　牌区域边缘丰富的特点，对一般边缘特征不复杂的车牌能够快　误识率较高，但这部分ＡＯＩ区域颜色一般不符合车牌区域　速定位；缺点：当车辆的前脸边缘异常复杂，疑似车牌区域较　（ＡＯＬＰ）的颜色特征，可以利用颜色区别车牌及其他字符及车　多，车牌图像中对比度较小，光照不均匀时，很难准确地定位，　灯区；只使用ＡＯＬＰ颜色特征进行定位，车身颜色与车牌区域　收稿日期：２００６．０６．２０；修返日期：２００６．０７．１４　基金项目：国家自然科学基金资助项目（６０５４１００１）；全国优秀博士学位论文作者专项基　金项目（２００４４３）　作者简介：王枚（１９６８－），女，山东蓬莱人，副教授，博士研究生，主要研究方向为图像处理及模式识别研究（ｗａｎｇｍｅｉ３３６＠１６３．ＣＯＢ）；王国宏　（１９６３－），男，山西人，副所长，教授，博导，主要研究方向为多传感器信息融合、模式识别等；潘国华（１９６７－），男，山东人，工程师，主要研究方向为　交通监控和模式识别等．　维普资讯 http://www.cqvip.com

・２１０・　计算机应用研究　２００７年　颜色相似时，也很难单独使用这一特征准确完成定位，但可以　使用车牌区域边缘丰富的特点，快速去除与ＡＯＬＰ颜色相同的　车身部分。本文利用上述两种方法的优点，将空间信息与颜色　为　对颜色分割后得到的图像ｇ（　，Ｙ）进行二值化处理，方法　＝　㈩　空间信息相融合，即灰度图像的边缘检测与车牌区域的颜色特　征相融合，能够克服以上两种方法的缺点，提高定位准确率。　实验证明，本算法具有很好的应用效果。　本文采用适合人的视觉感受的ＨＳＶ颜色模型，利用ＨＳＶ　模型中的颜色分量Ｈ与Ｓ（色彩Ｈ和饱和度Ｓ）为颜色特征鉴　别蓝色、黄色、红色区域，利用Ｖ分量区分黑色和白色区域。　１　车辆牌照的定位算法　根据中华人民共和国公共安全行业标准ＧＡ３６－９２，我国共　因为在Ｖ（ｖａｌｕｅ明亮度）分量很高或很低时或者Ｓ分量很少　时，Ｈ无法准确描述颜色，所以取约束条件为０．１５＜Ｖ＜０．９，　有四类车牌——蓝底白字（小功率汽车牌照）、黄底黑字（大功　率汽车牌照）、白底黑字或红字（军用或警用车牌）、黑底白字　（国外驻华机构用车），也就是说在车牌区域中存在蓝色、黄　且Ｓ＞０．１。颜色ＡＯＩ提取的结果如图２（ｂ）所示。　１。２　边缘检测提取车辆牌照的边缘信息　ＡＯＬＰ的另一特点是边缘丰富，提取边缘丰富区域就是　ＡＯＬＰ疑似区域。其基本思想是检测图像中的边缘点，图像中　的边缘点就是其邻域是一个灰度级变化带。常用的边缘提取　算子有Ｒｏｂｅｒｔｓ、Ｓｏｂｅｌ、Ｐｒｅｗｉｔｔ等。其中：Ｓｏｂｅｌ算子在四邻域中　使用带权的方法计算差分，在检测边缘点的同时，抑制噪声的　色、白色、黑色、红色共五种颜色。根据这一特性，将彩色图像　化为多个阈值进行分割，提取与车牌颜色有关的ＡＯＩ区域，得　到ＡＯＩ灰度图。ＡＯＬＰ的字符排列格式是Ｘ１Ｘ２．　Ｘ３Ｘ４Ｘ５Ｘ６Ｘ７，即ＡＯＬＰ具有字符跳变、边缘丰富的特点。根　据这一特点提取边缘图像。利用提取的颜色ＡＯＩ与边缘图像　相融合进行定位，最后利用投影积分得到精确的车牌区域。实　影响，但检测的边缘较宽。使用了Ｓｏｂｅｌ算子进行边缘检测，　获取了较完整的车牌边缘结果如图２（ｅ２）所示。　验表明，利用颜色空间信息特征比单纯使用颜色或空间信息得　到的结果更准确。其流程图如图１所示。　因为ＡＯＬＰ中存在七个字符，所以其水平方向梯度值变化　频率较高，这一特点在车牌图像中表现突出。在边缘的提取　中，为了简化计算，可采用差分的方法来进行。经反复试验，对　于车牌原始图像，，将其转换为灰度图像　，对　取水平边缘算　子　图１　车牌定位算法流程图　Ｅ＝｛一１，＋１｝　（５）　１．１　利用ＨＳＶ颜色模型提取的车牌ＡＯＩ图像　对于任意（ｉ，　）　，，存在　ｉ，　）　，Ｙ），则　（６）　取阈值是最常见的并行的直接检测区域的分割方法，像素　特征空间分类可看做是取阈值技术的推广。彩色图像分割是　多维特征空间分类，可化为多次阈值分割来解决ｎ］。在一般　的多阈值情况下，取阈值分割可表示为　如果　＜，（　，ｙ）≤　＋ｌ（Ｋ＝Ｏ，１，２，…，ｎ），则ｇ（　，ｙ）＝Ｋ　（１）　，（ｉ，Ｊ）＝ｌ一，（ｉ，　一１）＋，（ｉ，　）ｌ　利用式（６）对整幅车牌图像进行运算，可提取到特征值水　平方向变化剧烈的区域，并且可以抑制一定的噪声。得到差分　结果，（　，Ｙ），然后按如下定义得到二值化图像Ｆ（　，Ｙ）。　Ｆｃ　，　＝｛　ｉｆ　：：　；　２（ｅ１）。　ｃ　其中：　、Ｔｌ、Ｋ、　是一系列分割阈值，这里表示不同颜色分割　的阈值；　表示赋予分割后图像各区域的不同标号；ｆ（　，Ｙ）表　示坐标（　，Ｙ）点的特征值，这里取ＨＳＶ颜色空间的Ｈ、Ｓ、Ｖ颜　色分量值；ｇ（　，Ｙ）表示结果图像的灰度值。　对于ＡＯＬＰ区域，与其有关的颜色按其出现的概率大小分　为蓝色、黄色、白色、黑色、红色，对出现在图像中的其他颜色与　ＡＯＬＰ无关，若对整幅原始图像提取该五类颜色ＡＯＩ区域，则　其中：　为提取边缘点的灰度阈值，Ｔ　Ｅ［１，２５５］。本文使用了　Ｅ算子进行边缘检测。获取车牌水平方向边缘结果如图　１．３　提取的边缘图像与ＨＳＶ提取的ＡＯＩ图像融合后的检测　信息的融合是将多个级别上对数据进行综合处理的过程，　每个处理级别均反映了对原始数据不同程度的抽象，信息融合　的核心就是对来自多个层面的数据进行多级别、多方面、多层　车牌必在其中。采用颜色量化方式将ＡＯＩ在同一灰度图像，　中表示出来。假设Ｃ（　，Ｙ）为原始图像，中（　，Ｙ）点上在ＨＳＶ　颜色模型中的Ｈ、Ｓ、Ｖ维颜色分量值；Ｃｉ（　，Ｙ）（ｉ∈Ｎ，ｉ∈［０，　５］）为（　，Ｙ）点上的选中颜色的Ｈ、ｓ、Ｖ维的颜色分量值，选中　的颜色为ＡＯＬＰ的颜色一蓝色（５）、黄色（４）、白色（３）、黑色　次的处理，从而产生新的有意义的信息，而这种新信息是任何　单一层面所无法获得的　Ｊ。对于多个证据的组合，如有若干　个相同假设的形式　。一日，　则定义　ｊ：　０（ＥｌＥ　）＝ｍｉｎ｛０（Ｅ１　ｌＥ　），０（Ｅ２　ｌＥ　），Ｋ，０（Ｅ　ＩＥ　）｝　（８）　一日的规则，则对多个证据　应采用的更新假设日的规则为：若Ｅ＝Ｅ。ａｎｄＥ２　ａｎｄＫ　ａｎｄＥ　，　（２）、红色（１）、其他（０）；ｇ（　，Ｙ）为结果灰度图像，　中（　，Ｙ）点　上的灰度值。若：　Ｖ（　，ｙ）∈　，对于Ｃ　（　，ｙ）∈ｃ（Ｘ，ｙ）　可见多个证据的组合，“与”关系为最小值，这可以大大地　缩小车牌出现的概率。　（２）　女口果Ｃ　（　，ｙ）∈［Ｃ　（　，ｙ）（１一　），Ｃ　（　，ｙ）（１＋　）］　对于ＡＯＬＰ定位，作如下操作：　曰（ｉ，　）＝Ｇ（ｉ，Ｊ）＆Ｆ（ｉ，　）　（９）　则有ｇ（ｘ，ｙ）＝ｉ×Ｍ　∈［０，５］　（３）　其中：　为选中颜色的宽容度，Ｔ　Ｅ［０，１］；Ｍ为灰度量化的跨　得到融合后结果Ｂ（ｉ，　）。利用数学形态学闭合后，去除　小面积后结果如图２（ｄ）和（ｅ）。最后利用水平和垂直方向投　度，其结果值域ｇ（ｘ，Ｙ）Ｅ［０，２５５］。　维普资讯 http://www.cqvip.com

第８期　王枚，等：融合边缘检测与ＨＳＶ颜色特征的车牌定位技术　・２１１・　影积分，得到准确的车牌区域如图２（ｆ）所示。　不属于ＡＯＬＰ的水平线。但两者均能够保持车牌位置信息，算　子Ｅ计算时问复杂度要少，并能很好地抑制垂直方向边缘的　噪声影响。　２　车牌定位识别实验结果与分析　因为利用了颜色空间信息和空间边缘信息两个方面进行　车牌定位，本文使用差分算子Ｅ进行边缘提取，ＨＳＶ空间提取　颜色ＡＯＩ区域，融合后定位效果很好，经过２００个车辆牌照实　验，原始图像来自各种情况下在卡口提取的２８８×７６８的彩色　ＲＧＢ真实图像，定位准确率在９９，５％，例外的１例是无法分辨　真实颜色，对比度很小，使用边缘检测细定位后位置不够准确，　但可以定到车牌的一边。本算法在１，８　ＧＨｚ＼２２４　ＭＢ内存的　对原始图像进行颜色提取分割得到的ＡＯＩ进行数学形态　学操作，可定位部分车牌，但对部分车身颜色复杂的定位不够　准确；而边缘算子提取到的边缘图像是ＡＯＬＰ的另一层面，如　果汽车前脸不复杂，背景较少，能够较容易地提取车牌区域，但　现在汽车的前脸装饰物较多，提取的边缘图像、边缘特征非常　一冒＿＿一复杂，单从边缘图像准确定位需要进行较多的判断；只要判断　条件出现，就出现取阈值的问题，也就增加了出现误判的几率。　单机上使用ＭＡＴＬＡＢ编制的算法，定位花费时间在２．５　Ｓ之　内，改为ＶＣ程序在现实卡口中使用完全能够达到快速定位的　使用要求。　由图２（ｂ）的分割结果可以看出，提取符合ＡＯＬＰ颜色特　征的区域，受车身颜色及光照等的影响较大，直接使用车牌颜　色特征进行车牌定位，部分车身造成定位出错的几率也很大，　但颜色分割可以直接有效地去除大部分车辆车灯区，及其他边　缘丰富的ＡＯＩ对边缘检测的影响。　（ｆ）提取ＡＯＬＰ　图２边缘检测与颜色特征及融合后定位过程及结果　由图２（ｃ１）、（ｃ２）可知：Ｅ算子提取的边缘信息要比Ｓｏｂｅｌ　算子提取的少，只提取了水平方向的边缘，包括ＡＯＬＰ垂直方　向的边框线，但提取不到垂直方向梯度变化剧烈的边缘，如提　取不到ＡＯＬＰ水平边框线和字符中的横笔画；而用Ｓｏｂｅｌ算子　提取的边缘比较完整，包括ＡＯＬＰ中的水平边框线，当然也就　增加了融合后出现噪声的几率，如图２（ｄ）融合结果包含一些　而从车牌原始图像提取的车牌彩色信息又可以从另一层面进　行判别，将两方面的信息进行融合，可以从边缘和颜色空间两　个层面分析图像，得到更加准确的结果。对２００幅实测彩色图　像进行测试，各类方法效果对比，如表１所示。　表１各种方法比较　方法　图像特点准确定位率／％　花费时间　＿■，定位失败原因　■一３　结束语　本文提出了基于车牌区域灰度边缘特征融合车牌区域的　颜色特征进行汽车牌照定位的方法，其特点是将汽车牌照的颜　色特征与边缘特征充分结合起来，在提取车牌过程中，利用车　牌的颜色特征快速去除边缘图像中的非车牌区的边缘特征；又　利用边缘特征去除大量的疑似车牌颜色特征的其他区域，融合　后的结果，具有比单一使用灰度边缘或单一使用颜色特征进行　定位更加准确的特点，提高了车牌定位的可靠性，而且在系统　要求检测不同类型的车辆等情况时，可根据车牌的颜色特征，　提供了有效的数据分类支持。实验证明，该方法具有很好的定　位效果和实用性。　参考文献：　［１］章毓晋．图像处理和分析：上［Ｍ］，北京：清华大学出版社，　２００３：１９６，　［２］ＰＡＲＫＥＲ　Ｊ　Ｒ，ＰＡＶＯＬ　Ｆ，Ａｎ　ａｐｐｒｏａｃｈ　ｔｏ　ｌｉｃｅｎｓｅ　ｐｌａｔｅ　ｒｅｃｏｇｎｉｔｉｏｎ　［ＥＢ／ＯＬ］，（２００１－０８－０７），［２００６－０４－２３］，ｈｔｔｐ：／／ｐｈａｒｏｓ，ｃｐｓｃ，　ｕｃａｌｇａｒｙ，ｃａ，　［３］左奇，史忠科，一种基于数学形态学的实时车牌图像分割方法　［Ｊ］，中国图象图形学报，２００３，８Ａ（５）：２８１－２８５，　［４］刘伟铭，赵雪平，一种基于扫描行的汽车车牌定位算法［Ｊ］，计　算机工程与应用，２００４，４０（６）：２２３－２２５，　［５］王良红，王锦玲，梁延华，改进的Ｈｏｕｇｈ变换在校正汽车牌照倾　斜中的应用［Ｊ］．信息与电子工程，２００４，２（１）：４５—４８．　［６］李文举，梁德群，张旗，等．基于边缘颜色对的车牌定位新方法　［Ｊ］．计算机学报，２００４，２７（２）：２０４—２０８．　［７］何友，王国宏，陆大金，等．多传感器信息融合及应用［Ｍ］＿北　京：电子ｘ－，３ｋ出版社．２００１：２７、