专利摘要

本发明涉及图像处理技术领域，提供一种雾霾场景中交通标识牌的识别方法及系统，所述方法包括下述步骤：根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；结合去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别，实现对有雾霾图像的去雾霾处理，同时也对去雾霾后的图像进行交通标识牌的识别，而且其识别的效率和准确度较高，满足智能交通系统的要求。

权利要求

1.一种雾霾场景中交通标识牌的识别方法，其特征在于，所述方法包括下述步骤：

根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据所述去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；

结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；

利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别。

2.根据全露要求1所述的雾霾场景中交通标识牌的识别方法，其特征在于，所述根据雾霾天气中的光线反射模型和去雾霾模型，对拍摄到的雾霾图像进行去雾霾处理的步骤具体包括下述步骤：

根据雾霾天气中的光线反射模型和去雾霾模型，对大气中固体颗粒的折射以及光线穿透程度进行分析和建模，计算得到大气成分参数；

采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，获取大气透射率的估计值；

根据计算得到的大气成分参数和大气透射率估计值，得到去雾霾后的图像。

3.根据权利要求2所述的雾霾场景中交通标识牌的识别方法，其特征在于，所述结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息的步骤具体包括下述步骤：

对去雾霾后的图像进行解析，获取去雾霾图像的概念特征集合，所述概念特征集合包括形状特征、颜色特征、梯度特征以及位置特征；

对去雾霾图像的概念特征集合进行有效特征的选择，获取交通标识牌的分类特征信息。

4.根据权利要求3所述的雾霾场景中交通标识牌的识别方法，其特征在于，所述利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别的步骤之前还包括下述步骤：

对样本图像进行训练，生成神经网络分类器；

所述对样本图像进行训练，生成神经网络分类器的步骤具体包括下述步骤：

获取交通标识牌样本图像和非交通标识牌样本图像，建立训练样本图库；

使用Haar小波特征、MB-LBP特征和SURF特征对所述训练样本图库中的图像进行特征选择；

将选择到的特征输入到三层感知器神经网络进行交通标识牌的综合训练，获得所述神经网络分类器；

所述神经网络分类器输入的是选择的特征，输出的是交通标识牌的分类结果信息。

5.根据权利要求4所述的雾霾场景中交通标识牌的识别方法，其特征在于，所述对样本图像进行训练，生成神经网络分类器的步骤之前还包括下述步骤：

对视频序列中跟踪到的交通标识牌进行纵向处理；

所述对视频序列中跟踪到的交通标识牌进行纵向处理的步骤具体包括下述步骤：

建立交通标识牌的训练图像集，基于PCA核函数建立图像投影空间；

建立MAP估计数学模型；

根据所述图像投影空间和MAP估计数学模型，生成基于核函数PCA的MAP重建数学模型；

在视频序列中选择其中一幅初始图像进行空间投影，作为初始的先验图像信息；

基于初始的先验图像信息对连续视频帧中的图像进行纵向模糊处理，获取高分辨率的图像。

6.一种雾霾场景中交通标识牌的识别系统，其特征在于，所述系统包括：

去雾霾处理模块，用于根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据所述去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；

交通标识牌分类特征获取模块，用于结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；

标识牌识别模块，用于利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别。

7.根据全露要求6所述的雾霾场景中交通标识牌的识别系统，其特征在于，所述去雾霾处理模块具体包括：

大气成分计算模块，用于根据雾霾天气中的光线反射模型和去雾霾模型，对大气中固体颗粒的折射以及光线穿透程度进行分析和建模，计算得到大气成分参数；

透射率估计模块，用于采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，获取大气透射率的估计值；

去雾图像计算模块，用于根据计算得到的大气成分参数和大气透射率估计值，得到去雾霾后的图像。

8.根据权利要求7所述的雾霾场景中交通标识牌的识别系统，其特征在于，所述交通标识牌分类特征获取模块具体包括：

特征集合获取模块，用于对去雾霾后的图像进行解析，获取去雾霾图像的概念特征集合，所述概念特征集合包括形状特征、颜色特征、梯度特征以及位置特征；

标识牌分类特征获取模块，用于对去雾霾图像的概念特征集合进行有效特征的选择，获取交通标识牌的分类特征信息。

9.根据权利要求8所述的雾霾场景中交通标识牌的识别系统，其特征在于，所述系统还包括：

神经网络分类器生成模块，用于对样本图像进行训练，生成神经网络分类器；

所述神经网络分类器生成模块具体包括：

训练样本图库建立模块，用于获取交通标识牌样本图像和非交通标识牌样本图像，建立训练样本图库；

特征选择模块，用于使用Haar小波特征、MB-LBP特征和SURF特征对所述训练样本图库中的图像进行特征选择；

综合训练模块，用于将选择到的特征输入到三层感知器神经网络进行交通标识牌的综合训练，获得所述神经网络分类器；

所述神经网络分类器输入的是选择的特征，输出的是交通标识牌的分类结果信息。

10.根据权利要求9所述的雾霾场景中交通标识牌的识别系统，其特征在于，所述系统还包括：

纵向处理模块，用于对视频序列中跟踪到的交通标识牌进行纵向处理；

所述纵向处理模块具体包括：

图像投影空间建立模块，用于建立交通标识牌的训练图像集，基于PCA核函数建立图像投影空间；

MAP模型建立模块，用于建立MAP估计数学模型；

重建数学模型生成模块，用于根据所述图像投影空间和MAP估计数学模型，生成基于核函数PCA的MAP重建数学模型；

先验图像信息生成模块，用于在视频序列中选择其中一幅初始图像进行空间投影，作为初始的先验图像信息；

高分辨率图像获取模块，用于基于初始的先验图像信息对连续视频帧中的图像进行纵向模糊处理，获取高分辨率的图像。

说明书

技术领域

本发明属于图像处理技术领域，尤其涉及一种雾霾场景中交通标识牌的识别方法及系统。

背景技术

随着经济社会的发展和城市化进程的加快，我国汽车数量显著增加，根据公安部门的统计数据，截止2013年底，我国机动车保有量就达到了2.5亿辆。汽车在给人们出行带来方便的同时，也给城市交通带来明显的压力，致使交通拥挤加剧、交通事故频发和空气污染加剧，特别是公路交通的安全以及运输效率问题变得日益突出，因此各个国家开始从修建更多的道路、扩展路网规模逐步转移到采用高新技术改造现有的道路交通系统和管理体系上。从二十世纪八十年代起，美国、日本以及西欧等发达国家为解决共同面临的交通问题，投入大量的人力和物力，开展了智能交通系统(Intelligent Transportation System，ITS)的研究。在智能交通系统研究中，基于图像处理技术的车载视觉系统是的一个重要的分支领域，特别是道路交通标志，由于其含有道路交通指示的关键信息，已成为智能交通研究的重要对象。道路交通标志识别(Traffic Sign Recognition，简称TSR)是对场景中的道路交通标志进行检测和分类识别，以获得交通指示信息的过程，是ITS研究领域中尚未解决的难题之一，也是实景图形识别问题研究的热点，对其进行深入研究将具有重要的理论意义和应用价值。

目前，交通标识牌的识别的研究主要是在正常天气条件进行，而对恶劣天气下的识别研究较少，这就造成了目前已有TSR系统在实际应用中的局限性。在恶劣天气下，驾驶员往往更加需要可靠的辅助驾驶系统来辅助其驾驶，因此对恶劣天气下的交通标志识别研究将具有重要的理论意义和应用价值。近几年来，随着汽车尾气的大量排放和工业污染的加重，PM2.5值越来越引起人们的广泛关注，城市道路和高速公路常常笼罩在雾霾天气中。雾霾天气造成的交通事故频发，给人民造成了巨大的生命财产损失，雾霾环境下的行车安全问题研究已经刻不容缓。在雾霾天气条件下，能见度大幅降低，道路环境视觉系统的可视性变差，图像质量严重退化，不仅模糊不清，而且还会出现严重的颜色失真，图像中蕴含的许多特征都被覆盖，导致这些机器视觉系统无法进行正常工作。

发明内容

本发明的目的在于提供一种雾霾场景中交通标识牌的识别方法，旨在解决现有技术中在雾霾天气条件下，能见度大幅降低，道路环境视觉系统的可视性变差，图像质量严重退化，不仅模糊不清，而且还会出现严重的颜色失真，图像中蕴含的许多特征都被覆盖，导致这些机器视觉系统无法进行正常工作的问题。

本发明是这样实现的，一种雾霾场景中交通标识牌的识别方法，所述方法包括下述步骤：

根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据所述去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；

结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；

利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别。

作为一种改进的方案，所述根据雾霾天气中的光线反射模型和去雾霾模型，对拍摄到的雾霾图像进行去雾霾处理的步骤具体包括下述步骤：

根据雾霾天气中的光线反射模型和去雾霾模型，对大气中固体颗粒的折射以及光线穿透程度进行分析和建模，计算得到大气成分参数；

采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，获取大气透射率的估计值；

根据计算得到的大气成分参数和大气透射率估计值，得到去雾霾后的图像。

作为一种改进的方案，所述结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息的步骤具体包括下述步骤：

对去雾霾后的图像进行解析，获取去雾霾图像的概念特征集合，所述概念特征集合包括形状特征、颜色特征、梯度特征以及位置特征；

对去雾霾图像的概念特征集合进行有效特征的选择，获取交通标识牌的分类特征信息。

作为一种改进的方案，所述利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别的步骤之前还包括下述步骤：

对样本图像进行训练，生成神经网络分类器；

所述对样本图像进行训练，生成神经网络分类器的步骤具体包括下述步骤：

获取交通标识牌样本图像和非交通标识牌样本图像，建立训练样本图库；

使用Haar小波特征、MB-LBP特征和SURF特征对所述训练样本图库中的图像进行特征选择；

将选择到的特征输入到三层感知器神经网络进行交通标识牌的综合训练，获得所述神经网络分类器；

所述神经网络分类器输入的是选择的特征，输出的是交通标识牌的分类结果信息。

作为一种改进的方案，所述对样本图像进行训练，生成神经网络分类器的步骤之前还包括下述步骤：

对视频序列中跟踪到的交通标识牌进行纵向处理；

所述对视频序列中跟踪到的交通标识牌进行纵向处理的步骤具体包括下述步骤：

建立交通标识牌的训练图像集，基于PCA核函数建立图像投影空间；

建立MAP估计数学模型；

根据所述图像投影空间和MAP估计数学模型，生成基于核函数PCA的MAP重建数学模型；

在视频序列中选择其中一幅初始图像进行空间投影，作为初始的先验图像信息；

基于初始的先验图像信息对连续视频帧中的图像进行纵向模糊处理，获取高分辨率的图像。

本发明的另一目的在于提供一种雾霾场景中交通标识牌的识别系统，所述系统包括：

去雾霾处理模块，用于根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据所述去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；

交通标识牌分类特征获取模块，用于结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；

标识牌识别模块，用于利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别。

作为一种改进的方案，所述去雾霾处理模块具体包括：

大气成分计算模块，用于根据雾霾天气中的光线反射模型和去雾霾模型，对大气中固体颗粒的折射以及光线穿透程度进行分析和建模，计算得到大气成分参数；

透射率估计模块，用于采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，获取大气透射率的估计值；

去雾图像计算模块，用于根据计算得到的大气成分参数和大气透射率估计值，得到去雾霾后的图像。

作为一种改进的方案，所述交通标识牌分类特征获取模块具体包括：

特征集合获取模块，用于对去雾霾后的图像进行解析，获取去雾霾图像的概念特征集合，所述概念特征集合包括形状特征、颜色特征、梯度特征以及位置特征；

标识牌分类特征获取模块，用于对去雾霾图像的概念特征集合进行有效特征的选择，获取交通标识牌的分类特征信息。

作为一种改进的方案，所述系统还包括：

神经网络分类器生成模块，用于对样本图像进行训练，生成神经网络分类器；

所述神经网络分类器生成模块具体包括：

训练样本图库建立模块，用于获取交通标识牌样本图像和非交通标识牌样本图像，建立训练样本图库；

特征选择模块，用于使用Haar小波特征、MB-LBP特征和SURF特征对所述训练样本图库中的图像进行特征选择；

综合训练模块，用于将选择到的特征输入到三层感知器神经网络进行交通标识牌的综合训练，获得所述神经网络分类器；

所述神经网络分类器输入的是选择的特征，输出的是交通标识牌的分类结果信息。

作为一种改进的方案，所述系统还包括：

纵向处理模块，用于对视频序列中跟踪到的交通标识牌进行纵向处理；

所述纵向处理模块具体包括：

图像投影空间建立模块，用于建立交通标识牌的训练图像集，基于PCA核函数建立图像投影空间；

MAP模型建立模块，用于建立MAP估计数学模型；

重建数学模型生成模块，用于根据所述图像投影空间和MAP估计数学模型，生成基于核函数PCA的MAP重建数学模型；

先验图像信息生成模块，用于在视频序列中选择其中一幅初始图像进行空间投影，作为初始的先验图像信息；

高分辨率图像获取模块，用于基于初始的先验图像信息对连续视频帧中的图像进行纵向模糊处理，获取高分辨率的图像。

在本发明实施例中，根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；结合去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别，实现对有雾霾图像的去雾霾处理，同时也对去雾霾后的图像进行交通标识牌的识别，而且其识别的效率和准确度较高，满足智能交通系统的要求。

附图说明

图1是本发明提供的雾霾场景中交通标识牌的识别方法的实现流程图；

图2是本发明提供的根据雾霾天气中的光线反射模型和去雾霾模型，对拍摄到的雾霾图像进行去雾霾处理的实现流程图；

图3是本发明提供的结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息的实现流程图；

图4是本发明提供的对样本图像进行训练，生成神经网络分类器的实现流程图；

图5是本发明提供的对视频序列中跟踪到的交通标识牌进行纵向处理的实现流程图；

图6是本发明提供的隐马尔科夫序列链的示意图；

图7是本发明提供的注意力吸引机制和层叠系统的人类视觉注意力训练模型的示意图；

图8是本发明提供的神经网络分类器的生成示意图；

图9是本发明提供的雾霾场景中交通标识牌的识别系统的结构框图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

图1示出了本发明提供的雾霾场景中交通标识牌的识别方法的实现流程图，其具体包括下述步骤：

在步骤S101中，根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理。

其中，雾霾天气具有颗粒多，浓度大，颜色深等特征，其光线反射模型和传统的去雾模型有较大区别。传统去雾模型只需要考虑光线衰减信息、雾气反射信息等，不需要考虑颜色信息、固体颗粒遮挡和散射信息。而雾霾天气往往伴随着黄色颗粒、灰色颗粒，使空气变得发黄、发灰，因此需要针对雾霾天气有针对性的建立光线反射模型和去雾霾模型。

在此基础上，基于McCarney大气散射模型和隐马尔科夫随机场预测模型(HMM)进一步科学地认识雾霾天气中图像衰退的机理，探索图像退化与场景结构、天气状况等诸多因素存在的关系，重新建立基于单幅图像的大气耗散信息的模型，并实现一种快速鲁棒的去雾霾方法；该步骤采用标识牌的特有固定颜色，例如：红色、蓝色和黄色，进行去雾霾模型参数的获取和建立；而正是这些相对固定的标志牌颜色信息使的在雾霾场景下统计和计算其反射信息成为可能；在对雾霾天气的光线反射模型的研究基础上，根据暗原色模型的去雾理论研究去雾霾算法，采用色度变化模型能够更加突出雾霾天气中的标志牌颜色，而采用按原色模型信息能够对结合建立的光线反射模型对初始的颜色信息做出有效的估计，下述有详细的实现步骤，在此不再赘述。

在步骤S102中，结合去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息。

其中，对图像进行去雾霾处理后，其颜色信息和形状信息会有些许变化，并且去雾霾过程一般耗时较多，因此针对去雾霾处理后的图像设计快速有效的标志牌检测算法是十分必要的；人类的视觉搜索过程和认知机理是一个快速高效的搜索过程，尤其是交通标识牌的一些吸引人类注意力的红色、蓝色和黄色等彩色信息，圆形、矩形和三角形等形状信息，很容易捕捉到人类视觉的注意力，下述有详细的说明，在此不再赘述。

在步骤S103中，利用构建的神经网络分类器对交通标识牌的分类特征信息进行标识牌检测识别。

其中，该神经网络分类器输入的是选择的特征，输出的是交通标识牌的分类结果信息，从而实现对交通标识牌的识别。

在该实施例中，在研究雾霾天气的光线反射机理和去雾霾模型基础上，使用McCarney大气散射模型和隐马尔科夫随机场预测模型(HMM)构建有效的去雾霾算法，并基于标志牌色度模型和暗原色模型建立去雾霾模型，对雾霾天气拍摄的图像和视频进行去雾霾处理；然后，在研究多层注意力吸引模型和“层叠系统”基础上，构建实时、鲁棒性高的标识牌检测系统，并以检测到的标识牌颜色信息在视频序列中进行连续跟踪；最后，针对去雾霾后可能出现的模糊、失真以及光晕现象等，研究基于多特征融合的识别方法，对不同环境和不同时间下拍摄的标识牌进行汇总建立图库，用多特征融合的方法对图库进行训练，得到具有高识别率和低误检率的神经网络分类器。

其中，如图2所示，根据雾霾天气中的光线反射模型和去雾霾模型，对拍摄到的雾霾图像进行去雾霾处理的步骤具体包括下述步骤：

在步骤S201中，根据雾霾天气中的光线反射模型和去雾霾模型，对大气中固体颗粒的折射以及光线穿透程度进行分析和建模，计算得到大气成分参数。

在该步骤中，在计算机视觉和计算机图形处理领域中，有雾图像的模型为：I(x)＝J(x)t(x)+A(1-t(x))；

其中，I(x)为有雾图像，J(x)为无雾图像，A为大气成分参数，t(x)为透射率；现在的已知条件为I(x)，要求的目标值为J(x)，因此估计大气成分参数A和透射率t(x)。

在该步骤中，对于上述大气成分参数A的计算方式如下所述：

使用隐马尔科夫随机场(Hidden Markov Model，HMM)结合恶劣天气下的McCarney大气散射模型，对大气中的固体颗粒的折射和光线穿透程度分别进行分析和建模；

因为隐马尔科夫随机场既能反映光线反射的随机性，又能反映光线反射体现在图像的潜在结构，可以有效描述光线的反射形状，因此使用隐马尔科夫随机场对雾霾图像和非雾霾图像进行比对分析，通过隐马尔科夫随机场建立散射模型，并进而估计大气成分参数A，其中，根据雾霾中物体的拍摄距离建立隐马尔科夫序列链如图6所示，其具体的实现为：

根据雾霾中物体的拍摄距离建立隐马尔科夫序列链：X＝x(0),x(1),...,x(L-1)

观察序列定义为：Y＝y(0),y(1),...,y(L-1)；

则长度L的观察序列的概率为：

在根据隐马尔科夫随机场得到拍摄距离与拍摄图像的概率关系后，就可以根据得到的概率关系进一步确定雾霾天气中光线透射率和大气成分参数，从而根据隐马尔随机场即可估计空气的大气成分参数A。

在步骤S202中，采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，获取大气透射率的估计值。

在该步骤中，采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，并建立先验模型分析，进而估计透射率的值。

在国内，交通标识牌的颜色比较固定，主要有红色、黄色和蓝色三种颜色，并且这些颜色在雾霾天气中有一定的退化。通过分析标识牌色度模型在雾霾天气中的退化程度，可用先验的分析方法，建立针对雾霾天气又对标识牌有效的单幅图像去雾霾算法。

输入某一图像J，定义标识牌的颜色通道为： 其中，J^(r,b,y)(x)为表示该标识牌颜色通道为红、蓝或黄，J^c表示彩色图像对应该标识牌颜色的彩色通道，W(x)表示以像素x为中心的一个窗口。

其中，在该式中，首先求出每个像素对应分量中代表标识牌的通道(例如：红色标识牌使用红色通道)，存入一副和原式图像大小相同的灰度图中，然后在对这幅灰度图进行最小值滤波。

暗原色原理认为自然界中暗原色的低通道有部分数值灰度值很低接近于0，这种方法对暗原色存在很大的依赖性，导致实际应用中受限。在暗原色原理的基础上，通过分析和统计雾霾天气下标识牌颜色变化建立先验样本库，然后将实际拍摄到的标识牌颜色和库中的样本进行对比，进而准确确定当前雾霾天气中的透射率。

在步骤S203中，根据计算得到的大气成分参数和大气透射率估计值，得到去雾霾后的图像。

在该实施例中，根据计算得到的大气成分参数A和大气透射率得到去雾霾后的图像，即：

如图3所示，结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息的步骤具体包括下述步骤：

在步骤S301中，对去雾霾后的图像进行解析，获取去雾霾图像的概念特征集合，概念特征集合包括形状特征、颜色特征、梯度特征以及位置特征。

在该步骤中，人类注意力的吸引机制分为刺激引发和概念引发，本方案中采用概念引发的方式，将标识牌的一些特有的特征作为概念输入概念引发的模型中进行训练，最终得到只对标识牌敏感的调整集合。

其中，交通标识牌的概念输入包括四个方面：

①形状概念，即三角形、方形和圆形等形状信息；②是颜色概念，即交通标识牌固定的红色、蓝色和黄色等颜色信息；③梯度概念，即灰度空间中八个不同方向的梯度信息；④位置概念，即标识牌在视野中经常出现的位置信息。

在步骤S302中，对去雾霾图像的概念特征集合进行有效特征的选择，获取交通标识牌的分类特征信息。

在该实施例中，如果特征集的数目较多则会影响实际识别系统的实时性，需要采用有效的机制从得到的特征集中提取最有效的特征，即采用Boosting算法进行训练的层叠系统，在系统的每一层进行最优化特征选择，最终得到最有效特征，其中基于注意力吸引机制和层叠系统的人类视觉注意力训练模型如图7所示。

在该实施例中，为有效的跟踪已检测到的标识牌，采用卡尔曼滤波和Camshift算法进行实时跟踪，由于行车的轨迹一般比较确定，运用卡尔曼滤波能有效预测跟踪位置，而Camshift算法能够有效的跟踪标识牌特有的彩色特征，并且跟踪速度也满足实时性的要求。

在本发明实施例中，在执行上述步骤S103之前，还需要执行下述步骤：

对样本图像进行训练，生成神经网络分类器；

如图4所示，对样本图像进行训练，生成神经网络分类器的步骤具体包括下述步骤：

在步骤S401中，获取交通标识牌样本图像和非交通标识牌样本图像，建立训练样本图库。

在步骤S402中，使用Haar小波特征、MB-LBP特征和SURF特征对所述训练样本图库中的图像进行特征选择。

在步骤S403中，将选择到的特征输入到三层感知器神经网络(MLP)进行交通标识牌的综合训练，获得所述神经网络分类器。

在该实施例中，结合图8所示，该三层感知器神经网络具有三个分类层级，经过三个层级的分类获取清晰图像。雾霾清晰化复原图像往往存在不同程度的模糊、轮晕效应等，影响到传统标识牌识别方法的识别率，使用像素值或单纯一种特征作为识别手段难以满足标识牌识别精度和速度的要求，并且由于行车过程中标识牌识别存在一些应用难点，例如存在拍摄角度变化对算法实时性要求较高和存在一定行车模糊等，这些都对传统的识别方法提出挑战，该实施例从不同的特征的优缺点出发，给出一种能够应用与雾霾行车环境相匹配的识别方法，即图4所示的方法。

在本发明实施例中，如图5所示，在执行上述步骤：对样本图像进行训练，生成神经网络分类器的步骤之前还包括下述步骤：

对视频序列中跟踪到的交通标识牌进行纵向处理；

其中，该对视频序列中跟踪到的交通标识牌进行纵向处理的步骤具体包括下述步骤：

在步骤S501中，建立交通标识牌的训练图像集，基于PCA核函数建立图像投影空间。

在视频序列的跟踪过程中，由于车速过快、距离较远和道路颠簸的原因导致跟踪视频模糊，其具体先对视频拍摄模糊及分辨率较低的图像进行交通标识牌复原，以达到又低质量总跟视频序列重建出高质量图片的目标。

在步骤S502中，建立MAP估计数学模型。

在该步骤中，应用贝叶斯理论最大后验概率可以得到由低分辨率图像Y估计高分辨率图像X的数学模型，即：

在步骤S503中，根据图像投影空间和MAP估计数学模型，生成基于核函数PCA的MAP重建数学模型。

在该步骤中，将图像投影空间和MAP估计数学模型结合起来，得到该基于核函数PCA的MAP重建数学模型，即：

其中， 都是在投影空间计算过程中得到的数据参数。

在步骤S504中，在视频序列中选择其中一幅初始图像进行空间投影，作为初始的先验图像信息。

在步骤S505中，基于初始的先验图像信息对连续视频帧中的图像进行纵向模糊处理，获取高分辨率的图像。

在该实施例中，将低分辨率的图像转换为高分辨率的图像，为后续交通标识牌的识别提供便利。

图9示出了本发明提供的雾霾场景中交通标识牌的识别系统的结构框图，为了便于说明，图中仅给出了与本发明实施例相关部分。

该雾霾场景中交通标识牌的识别系统包括：

去雾霾处理模块11，用于根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据所述去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；

交通标识牌分类特征获取模块12，用于结合所述去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；

标识牌识别模块13，用于利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别。

其中，上述去雾霾处理模块11具体包括：

大气成分计算模块14，用于根据雾霾天气中的光线反射模型和去雾霾模型，对大气中固体颗粒的折射以及光线穿透程度进行分析和建模，计算得到大气成分参数；

透射率估计模块15，用于采用暗原色模型的分析方法，对标识牌的颜色变化进行颜色分析，获取大气透射率的估计值；

去雾图像计算模块16，用于根据计算得到的大气成分参数和大气透射率估计值，得到去雾霾后的图像。

在该实施例中，交通标识牌分类特征获取模块12具体包括：

特征集合获取模块17，用于对去雾霾后的图像进行解析，获取去雾霾图像的概念特征集合，所述概念特征集合包括形状特征、颜色特征、梯度特征以及位置特征；

标识牌分类特征获取模块18，用于对去雾霾图像的概念特征集合进行有效特征的选择，获取交通标识牌的分类特征信息。

在该实施例中，该雾霾场景中交通标识牌的识别系统还包括：

神经网络分类器生成模块19，用于对样本图像进行训练，生成神经网络分类器；

该神经网络分类器生成模块19具体包括：

训练样本图库建立模块20，用于获取交通标识牌样本图像和非交通标识牌样本图像，建立训练样本图库；

特征选择模块21，用于使用Haar小波特征、MB-LBP特征和SURF特征对所述训练样本图库中的图像进行特征选择；

综合训练模块22，用于将选择到的特征输入到三层感知器神经网络进行交通标识牌的综合训练，获得所述神经网络分类器；

其中，该神经网络分类器输入的是选择的特征，输出的是交通标识牌的分类结果信息。

在本发明实施例中，该场景中交通标识牌的识别系统还包括：

纵向处理模块23，用于对视频序列中跟踪到的交通标识牌进行纵向处理；

其中，该纵向处理模块23具体包括：

图像投影空间建立模块24，用于建立交通标识牌的训练图像集，基于PCA核函数建立图像投影空间；

MAP模型建立模块25，用于建立MAP估计数学模型；

重建数学模型生成模块26，用于根据所述图像投影空间和MAP估计数学模型，生成基于核函数PCA的MAP重建数学模型；

先验图像信息生成模块27，用于在视频序列中选择其中一幅初始图像进行空间投影，作为初始的先验图像信息；

高分辨率图像获取模块28，用于基于初始的先验图像信息对连续视频帧中的图像进行纵向模糊处理，获取高分辨率的图像。

在本发明实施例中，上述各个模块的功能和实现方法如上述方法实施例所记载，在此不再赘述。

在本发明实施例中，根据雾霾天气中的光线反射模型和去雾霾模型构建去雾霾图像模型，并依据去雾霾图像模型对拍摄到的雾霾图像进行去雾霾处理；结合去雾霾图像模型构建结合多层注意力检测机理模型的层叠检测系统，对去雾霾后的图像进行交通标识牌初步检测，获取交通标识牌的分类特征信息；利用构建的神经网络分类器对所述交通标识牌的分类特征信息进行标识牌检测识别，实现对有雾霾图像的去雾霾处理，同时也对去雾霾后的图像进行交通标识牌的识别，而且其识别的效率和准确度较高，满足智能交通系统的要求。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

一种雾霾场景中交通标识牌的识别方法及系统专利购买费用说明

Q：办理专利转让的流程及所需资料

A：专利权人变更需要办理著录项目变更手续，有代理机构的，变更手续应当由代理机构办理。

1：专利变更应当使用专利局统一制作的“著录项目变更申报书”提出。

2：按规定缴纳著录项目变更手续费。

3：同时提交相关证明文件原件。

4：专利权转移的，变更后的专利权人委托新专利代理机构的，应当提交变更后的全体专利申请人签字或者盖章的委托书。

Q:专利著录项目变更费用如何缴交

A：（1）直接到国家知识产权局受理大厅收费窗口缴纳,（2）通过代办处缴纳，（3）通过邮局或者银行汇款,更多缴纳方式

Q：专利转让变更，多久能出结果

A：著录项目变更请求书递交后，一般1-2个月左右就会收到通知，国家知识产权局会下达《转让手续合格通知书》。