基于边缘检测和改进Mean-Shift算法的红外目标自动跟踪方法

教务系统平台

基于边缘检测和改进Mean Shift算法的红外目标自动跟踪方法

摘要：提出了一种基于边缘检测和改进的Mean Shift算法相结合的红外目标跟踪方法。 采用与小波去噪相结合的Canny边缘检测方法对初始帧进行目标检测； 当目标被遮挡或丢失时，利用Kalman预测和质心定位方法修正Mean Shift的迭代跟踪过程。

关键词：红外目标质心定位自动跟踪Kalman预测均值

红外目标跟踪是红外警戒系统、空载下视系统、红外探测制导等军事领域的关键技术之一。 在红外目标跟踪中，传感器和目标运动不稳定、目标状态变化、先验信息缺乏、背景噪声和非目标运动干扰等给红外目标跟踪带来困难。

Mean Shift算法是Fukunaga和Hostetler于1975年首先提出的[1]，作为一种高效的模式匹配算法，成功应用于对实时性要求较高的目标跟踪系统。 引入计算机视觉领域后[2]，Mean Shift算法也广泛应用于图像分割与跟踪[3]。

本文提出了一种目标边缘检测与改进Mean Shift算法相结合的自动跟踪方案。 另一方面，从目标检测结果中作为Mean Shift的开始位置提取目标形心坐标，进行反复匹配追踪，另一方面，在目标被遮挡或丢失的情况下，根据Kalman预测和目标形心定位修正当前的帧目标的初始位置。 该方法成功实现了目标的实时跟踪，对跟踪偏移具有一定的鲁棒性。

1 Mean Shift跟踪算法

Mean Shift目标跟踪算法主要利用目标灰度和纹理特征的统计分布来描述目标，通过平均位移矢量的梯度下降搜索来实现目标跟踪。 其跟踪过程首先是对目标模型的描述，以一定间隔的灰度值为单元，将值为像素灰度值的特征空间划分为m个特征值。 在红外视频序列图像中跟踪目标时，RGB分量相同，因为图像像素的值域是灰度空间。 将此划分为k个相等的区间，将各区间称为一个区间，构成特征空间，设特征空间中的特征值的个数(即区间的个数) m=256/k。 在初始框架中，在包含目标的搜索窗口中，根据目标模型描述计算公式得到第u个特征值的概率。 然后，制作候补模型，将运动目标在第2帧以后的各帧中有可能包含目标的区域称为候补区域，将候补区域的记述称为目标候补模型，求出候补模型的特征值u=1，m的概率密度。 计算相似性函数。 为了使相似性函数最大化，在当前帧中，以当前帧的搜索窗口的位置为当前帧的搜索窗口的位置，以窗口的中心为yo，在y0附近寻找局部最佳目标位置y1。 通过获得相似性函数的最大值，可以导出Mean shift向量。

Mean Shift法是以y0为起点，与两个模型相比，向灰度变化最大的方向移动，优于一般算法中的盲搜索。 通过重复迭代，最终得到当前帧目标上的最佳位置y。 算法细节在此不再赘述，请参阅文献[4]，[6]。

改进的Mean Shift算法

Mean Shift算法在目标模型描述中严格匹配特征值，使得接近目标中心位置灰度的窗口边缘灰度特征值丢失。 其次，Mean Shift没有与跟踪迭代过程一致的判据，容易在不修正迭代跟踪过程的情况下弄错位置。 针对Mean Shift在红外目标跟踪APP应用中的不足，本文进行了以下改进。

2.1目标模型

由于背景噪声的影响和非刚性目标的灰度形状不断变化和遮挡，目标上的一些灰度级可能会丢失，或者只能分布在远离窗口中心的边缘位置。 窗口中心附近有很多灰度与其接近的像素。 此时，该灰度级是目标特征的一部分，其概率密度(权重)应该很大。 然而，原始Mean Shift目标模型计算的灰度像素的概率密度为零或几乎为零，并且丢失了目标的一些特征。

与此相对，本文在考虑像素位置的权重的同时，使用核函数对像素灰度值匹配也赋予权重。 改良后的目标模型的概率密度函数可以用式(2)来记述。

这里，核函数k1(x )使用二维Epanechikov核函数； 选择k2(x )一维高斯核函数。 k1(x )、k1(x )的定义分别如下。

式(2)中的参数表示允许匹配灰度值的最大的差分值，当可取的类似像素值位于特征值u的附近范围内，即差分值大于时，权重为0，值保证满足m。 式(2)中的h依然表示核函数带宽。 C2为归一化系数，保证

2.2相似性度量函数

由于目标模型和候补模型相似，两者的特征概率密度估计都可以用式(2)分别定义。 将目标模型描述为，将候选目标模型描述为。

为了测量目标模型和候选目标特征概率密度分布的相似性，需要定义两个离散分布之间距离的距离测度。

教学资源网

Bhattacharyya系数的样本估计。 相似性测量函数使用离散密度，不受目标尺寸变化的影响。 D值越大，表示目标和目标候补的直方图模式的差越大。 设测量值为，d时，认为目标模型没有变化，可以追踪； 相反，d的情况下，判断为失去了追踪。

条件d减小了初始预测位置与目标实际位置之间的距离，保证了Mean Shift算法的每次迭代跟踪均收敛于局部最优解。

3 Kalman预测起始点

当相似性函数值较大时，必须修正目标位置，使跟踪大大偏离目标，不影响下一帧初始目标模型的计算。 在估计下一帧的跟踪起点的步骤中，使用Kalman滤波器进行运动预测。

从第一帧到第k-1帧，Mean Shift计算的目标中心可以形成运动轨迹，并将这些中心位置值作为Kalman滤波器的观测值。 假设以运动目标为中心的x、y轴上的运动是随机加速度紊乱的运动。 信号向量s(k )=[x ) k ) y ) k ) x ) k ) y ) ]T。 此处，x ) k )、y ) k )分别是目标中心在x、y轴上的位置分量，x ()、k )、y ) k )分别是x、y轴上的观测向量x(k )=[xc(k ) k ] YC 此处，xc(k )、xc(k )分别为目标中心x、y轴上的位置观测值。

这样，Kalman滤波算法中包含的两个模型

信号模型： s(k )=a ) k-1 ) s ) k-1 ) b ) k ) w ) k ) k ) ) ) ) ) ) ) ) ) ) ) ) ) ) ) )

观测模型： x(k )=c ) k ) s ) k ) v ) k ) ) ) ) ) )观测模型： x(k )=c ) k ) v ) ) ) )观测模型) )观测模型

可以分别用式(5)和式(6)表示。

其中，w(k )为加速度摄动项，w(k )为位移摄动项。 作为初始值，设定t=1，x(-1 )=[xs ys 0 0]T。

设定某个较大的相似度d，检测出目标被遮挡了。 d时，认定目标是隐藏的，保留目标的特征分布，只通过卡尔曼预测完成跟踪，同时继续进行相似度比较直到目标再次出现，作为d。 如果相似度较大的帧数过多，则认定失去了目标跟踪，转移到目标检测过程。 卡尔曼预测最初几个帧的值不准确，在几个帧左右收敛，因为此时的预测值具有指导意义，所以设定较大的阈值，比较预测值和实际的追踪点的距离，判定是否收敛。

4边缘检测定位

4.1基于小波的Canny边缘检测算法[7]

为了确定搜索窗口的初始位置，首先需要检测初始帧中包含的目标。 设红外序列图像的初始帧为第0帧。 采用小波的Canny边缘检测方法，从复杂背景中提取小目标边缘。 边缘提取结果被连续关闭，满足Canny标准，为下一步的目标质心计算做准备。 算法的流程和结果分别如图1、图2所示。

图1小波结合的Canny算法的流程图

4.2形心计算

根据目标边缘计算质心。 公式如下。

其中，xi、yi分别是目标边缘点的第I个像素的横向、纵向值，n是目标边缘点的像素数。 根据式(7)可以得到目标形心坐标。

5 Mean Shift自动跟踪算法流程设计

本文的自动跟踪方法主要分为以下几个部分。 其设计流程如图3所示。

(1)自动初始化)首先从视频流读取图像数据。 对读取的第一帧，采用基于小波去噪的Canny边缘检测方法进行目标检测，得到质心坐标，初始化Mean Shift算法的目标跟踪中心。 设缺失帧数变量为n，且n=0。

(2)使用Mean Shift反复跟踪)式)2)计算窗口内目标初始位置的目标概率分布。 同样，计算下一个帧候选在相同位置的概率分布。 这里在特征描述方式上使用了核函数级联形式。 然后，用式(1)计算Mean Shift矢量并反复到收敛点。

教学诊改

(4) Kalman预测开始点)假设当前帧为k。 使用Kalman滤波预测k 1的目标位置，并输出跟踪点位置。 计算此时k 1帧的特征分布，并与已存目标特征分布进行均值迭代匹配。

(5)目标的再检测)当Kalman预测追踪的位置与原来的目标特征分布不一致，丢失的帧数n超过了设定值n时，判断为目标丢失，需要重新配置目标。 在这种情况下，返回自动初始化步骤，定位目标，然后重新初始化Mean Shift跟踪。

6实验结果与分析

实验视频序列长度为420帧，每秒图像大小为128128像素，视频速率为10帧/秒。 实验全部在装有Celeron(r ) 2.26GHz、256MB内存的PC上，利用Visual C 6.0软件平台进行。 量化水平为3232。

基于原来的Mean Shift方法的视频跟踪结果如图4所示。 设定目标模型的大小((h，h )=) 5，5 ) (核函数的半径h )。 为了便于查看，用白色十字线标记目标跟踪的位置。 实验前30帧对目标的跟踪效果较好。 30~100帧，背景干扰大，目标有时被遮挡，跟踪框在目标附近徘徊逐渐偏离目标； 190帧后，传感器突然抖动，跟踪偏差变大； 在300帧后，在背景灰度急剧变化的情况下，跟踪框的偏差变得更大，停止跟踪。 实验表明，在目标遮挡、背景灰度突变以及传感器相对于背景和目标的不稳定快速运动下，均值方法容易丢失目标，无法恢复跟踪。

采用本文所述的Mean Shift红外目标自动检测跟踪方法，对视频序列再次进行目标跟踪实验。 本文的Mean Shift处理的跟踪结果如图5所示。 其中十字线的交点是目标跟踪的位置。

实验前30帧对目标的跟踪效果与原Mean Shift算法一样，跟踪位置准确。 在30~100帧中，如果背景噪声较大，目标有时会被遮挡，则跟踪框会在目标附近小幅度变动，但即使不远离目标也能对目标进行跟踪； 190帧后，传感器突然晃动，跟踪框离开了目标。 开始目标大部分还在核函数的作用范围内，但到201帧为止目标偏差较大，此时两帧目标模型的相似度较小，转移到Kalman预测目标位置。 到205帧为止，跟踪框内的特征分布依然与丢失前大不相同，目标未被跟踪。 在206帧中，可以看到目标的边缘检测、重新定位已经恢复了目标的有效跟踪。 300帧后，序列图像灰度发生了急剧变化，目标灰度也发生了变化，但改进了目标描述，使目标能够稳定准确地跟踪。 实验实现了一帧平均处理速度约为72.7ms的红外小目标实时跟踪。 本文方法可以有效地修正跟踪偏移情况，实现对红外目标的实时稳健跟踪。

本文提出了一种基于改进Mean Shift算法的红外目标自动跟踪方案。 结合小波的Canny边缘检测算法对初始帧进行目标检测，通过计算目标的重心坐标，自动初始化Mean Shift算法。 采用级联核函数的方法改进了目标的描述方式，通过相似性度量函数判断目标是否丢失了跟踪。 失去追踪时，通过Kalman预测追踪位置。 目标丢失时，重新设定目标位置以获得稳定的跟踪。 该方法在跟踪偏移的情况下，可以调整算法的初始目标模型分布来修正均值偏移的跟踪过程。 实验结果表明，本文提出的方案实现了红外目标的实时自动检测跟踪，同时对目标的遮挡、丢失情况具有鲁棒性。

[3] COMANICIU D，meerp.meanshiftanalysisandapplication [ j ].proceedingsoftheseventhieeeinternationalconferencecomputervputerve

[4] COMANICIU D，RAMESH V，meerp.kernel-basedobjecttracking.IEEE trans.onpatternanalysisandmachineintelligence，2003

[5]程建，杨杰.基于平均位移的红外目标跟踪新方法[J] .红外与毫米波学报，2005，24 (3):231-235 .

[6]朱胜利.均值与相关算法在视频跟踪中的研究[D] .浙江：浙江大学博士学位论文，2006 .

[7]基于连洁、韩传久、潘路. Canny算法的红外小目标边缘检测方法[J] .微机信息，2007，23 (18 ) :308-310 .