一种改进的视频镜头失真检测算法
教育教务系统
！ 第' ' #年！ 期！ 总第一！ $ '期'！ 引言
这几年！ 随着计算机技术和网络通信技术的高速发展！ 多媒体信息被越来越多的使用了！ 例如
数字视频点播系统！ “#”！ $ %’() ) (#和数字图书馆) ) $，$-).$/0*01$%如何开发高效、快捷、方便的视频检索系统已成为信息科学领域研究的热门课题()。
目前正在研究的基于内容的视频检索系统！ 通常首先进行镜头分割！ 即，在时域中以一定标准将视频序列分割为镜头234’- 5！ 然后在分割镜头的基础上提取5%的各镜头的关键帧261 70* )就可以知道了！ 如何将视频序列准确分割成镜头是视频检索首先要解决的问题！ 镜头分割的好坏直接影响视频检索系统的性能优劣%镜头是视频序列的基本物理单元！ %镜头之间的转换包括两种类型的“过渡”突变$和渐变%过渡，其中一个镜头直接转换为另一个镜头，而没有任何编辑效果慢慢转移到另一个镜头89！ %失真是镜头分割中首先要解决的问题3360现有的失真检测算法
！ “像素对比法”
该方法按如下方式定义相邻帧图像之间的差异： (9！ )。$#
$9！ %9
！ ’8 '9' $！ $！ ' :'$！ $； ()！ %
式中’’* $ 9！ '9'$！ $=':'$！ $ ' )9'！ 其他'9$！ %是图像在两个方向的像素数(9是预先定义的阈值)
在该方法中，首先计算相邻帧图像对应位置的像素差！ 若像素差超过阈值(9像素对的数量达到一定的比例)，则为9#！ 产生一个剪切变化%的方法的优点被认为是算法简单！ 很容易实现！ 但是，对镜头和目标的运动很敏感！ 误检率高！ 即使平滑图像也很难有效降低误检测率%！ 直方图最小帧差分法是相邻帧图像间的差分为！ ' ' 9！ ' :$ * 9$
！ $ ()，8 ) ) -！ /$！ $；8''-！ //？ 9美元！ $； *9$
！8''-！ //？ 9美元！ $； ' :$美元
式中，' *$为图像直方图(*为图像的灰度数) (帧差超过阈值时) :时！ 我想发生了一个切变！ 这个阈值(: )可以自动确定为(:012！' @$
式中’0和！ 帧差分的平均值和标准偏差。 2是很小的百分之几
该方法表示了整个帧图像的灰度分布！ 所以对普通的运动不敏感！ 虽然实际上应用比较广泛，但是在很多情况下，两个具有不同结构的图像有着相似的直方图！ 因此，该方法存在漏检问题。 #块匹配似然比法
用这个方法，把帧图像分割成几个子图像！ 例如
文章编号’！ $$% () () ) $*$a=9b=@一种改进的视频镜头失真检测算法($潘磊！ 束鑫
'江苏科技大学电子信息学院！ 江苏镇江：9:@#
#摘要$介绍了现有的典型滑坡检测方法！ 提出了一种改进的镜头切割检测算法！ 像素法和直方图法相结合！ 有效避免了像素法的误检测问题和直方图法的漏检问题！ 取得了较好的实验效果%，同时引入了闪光检测方法！ 避免闪光导致误检测问题%%关键词快照分割(检测剪切变化)闪光(视频检索%中图分类号C@D9EB %文献识别代码
() ) )、-.)/0*123(4*5-2-621071.--%8*9)2 :3； 0-CFG $！ 3HI J$ (
' 345/6 7' 894:/7$:2=''7； 0=/$7？ @$=号'技术篇数字电视和数字视频！ ' '
万方数据
*！----！ /01 *，2 '！' #$% $ ' () ) )计算图像的差异！ '！' ' ' # #
！ '！ $#$%！ %''$ ' ' $ '！ '！
职业院校
!%$
其中 ’!"&#$"!!"&#$分别是图像第 # 个子图像灰度的均值和方差&此方法计算量较大"且查全率和精确率并没有明显提高&
!!" 压缩域检测方法
这种方法直接在压缩域上进行切变检测"不需要解码" 因此速度较快& 一般是先提取图像 &’ 序列" 通过对 ( 帧’) 帧’* 帧包含的信息进行分析来确定切变位置& 文献+!","%-列举了一些典型的基于压缩域的检测算法& 这种方法问题在于过于依赖编码算法"检测性能不稳定&其它检测算法如基于运动的方法’边缘检测法等"可参考文献+!-"+,-&, 改进的切变检测算法
由以上可以看出"现有的切变检测算法都有其各自的特点"但也存在各自的问题& 一个好的切变检测方法既要保证查全率"也要保证精确率"并且算法必须简洁快速"这样才能在实际中得到大规模应用"为此本文提出了一种将像素法和直方图法相结合的改进切变检测算法&
基于像素的检测法存在误检问题"而直方图法存在漏检问题& 经大量实验发现"采用像素法解出的切变数目要多于直方图法解出的切变数目"因此可将两者结合起来"利用像素法解决直方图法的漏检问题"利用直方图法解决像素法的误检问题&分别用像素法和直方图法解出各自两组切变集合"两个集合的交集部分可认为是确定的切变位置& 对于像素法解出的集合中多余的切变位置"以该位置为中心建立一个长度为 "(!! 的窗口" 对该窗口内的帧差异采用直方图法进行计算"具体确定该位置是否属于切变& 算法步骤如下(!$ 根据像素对差值法得到一组切变位置集合)&"$ 根据直方图法得到一组切变位置集合 *&,$ 令 +!)&*& 则 + 中元素为确定的切变位置&
%$ 令 ,")&+"即 , 中元素是像素法检测到存在切变而直方图法没有检测到存在切变的位置& 因此 , 中元素可能是直方图法漏检的切变位置"也可能是像素法误检的切变位置&.$ 若检测序列完毕则结束& 否则选取 , 中的元素 ,#
" 以 ,# 为中心建立一个长度为 "-!! 的窗口& 在该窗口中引用差异度量公式!"$(.#/0!##/
!012 "1+"!2"3"4$"#-"1+"!2"3"4$!$"#- %/0!##3
!1+"!2"3"4$!$"#-其中 4’+,#0-$!",#%-4!-&
5$ 计算这个窗口内的帧间差异均值 ’#和标准差 !#& 并令 5"##’"%6"#!"&
6$ 如果.!,#",#7!$(5"#"则认为 8# 是一个切变位置"并放入 + 集合)否则认为 ,# 是像素法误检的位置"不放入 + 集合& 返回!.$&7$ 最后得到的 + 集合中元素即为切变位置&由以上算法"可有效解决像素法和直方图法各自存在的误检和漏检问题& 对于两者都检测到的位置可认为是真正的切变位置"而对于像素法解集中的多余元素"可能包括其误检元素"也可能包括直方图法漏检元素" 因此增加一个窗口进行二次检测&% 闪光检测
很多视频节目!如新闻节目’体育节目等$& 常常会有突然的闪光出现& 一般情况下"闪光持续时间很短"但亮度变化却很大& 目前比较常用的切变检测算法在闪光出现时都会判别为切变位置"从而导致误检& 具体一个例子可参见图 !’图 "&图 ! 中 , 幅帧图像均属于同一镜头"中间一幅图像中有明显闪光出现& 图 " 是一个镜头内部的差异图"可以看到"差异图中间出现明显跳变& 由上述检测算法"该位置被确定为一个切变位置"因此明显出现误检& 通过实验发现"直方图法检测切变时出现的误检现象"大多因为镜头内部某帧!或某几帧$出现明显闪光& 可见"通过上述改进检测算法确图 ! 同一镜头的 , 幅图像帧图 " 测得的帧间差异
!"#"$%& $’ ( )"*"$%& ’")+,!"万方数据
!""#年第 ! 期!总第 !$" 期"定切变位置后!再次对切变位置进行闪光检测尤其重要!可以有效降低误检现象!因此本文提出一种利用矩阵二维相关系数来判别闪光位置的方法"矩阵二维相关系数可表示为!! "#$#!!"$!##!$##"$#%$
式 中 %"#$ #!!"$ 是 随 机 变 量 !!" 的 协 方 差 &!#’!$ !!#’"$ 是随机变量 !!" 的标准差"! 越大! 代表随机变量 !!" 线性相关性越紧密!否则越松散&%’" 实验中发现!两个不同的镜头!镜头内部各帧的二维相关系数相对于镜头之间各帧的二维相关系数而言要明显的大" 因此!可以采用如下方法解决闪光问题%($ 对于某切变位置 $!在其左边建立一个长度
为 % 的窗口 &)*+,’本文中 %!-$!求得该窗口的平均相关系数 !(.&)*+,"
/$ 取位置 $ 右侧 ’ 帧’本文选取 0 帧$!分别计算每帧相对于窗口 &)*+, 的相关系数 !!若有&’1/’23帧的 !"""!(.&)*+,!" 是一个非常接近 ( 但不等于 (
的系数!则可认为位置 $ 是一个闪光位置!因其两侧帧的相关系数很接近" 否则位置 $ 是一个真正的切变位置"% 实验结果及分析
首先采用比较通用的两个衡量标准%
($ 查全率 (!($)*+($),-$..4其中 ($) 代表正确检测出的切变个数!-$.. 代表漏检的切变个数"/$ 精确率 -/($)*+($),012.34其中 012.3 代表误检的切变个数"
本文采用的像素对差值法阈值 43!05!43#!5"’"567%! 其中 5!’ 是图像两个方向的像素个数&直方图法阈值可由公式’0$自动确定!
军事职业教育
&3’ 章毓晋6 基于内容的视觉信息检索&8’6 北京%科学出版社!/5506
&/’ 张洪德!刘雨6 一种改进的视频切变检测方法&9’6 电视技术!/55/!’35$%37:3-6&0’ 刘政凯!汤晓鸥6 视频检索中镜头分割方法综述&9’6 计算机工程与应用!/55/;0<’/0$%<7:<=6&7’ 刘玲玲!张云翔6 基于压缩域的场景变换检测&9’6 电视技术!/550’7$%30:3%6&%’ 盛骤!谢式千!潘承毅6 概率论与数理统计&8’6 北京%高等教育出版社!3><>6
&-’ ?@ABC D#BC; EF G*F; ?@ABC H#BC:9FABC6 I J*K L@#,M#NBOAPQ D*,*R,F#B I)C#PF,@S&9’6 /553; /BO TUUU VARF+FR:WFS "#B+*P*BR* #B 8N),FS*OFA XV"8 /5534; M*FYFBC; "@FBA;ZR,#[*P \7:\-6&=’ 陆海斌!章毓晋6 一种高效视频切变检测算法&9’6 中国图像图形学报!(>>>!7’(5$%<5%:<(56
&<’ ?@ABC ]N*,FBC; WNF ]#BC; *, A)6 IOA^,F$* _*Q +PAS**‘,PAR,F#B NaFBC NBaN^*P$Fa*O R)Na,*PFBC &I’6 VP#R**OFBCa #+TB,*PBA,F#BA) "#B+*P*BR* #B TSAC* VP#R*aaFBC&"’6 ZR,#[*P 7:=; 3>>’ c)AR@#a d6 "N, O*,*R,F#B FB $FO*# a*eN*BR*a NaFBC ^@Aa*R#PP*)A,F#B &9’6 TUUU LFCBA) VP#R*aaFBC f*,,*Pa; \555; = X=4b3=0:3=%6 #
作者简介#
潘 磊!#$!%%"$硕士生$主研基于内容的视频检索%责任编辑# 哈宏疆 收稿日期# !""&%%"%%’表 3 检测结果
视频序列 查全率 ( 精确率 -三星广告 355g >\gJMI篮球 >%g < 近日! 康佳东莞生产基地一条全新的液晶电视生产线建成投产!该生产线可生产全尺寸液晶电视!包括 !" 英寸超大屏幕液晶电视" 业内人士分析#作为行业的领军品牌!如创维$康佳$#$% 等彩电巨头!都纷纷选择在这个时机扩产!很可能是在为旺季备货!以产品的高性价比来实现规模效益!引发液晶电视领域真正意义上的%普及风暴&"专家指出! 液晶电视在国内普及! 主要取决于 & 个方面#上游供应$技术方案和价格" 目前上游供应得到保证$技术方案获得有效解决! 随着企业的规模量产而引发价格的下滑!液晶电视的普及时机已经成熟"据赛诺市场研究公司的数据表明!’(() 年中国液晶电视市场销量预计将达到 *+,! 万台!比 ’((& 年翻一番" 当前液晶电视的市场需求呈爆炸式增长! 使供应曾经一度出现有市无货的现象"!" 万方数据 一种改进的视频镜头切变检测算法作者： 潘磊， 束鑫 作者单位： 江苏科技大学,电子信息学院,江苏,镇江,212003刊名： 电视技术英文刊名： VIDEO ENGINEERING年，卷(期)： 2004，(8)被引用次数： 2次参考文献(9条) 1.章毓晋 基于内容的视觉信息检索 2003 2.张洪德.刘雨 一种改进的视频切变检测方法[期刊论文]-电视技术 2002(10)3.刘政凯.汤晓鸥 视频检索中镜头分割方法综述[期刊论文]-计算机工程与应用 2002(23)4.刘玲玲.张云翔 基于压缩域的场景变换检测[期刊论文]-电视技术 2003(04)5.盛骤.谢式千.潘承毅 概率论与数理统计 19896.Zhang Dong.Qi Wei.Zhang Hong-Jiang A New Shot Boundary Detection Algorithm 20017.陆海斌.章毓晋 一种高效视频切变检测算法[期刊论文]-中国图像图形学报 1999(10) 8.Zhang Yueting.Rui Yong Adaptive key frame extraction using unsupervised clustering 19989.Vlachos T Cut detection in video sequences using phase correlation 2000(07)相似文献(5条)1.期刊论文 强振平.赵同林.林宏.Qiang Zhen-ping.Zhao Tong-lin.Lin Hong 一种基于内容视频检索中的镜头分割算法 -山西电子技术2008(6) 提出了一种统一的可以检测出切变、渐变的视频镜头检测算法.首先,通过颜色局部累积直方图与纹理相结合的方法获得视频的帧间差,对于切变检测,通过已经计算得到的帧间差为基础,采用双重窗口检测算法实现,对于渐变的检测,采取了统一的双阈值检测方法对所有渐变类型进行了检测.通过多次试验,证明了用本文算法进行视频镜头检测能取得比较好的效果.2.学位论文 谭丽娜 基于图分割模型的镜头分割和视频广告检测的研究 2009 随着视频压缩技术、计算机及网络的发展，产生了海量的视频，如何对大量视频信息进行有效检索逐渐成为人们研究的热点。视频镜头分割作为视频检索的基础，对其研究具有重要意义。目前常用的视频镜头分割技术大多是基于视频中相邻两帧的简单差分法进行的，很容易受噪声干扰。通过对视频镜头切换方式的分析，采用图分割模型的方法来进行视频镜头边界检测。由于电视广告检测对于减少和杜绝违法广告等有重要意义，所以将镜头边界检测技术应用于视频广告检测。 镜头切换检测主要分三部分：视频图像内容的表达，构造视频流连续信号，连续信号的分类。首先采用了HSV颜色直方图来表示视频图像内容；然后利用图分割模型构造视频流连续信号，采用阈值法对波谷状的区域进行提取，将其作为候选区域；最后利用粒子群优化的神经网络集成对候选区域进行切变镜头边界和不含单色帧的渐变镜头边界区域的提取，对于含有单色帧的渐变镜头边界区域，采用单色帧这一特征进行判别。对103个视频节目独立地进行测试，切变镜头边界检测获得了97.81％的正确率，含有单色帧的渐变镜头边界检测获得了92.31％的正确率，其他渐变镜头边界检测获得了88.89％的正确率。 在前期工作的基础上，本文将镜头分割技术应用于视频广告检测中。通过分析广告的两个基本特点：镜头切换比较频繁和经常突显商标信息，进行了初步的检测研究。镜头切换频率较高的初步判定为广告，否则判定为非广告。对于镜头切换频率很低的广告，通过文本检测的方法进行广告商标信息的检测。初步建立了一个视频广告检测系统。对三段视频节目进行了测试，获得了81.11％的总正确率。 对于镜头切换检测来说，切变检测已经取得了较好的效果，但是对其它渐变镜头检测的效果还不是很理想。日后工作的要点将集中在渐变镜头边界的检测。3.学位论文 张亮 鲁棒的视频广告检测技术研究 2006 作为一种把多种媒体信息综合在一起进行处理的技术，多媒体技术现在正迅猛的发展，随之而来的多媒体数据在日常的信息传递中无处不在。 面对如此海量的数据，如何快速的检索出所需要信息的问题亟需解决。因此，基于内容的视频、图像和音频检索等多媒体检索技术发展已经成为一个涉及和包含多门学科理论的新的综合性的应用领域。其中视频广告作为商业信息的主要载体在数字化的今天扮演着日益重要的角色，然而对于广告检测的研究还相对比较落后。原因在于一方面广告的制作技巧和表现方式复杂多变，没有统一的规则可言；另一方面作为视频信息的一部分，广告的持续时间很短，因此特征周期不够明显，检测起来相对困难。本论文在参阅大量文献的基础上，系统地分析了视频广告播放中的视觉与音频信息的结构和特征，提出了鲁棒的视频广告检测框架。本文的成果性工作包括： ①在广告镜头检测方面，首先从镜头边缘检测出发，提出了基于区域特征重要性的切变镜头检测算法和消隐镜头的检测算法，从而将视频段分割成镜头集合。同时在切变镜头的检测过程中，采用了自适应的阈值算法，从而提高了切变镜头检测算法的鲁棒性。 ③在视频广告后期处理方面，考虑到视频广告段在时间和内容上的连续性和一致性，我们采用了滑动窗口值累计算法，对已经分类的镜头进行重新分类，从而消除错分类的镜头。最后利用广告时间连续性的原则对广告镜头进行合并，从而得到视频广告序列。 ④基于前述工作，搭建了一个视频广告检测原型系统演示平台。 4.期刊论文 周祥东.李国辉.涂丹.甘亚莉.张茂军 一种新的视频镜头分割算法 -计算机工程与科学2003,25(6) 镜头是视频分析和索引的基础,但是自动的镜头分割,尤其是渐变切换的检测还是一个很有挑战性的课题.本文提出了一种利用直方图与模板匹配相结合来进行视频镜头切变检测的算法和一种利用图象灰度级平均(MGL)来进行渐变检测的算法,该渐变检测算法能有效区分摄象机镜头的运动和渐变.实际测试证明,利用本文算法进行视频镜头检测能取得比较好的效果.5.学位论文 刘洋 基于内容的视频检索关键技术研究 2008 随着多媒体技术和网络技术的飞速发展，数字视频的获取和传播变得越来越容易，已经逐渐成为人类信息传播的主要载体之一。在视频信息高度膨胀的今天，随之而来的问题就是对海量视频的高效检索和浏览。传统的视频检索通过对视频以手工的方法添加文字标识符的方式进行检索，这种检索方式工作量巨大、效率很低，而且受主观因素的影响，因此不能满足实际使用的需要。基于内容的视频检索技术借助计算机对视频进行从低层到高层的处理、分析和理解的过程获取其内容并根据内容进行检索，克服了传统的基于文本检索方式的不足，已成为多媒体信息检索领域的研究热点。 本文首先分析总结了视频检索技术的理论框架和研究现状，然后对该领域中的视频镜头分割、关键帧提取、镜头聚类等关键技术进行了深入的研究和探索。视频镜头分割是进行视频处理的第一步，本文在总结现有镜头分割方法的基础上，研究了基于互信息量的视频镜头分割方法。设计并实现了一种基于双滑动窗口的镜头切变检测算法，算法通过计算视频帧间的互信息量作为衡量两帧相似度的依据，采用双滑动窗口方法找出相邻帧间互信息量的局部极值用于确定切变镜头的边界。针对运动和闪光对镜头检测的干扰，提出了一种基于图像分块的互信息量镜头切变检测算法，算法以互信息量作为评价帧间差异的准则，通过把帧图像分块，然后分别计算相邻两帧对应子图像块之间的互信息量，再进行反比例变换后累加，利用自适应阈值方法找出帧间差的局部极值，从而找出切变镜头的边界。研究并实现了一种基于互信息量的镜头渐变检测算法，算法利用不同帧间距的非相邻帧间互信息量差值检测渐变镜头边界。实验结果表明，本文所提出的视频镜头分割方法指标明确、算法简单，对切变和渐变达到了较高的查全率和准确率。 视频关键帧的提取是基于内容的视频检索技术的关键步骤之一，本文首先研究了关键帧提取技术的原理和主要方法，然后将互信息量引入关键帧提取中，提出了一种基于互信息量的关键帧提取算法，算法针对镜头内互信息量的变化，通过计算帧间差的标准差来判断镜头内连续帧的相似性，并对相似性较高的连续帧提取一帧作为关键帧。实验结果表明，使用本文算法提取的关键帧可以准确地反映镜头内容，较好地得到了真正意义上的关键帧。 镜头聚类作为一种从视频内容低层特征到高级抽象的桥梁，在基于内容的视频检索系统中起着很关键的作用。本文首先研究了聚类分析的原则和特点，并简单分析了该领域存在的主要算法，然后提出了一种基于关键帧颜色特征的视频镜头聚类算法，算法将关键帧的颜色特征作为聚类依据，运用改进的K均值聚类算法对镜头进行聚类，并对聚类结果进行优化。实验结果表明，本文所提出的算法具有较高的准确率和效率，增加了聚类结果的稳定性，达到了令人满意的效果。 引证文献(2条) 1.黄茜.张海泉.杨文亮.吴元 基于灰度和直方图的阈值自适应镜头边界检测[期刊论文]-科学技术与工程 2008(14)2.胡涛.何静.张志刚 一种检测足球视频中射门镜头的方法[期刊论文]-电视技术 2005(4)本文链接：http://d.wanfangdata.com.cn/Periodical_dsjs200408004.aspx授权使用：四川理工学院(sclgxy)，授权号：de729665-1532-46dd-896a-9ea000a55b13下载时间：2011年3月8日