第352009年3月

ACTAAUTOMATICASINICA

March,2009

基于多层动态贝叶斯网络的人的行为

多尺度分析及识别方法

杜友田1

陈峰1

徐文立1

摘要人的行为识别是视频内容分析和计算机视觉领域中的一个重要问题.在分析了人的行为包含多个尺度运动细节的基础上,提出了一种分层且带驻留时间状态的动态贝叶斯网络(Hierarchicaldurational-statedynamicBayesiannetwork,HDS-DBN).HDS-DBN含有多层状态,能够较好地表示人的行为包含的多尺度运动细节.我们针对单人行为和两人交互行为进行了识别,实验结果表明该方法具有较高的识别率,并且在有噪声存在或信息缺失等不确定情况下均具有较好的鲁棒性.实验结果表明HDS-DBN模型确实能够较好地表达行为中的多尺度运动细节.关键词人的行为识别,计算机视觉,视频监控,动态贝叶斯网络中图分类号TP391

ApproachtoHumanActivityMulti-scaleAnalysisandRecognition

BasedonMulti-layerDynamicBayesianNetwork

DUYou-Tian1

CHENFeng1

XUWen-Li1

AbstractHumanactivityrecognitionisanimportantissueinthe eldsofvideocontentanalysisandcomputervision.Basedonanalyzingmultiplescalesofmotiondetailscontainedinthehumanactivities,weproposeanovelhumanactivityrecognitionapproachnamedhierarchicaldurational-statedynamicBayesiannetwork(HDS-DBN).TheHDS-DBNcontainsmultiplelevelsofstatesandrepresentsmultiplescalesofmotiondetailsaswell.Experimentsareconductedontherecognitionofindividualactivitiesandtwo-personinteractingactivities.ExperimentalresultsshowthattheHDS-DBNrecognizeshumanactivitieswithhighratesandhasgoodrobustnesstothenoiseandlossofinformation.Inaddition,experimentalresultsdemonstratethattheHDS-DBNcanrepresentmultiplescalesofmotiondetailscorrectly.Keywords

Humanactivityrecognition,computervision,videosurveillance,dynamicBayesiannetwork

在过去的十几年内,基于计算机视觉的人的行为识别研究得到了迅速的发展[1 2].行为识别的目的是从视频中分析人的行为并产生一系列高层的描述.人的行为识别在众多应用中都有着重要的作用,譬如视频智能监控、人机交互以及基于内容的视频检索等.

对于不同的场合和目的,行为识别采用不同层次的运动特征:粗略层(Gross)、中间层(Interme-diate)和细微层(Detailed)[3].在粗略层上,人通常被建模成一个点或者矩形,其运动轨迹是行为分析的重要特征;在中间层上,人的几个重要部位的运动需要被表达出来;在细节层上,人的某个肢体的运动需要被精确表示出来.不同层次的特征反映了不同尺度上的运动.譬如,人的运动轨迹反映了大尺度上的运动,其状态变化较慢;人肢体的位置及速度等特

收稿日期2007-09-04收修改稿日期2008-04-29

ReceivedSeptember4,2007;inrevisedformApril29,2008国家自然科学基金(60772050)资助

SupportedbyNationalNaturalScienceFoundationofChina(60772050)

1.清华大学自动化系北京100084

1.DepartmentofAutomation,TsinghuaUniversity,Beijing100084

DOI:10.3724/SP.J.1004.2009.00225

征反映了较小尺度上的运动,其运动比较细微而且状态变化较快.

实际上,人的行为同时包含着多个尺度的运动细节,不同尺度反映着行为的不同特性.过去的绝大多数研究工作只在某个单一尺度上来研究行为识别,仅有少量的工作同时采用多个尺度的运动特征来分析人的简单运动[4 5].图1(见下页)给出了尺度的一个例子.其中,与轨迹相关的运动主要反映人与人以及人与外界环境之间的关系,体现了行为在大尺度上的特性;与人的姿态相关的运动反映了人每个时刻的姿态,譬如弯腰、伸手等,体现了中间尺度上的运动特性;人的肢体的运动反映了行为在小尺度上的细微特性.这三个尺度在下文中简称为大尺度、中尺度及小尺度.不同尺度上的运动细节在行为识别中具有不同的角色,如何恰当地将其结合起来对于解决行为识别问题有着重要的意义.

本文提出了一个利用多尺度运动细节进行行为识别的框架.在该框架下我们提出了一种分层且带驻留时间状态的动态贝叶斯网络(Hierarchicaldurational-statedynamicBayesiannetwork,HDS-DBN).在HDS-DBN中,每层状态反映了对应尺度