QQ客服 官方微博 反馈留言

题名	基于全局信息关联推理的行为理解与预测方法研究
作者	陈博
答辩日期	2021-05-27
授予单位	中国科学院沈阳自动化研究所
授予地点	沈阳
导师	何玉庆
关键词	行为理解 行为预测 图神经网络 知识图谱 关联推理
学位名称	博士
其他题名	Research on Action Understanding and Prediction Method based on Global Information Association Reasoning
学位专业	模式识别与智能系统
英文摘要	视频行为分析作为一项借助计算机对视频数据中人当前行为进行自主识别以及对未来行为预测的技术，其在安防监控、人机交互、网络视频大数据分析和无人驾驶等领域中都有广泛而深入的应用价值。但由于视频行为属性不仅与人的运动模态相关，而且受他人、环境、交互物体等多层次信息约束，当前的算法在行为理解与预测的准确率与泛化能力上仍难以达到实际应用的标准。针对多层次关联信息融合与行为推理预测中的研究难点，本文以基于全局信息关联推理的行为理解与预测方法为题展开研究，探索适合于复杂情境的多元特征关联融合与推理的理解预测方法。主要研究内容包括：1）针对视频行为受光照、视角、行为习惯等影响，提取特征会存在较大差异性，有效时空特征提取困难，且易引入干扰大量干扰，难以学习不同行为的有效分类边界的问题。针对这些问题，本文提出了基于全局信息的分层行为理解方法，分别从姿态信息层、个体动作层和场景交互层提取对于行为理解最为关键的三个维度特征，并依据三者之间的关联与共现关系实现对于当前行为类别的推理。其中，在姿态信息层，提出了基于个人特征库在线训练的手势识别算法，以降低行为习惯差异对手势姿态识别的影响。在个体动作层，采用姿态估计算法去除背景干扰获取姿态运动信息，并借助时空图卷积神经网络完成对于肢体动作的分类。在场景交互层，通过场景理解模型获取交互场景语义信息，之后基于姿态、动作、交互场景信息之间的耦合映射关系修正彼此的模糊识别结果，并通过三个维度信息与行为类别之间的映射关系推理行为类别，从而降低无关信息干扰，提升行为理解的精度与泛化能力。2）针对时空多模态环境特征对行为演变影响机理复杂，难以有效预测复杂场景中动态行为的问题，提出时空关联推理网络模型，分别从空间和时间维度上探索环境-行为之间复杂的层次化、多元化作用关系，挖掘行为内在的驱动特点，提升动态行为预测的准确性和鲁棒性。具体的，在空间维度上，结合图模型构建分层注意力网络，将具有不同属性的各类环境特征，以点-边-图的形式逐级去差异化聚合，并通过位置-语义-时序等多重注意力机制进行相互关联，进而在学习过程中自动获取各环境特征对行为演变的层次化影响作用，实现对各级特征的优化组合，提升行为预测方法对复杂环境的适应能力。在时间维度上，基于行为之间的共线性和转换关系，建立概率转移矩阵，并结合时空扩散卷积网络对时序行为进行关联建模和协同推演，进而获得行为序列的内在驱动特征，为行为预测提供有效先验的同时，降低了潜在行为种类随时间延展持续发散的可能，增强行为预测结果的可靠性。3）针对时间维度上场景约束与行为演变因果关系复杂，行为预测结果随时间推移易产生较大迭代误差的问题，本文探索并挖掘了行为类别与轨迹预测的内在耦合关系，提出了基于隐式与显式耦合的两种行为类别与轨迹联合预测框架，将轨迹预测作为一种耦合约束，加入行为预测的框架，提升行为预测的结果。其中，基于隐式耦合的联合预测方法借助行为特征编码与解码过程中的中间层特征，通过行为轨迹的联合预测损失，帮助模型学习捕捉和利用行为类别与轨迹间的耦合约束关系，提升对长期行为的预测精度。另一方面，基于行为类别与轨迹在运动模态上的显式耦合关系，提出了基于运动模态关联的显式耦合联合预测模型，并搭建一种行为类别与轨迹的迭代预测框架，实现了行为类别与轨迹在场景约束与因果关联信息共同作用下的细粒度迭代推演，在增强了行为类别预测精度的同时减低了轨迹预测的误差。
语种	中文
产权排序	1
页码	113页
内容类型	学位论文
源URL	[http://ir.sia.cn/handle/173321/29011]
专题	沈阳自动化研究所_机器人学研究室
作者单位	中国科学院沈阳自动化研究所
推荐引用方式 GB/T 7714	陈博. 基于全局信息关联推理的行为理解与预测方法研究[D]. 沈阳. 中国科学院沈阳自动化研究所. 2021.

个性服务

查看访问统计

相关权益政策

暂无数据

收藏/分享

除非特别说明，本系统中所有内容都受版权保护，并保留所有权利。