题名面向行人重识别的表征学习
作者吴锦林
答辩日期2022-05-25
文献子类博士
授予单位中国科学院自动化研究所
授予地点自动化研究所
导师李子青 ; 雷震
关键词行人重识别 视角无偏 时序移动注意力 领域适应 无监督
学位名称工学博士
学位专业模式识别与智能系统
英文摘要

随着智慧城市建设的推进,成千上万的监控设备被部署到各种的公共场合中,构成了大规模的分布式监控网络,产生出海量的视频监控数据。行人重识别技术应用计算机视觉、机器学习、以及模式识别等领域的方法,提取监控画面中行人图像的外观特征,通过比对特征的相似度,关联同一行人在不同摄像机中的轨迹图像。行人重识别在公安刑侦、人物检索、人机交互等场景中有着广阔的应用前景。

相比于手工特征,基于深度学习的行人重识别方法使用深度神经网络提取判别性更强的行人特征,在公开的学术数据集上取得了突出的重识别效果。然而,在实际应用中,深度神经网络提取到的行人特征存在以下问题:(1)视角偏向性。行人重识别数据由不同视角的监控摄像机拍摄得到,不同摄像机视角的行人数据呈现非均衡分布,使得深度神经网络偏向于学习数据充足的视角下的行人特征。因此,现有方法在训练数据充足的视角下表现较好,在训练数据较少的视角下表现较差。(2)受行人表象变化影响大。行人姿态变化,被障碍物遮挡、以及运动模糊等情况导致行人表象出现较大的变化,从而影响行人重识别特征的稳定性。(3)行人表征跨场景适应性差。不同场景的拍摄背景、光照、季节以及相机配置不一致,导致不同场景采集到的行人数据存在领域差异。深度神经网络跨场景应用时,无法提取到准确的人体表征,导致模型表现大幅度下降。本文针对上述挑战对行人重识别任务展开了研究,主要工作和创新点包括以下几个方面:

提出一种视角无偏的行人表征学习方法。针对行人表征视角有偏的问题,本文改进分类损失函数和样本对损失函数,提出了多中心分类损失函数和视角均衡难样本挖掘方法,用于学习视角无偏的行人表征。多中心分类损失函数通过对每个视角设置一个类别模板,使得模型充分学习所有视角的数据,缓解行人分类损失中,因视角分布不均衡导致行人表征偏移问题。视角均衡难样本挖掘方法设计了一个视角均衡的样本特征存储库,缓解行人度量学习损失中,因不同视角之间正负样本对分布极其不均衡造成的行人表征偏移问题。多中心分类损失函数和视角均衡难样本挖掘方法的组合使用,可以提升模型在视角分布非均衡情况下的表现,在各个学术数据集上取得了领先的重识别性能。

提出一种基于时序移动注意力的行人表征学习方法。针对行人表象变化导致行人表征不鲁棒的问题,本文提出了一种时序移动注意力机制,利用行人视频序列中的时空上下文信息,提取对表象变化鲁棒的行人表征。本文进一步地提出时序残差位置编码模块引导网络学习时序变化显著的信息,减弱时序冗余信息的干扰,从而提取到语义信息更丰富的行人表征。该方法最终在公开的视频行人重识别数据集上取得了视频目标重识别的领先性能。

提出一种基于动态样本筛选的行人表征跨域适应方法。针对行人重识别模型进行跨域测试时,性能会严重下降的问题,本文提出了一种基于动态样本筛选的行人表征域适应方法。本文首先提出一种行人属性和行人身份联合训练的方法,提升源域模型的泛化能力,为目标域无监督训练提供一个较好的启动点。其次,本文提出一种基于伪标签动态筛选的无监督域适应方法,用于平衡目标域中无标签样本的可靠性和有效性,从而提升行人表征的跨域表现。在多个跨域行人重识别测试协议上,本方法取得了有竞争力的性能表现。

 

提出一种基于图关联的无监督行人表征学习方法。现有域适应行人重识别方法对源域训练依赖性强,且训练效率低。针对这一问题,本文提出了一种无需源域训练的无监督行人表征学习方法。本文把行人表征学习分成同视角表征学习和跨视角表征学习两部分。首先通过时空稀疏采样的方法,获取到大量的同视角负样本用于同视角表征学习;其次提出了一种跨视角关联图,挖掘出不同视角中的潜在正样本用于跨视角表征学习。进一步地,本文提出了一种跨视角关联图在线更新方法、以及端到端无监督训练方法。在多个公开数据集上取得领先表现的同时,大幅度提升现有无监督行人重识别方法的训练效率。

语种中文
页码146
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/48969]  
专题自动化研究所_模式识别国家重点实验室_生物识别与安全技术研究中心
推荐引用方式
GB/T 7714
吴锦林. 面向行人重识别的表征学习[D]. 自动化研究所. 中国科学院自动化研究所. 2022.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace