CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名基于特征增强的车辆重识别问题研究
作者钱文
答辩日期2023-06-02
文献子类博士
关键词车辆重识别 特征增强 知识迁移 隐式特征对齐 生成范式
英文摘要

进入21世纪以来,我国人均汽车保有量和汽车总量逐年增长。在这一过程中,城市安防需求也随之增加,其中涉及到了许多与汽车有关的问题。为了解决这些问题,车辆重识别技术应运而生。其目的在于对同一车辆在不同角度和摄像头下的图像进行检索和匹配。借助现代化的视频监控系统,基于车辆重识别的技术被广泛应用于道路拥堵预测、车辆追踪和轨迹还原等领域。然而,由于同一车辆在不同的视角下具有很大的结构和背景差异性,而在相同视角下又存在外观相似的车辆,这给车辆重识别带来了挑战。研究者们将这些问题总结为类间相似性和类内差异性,该问题严重阻碍了车辆重识别技术的发展。

近年来,随着深度学习技术的不断发展,基于神经网络进行高效特征提取的车辆重识别方法也得到了长足的进步。然而,这些方法虽然提高了模型的精度,但却各自存在一定局限性,导致重识别模型无法在真实的城市道路中进行有效的应用和部署。经过详细的调研,本文将现有车辆重识别中的相关问题总结为以下四对矛盾:1)借用附加模块进行特征增强和部署时对实时低算力需求之间的矛盾;2)传统方法提取特征表达单一和重识别任务特征多样性需求之间的矛盾;3)低对齐性的特征和基于对齐假设的相似度计算方法之间的矛盾;4)无监督重识别方法和低实验精度之间的矛盾。本文从特征增强的角度提出一系列方法来解决上述矛盾,相关创新点总结如下:

1)基于迁移学习的特征增强方法:对于车辆重识别中难样本特征质量低、分辨困难的问题,研究者们提出了包括多分支网络特征融合、利用先验信息对关键部位或者属性进行特征增强等方法,并取得了一定成果。但是这些方法会在部署过程中导致额外的计算和时间消耗,无法应用于对实时性和低功耗需求高的场景。本文将上述现象总结为“借用附加模块进行特征增强和部署时对实时低算力需求之间的矛盾”,并提出基于迁移学习的特征增强方法来解决上述问题。基于迁移学习的特征增强方法通过多分支信息交互实现车辆特征增强,而且部署过程中只需要主干分支。基于不同的技术路线,本文提出了两种基于知识迁移的方法:“伙伴学习”和“伪图卷积网络”。“伙伴学习”通过基于样本关系的迁移、基于特征的迁移以及基于训练集软标签的迁移来实现全局分支和局部分支的闭环互补式特征增强。伪图卷积模型对由卷积和图卷积组成的异构双分支网络进行端到端的训练,并使用图网络迁移将图卷积的样本联想能力迁移到卷积分支中变成对关键位置或者属性的关注能力。本文提出的两类模型既通过学生和教师分支之间的信息交互进行特征的增强,又兼顾了部署过程中模型对于实时性和低功耗的需求。

2)基于多样性的特征增强方法:主流的车辆重识别框架会较多的关注于全局特征且忽略了那些细微但具有判别能力的特征,导致该类模型的特征表达单一,无法满足重识别任务对于特征多样性表示的需求。而常见的解决方法又都存在一些弊端:基于先验信息的方法无法动态的捕获车辆信息;基于自注意力机制的方法由于间接的监督、特征提取不充分。为了满足车辆特征多样性表达,本文进一步提出基于显著性挖掘的车辆重识别方法,通过模仿人类辨别困难样本的过程来挖掘充分的多阶段特征。该网络从框架和特征空间两个维度进行设计来获得充分的显著性特征。首先,该方法设计了一种显著性引导的金字塔网络,该网络通过特征挖掘-抑制-挖掘的过程获得充分的特征;紧接着,该方法又提出了跨空间的特征约束来保证特征的多样性。最后,本文通过可视化分析证明了来自不同阶段的特征所关注区域的多样性。

3)基于隐式对齐的特征增强方法:在车辆重识别问题的研究中,特征对齐也是一种有效的特征增强手段。传统重识别模型无法保证不同图片提取出来的特征是对齐的,而相似度的计算又是依赖于对齐性假设进行的。本文将上述问题总结为“低对齐性的特征和基于对齐假设的相似度计算方法之间的矛盾”,并提出基于隐式对齐的特征增强方法来解决该矛盾。本文提出一种基于聚类的隐式特征对齐方法,通过非结构化的特征解耦过程无监督的获得粗粒度可对齐的车辆特征。在解耦过程使用自注意力网络进行特征的重组,并通过聚类过程来实现对应位置的解耦特征在语义上的对齐性。在聚类的过程中,额外的设计了多样性约束和对齐性约束,来保证不同图片解耦出来的相同位置特征信息的有序性以及不同位置特征信息的多样性。该方法在主流数据集上获得了有竞争力的实验效果,并通过可视化证明了解耦特征的多样性和对齐性。

4)结合生成范式的无监督特征增强方法:针对车辆重识别“数据多、标注难”的特点,研究者提出利用无监督方法结合大数据来挖掘学习完善的车辆特征。这些方法大多是基于对比学习进行设计,目前的实验精度和有监督模型差距较大。本文进一步总结基于对比学习的重识别方法中两个重要因素:伪标签质量和正负样本的特征表达。近来基于掩码建模的生成式方法在无监督视觉预训练领域发展迅猛,在大量的下游任务获得了媲美对比学习方法的实验效果。本文发现对比范式和生成范式获得的特征各有侧重,且互为补充。本文提出结合生成范式的无监督特征增强方法,该方法构建了一个包括无监督重识别和掩码重建的双分支网络。通过结合生成范式产生低频信号对重识别网络产生的高频信号做特征增强,提升伪标签的质量且获得更好的正负样本表达。最终结合生成范式的无监督特征增强方法在车辆、行人的无监督重识别以及跨域实验上均取得了有竞争力的实验效果。

本文提出的系列方法还在车辆重识别主流的公开数据集上以及公安部相关的安防数据上进行了相关的测试,均取得了不错的成效。最后需要指出,由于问题的特异性和互斥性以及受研究期间计算资源的限制,该系列方法很难整合成一个完整的系统,研究者可以依据实际问题去寻找对应的解决方法。

语种中文
学科主题计算机感知
页码140
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/51901]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
钱文. 基于特征增强的车辆重识别问题研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace