CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名基于对抗学习的图像生成和识别方法研究
作者刘松岩
答辩日期2020-05-27
文献子类博士
授予单位中国科学院大学
授予地点中国科学院大学
导师唐明
关键词对抗学习 图像生成 图像识别 数据增强 行人检测 领域自适应 目标重识别 深度学习
学位专业模式识别与智能系统
英文摘要

随着深度学习的不断发展,人工智能进入了新的发展阶段。深度神经网络已经在多个领域,尤其是计算机视觉的多个任务中取得了极大的成功。随着互联网的飞速发展,可以通过网络获得大量的图像数据,然而,现有的基于深度神经网络的计算机视觉方法都极大地依赖有标注的训练数据,但是对这些数据进行人工标注是十分费时费力的。
近年来,生成对抗网络(generative adversarial network,GAN)的提出为解决这个问题提供了一个新思路。生成对抗网络包含两个网络——生成器和判别器,通过这两个网络相互对抗从而能够生成足以“以假乱真”的虚拟样本。利用生成对抗网络,可以生成大量能用来训练图像识别任务的样本。此外,使用一个领域判别器,通过对抗学习的方法将有标注的源域数据与无标注的目标域数据提取的特征映射到一个与领域无关的特征表达上,这样可以更好地将在源域上学习到的判别信息迁移到目标域上,提升识别模型在目标域上的性能。本文根据上述两个研究思路,分别开展研究工作,主要研究内容和贡献如下:
针对场景文字识别任务面临的训练数据有限且分布不均衡的问题,本文提出了一种基于图像信息解耦的高质量虚拟样本生成方法。本方法将图像信息解耦为内容和风格两部分,其中内容包含明确的语义信息,风格包含其他信息,包括外观等方面的变化。通过学习一个风格编码器,针对特定输入内容,本方法可以生成风格多样的高质量虚拟样本。在训练过程中,本文设计了一种双循环对抗训练策略,通过两次交换输入图像的内容和风格,有效缓解了生成模型的过拟合。实验证明,本方法不仅可以生成能有效提升车牌识别任务性能的训练数据,也可应用于其它图像生成任务,例如不同字体的汉字生成,由边缘图像生成鞋子和背包图像等。
针对当前行人检测算法对目标尺度变化和遮挡鲁棒性差以及跨域泛化能力弱的问题,本文提出了一种基于目标迁移的行人检测数据增强方法。具体来说,首先将来自其它数据集的行人目标按照一定规则嵌入到目标场景图片中,生成大量目标尺度变化多样、遮挡情况多变的合成数据。在此基础上,设计一个目标属性保持的生成对抗网络,在保持行人属性尽量不变的前提下,提高生成图片的真实性。最后将引入了尺度和遮挡多样性的生成样本用于增强行人检测的训练数据。实验结果表明,由本方法生成的训练数据在多个行人检测基准方法和数据集上都可以有效地提升检测性能。
针对当前面向人体姿态迁移的图像生成方法大都依赖于身份信息构建同一个人不同姿态下的成对训练数据,并且容易背景过拟合的问题,本文提出了一种基于循环一致性的无监督跨身份人体姿态迁移方法。本方法无需身份信息,同时输入任意两个人体图像,通过两次交换其姿态,构建一个循环一致性结构,从而摆脱对成对训练数据的依赖,并且避免了背景过拟合,还有效利用了大量无标签和身份不一致的训练数据。考虑到实际应用中通常需要跨身份的姿态迁移,现有的方法只针对同身份的人体姿态迁移进行了训练,因此本方法的应用场景更加广泛。实验证明,本方法不仅在跨身份姿态迁移中生成的人体图像质量上超过了已有的方法,并且可以作为一种有效的数据增强方法,提升行人检测以及行人重识别任务的性能。
针对目标重识别跨域测试效果大幅度下降的问题,本文提出了一种基于特征对抗学习和自相似性聚类的无监督领域迁移方法。前人提出,由于在目标重识别任务中,不同领域目标标签空间不同,因此难以使用领域无关特征学习方法。本文对其提出质疑,第一次将特征对抗学习引入跨域目标重识别问题中,通过对抗学习减小源域和目标域特征分布的距离以将其映射到到一个领域无关的特征表达空间。实验结果表明此方法可以有效提升跨域重识别性能。其次,本文设计了一个自相似性聚类模块,通过挖掘无标签目标域样本的内在关系,生成伪标签,从而和源域数据一起训练。与前人工作不同的是,本方法固定了聚类中心个数,并设计了一种伪标签对齐算法,以适用于更有效的监督损失函数。实验证明,通过将上述两个模块融入一个统一的学习框架,本方法在车辆和行人重识别的无监督跨领域迁移任务中多个公开数据集上都取得了当前最优的性能。
 

语种中文
页码130
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/39137]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
刘松岩. 基于对抗学习的图像生成和识别方法研究[D]. 中国科学院大学. 中国科学院大学. 2020.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace