题名图像生成对抗模型与应用研究
作者张晨阳
答辩日期2021-05-24
文献子类博士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师戴汝为
关键词生成对抗网络 深度学习 图像序列生成 领域自适应 行人重识别
学位名称工学博士
学位专业社会计算
英文摘要

图像作为对客观世界的一种生动描述,是人类最主要的信息来源。随着人工智能与机器学习技术的迅速发展,基于图像数据的智能服务已被成功应用于社会、经济、民生等诸多领域。现有准确率高、泛化性能优异的机器学习模型多依赖于大量有标注的训练样本,然而,现实场景的图像数据通常呈现出分布复杂、类别高度不平衡、标注严重缺乏等特性,通过人为采集数据和手工标注无法满足海量数据的分析需求。在此背景下,生成对抗网络应运而生,其借鉴博弈论中的``零和博弈''思想,即双方的利益之和为零或常数,博弈的双方分别是生成模型和判别模型。通过迭代的对抗训练,生成模型有效拟合真实图像的分布产生新的图像样本,使得判别模型无法判断样本的来源,达到一种纳什均衡。

本文旨在从生成对抗模型理论出发,研究图像对抗学习机制,以气象雷达回波降水和智能安防行人重识别为应用背景,聚焦生成对抗网络中的图像序列生成、图像风格转换和无监督领域自适应三个典型任务,探索高质量有标注图像的自动生成、准确高效地探索数据分布结构等理论和应用问题。本文的创新性研究成果如下:

1. 提出一种两阶段雷达图像序列生成对抗模型(Two-stage radar image sequences generative adversarial network, TsGAN)。首先,模型针对雷达回波图像序列存在帧帧间隔较长、内容突变特性而导致生成模型性能不佳问题,挖掘雷达图像序列中成对的内容信息和动态信息,迭代对抗训练提升生成图像序列的质量;其次,模型针对雷达回波图像帧与帧间的连续性问题,提出动态增强生成模块,通过对动态信息解耦,进一步强化生成图像序列中的动态特征;最后,模型针对两阶段对抗训练的判别过程,提出格拉姆矩阵(Gram matrix)三通道序列判别器,计算真实雷达图像和两阶段生成序列的排序损失,生成在动态和内容层面兼顾的雷达回波图像序列。在中国深圳气象局的降水数据集上进行模型的实验验证,结果表明:所提模型的生成性能显著优于目前国际上的先进方法,所提模型已部署于中国气象局短临预报与订正系统,经受了实际工程应用考验。

       2. 提出一种摄像机风格生成的两重对齐模型(Dual-alignment learning with camera-aware image generation, DAL)。首先,模型针对无监督领域自适应行人重识别中的摄像机风格差异性问题,构建摄像机转换匹配模块,生成风格转换训练样本,并提供额外的监督信息并增加信息密度,以匹配对形式在降低额外计算开销的同时捕获摄像机风格信息;其次,模型针对目标域行人图像的判别性表示,构建匹配对伪标签分布对齐模型,通过高效的伪标签分配机制使得模型学习到摄像机判别性不变特征;最后,构建匹配对表示对齐模型,通过最大化互信息提升匹配对图像特征相似性表示,加强匹配对内图像的关联,从而有效缓解摄像机差异性问题。在Market1501、DukeMTMC-reID和MSMT17三个大型公开基准数据集上进行模型的实验验证,结果表明:所提模型的识别性能显著优于国际先进方法,依靠摄像机风格转换和两重对齐机制可以有效地降低跨视角下的样本分布差异,并减少额外的计算开销,显著提升行人重识别的识别准确率。

       3. 提出一种类中心判别对抗的领域对齐模型(Centroid discriminative adversarial domain alignment, CDA-DA)。首先,模型针对无监督领域自适应行人重识别中的领域分布差异问题,提出类中心判别性学习模块,统一优化类中心损失和聚类损失,学习源域和目标域的判别性表示;其次,模型针对源域和目标域行人图像特征不重叠问题,提出类中心不变性对抗学习模块,通过行人图像一阶矩的对抗对齐为行人重识别中的领域自适应增加约束,缓解数据集之间存在的领域分布差异;最后,模型针对无监督聚类过程中存在的难样本现象,提出动态分配聚类算法,自适应地选择可靠的行人图像进行细粒度身份聚类。在行人重识别的三个主流国际公开数据集MSMT17、DukeMTMC-reID和Market1501上进行模型的实验验证,结果表明:类中心判别对抗的领域对齐模型能有效地缓解领域分布差异,显著提升行人重识别特征判别能力。

语种中文
页码120
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/44944]  
专题精密感知与控制研究中心_人工智能与机器学习
推荐引用方式
GB/T 7714
张晨阳. 图像生成对抗模型与应用研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2021.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace