题名面向开放环境模式识别的小样本学习方法研究
作者王瑞琪
答辩日期2022-05-29
文献子类博士
授予单位中国科学院自动化研究所
授予地点中国科学院自动化研究所
导师刘成林 ; 张煦尧
关键词小样本学习 广义小样本学习 特征自适应 数据增强 表示学习
学位名称工学博士
学位专业模式识别与智能系统
英文摘要

得益于深度学习(Deep Learning)方法的不断发展,机器智能已经可以在很多任务上接近甚至超过人类水平。但是,当今阶段人工智能仍有明显的缺陷,主要表现为模型学习需要大量的标记数据,且难以应对开放环境中类别和分布变化所带来的挑战。针对开放环境模式识别,如何构建能够适应类别和分布变化并根据少量样本进行学习的模型,是一个具有重要意义且极富挑战性的问题。本文基于图像分类任务,研究面向开放环境模式识别的小样本学习方法,内容主要包括特征自适应、表示学习和类别拓展的小样本学习等,旨在提高小样本条件下开放环境模式识别的性能。本文的主要创新性工作和成果如下:

一、提出了一种针对未知域小样本识别任务的元原型学习方法。}自适应是面对开放环境中各种挑战的一个必然选择。但是在小样本学习中,极少的样本数量使得其中的自适应问题更具有挑战性。本文通过结合原型分类器和元学习实现了在有剧烈域变化的开放环境中基于少量样本的高效自适应。该方法首先根据开放环境中新类别的标记样本,基于“类内紧致,类间分开”的原则进行特征自适应;在几步自适应之后,根据少量标记样本计算每个新类别的原型(类别中心)并以待分类样本到每个类别原型的距离进行分类。在训练时,本方法对参数的优化涉及到双层优化(bilevel optimization),使得模型的训练变得相对复杂。对此,本文基于梯度反传提出了一种一阶近似梯度更新方法,避免了求解高阶导带来的计算时间和计算空间上的开销,提高了模型的训练效率。实验表明,本方法在跨域的小样本识别任务上能带来明显的性能提升,并且在自适应的稳定性和效率上也明显优于对比方法。

二、提出了一种基于图的小样本子空间学习方法。}基于梯度的特征自适应需要进行多次前向传播和反向传播,这决定了它必然会有较大的计算开销和较低的效率。对此,本文提出了一种基于图的非线性特征子空间学习方法。该方法避免使用矩阵分解来求解特征空间,而是在图上以神经网络前向传播的方式学习子空间的基。具体来说,该方法先在统一的特征空间中依据标记样本初始化一组基向量,然后通过连接基向量和一个小样本任务中所有样本特征建立一个图。针对每个小样本任务,其特征子空间的基通过在图上进行消息传递更新节点特征来最终获得。本方法将有标记样本和待分类样本同时包含于图中用于学习,是一种直推式(transductive)方法。实验结果表明,本方法以更高的效率达到了更优的性能,在多种数据集的不同实验设定上表现出优秀的综合性能。

三、提出了一种针对开放环境的类别合成数据增强方法。}数据增强是一种被广泛使用的可以简单有效地提高模型鲁棒性和表示能力的技术。之前的数据增强方法大都针对闭集问题,旨在通过在训练集合成更多样本来提高模型在与训练集数据独立同分布(independent and identically distributed,i.i.d.)数据上的泛化性。但是在小样本学习这种处理开放环境中域外分布(out-of-distribution, o.o.d.)数据的任务中,这些数据增强方法难以带来明显的性能提升。对此,本文提出了一种合成新类别的数据增强方法以增强模型在开放环境中的特征表示性能。该方法将训练集中的类别拆分为不同视觉组件,并通过重新组合这些视觉组件来合成新的类别以实现在更大类别集上的训练。其最显著的特点在于合成新类别,而不是合成已知类别的新样本。同时,本文还探讨了训练时分类器中softmax函数的温度系数对模型中表示学习部分过拟合的影响。实验表明,本方法既简洁易实现,又能在小样本任务上实现稳定可观的性能提升。同时,本方法还具有较强的鲁棒性,可与多种不同的分类器适配。另外,本方法还在与开放环境相关的其它问题(如连续学习)中展现出其有效性。

四、提出了一种广义小样本学习中基于类分布的分类器学习方法。}目前的广义小样本学习方法都比较复杂,一般需要在训练集上训练两次。本文认为这主要是因为它们使用的判别式分类器不能存储训练集中基础类别(旧类别)数据分布的信息,因此不适合进行广义小样本学习这种增量式的学习。这就导致目前的一些方法大都需要通过一次额外的训练来调整模型。本文提出通过一次训练即得到一个视觉特征提取器和训练集中基础类别的类中心,并基于验证集估计一个所有类别共用的协方差矩阵。测试时,模型基于支持集计算新类别的类别中心,即可简洁地得到训练集中基础类别和开放环境中新类别的统一分类器,比如直接以每个分布的中心作为类别原型构建原型分类器。更进一步,基于估计的类分布模型也可以构建二次分类器来完成分类任务。实验表明,该方法在显著简化了广义小样本学习算法流程的同时达到了较好的分类性能。

语种中文
页码138
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/48708]  
专题自动化研究所_模式识别国家重点实验室_模式分析与学习团队
推荐引用方式
GB/T 7714
王瑞琪. 面向开放环境模式识别的小样本学习方法研究[D]. 中国科学院自动化研究所. 中国科学院自动化研究所. 2022.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace