CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 硕士学位论文
题名受脑启发的多任务域小样本连续学习方法研究
作者商迪
答辩日期2023-06
文献子类硕士
关键词连续学习,小样本学习,多任务域学习,类脑计算,目标检测
英文摘要

近年来,人工智能飞速发展,甚至在很多领域已经超过了人类,这得益于大 规模固定的数据集和稳定的训练环境。然而,面对动态变化的顺序学习环境和少 量的训练样本,人工智能往往表现的差强人意。研究人员为帮助模型能够在样本 较少且动态的环境中自适应学习,提出了连续学习和小样本学习。小样本连续学 习是两者的结合,要求模型在抵抗遗忘的同时快速泛化到具有少量训练样本的新 任务上。小样本连续学习更加接近人类学习的过程,具有重要研究意义。 然而,当前大多数方法只关注模型在学习过程中的抗遗忘能力,简单保留模 型在已学习任务上的性能,忽略了模型在学习过程中知识的积累和迁移,没有持 续提高模型对新任务的泛化能力。另外,模型连续学习的任务大都由单一数据集 中的几个随机类别构成,任务之间高度相似,没有明显的相似度差异,与人类实 际学习过程完全不符,也无法在其上验证算法是否真正赋予模型持续提高对新任 务或新领域的泛化能力。脑科学对大脑中记忆的形成、存储、检索和控制机制的 相关研究对解决上述问题有极大启发。当前,小样本连续学习算法研究在图像分 类等简单的视觉任务上已相对成熟,而在目标检测等复杂任务上才刚刚起步。 综上所述,本文基于任务种类更多和任务间相似度差异明显的多任务域小样 本连续学习设置,借鉴人和其他哺乳动物大脑中记忆的形成、存储、检索和控制 机制,结合当前计算机科学中的计算模型的结构特点,构建类脑智能计算模型, 研究多任务域小样本连续学习算法,并将其扩展到复杂计算机视觉任务上。本文 主要贡献总结如下: 1. 提出受工作记忆和长时记忆启发的小样本连续学习算法 首先,根据物体类别间相似度差异创建多任务域小样本连续图像分类实验环 境。随后,受到人脑中工作记忆和长时记忆的形成、存储和调用机理的启发,针 对同一任务域的任务,设计了一种模拟工作记忆-长时记忆协同的双循环在线元 学习策略,从而在学习过程中获得多任务间的共同结构,不断提高模型泛化性能, 使得其在抵抗遗忘的同时能够快速适应学习中遇到的新类。受到睡眠阶段大脑记 忆的巩固和内存优化机制的启发,开辟额外存储空间存储重放已学习任务样本, 并以任务域为单位进行额外存储空间的循环使用。受到大脑通过不同突触结构和 强度变化存储记忆从而保证不同记忆的独立性和稳健性的存储机理启发,为每个 任务域维护投影算子,并用其约束模型的梯度更新过程,从而保证模型在不同任 务域上性能的独立性和连续性。实验结果表明,所提算法在抵抗遗忘的同时能够 不断提高泛化能力,对于已学任务能够维护更加平衡的性能表现,可以防止在所 学任务增多时存储和计算资源的无限扩张,能更好地连续学习类别差异较大的多 受脑启发的多任务域小样本连续学习方法研究 II 个任务。 2. 提出受海马体索引启发的连续目标检测模型 针对目标检测任务的多目标和使用复合模型的特点,基于当前复杂的连续目 标检测实验环境,对多阶段多模块复合模型进行分段处理,提出可连续学习的目 标检测框架。所提方法使用预训练的前端特征提取层和候选框推荐机制。受到大 脑中的海马体索引理论假设的启发,提出使用融合编解码记忆重放机制的在线元 学习方法训练高级语义特征提取层、分类层和回归层,并基于样本相关性和信息 量提出旧样本动态存储管理机制,提高了内存使用率,减少样本不均衡问题。实 验结果表明,所提模型能够有效应对多种连续目标检测环境,可以更好地抵抗遗 忘,具有更好的泛化性能,有效缓解样本不均衡问题。 3. 提出受双边界细胞启发的多任务域连续目标检测模型 首先,基于多个数据集,按图片风格、任务类别数量和场景的不同,构建任 务间差异更大更现实更复杂的多任务域连续目标检测实验环境。受到脑中记忆的 检索、控制和域适应机制的启发,提出了一个多任务域连续目标检测模型。所提 模型分为三个模块,分别为特征提取层、提取候选框网络(Region Proposal Network, RPN)和分类回归层,基于“挤压和激励”(Squeeze-and-Excitation, SE) 模块构建可连续学习的具有双重边界控制的域注意力特征提取层;为每个任务域 维护一个单独的 RPN,并用在线元学习方法训练他们,使其在同一个任务域内可 进行连续学习;使用在线元学习方法和受投影矩阵约束的梯度更新方法训练分类 回归层的前端网络,并为类别数量差距较大的任务维护不同的输出层。实验结果 表明,所提模型可以有效抵抗差异较大任务域变换带来的灾难性遗忘,并不断提 高领域和类别泛化能力。

语种中文
页码81
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/52388]  
专题毕业生_硕士学位论文
推荐引用方式
GB/T 7714
商迪. 受脑启发的多任务域小样本连续学习方法研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace