题名受皮层丘脑环路启发的神经网络计算模型
作者赵东城
答辩日期2021-05-26
文献子类博士
授予单位中国科学院大学
授予地点中国科学院自动化研究所
导师曾毅
关键词皮层丘脑环路 跨脑区反馈 脑区内反馈 突触可塑性 脉冲神经网络
学位名称工学博士
学位专业模式识别与智能系统
英文摘要
目前绝大多数的神经网络结构都不同程度受到了经典皮层解剖学的启发,通过逐层抽象的方式,对信息进行层次化处理。脑皮层是人脑高级认知功能的汇集区域,多模态感知、学习、决策、推理等认知功能都依赖于脑皮层信息处理机制。脉冲神经网络作为第三代神经网络,以离散的脉冲传递信息,更加类生物,在时间及空间信息的处理能力上更加强大,结合脑皮层信息处理机制,能更好地构建功能强大的脉冲神经网络。脑皮层完成各项认知功能离不开丘脑的集成、协同以及自组织控制。丘脑作为一簇前脑核团,接收除了嗅觉之外的多种感觉信息,并传递到大脑皮层,在皮层区域之间整合传递信息。皮层及丘脑协同计算是实现认知功能模拟的关键。
受皮层丘脑环路启发,本文通过皮层区域宏观连接的分析,构建了受跨脑区反馈学习机制启发的脉冲神经网络模型,受脑区内反馈以及兴奋抑制性神经元平衡启发的脉冲神经网络模型,通过对于皮层丘脑双向连接的分析,从微观突触优化的角度构建了受皮层丘脑环路启发的视觉分类模型,从宏观决策角度构建了受皮层丘脑环路启发的多视觉区协同跟踪模型。本文的主要工作和创新点归纳如下:
第一,本文构建了受跨脑区反馈学习机制启发的脉冲神经网络模型。人脑中存在着大量的反馈连接,反馈连接将高级皮层的全局信息以自顶向下的方式传递到低级皮层,受此启发,本文构建了一个随机的反馈连接帮助脉冲神经网络将输出层的误差直接直接传递到之前层,同时,利用一个微分脉冲时序依赖可塑性原理来优化局部的突触可塑性。在MNIST以及Fashion MNIST上的实验结果表明,此算法达到了由反向传播算法训练的脉冲神经网络的性能。	
第二,本文构建了受脑区内反馈以及兴奋抑制性神经元平衡启发的脉冲神经网络模型。受大脑中自突触连接以自反馈形式连接胞体的启发,构建了一个自适应的延时自反馈机制作用在膜电势上来调节脉冲发放的精度;并且采用兴奋抑制性神经元平衡的机制来动态控制脉冲神经元的输出。在基于反向传播训练的脉冲神经网络上引入这两个机制后,在多个数据集上的实验结果表明,这两个机制不仅提升了网络收敛的速度,还提升了网络的性能。在MNIST、Fashion MNIST、N-MNIST数据集上,本文提出的算法达到了目前所知的最优的性能,在CIFAR10数据集上,和目前最好的脉冲神经网络相比,此网络以一个轻量级的结构达到了较好的性能。
第三,受皮层丘脑环路启发的视觉分类模型。从解剖学角度看,皮层区域之间与丘脑存在着大量的双向连接,多个特殊的丘脑核团将初级皮层区域和高级皮层区域连接在一起,许多理论认为皮层-丘脑-皮层的这种交互对于全局信息的处理至关重要。受丘脑核团和不同皮层区域间的网络拓扑结构启发,本文利用一个多层的神经网络模拟皮层,利用额外的无监督赫布学习来模拟丘脑对于不同皮层区域之间的调控。结果表明,此网络在较小的训练数据集上性能高于基于皮层的网络,且对于学习率、激活函数、网络结构等超参的鲁棒性较高。	
第四,受皮层丘脑环路启发的多视觉区协同跟踪模型。由于卷积神经网络强大的特征表示能力,结合卷积神经网络和相关滤波在视觉跟踪任务中得到了广泛应用。卷积神经网络的深层包含更多的语义信息,浅层包含更多的细节信息,受丘脑对于视皮层决策的动态协同作用的启发,本文利用空间注意机制选择出了最重要的一层作为基础响应,其余的响应为辅助响应;利用时间注意机制确定每个辅助响应的权重。最后,根据融合响应的最大值定位目标。本文进一步将相关滤波以及重要性分配机制融入到卷积神经网络中,构建了一个端到端的跟踪算法,在OTB-2013数据集达到了与目前已知工作相比最优的性能,在OTB-2015数据集上达到了较为优异的性能。
语种中文
页码128
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/45015]  
专题类脑智能研究中心_类脑认知计算
推荐引用方式
GB/T 7714
赵东城. 受皮层丘脑环路启发的神经网络计算模型[D]. 中国科学院自动化研究所. 中国科学院大学. 2021.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace