CORC  > 自动化研究所  > 中国科学院自动化研究所  > 毕业生  > 博士学位论文
题名多降质场景下的图像超分辨率算法研究
作者罗正雄
答辩日期2023-05-18
文献子类博士
关键词图像超分辨率 深度神经网络 递归融合 降质估计 交替优化
英文摘要

图像超分辨率旨在从低分辨率图像恢复出其对应的高分辨率图像,是图像 画质增强中十分重要的一环。近年来,随着深度神经网络的发展,超分辨率算法 的性能也随之大幅提升,在一定程度上从算法层面弥补了成像设备在硬件上的 不足,具有成本低、迭代快等优点,在医疗诊断、安全监控、遥感成像等领域有 十分广泛的应用。然而在不同应用中,低分辨率图像的降质形式各有特点,图像 超分辨率面临的难点和挑战也各有不同,难以使用单一算法求解。例如,在数码 成像中,由于设备成像参数已知且相对固定,对应的降质形式也已知且特定,此 时超分辨率算法求解目标单一且明确,其难点在于如何更好地平衡算法的性能 和效率;而在照片或者电影修复时,由于成像设备未知,其降质形式也无从获 取,此时超分辨率算法更关注如何提高降质估计的准确性和算法对多样降质形 式的泛化性。为推动图像超分辨率算法在不同降质场景中的应用,本文对降质形 式已知且特定、未知且特定、未知且非特定的三大场景下的图像超分辨率重点问 题展开研究,涵盖了网络结构设计、训练数据合成、算法框架设计三个方面,以 期构建更加完备的图像超分辨率方案。本文主要贡献如下:

1. 针对降质形式已知且特定场景下超分辨率算法性能与效率的平衡问题,提出一种基于递归融合的高效超分辨率网络。该场景下,所有低分辨率图像的降 质形式已知且相同,超分辨率问题退化为求解特定降质形式的逆过程,优化目标 单一明确,研究热点在于超分辨率网络结构设计。此前大多数超分辨率网络通过 直接级联堆叠较小的网络模块构建大型网络模型,然而实验发现,过多的级联模 块难以优化彻底,影响网络效率。针对这一问题,本文提出一种递归融合的结构 来避免级联堆叠的网络模块过多。具体而言,当级联的模块达到一定数量,将这 些模块的输出进行拼接融合,构成一阶融合模块;当一阶融合模块超过一定数 量,则被进一步融合构建为二阶融合模块;以此类推,形成更高阶的结构,从而 避免过多模块级联。该结构通过增加超分辨率网络中的跳跃连接,能更好地将梯 度传导到网络中的每一层,让更多的参数能更有效地优化,提高参数利用率。实 验表明基于该结构的超分辨率网络在多个数据集上以较少的参数量达到了较好 的性能。

2. 针对降质形式未知且特定的场景下超分辨率算法训练数据和测试数据存 在域差异的问题,提出一种基于概率降质模型的图像超分辨率算法。该场景下, 所有低分辨率图像的降质形式未知,但由同一设备拍摄或来源相同,其降质形式 也相近。面对这一场景,超分辨率算法通常先使用降质模型估计测试数据的降质 形式,并依据估计结果合成超分辨率网络的训练数据。此前的方法使用的降质模型大都是确定性的,即图像的降质形式可由其内容唯一确定。然而,这一做法难 以处理与图像内容无关的随机降质过程,例如相机抖动导致的模糊或随机噪声。 针对这一问题,本文提出一种概率降质模型,目的在于建模降质参数的分布而非 求解具体降质参数。该降质模型能更好地建模降质形式中的随机性,用其合成的 样本更有可能覆盖测试数据中的降质形式,给后续超分辨率算法提供更具针对 性的训练数据。实验表明,基于该降质模型的超分辨率算法可以在降质形式不同 的多个数据集上均取得先进性能。

3. 针对降质形式未知且非特定的场景下降质参数估计和超分辨率图像重建 间相互独立、难以兼容的问题,提出一种基于交替优化的端到端图像超分辨率算 法。该场景下,低分辨率图像降质形式未知且十分多样,对超分辨率算法的准确 性和泛化性要求较高。此前的方法通常使用两阶段策略将原问题分解为降质参 数估计和超分辨率图像重建两个独立的子问题,然而,由于降质参数估计和图像 超分辨率的病态性质,算法的准确性和泛化性比较受限。针对该问题,本文基于 交替优化算法,将降质估计和超分辨率重建整合到统一的算法框架中。具体而 言,本算法定义了估计模块和重建模块,分别负责降质参数估计和超分辨率图 像重建。通过交替迭代两个网络模块并展开迭代过程,形成一个端到端可训练 的网络。与此前的两阶段策略相比,该算法中的估计模块和重建模块可以利用 彼此的中间迭代结果,互相传递更多信息,使病态问题的求解变得更加容易。同 时,由于两个模块在同一网络中优化,它们可以对彼此的误差更加兼容,从而提 高最终结果的准确性和泛化性。实验表明,该算法可以同时在多个降质形式多样 的数据集上取得先进且稳定的性能。

 

 

语种中文
学科主题计算机科学技术 ; 人工智能
页码124
内容类型学位论文
源URL[http://ir.ia.ac.cn/handle/173211/51932]  
专题毕业生_博士学位论文
推荐引用方式
GB/T 7714
罗正雄. 多降质场景下的图像超分辨率算法研究[D]. 2023.
个性服务
查看访问统计
相关权益政策
暂无数据
收藏/分享
所有评论 (0)
暂无评论
 

除非特别说明,本系统中所有内容都受版权保护,并保留所有权利。


©版权所有 ©2017 CSpace - Powered by CSpace