异质图像的表示与合成是近年来计算机视觉领域的热点研究方向之一。得益于深度学习技术及生成模型的高速发展，研究人员已经在单一环境下的图像表示与合成任务上取得了重大研究进展，然而多变环境下的异质图像表示与合成仍然面临许多严峻的挑战。例如在异质图像表示与合成任务中，相关数据集规模较小、类别不均衡导致模型容易出现过拟合、虚假相关和泛化性差等问题；数据域间差异大导致图像具有较大的外观差异，因此神经网络难以筛选有效信息；某些特定任务缺乏配对数据导致无法使用有监督的方法。此外，在异质图象合成任务中，保证图象的高保真、可控性、多样性同样极具挑战性。以人为中心的异质图像是异质图像数据的典型代表，包括人脸、人体等生物特征数据。通过对以人为中心的数据进行有效地管理、分析和整合，可以更好的为人类提供服务，满足各类社会需求。目前，以人为中心的异质图像表示和合成方法大多依赖于数据驱动或一些简单的先验知识，难以充分提取有效信息以面对上述挑战。因此，本文提出了知识和数据协同驱动的异质图像表示与合成方法，通过同时利用知识、数据、算法、算力等四种要素，对以人为中心的异质图像表示和合成等具体任务展开研究。本文的主要贡献如下：

  1. 提出了两种基于信息瓶颈的异质图像表示模型，即显著性搜索模型和跨模态一致性模型。第一种模型定义了人脸图像中像素级的显著性指标，通过赋予每个像素点0到1之间的权重实现显著性选择。进一步地，提出了自动特征搜索算法，根据模型有效性检验的结果自适应地调整选择参数。整个选择过程基于全局信息瓶颈网络的约束，通过平衡信息瓶颈损失，在不影响身份信息的条件下最大限度地实现冗余信息的压缩。此模型实现了异质人脸图像表示中有效特征自适应和权重化、自动化的提取及冗余信息的去除，显著提高了下游异质人脸识别任务的性能。第二种模型通过不同模态之间人体图像特征的对齐及跨模态信息瓶颈网络的约束，实现了模态间的信息互补和模态内的信息选择，同时，通过引入模态对比损失进一步加强了模态间一致性信息的学习，实现了人体图像特征的有效提取及冗余信息的去除，显著提高了下游异质行人重识别任务的性能。

  2. 提出了两种基于结构先验的异质图像合成算法，即人脸图像增广生成对抗模型和深度感知的人体交互编辑模型。第一种算法针对不同形变的人脸图像合成中的自遮挡问题，提出了几何保持模块，通过引入图神经网络学习了不同人脸区域间的空间和语义关系，从而得到了归一化的人脸解析图，充分学习了人脸的几何结构信息。进一步地，利用人脸结构信息作为先验，通过分层解耦表示学习方案解耦身份信息及与形变相关的属性信息。测试过程中，给定模型任意形变的人脸及相应的属性标签，即可实现身份保持的可控不同形变人脸合成。第二种算法针对不同姿态的人体图像合成中的实体间遮挡问题，定义了三维空间内实体间的相对深度关系。通过实体的X-Y轴坐标、目标人体姿态以及实体间的相对深度关系，共同描绘了人与其他实体间的交互关系。提出了无监督的模仿对比学习策略，通过添加人工遮挡，实现了单张图像的相对深度关系学习，并在这种三维结构关系的指导下实现了空间次序感知的人体姿态合成。

  3. 提出了一种基于记忆调制的异质图像转换算法，即记忆模块调制的Transformer模型。考虑到输入图像中信息的缺失，将异质图像转换问题定义为“一对多”而非“一对一”的生成问题。针对异质人脸图像转换任务中的可控性较低及多样性缺乏等挑战，提出了通过引入样例图像进行风格化过程的指导，同时提出了记忆模块学习样例域的原型风格模式，增加了图像转换结果风格的多样性及可控性。针对异质人脸图像转换任务中的感知差异和姿态差异较大等问题，提出了风格化的Transformer模块，通过将内容信息和风格信息切片，并利用Transformer结构探索不同切片之间长距离的依赖关系，实现了同时从全局和局部两个角度学习样例域的风格信息。测试过程中，可以选择从样例图像中学习风格信息或直接从更新后的原型风格模块学习相关信息。实验表明，本模型在近红外-可见光、热红外-可见光、草图-照片以及灰度图-彩图等多个异质人脸图像转换任务上均能实现清晰、可控、多样、高保真的双向人脸图像转换。生成的结果也可以进一步用于提高异质人脸识别任务的性能。