遥感场景语义分割旨在利用遥感数据对地面物体进行细粒度的语义解析。常用数据包括遥感设备获取的图像与机载激光雷达扫描的3D点云。该任务是遥感领域中的一个长期研究热点，有着诸多十分重要的应用，比如基础设施规划、自然灾害勘察、地区变迁检测以及数字城市建设。近年来，深度学习技术的引进显著推动了遥感场景语义分割的发展。然而，一方面，遥感图像的错综复杂性使得现有深度模型难以实现精准连贯的场景分割。另一方面，遥感点云的不规则性与稀疏性给深度学习方法研究带来了极大的挑战。因此，利用深度学习结合遥感数据实现高质量地场景分割仍然是国际上的研究难点。 

在视觉理解中，物体与周围场景间的层次语义关联对识别该物体至关重要，而物体的高频细节则十分有利于精准边界定位。在点云识别中，3D点间的几何交互关系有区分力地表达了其隐含的形状信息。基于这些观察与洞悉，本论文创新性地将自级联上下文聚集、层级细节精修、融合残差校正、密集上下文感知以及视觉交互学习等思想引入深度学习框架，面向遥感场景语义分割提出了多种有效的深度学习方法。本论文的主要贡献包含以下几个方面： 

1、提出了一种基于自级联卷积神经网络的遥感图像语义分割方法。本网络包括三部分内容：（1）融入视觉常识的自级联上下文聚集架构。该架构能够以较低的复杂度获取强语义上下文，由此显著提升了模型对易混淆区域的识别能力；（2）由粗到精的层级精修子网络。该子网络渐进地引入编码器浅层中的高分辨率细节特征响应，实现了模型对错综复杂物体的精准分割；（3）针对多级特征融合的残差校正策略。该策略能够缓解多级特征间语义鸿沟所导致的融合残差累积效应，使得上述方法能有机协同地整合为单个深度模型。因此，本网络为遥感图像中的多样化物体提供了一个完整统一的语义分割框架。充分的实验评估证明了本网络的有效性。此外，细致的模型可视化分析表明本网络具有较高的可解释性。 

2、提出了一种基于密集上下文感知网络的遥感点云语义分割方法。本网络主要包括两部分内容：（1）通用且高效的点云卷积算子。该算子在点云上实现了卷积操作的两大核心机制，即局部连接与权值共享，能够在有效归纳局部形状模式的同时满足点集上的置换不变性；（2）高效且强有力的密集上下文捕获架构。该架构直接利用卷积网络各特征层的固有特性，采用密集连接聚集多级别和多尺度的上下文语义信息，实现了视觉上下文和抽象语义间的有机协同与相互促进，同时保持了极低的模型复杂度。综合的实验评估证实了本网络在点云形状识别上的有效性、鲁棒性和高效性。特别地，密集上下文网络在遥感场景大型点云语义分割中实现了效率与精度的良好平衡。 

3、提出了一种基于交互卷积神经网络的遥感点云语义分割方法。该网络的核心理念是从3D 点间的视觉交互关系中学习隐含的形状表征。为了充分捕获交互关系，本论文提出了交互卷积方法，即让卷积权重从预先定义的几何先验中学习表达高维的几何交互关系。以该卷积获得的归纳表示能够对点集的空间布局进行显式地推理判断，从而有区分力地反映其所构成的隐含几何形状。此外，该卷积还能够从几何先验中受益，具有置换不变以及对刚体变换鲁棒的良好性质。因此，用交互卷积搭建的网络架构能够将经典卷积网络拓展至不规则的点云领域，实现强健的形状上下文表征学习。全面的实验评估证实了本方法在点云形状识别上的有效性。并且，对于遥感场景中的大规模稀疏点云，本方法能以较高的效率取得优异的语义分割性能。