作为计算机视觉领域极具挑战的一项关键技术，视觉跟踪在视频监控、导航、军事、人机交互、虚拟现实、智能机器人、自动驾驶等多个领域都有着广泛的应用。其中，相比于基于特定目标检测（例如人、车辆等）的模型固定式视觉跟踪方法，一种被称为模型非固定式在线视觉跟踪方法在学术与工业领域更受关注。该类跟踪方法在仅有待跟踪目标的初始位置标注信息的情况下，仍能通过在线自适应的对目标表观进行灵活而鲁棒的建模，实现对任意目标的准确跟踪。随着该类模型非固定式在线视觉跟踪方法的广泛应用，它面临的挑战也愈来愈严峻。跟踪场景中面临光照变化、目标姿态多样、尺度缩放、运动模糊、遮挡和消失等多种不确定因素，准确、鲁棒、高效的跟踪算法设计仍然是极具挑战的研究课题。

基于相关滤波的视觉跟踪算法凭借兼顾准确性和速度的优势，吸引了大量研究者的关注。本文深入研究了基于相关滤波的视觉跟踪算法，针对跟踪目标在尺度、长宽比、旋转方面的姿态变化、剧烈运动、遮挡等问题，提出了在特征学习、运动模型设计、表观模型增强以及跟踪推断策略设计四个方面对基于相关滤波的视觉跟踪算法进行优化改进，保证了算法的准确性、鲁棒性以及实时性。主要的工作和贡献概括如下：

1） 提出了基于联合尺度位移空间、旋转空间、时域的综合性相关分析的视觉跟踪算法。具体来说：该跟踪算法在表观建模和跟踪推断策略两方面进行优化。表观建模方面，通过引入块循环矩阵、对数极坐标变换、离散傅里叶变换，对联合尺度位移空间、旋转角度空间内目标表观的相关关系进行细粒度的建模，从而能够提高尺度和角度估计的准确性。在跟踪推断策略方面，通过时域的相关分析以及高阶马尔可夫链模型建模，能够在表观模型中保留目标表观的鲁棒性、多模态性以及有效性，解决冗余表观导致的表观分布不均问题、背景噪声干扰问题，并根据当前候选目标与保留的目标表观的时域相关性来鲁棒而自适应地推断目标的状态。我们在多个视觉跟踪标准评测库上验证了这些创新点的有效性，并大幅度提高了跟踪算法的准确性和鲁棒性。

2） 提出了基于引入高层语义以及自顶向下推断的相关滤波的视觉跟踪算法。该算法主要在运动模型方面对传统基于相关滤波的跟踪算法进行优化。首先，我们从传统基于相关滤波的在线视觉跟踪算法鲁棒性不足问题出发，将高层类别相关的语义信息引入在线视觉跟踪中。在目标类别的弱监督作用下，在语义层面对目标进行全局粗定位，优化目标的运动模型，弥补传统基于相关滤波的目标跟踪算法对目标表观表示能力不足、侧重于局部细粒度建模、目标搜索范围有限的缺点，从而实现鲁棒的跟踪。由于视觉跟踪并不提供目标的类别语义标签，我们通过使用在大规模数据集上训练得到的通用卷积神经网络分类器来确定目标的类别分布并进行类别迁移，从而获得跟踪目标的类别语义信息。我们在目前流行的视觉跟踪评测库上进行了算法的对比实验、成分分析实验以及定性评估实验，从而验证算法改进的有效性。

3） 提出了基于空间对齐的相关滤波网络的视觉跟踪算法。该算法主要在运动模型、特征学习两个方面对传统基于相关滤波的跟踪算法进行优化。首先，将相关滤波操作转变为可导的相关滤波层引入卷积神经网络中，从而在大规模视频库上离线学习适用于基于相关滤波的目标跟踪的深度特征，增强表观模型的目标表示能力以及判别能力。其次，引入空间对齐网络对目标在连续帧内的运动变换参数进行估计，解决相关滤波的边缘效应问题以及固定目标长宽比建模问题，从而准确地估计目标的大幅度偏移以及长宽比变化。通过端到端的离线网络训练，实现空间对齐网络模块与相关滤波模块的互补学习，增强该网络的跟踪性能。在线跟踪时，仅通过网络的一次前向传播，实现目标的实时跟踪。我们同样在多个视觉跟踪评测库上验证了算法的有效性，并在鲁棒性以及实时性上取得了较好的结果。

基于上述方法和创新，我们的跟踪算法在多个跟踪评测库上都取得了当时最好或者领先的评测结果。同时，上述方法和创新，对于其他计算机视觉问题和应用，例如视频分割、视频姿态估计等，也有一定的借鉴意义。