智能车对周边环境的精准感知理解是后续规划与控制的基础，也决定了自动驾驶系统的能力上限。而视觉感知作为人类以及众多智能系统获取环境信息的主要来源之一，在自动驾驶感知理解的过程中发挥着关键作用。目前，基于深度学习的计算机视觉技术在自动驾驶感知任务中应用广泛，总体取得了十分不错的成绩。然而，由于深度学习需要借助大规模的训练数据来提升模型感知精度，同时自动驾驶任务对系统的安全与可靠性也有着严格的要求，而已有的视觉感知方法往往面临着训练数据量不足、对长尾场景的识别能力不够等众多亟需解决的难题。基于平行系统提出的平行视觉是一个能够填补数据鸿沟、提升感知可靠性的新型视觉理论框架。

本文以自动驾驶为应用场景，研究平行视觉中的多项关键问题。从数据生成、算法优化、数据与算法闭环、系统优化训练四个角度构建了一个有效且可靠的自动驾驶平行视觉系统。最终缓解了交通场景训练数据不足与长尾场景感知能力欠佳的问题、提高了视觉系统的准确度与稳定性。其中，可控的图像数据生成既有助于解决训练数据量不足的问题同时又是构建数据算法闭环的基础。算法的优化学习作为视觉感知系统的关键任务，具有提高系统感知能力的作用。数据与算法的闭环则是构建完整平行视觉系统的核心，在实现数据生成与算法优化的协同趋优的同时能够提高系统鲁棒性与可靠性。最后，针对完整的平行视觉系统，科学高效的平行训练方法可以进一步提高系统感知精度与稳定性。本文的主要工作如下：

• 针对自动驾驶图像数据不完备、特别是稀缺场景数据不足的问题，提出了两种面向交通场景的图像生成关键方法。本文首先提出了一种基于Transformer架构的多尺度、多判别器风格迁移技术，实现了大规模的虚拟图像的逼真化迁移与生成，通过提高虚拟图像的可用性间接降低了数据获取的成本；其次面向稀缺驾驶场景，本文提出了一种基于金字塔结构的单样本逼真图像生成方法。作为第一种方法的补充，该方法通过模型再训练的图像采样方式缓解了交通图像数据集在稀缺驾驶场景中不完备的问题。
•     针对人工生成的虚拟图像与真实图像分布不一致问题，提出了一种虚实互动的跨域特征提取方法。该技术通过数据层面上风格与内容分离的数据重组模块以及知识层面上迭代式跨域的知识迁移模块共同组成ParaTeacher模型，并将其作为构建平行视觉计算实验中虚拟数据到感知算法闭环的关键方法，实现对虚拟交通图像的充分利用和在真实交通图像上的目标检测精度20%以上的提升。
•     针对交通视觉场景中普遍存在的长尾问题，提出了常态化长尾理论以及数据与算法协同优化的系统闭环关键方法。分别从理论与方法层面给出了交通视觉长尾问题的解决思路。通过感知算法反馈的人工场景优化与图像数据定向生成，来缓解交通视觉系统面临的长尾问题。最后，提出的方法被应用于智能车未来挑战赛长尾场景设置和长尾交通标识识别中，并在长尾交通标识数据库——TT100K-TSRD中取得了80%以上的长尾类别均有10%以上识别精度提升的实验效果。
• 针对复杂平行视觉系统的优化训练问题，提出了一种面向复杂智能驾驶系统的优化方法——平行训练。该方法通过虚拟驾驶空间的预测推演来减少由真实驾驶空间诸多不确定因素对智能驾驶系统产生的影响，最终构建安全高效的平行驾驶系统。具体而言，通过由数据域的图像生成控制器与算法域的模型学习控制器组成的平行教练实现对平行视觉系统数据与算法闭环的优化控制。

本文针对自动驾驶中平行视觉系统的多个关键问题，提出了多项具体的关键方法，对于平行视觉在自动驾驶中的实际应用具有重要意义。