随着社会的发展和进步，心理健康问题逐渐引起社会的广泛关注。情绪和压力状态是与心理健康密切相关的重要因素。负面情绪和过度压力会对人的认知与决策造成负面效果，例如易于影响医生、驾驶员等特定职业人群的工作状态，进而带来事故隐患。持续处于负面状态甚至会严重损害身体健康或导致精神疾病。因此，面向情绪和压力状态的自动评估方法与系统具有重要的研究意义和应用价值。近年来，随着深度学习理论与技术的发展，许多研究工作将深度网络引入情绪或压力评估领域，这些方法需要在实验室环境下采集大量数据用于网络模型训练。考虑到数据采集环境对应用场景的限制问题，利用采集环境贴近自然状况、采集方法简便易行的肢体动作数据和外周生理信号数据进行情绪和压力状态评估的方法受到了广泛关注。此外，在情绪与压力相关的数据采集过程中，不同状态的诱发较为困难，因此很难获取充足的训练样本。这可能会导致多种类型的训练样本缺失场景的出现，如类别缺失、特定群体数据不足和待测个体数据不足等。本文针对肢体动作数据和外周生理信号数据进行分析，并且针对上述两种数据的样本缺失问题，提出了三种针对情绪或压力的评估算法，旨在提升算法在有限数据资源上的准确性和实用性。在上述算法的基础上，借助两种数据的互补关系进一步构建了一个基于双模态数据的异常心理状态预警系统来进行综合评估。本文的主要工作和贡献如下：

（1）针对现有研究在小规模、少类别数据集上训练的模型难以应用于更为多样化的情绪相关肢体动作的问题，提出了一种基于广义零样本学习（Generalized Zero-Shot Learning，GZSL）的肢体动作情绪识别方法，即借助人工设计的语义表示来实现对未经训练的类别的预测。为充分利用肢体动作信息，该方法将情绪类别视为多个肢体动作的集合，并据此构建了可同时满足动作标签和情绪标签双重约束的网络结构。具体地，本文提出了包含分层原型网络（Hierarchical Prototype Network，HPN）和语义自动编码器（Semantic Auto-Encoder，SAE）双分支的广义零样本学习网络，分别用于预测已训练和未训练类别的样本。其中，分层原型网络分支借助情绪和动作的先验关系，依次学习动作和情绪两个层次的原型中心，以增强动作类别的可分性和情绪类别的类内相似性；语义自动编码器分支通过学习从特征空间到语义空间的映射关系，借助包含情绪和动作信息的语义表示实现对未训练类别样本的预测。在MASR公共数据集上的实验结果表明了所提方法优于现有的GZSL算法和仅使用单种标签的基线方法。

（2）针对仅具有少量标注样本的目标群体与可获取大量训练数据的普通群体之间存在数据分布差异的问题，提出了一种面向生理信号压力检测任务的域混合对抗迁移学习（Adversarial Transfer Learning with Domain Mixup）算法。该算法通过学习与群体差异无关的特征，实现了由普通人群到目标群体的压力检测知识迁移。具体地，在包含特征提取器、域判别器和压力检测器的对抗迁移网络的基础上，构建了特征层面的域混合样本来增强域判别器的泛化性。其中，特征提取器与域判别器的优化目标相互对抗，能够学习具有领域不变性的特征；三个模块共同训练，使得对抗学习生成的特征不会对压力检测任务的性能产生负面影响。在此基础上，针对压力检测任务中标签分布不均匀的问题，提出了基于类别先验概率估计的损失函数修正方法，有利于提高训练样本较少的高压力类别的识别性能。因目前仍没有针对特定目标群体的公共数据集，本文构建了一个包含普通人群和警校学生群体的生理信号数据集进行实验验证，结果表明了所提算法优于非迁移学习基线算法和具有代表性的迁移学习算法。

（3）针对现有个性化模型训练通常需要获取待测被试（Subject）大量样本的问题，提出了一种基于孪生网络（Siamese Network）的个体情绪与压力检测方法。该方法通过构建相对强度回归模型来对样本对之间的相对差异性进行建模，可仅采用单个有标签的基线样本实现个体校准。在此基础上，为了更好地利用通过数据分割得到的片段样本进行网络训练，构造了一个新的强度排序子任务来对回归任务进行辅助，并针对生理信号数据的特性设计了排序规则和排序样本对构建方法。该强度排序子任务借助片段样本对的相对强弱监督信息进行逐对排序（Pairwise Ranking），以增强所提特征对于情绪或压力相对强度的表征能力。上述两个子任务共用孪生网络提取深层特征，并采用循环交替的方式进行训练。在自采集压力数据集和DEAP公共情绪数据集上的实验结果表明，该方法优于单样本校准的基线方法，且与现有研究中使用单被试的多个样本训练的个性化模型性能相近。

在上述压力与情绪状态检测算法的基础上，进一步构建了双模态异常心理状态预警系统进行实验验证。该系统基于肢体动作和生理信号的互补性，可实现对负面情绪和过度压力等异常状态的综合评估与预警。为验证所构建系统的性能，采用视频素材来诱发被试不同的心理反应，并构建包含肢体动作和生理信号的双模态数据集。在该数据集上的实验结果表明了所提预警系统可有效运行，且性能明显优于针对单模态数据的算法。