脑-机接口（Brain-Computer Interface，BCI）是生命科学和信息技术交叉融合的一个新兴的学科领域，它能够提供大脑和外部环境之间的直接通路。其中，基于快速序列视觉呈现范式（Rapid Serial Visual Presentation，RSVP）的BCI系统在医疗康复、生活娱乐以及军事侦察等方面有广泛的应用。基于RSVP的脑机作业认知负荷高，在实际应用中往往需要长时间连续作业，易引起作业人员警觉度水平变化，进而影响工作绩效，降低系统稳定性。因此，实现警觉度准确检测和低警觉度有效预警对于提升RSVP-BCI系统的稳定性、可靠性具有重要意义。当前，警觉度检测算法精度有限，RSVP-BCI系统存在低警觉度快速唤醒需求。本课题面向连续长程目标检测脑机作业场景，开展了多模态警觉度检测系统研究。本文的主要研究内容和创新点如下：

(1) 为研究脑机作业中警觉度和生理指标的关系，本文设计了一项基于RSVP-BCI的长时程目标检测实验，采集并建立了面向长程目标检测中警觉度的脑电（Electroencephalogram, EEG）和眼电（Electroophthalmogram, EOG）多模态数据集。对所采数据进行了特征提取，采用眼睑闭合度（PERCLOS）作为警觉度的标注，从脑电中提取微分熵特征（Differential Entropy, DE），从眼电中提取眼球运动特征。通过特征分析，发现警觉度的下降会带来脑电中慢波成分的增加和快波成分的减少，脑电中事件相关电位（Event Related Potential, ERP）的响应减弱，而眼电特征中，扫视幅度是与警觉度最相关的特征，且眼电特征的乘法组合也具有识别警觉度的潜力。

(2) 针对现有警觉度检测算法精度有限，对各模态信息挖掘不充分的问题，本文提出了一种多模态警觉度检测算法（VigilanceNet）。该方法考虑每种模态的特点，对于脑电，从时域和频域提取特征，通过设置RSVP辅助任务，从脑电中学习与任务相关的特异性响应；对眼电模态，本文提出了一种基于外积操作的可学习模块，用于捕获眼电特征中的乘法关系；对于多模态的学习，本文建议将模态内和模态间的知识进行解耦学习。在自采数据集和模拟驾驶公开数据集上验证了方法的有效性，结果显示，模型在两个数据集上分别实现了0.083和0.061的被试内预测误差，比现有最好方法降低了4.6%和9.0%，同时实现了0.115和0.094的跨被试预测误差，比现有最好方法降低了1.7%和2.0%，证明模型实现了警觉度的高精度预测。

(3) 为解决RSVP-BCI系统中人员的低警觉度快速唤醒需求，本文优选了警觉度预警方法，并开发了警觉度在线检测与预警系统。本文选择了五种常见的预警手段，即闪光、声音、触感、皮肤电刺激，以及声光刺激的组合，通过对比不同刺激对警觉度和绩效的影响效果，选择了声音刺激作为预警方案。然后，搭建了一个面向RSVP目标检测任务的警觉度在线检测与预警系统。该系统采集脑电和眼电进行实时的警觉度检测，在警觉度水平过低时进行声音预警。对系统进行了在线测试，结果表明，系统在线警觉度预测均衡精度平均值为83.8%，相对于无反馈时，行为学绩效提升了29.2%，目标检测脑电解码的均衡精度提升了8.8%，证明了所设计的警觉度检测算法和预警机制在在线应用中的有效性，改善了用户在目标检测作业中的警觉度水平和绩效表现。

本文面向连续长程RSVP目标检测脑机作业中，警觉度下降继而引起工作绩效下降的问题，设计了长时程RSVP目标检测实验，采集和分析了脑电和眼电多模态数据，设计了多模态警觉度检测算法，并搭建了警觉度在线检测与预警系统，缓解了长程脑机作业中人员的绩效下降，为长程RSVP作业的稳定性提供了理论和技术基础。