本发明专利技术公开了一种多模态情绪识别方法及系统，具体包括如下步骤：步骤一：数据预处理与特征提取，对于情绪脑电，利用EEGLAB工具处理脑电数据，先采用使用零相移FIR滤波器在0.5‑50Hz波段对EEG数据进行带通滤波，消除50Hz线路噪声中的电干扰，采用球面插值法对去除的不良电极位置进行插值，并进行ICA处理以消除非脑相关伪迹；本发明专利技术提出的方法充分考虑了不同模态，即脑电信号和人脸表情的空间与时间上下文信息；通过引入时空上下文编码器，能够捕捉不同时间点和空间位置上的关键信息，从而深入理解情绪的动态变化和空间分布特性；这种全面的上下文信息利用对于提高情绪识别的准确率至关重要。
本专利技术属于人工智能、计算机视觉、情感计算，具体涉及一种多模态情绪识别方法及系统。
1、情感识别技术在多个实际应用场景中展现出其巨大的潜力与价值。比如：在人机交互中，该技术可以使机器更深入理解人类需求，提供智能服务；在医学辅助诊断中，情感识别对神经系统疾病，如睡眠障碍、精神分裂症、帕金森病等的诊断与治疗有极大帮助，同时能监测患者的生理状况，如疲劳、嗜睡、抑郁和疼痛等。此外，情感识别对自闭症、多动障碍和恐慌障碍等心理疾病的研究也具有重要意义。
2、过去，情感识别的研究成果主要侧重于单一数据源(如面部表情或语音信号)的分析与应用，如文本情感分析(text sentiment analysis，tsa)、音频情感识别(speechemotion recognition，ser)和人脸表情识别(facial expression recognition，fer)等，虽然通过机器学习和深度学习的方法，这些技术已经能够较准确地识别情感，但每种单模态识别方法都存在一定的局限性，如识别精度不足、难以平衡精度与时间效率、缺乏可解释性等。
2.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：在所述步骤一中，三维变换过程涉及将多个脑电电极记录的信号转换为地形图形式，其中每个电极的功率分布构成了地形图上的特定点。
3.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤二中，空间上下文编码器采用SwinTransformer作为骨干架构，用于学习脑电特征与人脸特征空间上下文信息，并且在处理过程中确保了高分辨率数据信息的不丢失，对预处理后的脑电特征或人脸特征进行空间上下文特征提取，得到融合空间上下文信息特征图。
2.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：在所述步骤一中，三维变换过程涉及将多个脑电电极记录的信号转换为地形图形式，其中每个电极的功率分布构成了地形图上的特定点。
3.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤二中，空间上下文编码器采用swintransformer作为骨干架构，用于学习脑电特征与人脸特征空间上下文信息，并且在处理过程中确保了高分辨率数据信息的不丢失，对预处理后的脑电特征或人脸特征进行空间上下文特征提取，得到融合空间上下文信息特征图。
4.根据权利要求1所述的一种多模态情绪识别方法，其特征在于：所述步骤三中，时间上下文编码器基于transformer结构设计时间上下文编码器，以减轻时间维度上人脸遮挡与脑电...