本发明专利技术涉及一种基于多模态的情绪识别方法及系统，该系统能够通过综合分析多种生物测量数据，准确地识别和分类用户的情绪状态。该系统包括一个传感器阵列，用于从用户那里收集包括脑电信号、面部图像和语音数据在内的生物测量数据。这些数据首先被数据处理单元接收，并进行预处理，包括应用傅里叶变换生成功率谱密度剖面，使用基于Adaboost的算法从面部图像中检测面部特征，以及从语音数据中提取梅尔频率倒谱系数。接着，通过一个多模态集成算法，将各种处理后的数据特征结合成一个统一的特征向量。此向量随后被一个训练过的深度学习模型使用，根据预定义的情绪类别进行情绪分类，并生成情绪识别结果，最后通过输出单元显示。
1、情绪识别技术已成为人机交互领域的重要研究方向，特别是在通过生物测量数据进行情绪状态分析和分类的应用越来越受到重视。现有的情绪识别系统通常依赖于单一模态的数据，如脑电信号、面部表情或语音特征，这些系统通过专门设计的传感器阵列来收集相应的生物测量数据。例如，脑电信号通过电极帽采集，面部图像通过高分辨率摄像头获取，而语音数据则通过麦克风记录。这些数据独立地处理和分析，旨在从各自的维度解读用户的情绪状态。
2、然而，依赖单一数据源的情绪识别系统往往无法充分利用多种生物测量数据之间的互补性，导致情绪识别的准确性和可靠性受限。此外，单一模态数据处理往往忽视了数据之间可能存在的相关性，这可能导致在复杂的情感状态分析中出现误判。例如，面部表情可能因文化差异或个人习惯而变化，而脑电信号和语音数据可以提供更深层次的情绪信息，但这些信息在独立分析时往往未被充分利用。
2.根据权利要求1所述的基于多模态的情绪识别系统，其特征在于，所述多模态集成算法包括如下步骤：
3.根据权利要求2所述的基于多模态的情绪识别系统，其特征在于，所述深度学习模型包括特征分解子网络、增强特征学习子网络、情感动态建模子网络以及多模态情感分类子网络；
4.根据权利要求3所述的基于多模态的情绪识别系统，其特征在于，所述特征分解子网络使用奇异值分解来实施主成分分析，以提高所述降维处理的计算效率和精确度。
5.根据权利要求3所述的基于多模态的情绪识别系统，其特征在于，所述增强特征学习子
2.根据权利要求1所述的基于多模态的情绪识别系统，其特征在于，所述多模态集成算法包括如下步骤：
3.根据权利要求2所述的基于多模态的情绪识别系统，其特征在于，所述深度学习模型包括特征分解子网络、增强特征学习子网络、情感动态建模子网络以及多模态情感分类子网络；
4.根据权利要求3所述的基于多模态的情绪识别系统，其特征在于，所述特征分解子网络使用奇异值分解来实施主成分分析，以提高所述降维处理的计算效率和精确度。
5.根据权利要求3所述的基于多模态的情绪识别系统，其特征在于，所述增强特征学习子网络的卷积神经网络包括深度可分离卷积层，用以减少模型的计算复杂性并提高特征提取的效率；所述长短时记忆网络具备双向结构，以从时序数据的正反两个方向学习情感状态的变化。
6.根据权利要求3所述的基于多模态的情绪识别系统，其特征在于，所述情感动态建模子网络的变分自编码器使用非线性激活函数，以增强非线性编码能力，所述非线性激活函数包括relu和leaky relu；所述门控卷积网络采用多尺度卷积核，以不同尺度捕捉情感表征...