本发明属于情绪识别，具体涉及一种基于多模态生理与社会信息的情绪识别系统。
1、情绪是人类日常生活的一部分，它影响着人类的认知、行为和决策，在社会交往中不可或缺。情绪几乎影响着人类交流的方方面面，包括语调、面部表情、用词、呼吸、肌肉紧张等等。它有可能从本质上改变信息，因为说话的方式比说的内容更重要。来自不同领域的研究人员，包括心理学、生物学、社会学和神经科学，已经定义、解释、分析和分类了人类的情感。近年来，各种电子产品在我们生活中的可用性使人们花越来越多的时间在社交媒体，网上购物，在线视频游戏等。然而，当前大多数人机交互(human-computer interaction，hci)系统在解释和理解情感信息方面存在缺陷，缺乏情商。它们无法识别人类的情绪状态，也无法将这些信息用于决策和行动。解决人与机器之间缺乏融洽关系的问题对于先进的智能hci至关重要。随着hci领域的不断发展，赋予机器理解人类情感的能力迫在眉睫。为此，情绪识别技术为获取人类情绪状态提供了一种可行的途径。
2、情绪识别研究主要包括情感分析和情感识别两个方面。前者执行粗粒度的情感识别(通常是二元积极与消极或3类积极、消极和中性情绪分类的任务)，而后者涉及细粒度分析(通常是将大数据多类分类为更大的情感标签集，例如超过4类)。情绪类别的数量在心理学上一直存在争议。从历史上看，心理学家有两种不同的方法来模拟情绪:一种是基本情绪理论，将情绪标记为离散的类别；另一种是多维理论，将情绪分类为多个维度或尺度。基本情绪理论认为，人类有几种基本情绪，如快乐、悲伤、恐惧、愤怒、厌恶和惊讶。其他非基本情绪状态(如疲劳、焦虑、满足、困惑和沮丧)都是由它们组成的。每一类情绪都有独特的内在体验、外在表现和生理模式。
3、现有的情绪识别方法可以分为两类:主观方法(如基于身体动作、面部表情或语音的情绪识别)和客观方法(如基于不同类型的生理信号的情绪识别)。与主观方法相比，基于生理信号的客观方法，例如(electroencephalogram，eeg)、心电图(electrocardiogram，ecg)、肌电图(electromyogram，emg)等，可以消除不同受试者之间的差异，排除主试者主观意识影响。因此，近年来在处理情绪识别方面得到了广泛的应用。
4、在过去的几年里，深度学习依靠最现代化的系统，在许多领域取得了巨大的成功，如信号处理、人工智能和情感检测。卷积神经网络(convolutional neural network，cnn)、递归神经网络(recurrent neural networks，rnn)、图神经网络(graph neural network，gnn)，这些是深度学习中常用的方法。将深度学习运用到情绪识别中是目前情绪识别的主要研究方向之一。
5、li等人提出了一种新的eeg情绪识别方法，该方法受到神经科学的启发，涉及大脑对不同情绪的反应。该方法采用r2g-stnn方法，由具有区域到全局分层特征学习过程的时空神经网络模型组成，学习判别性的时空脑电特征。
6、虽然近年来已经提出了多种脑电情绪识别方法，但为了进一步提高情绪识别的性能，仍有一些主要问题需要深入研究。第一个问题是如何利用不同脑区脑电信号的信息来提高情绪识别。近年来的神经科学研究表明，人类的情绪与多种大脑皮层区域密切相关，如眶额叶皮层、腹侧内侧前额叶皮层、杏仁核。因此，不同脑区的脑电信号对情绪识别的贡献不同。第二个问题是如何利用外周神经网络对脑神经网络进行信息补充，外周神经网络，包括ecg、emg等，同样蕴含着丰富的情绪信息，将这些信息挖掘并利用以得到更高维的神经网络对情绪识别的提高有所帮助。第三个问题是如何利用人所处的社会环境信息以提高情绪识别的能力。众所周知，人生活所处的社会环境同样会对人的情绪产生影响，身处同一环境下人们的情绪往往也是一致的。如何将这些社会信息与情绪联系起来同样是本发明希望解决的问题之一。
1、有鉴于此，本发明的目的是提供一种基于多模态生理以及社会信息的情绪识别系统，该系统可以利用多模态生理信号对脑神经网络以及周边神经网路进行建模，探索脑神经网络以及周边神经网络对于情绪的表征作用，同时可以利用社会信息进行社会网络模型的建模，探索情绪与社会环境之间的作用。
2、一种基于多模态生理与社会信息的情绪识别系统，包括脑网络构建模块、神经系统网络构建模块、社会网络构建模块以及情绪识别模块：
4、将eeg按照采集的位置进行划分，将不同脑区的eeg信号分别输入到不同规模的双向长短期记忆网络bilstm以学习不同脑区内部的时空特征并构建局部的脑网络模型，将从不同脑区学习到的空间特征输入到gnn网络模型中，以学习脑区之间的空间特征，得到每个脑区对应的特征张量xfs；所述脑网络构建模块基于不同的脑区在脑电情感识别中所起的作用不同，引入区域注意层来学习一组关于xfs的权重矩阵wfs，用来表示不同脑区的贡献；再将已经提取过空间特征和时间特征的各脑区的特征张量xfs拼接成特征张量xr，并将xr与wfs相乘得到引入权重后的xr＇输入到全局的gnn_global中，得到特征张量xgcns，用以表征不同脑区内部以及之间的时间与空间特征，反应中枢神经系统包含的信息，实现脑网络模型从局部到全局的构建；
5、所述神经系统网络构建模块用于：对预处理之后的外周神经网络的生理信号，分别输入到不同的bilstm中提取时间特征，之后输入到不同的gnn中提取空间特征，再将得到的时空特征与脑网络构建模块得到的特征张量xgcns进行拼接，得到包含中枢神经系统与外周神经系统的时间与空间信息的特征xp；
6、所述社会网络构建模块用于：将特征xp作为节点特征，利用不同人的社会信息作为节点相连边的依据，输入到超图神经网络，由此得到hgnn的关联矩阵h，对xp进行超图卷积操作得到特征向量xe；
7、所述情绪识别模块用于：将最终的特征张量xe输入到情绪识别模块中，情绪识别模块采用全连接层以及激活函数softmax得到最后的情绪识别结果。
11、将社会信息以一维向量xsd表示；将一维向量xsd作为hgnn中点的属性，所述特征张量xp作为hgnn中点的特征，利用属性生成超边，参与者中xsd对应位值相同的点以超边相连，由此得到hgnn的关联矩阵h，并对特征张量xp进行超图卷积操作，最终得到的特征张量xe。
12、较佳的，对特征张量xp连续进行多次超图卷积操作，最终得到的特征张量xe。
13、较佳的，得到的特征张量还可以重复上述操作，本实施例经过三次超图卷积操作，所述超图卷积操作的具体公式为：
14、其中，dv和de分别表示顶点度和边度的对角矩阵、w为权重矩阵，θp为可学习的参数、σ为非线、较佳的，所述情绪识别模块还用于对网络进行训练，在训练过程中采用交叉熵计算损失函数，并采用adam优化作为优化算法。
17、1、本发明利用eeg实现从局部到全局中枢神经系统网络的建模，利用不同脑区内部的eeg得到局部的脑神经网络，并利用不同脑区之间的空间信息得到全局的脑神经网络，实现从局部中枢神经系统到全局神经系统网络的建模。
18、2、本发明在构建中枢神经系统网络的基础上利用其他模态的生理信号对中枢神经系统网络进行信息补充，利用ecg、emg等信号进行外周神经系统网络的建模，实现了从中枢神经网络到人体全局神经系统网络的建模。
19、3、本发明还在得到人体神经系统网络之后利用个人的社会信息实现社会网络的构建，实现了从局部神经系统网络到全局神经系统网络，从个人到社会的网络模型构建。