基于行为的情绪识别单元通过分析和提取与情绪相关的行为特征，将其量化为表征情 绪的参数，得到人体动作与情绪的映射模型，在识别的过程中，通过对固定长度的运动序列 进行 动作识别 ，得到不同的 行为特征的 数值 ，将其放入映 射模型中从而得到了行为的 情绪 分量；
基于生理 信号的 情绪识别单元 用于对通过接触或非接触式方式采集的 用户生理 信号 ， 滤除生理信号中的噪声后 ，利用经典模态分解和希尔伯特-黄变换算法提取心电 、脉搏、肌 电 、皮肤电 、脑电 和呼吸 信号的生理信号的特征 ，通过线性融合的方法对上述特征进行特征 融合，并用信息增益率对特征进行选择，最后，通过分类器对特征进行识别得到基于生理信 号的情绪分量。
模块中 ，所述预处理操作包括对分割后的视频片段进行人脸检测、人眼定位、根据人眼 进行 配准 、旋转至水平、剪切归一化人脸 、直方图 均衡化 ，所述预处理操作包括上述操作的 一种 或几种。
6 .根据权利要求1所述的多模态智能情绪感知系统，其特征在于，所述基于语音的情绪 识别单元包括：
在所述分类器判断 模块中 ，采 用分类器的分类识别算法进行分类识别 ，从而得到语音 的情绪识别分量。
7 .根据权利要求1所述的多模态智能情绪感知系统，其特征在于，所述基于行为的情绪 识别单元包括：
3 .根据权利要求2所述的多模态智能情绪感知系统，其特征在于， 在表情特征提取模块中 ，对采集到的 视频序列进行关键帧提取 ，在检 测到视频序列的 关键帧 后 ，将单个表情的 一段完整的 视频序列分 割出来 ，对分 割后的 视频片段进行预处理 操作，对预处理后的视频序列提取动态特征或者静态特征，从而提取有效的表情特征； 在 训练映 射模型模块中 ，对提取到的 动态特征或静态特征 ，采 用特征降 维方法进行特 征降 维去取特征间的 相关性 ，并对降 维 后的 特征 用reliefF特征选择方法进行特征选择 加 权，使得加权后的综合特征更加具有区分能力。 4 .根据权利要求3所述的多模态智能情绪感知系统，其特征在于，在表情特征提取模块 中，关键帧提取的特征是视频序列的三维空间梯度的幅值特征或是光流应变幅值。 5 .根据权利要求3所述的多模态智能情绪感知系统，其特征在于，在所述表情特征提取
2 .根据权利要求1所述的多模态智能情绪感知系统，其特征在于，所述基于表情的情绪 识别单元包括：
表情特征提取模块 ，用于对采集到的 视频或者图 像进行预处理 操作 ，从预处理 后的图 像或者视频中提取有效的表情特征；
训练映 射模型模块 ，用于 利 用提取到的 有效的 表情特征 训练出情绪模型 ；分类器 判别 情绪模块，用于利用训练好的情绪模型，选取分类器进行情绪类型判别和情绪强度的计算， 得到表情的情绪分量。
所述基于表情的情绪识别单元通过对采集到的视频或者图像，提取有效的动态表情特 征或静态表情特征，训练出人脸表情与情绪的映射模型，在训练好的模型基础上，通过分类 器对表情特征进行识别从而得到表情的情绪分量；
基于语音的情绪识别单元从实时采集的语音信号中提取能够表征情绪变化的特征参 数 ，通过对表达情绪的 有效参数的 提取 、分析 ，进而通过分类器进行情绪的 判别 ，得到语音 的情绪分量；
统 ，包括采集模块 、识别模块 、融合模块 ，所述识 别模块包括基于表情的情绪识别单元、基于语音 的情绪识别单元、基于行为的情绪识别单元、以 及基于生理信号的情绪识别单元，所述识别模块 中的各情绪识别单元对多模态信息进行识别，从 而获得情绪分量，所述情绪分量包含情绪类型和 情绪强度，所述融合模块将所述识别模块的情绪 分量进行融合实现人体情绪的准确感知。本发明 的 有益效果是 ：相较于现有技术 ，本发明可以 更 加准确地识别出情绪，有效检测出用户在表里不 一的情况下的真实情绪。
语音提取分析模块 ，对采集到的 语音信号进行预处理 ，并从中提取能 够表征情绪变化 的特征参数；
分类器判断模块，针对表征情绪变化的特征参数，通过分类器进行情绪的判别，得到语 音情绪分量；
在所述语音提取分析模块中 ，对采集到的语音信号进行采样、量化，使之变成数字信 号 ，然后对语音信号进行分帧 、加窗的预处理 ，对原始特征向量集合进行降 维 ，得到简约向 量集，降低网络模型的复杂性，降低训练时间；
1 .一种多模态智能情绪感知系统，其特征在于，包括采集模块、识别模块、融合模块，所 述采集模块将采集到的 信息传输给所述识别模块 ，所述采集模块包括视频采集装置、语音 采集装置、动作捕捉装置以及生理信号采集装置，所述识别模块包括基于表情的情绪识别 单元、基于语音的情绪识别单元、基于行为的情绪识别单元、以及基于生理信号的情绪识别 单元，所述识别模块中的各情绪识别单元对多模态信息进行识别，从而获得情绪分量，所述 情绪分量包含情绪类型和情绪强度，所述融合模块将所述识别模块的情绪分量进行融合实 现人体情绪的准确感知；
(71)申请人 哈尔滨工业大学深圳研究生院 地址 518000 广东省深圳市南山区西丽镇 深圳大学城哈工大校区