2.根据权利要求1所述的一种多模态情绪分析系统,其特征在于,所述情绪数据集的获取步骤具体为:
3.根据权利要求2所述的一种多模态情绪分析系统,其特征在于,所述表情关键点集的获取步骤具体为:
4.根据权利要求3所述的一种多模态情绪分析系统,其特征在于,所述多维情绪特征的获取步骤具体为:
5.根据权利要求4所述的一种多模态情绪分析系统,其特征在于,所述情绪预测模型的获取步骤具体为:
6.根据权利要求5所述的一种多模态情绪分析系统,其特征在于,所述情绪分析结果的获取步骤具体为:
7.一种多模态情绪分析方法,其特征在于,根据权利要求1-6任一项所述的一种多模态情绪分析系统执行,包括以下步骤:
本发明涉及神经网络技术领域,具体为一种多模态情绪分析系统及方法,系统包括:情绪数据采集模块采集面部表情图像、语音样本、文本输入,整合为多模态数据,并添加时间戳标记,建立情绪数据集。本发明中,通过整合面部表情、语音和文本输入创建多维情绪特征,这一方法在提升情绪分析的深度和广度方面带来显著的优势,利用特征点检测、音调和语速参数分离以及情感词汇的识别,极大地增强了数据的利用效率,使得情绪分析更为精确,此外,采用序列模型处理时间序列数据,增强了对情绪变化动态的捕捉能力,这不仅提升了对实时情绪变化的响应速度,也增强了预测未来情绪状态的能力,有效提高了人机交互的适应性和服务的个性化水平。