本发明专利技术涉及多模态情感分析技术领域，尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。所述方法，包括获取情感分析多模态数据，构建情感分析模型，包括构建多头注意力机制分别对文本、图像和音频模态进行编码处理，并将编码后的各模态特征拼接融合；利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行挖掘；通过构建全连接神经网络评估联合特征中各模态对情感分析任务的贡献程度；将联合特征和加权后的各模态特征融合实现特征补充优化，利用训练完成的模型输出情感预测结果，本发明专利技术通过构建多头注意力机制对各模态进行编码处理，将编码后的模态特征进行拼接融合，从而显著提升情感分析的准确性。

　　本专利技术涉及多模态情感分析，尤其是涉及一种基于预训练与在线学习的多模态情感分析方法及系统。

　　1、随着智能终端与互联网技术迅猛发展，社交平台多模态数据（文本、图像、音频）为情感分析带来机遇，但不确定模态缺失问题凸显挑战，早期情感分析多依赖单一模态，在多模态兴起后，现有多模态情感分析（msa）模型虽多，但多假设模态完备，如低秩多模态融合算法（lmf），其在提升网络效果方面取得一定成绩，但这些模型普遍建立在文本、图像和音频三种模态始终完整可用的假设基石之上，可在现实场景里，不可控因素众多，像摄像头设备遭遇遮挡致使图像模态无法采集、突发强烈噪音干扰令音频模态缺失等情况屡见不鲜，这直接导致众多基于完整模态假设的msa模型在实际应用中陷入瘫痪境地，根本无法发挥预期功效。

　　2、当前解决模态缺失方法分生成式与联合学习两类，在生成式学习范畴内，模态翻译方法尝试通过生成与已有模态观测分布匹配的新数据来填补模态空白，联合学习途径中，相似模态补全办法则致力于从数据集中寻觅相似模态并与已有模态协同作业以完成缺失模态的补全任务，然而，这些方法大多对大量全模态数

　　2.根据权利要求1所述的一种基于预训练与在线学习的多模态情感分析方法，其特征在于，所述通过多头注意力机制分别对文本、图像和音频模态进行编码处理，包括将多模态数据经预处理转换的统一输入矩阵，各头中查询、键和值的矩阵维度参数对输入矩阵紧线性变换，利用缩放点积操作进行注意力计算，得到每个头输出的特征矩阵。

　　3.根据权利要求1所述的一种基于预训练与在线学习的多模态情感分析方法，其特征在于，所述利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行拼接，包括将融合特征输入至前馈神经网络，通过逐

　　2.根据权利要求1所述的一种基于预训练与在线学习的多模态情感分析方法，其特征在于，所述通过多头注意力机制分别对文本、图像和音频模态进行编码处理，包括将多模态数据经预处理转换的统一输入矩阵，各头中查询、键和值的矩阵维度参数对输入矩阵紧线性变换，利用缩放点积操作进行注意力计算，得到每个头输出的特征矩阵。

　　3.根据权利要求1所述的一种基于预训练与在线学习的多模态情感分析方法，其特征在于，所述利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行拼接，包括将融合特征输入至前馈神经网络，通过逐元素非线性变换对融合特征进行深度特征提取，得到三种模态的特征表示，利用多头注意力机制对各个模态的特征进行拼接操作，得到融合特征矩阵，所述融合特征计算公式为：

　　4.根据权利要求1所述的一种基于预训练与在线学习的多模态情感分析方法，其特征在于，所述利用前馈神经网络与多头注意力机制对融合特征中各模态间的交互关系进行拼接，还包括利用多头注意力机制与前馈神经网络处理融合特征矩阵，进而得到联合特征，所述联合特征计算公式为：

　　5.根据权利要求1所述的一种基于预训练与在线学习的多模态情感分析方法，其特征在于，所述根据贡献度为各模态赋予权重，包括构建包含多个神经元的全连接神经网络架构作为权重生成网络，根据联合特征的维度设置输入层神经元数量，根据模态数量设置输出层神经元数量，将联合特征输入至隐藏层执行线性变换操作，得到中间结果向量并利用双曲正切函数进行非线所述的一种基于预训练与在线学习...

　　技术研发人员：刘志中孙鸿祥初佃辉刘兆伟王莹洁郭强，申请(专利权)人：烟台大学，