语音情感识别（Speech Emotion Recognition, SER）在过去基本遵循同一种范式：输入语音，输出情绪标签。这种设定在工程上有效，但在认知层面却过于简化。
在人类交流中，情绪判断从来不是一个 “标签选择” 的过程，而是一种基于证据整合的推理行为。我们会综合语调变化、音高起伏、语速快慢、重音位置、语义内容，以及说话人的身份特征，去解释 “为什么” 这是愤怒、“为什么” 这是失落。
SpeechLLM 是否具备像人类一样解释 “为什么” 做出情绪判断的能力？
为此，研究团队提出了EmotionThinker—— 首个面向可解释情感推理（Explainable Emotion Reasoning）的强化学习框架，尝试将 SER 从 “分类任务” 提升为 “多模态证据驱动的推理任务”。
EmotionThinker 首先对语音情感识别任务本身进行了重定义，将其扩展为情感推理任务（Emotion Reasoning）。在新的设定下，模型不仅需要预测情绪标签，还需要生成一段解释，明确指出：
这种范式转变意味着，模型输出从 “标签” 升级为 “标签 + 基于证据的推理”。
它的意义并非简单延长输出，而是对优化目标的重写。模型不再只需 “预测正确”，而必须学习如何整合韵律、语义与说话人属性等多模态信号，并在解释中体现证据对齐过程。情绪识别由此从判别问题转变为结构化推理问题。
EmotionThinker 的目标并不局限于提升最终准确率，而是同时提升三方面能力：
为了支撑这一目标，研究团队首先构建了EmotionCoT-35K。这是一个包含 35,000+ 条样本的 Chain-of-Thought 风格数据集。与传统 SER 数据不同，它不仅提供情绪标签，还提供细粒度韵律描述与结构化推理解释。
这些样本明确标注了音高、能量、语速、重音、语调轮廓等线索如何支持情绪判断，使模型能够学习到 “证据 — 推理 — 结论” 之间的对应关系。
与此同时，研究团队观察到：若模型的韵律感知能力不足，其情感推理能力将受到系统性限制。因此，研究团队进一步构建了一个 EmotionThinker-Base。EmotionThinker-Base 通过监督微调增强模型对音高变化、能量波动、语速模式与重音等结构的感知能力，从而为后续的推理优化提供稳定基础。
在将语音情感识别重定义为情感推理之后，一个新的优化难题随之出现：如何在开放式生成场景中，对 “推理质量” 进行稳定强化学习？直接将推理奖励与情绪预测奖励简单叠加，会带来明显的噪声问题。一方面，模型可能生成语言上看似合理但与最终情绪判断不一致的解释；另一方面，在训练初期，模型尚未形成稳定的声学 — 语义对齐能力，过强的推理奖励容易放大早期随机偏差，导致策略梯度震荡。为此，研究团队提出了 GRPO-PTR（Progressive Trust-aware Reasoning）。
首先，研究团队采用了渐进式推理奖励调度。在训练初期，优化重点放在情绪预测的稳定性上；随着模型策略逐步收敛，逐步提高推理奖励权重，使模型从 “预测正确” 过渡到 “解释合理”。这种 reward scheduling 降低了早期高方差信号对训练稳定性的影响。
其次，研究团队引入基于一致性的可信度加权机制。当模型生成的推理与最终情绪预测保持一致时，推理奖励按完整权重计入；当二者存在冲突时，推理奖励自动衰减。该机制有效缓解了开放式生成任务中常见的 reward misalignment 问题，使解释优化始终服务于情绪判断本身。
从优化角度看，GRPO-PTR 解决的是一个更一般的问题：如何在 “预测 + 解释” 的多目标生成任务中，使结构化推理与最终决策保持对齐，并在强化学习框架下稳定收敛。
在多个标准语音情感识别基准上，EmotionThinker 同时实现了：
更重要的是，我们观察到一个关键现象：当模型被显式训练去对齐声学线索与情绪判断时，其在复杂情绪场景下的鲁棒性显著增强。这说明，情感理解的瓶颈并不仅仅在语义层面，而在于声学与语义信号的协同建模能力。换句话说：如果模型不能准确理解 “怎么说”，它就无法稳定理解 “是什么情绪”。
EmotionThinker 并不仅仅是在情感识别任务上提升准确率，而是在任务定义层面完成了一次转变。
情绪识别不应只是标签预测，而应是基于多模态证据的结构化推理过程。从 “分类” 到 “解释”，从 “标签” 到 “证据 — 推理 — 结论” 的一致性对齐，情感理解正在进入一个强调可解释性与结构协同的阶段。
当模型学会解释情绪时，它不仅在给出判断，也在展示其如何整合声学与语义线索。
本文第一作者为王丁冬，香港中文大学博士生，研究方向为语音大模型的口语理解，对话与推理 (Reasoning)，导师为 Helen Meng 教授。本文在微软刘树杰博士与Jinyu Li博士的共同指导下完成。
特别声明：以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布，本平台仅提供信息存储服务。
博士毕业于北京大学，中科院植物所研究员以通讯作者身份在一区Top期刊上发表研究论文
宁波一男子大年初八喝“开工酒”，结果开车和电动自行车撞了，交警：行拘、吊销驾驶证
返程上海遭遇虹桥站打车难：超1200人在线排队，有人打货拉拉回家，或骑两小时共享单车
“妈，我想死你了！”河南小伙离家出走1年，母亲在短视频刷到其在南京一菜场附近出现
东契奇22+9+15湖人不敌魔术 詹姆斯21+6失绝杀班凯罗36+10
限时权益后售20.59万起 奥迪E5 Sportback给出3万购车优惠