AI Paper Daily | 2026-07-27

今日概览

共收录 1 篇论文(去重跳过 29 篇近 7 天已报道论文) | Audio LLM: 0 篇 | LLM Training: 0 篇 | AI Agents: 0 篇 | 其他值得关注: 1 篇

来源: HuggingFace Papers(1) | arXiv 补充抓取(0,接口超时/限流)

今日预筛选结果与近几日重合度很高,唯一未报道的新论文聚焦多模态大模型的视觉情感智能。它把开放式情感理解改写为可判别的陈述验证任务,并同时提供大规模数据、综合基准和专用模型。Audio LLM、LLM Training 与 AI Agents 方向今日没有未报道的新论文。

重点推荐 ⭐

  1. MVEI & EmObserver:通过 Emotion Statement Judgement 将开放式视觉情感理解转成陈述真伪判断,在保留输入表达力的同时显著降低评测与数据标注难度。

🔊 Audio LLM

今日无未报道的新论文。

🧠 LLM Training

今日无未报道的新论文。

🤖 AI Agents

今日无未报道的新论文。

📌 其他值得关注

MVEI & EmObserver: Empowering MLLM-Oriented Visual Emotional Intelligence via Emotion Statement Judgement

将开放式视觉情感理解重构为情感陈述验证任务,并用一套数据、基准和专用模型推进 MLLM 的情感智能评测与训练。

  • 作者: Daiqing Wu, Dongbao Yang, Jiashu Yao, Hongrui Zhang, Can Ma, Yu Zhou, Sicheng Zhao
  • 来源: HuggingFace Papers(0 upvotes)
  • 链接: arXiv | PDF | 代码仓库
  • 关键贡献: 提出 Emotion Statement Judgement(情感陈述判断,ESJ),用陈述验证形式替代传统封闭标签或完全开放式回答,兼顾丰富的输入表达和可判别输出。基于 ESJ,作者构建了高效数据流水线 INSETS、46.2 万规模的 INSETS-462k 数据集、覆盖四类能力的 MVEI 基准,以及经过多阶段训练的情感导向多模态大模型 EmObserver。
  • 实验结果: 在 MVEI 上对多种通用 MLLM 的系统评测揭示了当前视觉情感智能的细粒度能力差异;在多个 Affective Image Content Analysis(情感图像内容分析,AICA)基准上的实验表明,EmObserver 在准确性、泛化能力和推理忠实度方面表现良好。摘要未披露具体数值或与最佳基线的量化差距。
  • 精评: ESJ 的价值在于把“图像可能唤起哪些情绪”这种多解、强语境问题,转换为易标注、易评测的验证接口,适合扩展训练数据和稳定比较模型。工程上仍需重点检查陈述生成过程是否引入偏差,以及二元判断能否覆盖文化差异、主观感受和复合情绪;代码仓库已给出,但摘要明确写的是后续发布,当前不能视为已开源。
  • 相关技术: Emotion Statement Judgement, affective image content analysis, visual emotional intelligence, multimodal large language models, multi-stage emotion training
  • 代码/权重: 尚未发布(作者声明将发布)
📄 Abstract 中文翻译

Affective Image Content Analysis(情感图像内容分析,AICA)旨在识别并理解视觉内容所引发的情绪,是迈向 Artificial General Intelligence(通用人工智能,AGI)不可或缺的一步。然而,尽管 Multimodal Large Language Models(多模态大语言模型,MLLM)发展迅速,近期发布的模型仍普遍缺少对其视觉情感智能的系统评估。我们认为,这一缺口源于传统 AICA 范式与 MLLM 开放式、指令驱动特性之间的结构性不匹配;进一步分析揭示出四项主要局限:遗漏合理回答、情绪分类体系有限、忽视语境因素,以及标注工作耗费大量人力。

为克服这些障碍,我们提出 Emotion Statement Judgement(情感陈述判断,ESJ),这是一种陈述验证式任务形式:它在保留输入空间表达能力的同时,将输出限制为可判别的判断。我们进一步开发了 INSETS,这是一条节省人力的数据流水线,可大规模实例化 ESJ;它构建了 INSETS-462k,并支撑了经过严格优化的 MVEI 基准。该基准覆盖情感极性、情绪解释、场景语境和感知主观性。除评估之外,我们还构建了 EmObserver,这是一个面向情感的 MLLM,通过精心设计的多阶段方案在 ESJ 任务上进行优化。

在 MVEI 上对广泛类型 MLLM 的大规模评估,为当前人工视觉情感智能提供了细粒度洞察;同时,在多个 AICA 基准上的实验展示了 EmObserver 的准确性、泛化能力与推理忠实度。总体而言,这些结果确立了 ESJ 作为一种实用任务形式的价值、MVEI 作为综合基准的作用,以及 EmObserver 作为推动 MLLM 视觉情感智能发展的先进基线。代码将发布于:https://github.com/wdqqdw/EmObserver 。


Generated on 2026-07-27 08:00 CST | Sources: arXiv, HuggingFace

Licensed under CC BY-NC-SA 4.0