AI Paper Daily | 2026-06-30

今日抓取 100 篇,预筛选 30 篇;按过去 7 天 seen 记录去重后,本期收录 12 篇新论文。重点集中在视频/具身数据、图像生成 RL 后训练、长视频推理、具身 Agent 社会规范、代码模型执行理解和多 Agent 优化。


今日亮点

HAT-4D 把单目野外视频提升成多物体 4D 交互资产,方向很实用:如果要规模化训练具身智能和 VLA,昂贵多机位采集不可能一直是主路线。这篇的价值不只是重建效果,而是把 VLM、少量人类反馈和 4D propagation 组合成了一个可扩展数据引擎。

Qwen-Image-2.0-RL 是图像生成后训练的一篇关键技术报告。它把文本生成里常见的 RLHF/GRPO 思路搬到扩散模型,同时用 on-policy distillation 把多个任务专用策略合成一个学生模型,值得关注的是 reward system 的工程化细节。

Video-MME-Logical 和 Reflect-R1 都在打同一个痛点:多模态模型看视频时常常是在识别,而不是真的维护和更新动态证据。前者做可控诊断基准,后者做证据驱动自校正,一测一治,组合起来很有参考价值。


重点精评

1. HAT-4D: Lifting Monocular Video for 4D Multi-Object Interactions via Human-Agent Collaboration

中文名:HAT-4D:通过人类-Agent 协作将单目视频提升为 4D 多物体交互
方向:具身智能数据引擎 / 4D 重建 / VLA 训练
作者:Jiaxin Li, Yuxiang Wu, Zhenkai Zhang, Xinrui Shi et al.
链接:arXiv
Score:19

摘要翻译:论文关注如何从大量真实单目视频中提取动态 4D 多物体交互,用作具身智能和 VLA 的训练数据。现有单目 4D 重建多数只处理孤立物体,遇到多物体交互、遮挡和复杂动力学时会失效。HAT-4D 引入 VLM 和多层级人类反馈,用于解决深度歧义、交互遮挡、3D 生成和 4D 传播问题,并构建了 MVOIK-4D 开放世界基准。实验显示它在多数指标上达到 SOTA,少量人类反馈能明显改善交互重建,生成数据还可以提升下游微调表现。

精评:这篇最值得看的是“数据管线”意义,而不只是单点重建算法。具身模型现在缺的不是静态图像,而是带物理关系和时间一致性的交互数据。HAT-4D 试图从普通视频里挖出这类数据,成本结构比多机位采集更有想象力。缺点也很明显:human-in-the-loop 会限制全自动规模化,且物理合理性评价本身仍然很难。不过如果它的数据和代码质量过关,会是 VLA/Embodied AI 数据构建里很值得复用的一条路线。


2. Qwen-Image-2.0-RL Technical Report

中文名:Qwen-Image-2.0-RL 技术报告
方向:图像生成 / RLHF / GRPO / 后训练
作者:Yixian Xu, Kaiyuan Gao, Yuxiang Chen, Yilei Chen et al.
链接:arXiv
HF 热度:27 upvotes
Score:19

摘要翻译:Qwen-Image-2.0-RL 是一个扩散模型后训练管线,通过 RLHF 和 on-policy distillation 同时提升视觉质量与指令跟随能力。论文为文生图构建了覆盖对齐、美学、人像保真度的复合奖励模型,为图像编辑构建了覆盖指令遵循和身份保持的奖励系统。训练框架基于 GRPO,并加入混合 CFG、组内 reward range 过滤和分任务奖励权重校准。最后通过轨迹级 velocity matching 做 on-policy distillation,把多个任务策略蒸馏成一个学生模型。评测中 Qwen-Image-Bench 总分提升 2.61,文生图和图像编辑 Elo 分别提升 78 和 93。

精评:这是“把 LLM 后训练经验系统迁移到扩散模型”的代表性工作。值得细看三件事:奖励模型如何拆维度、GRPO 如何适配扩散采样轨迹、OPD 如何合并 T2I 和 editing 两类策略。它的工程价值很高,因为图像模型的问题已经从“会不会生成”转向“是否听话、是否稳定、是否符合人类偏好”。风险点是奖励模型可能引入新的偏差,且报告里的 benchmark 提升需要看更多第三方复现。


3. Video-MME-Logical: A Controlled Diagnostic Benchmark for Video Temporal-Logical Reasoning

中文名:Video-MME-Logical:视频时序逻辑推理的可控诊断基准
方向:视频理解 / 多模态评测 / 时序推理
作者:Hohin Kwan, Hongyu Li, Ray Zhang, Manyuan Zhang et al.
链接:arXiv
Score:18

摘要翻译:论文提出一个问题:MLLM 是否真的能基于动态视觉证据推理,而不是只识别单帧中的物体和事件?Video-MME-Logical 将视频时序逻辑推理拆成五类操作:状态追踪、顺序计数、时间排序、动态空间关系和结构组合。它通过受控对象状态、转移和逻辑依赖生成 25 个细粒度任务类别,并支持按时间跨度和推理复杂度控制难度。实验显示当前 SOTA MLLM 与人类仍有明显差距,即使用 50 万生成样本做监督微调,也不足以闭合推理差距。

精评:这是一个很好的诊断型 benchmark,因为它有意识地去掉了场景复杂度、静态识别等混杂因素,专门考“随时间维护证据”。如果未来视频模型只是刷综合榜,很容易掩盖这个缺陷;Video-MME-Logical 这种可控拆解能告诉我们模型到底卡在 state tracking、counting 还是 temporal ordering。它对训练也有启发:单纯堆视频问答数据可能不够,需要显式建模中间状态和逻辑轨迹。


4. NormGuard: Reward-Preserving Norm Constraints in Flow-Matching Reinforcement Learning

中文名:NormGuard:Flow-Matching RL 中保持奖励的范数约束
方向:扩散/Flow 生成模型 / RL 后训练 / 图像质量
作者:Tianlin Pan, Lianyu Pang, Cheng Da, Huan Yang et al.
链接:arXiv
HF 热度:3 upvotes
Score:17

摘要翻译:RL 后训练可以提升 flow-based 生成器的奖励对齐,但经常损害感知质量,而这种损伤不一定被 reward proxy 捕捉。论文发现一个稳定结构信号:NFT、AWM、DPO 三种后训练都会让每步 velocity norm 相比参考模型膨胀 5% 到 15%。推理时把范数缩回参考模型并不能修复问题,因为这种膨胀已经和模型权重共同适配。作者因此提出 NormGuard,在训练时加入 hinge penalty,只在模型速度范数超过参考范数时激活。实验显示它能在保持奖励的同时提升 MLLM 评判的图像质量和取证真实感,尤其在少步采样下收益更明显。

精评:这篇的洞察很干净:RL 后训练的“奖励上升、质量下降”可能有可观测的几何症状。它不是再堆一个 reward,而是约束模型不要通过异常 velocity norm 走捷径。对图像/视频生成后训练很有价值,因为 reward hacking 在生成模型里往往更隐蔽。需要注意的是,范数膨胀只是一个结构信号,不一定覆盖所有质量退化机制;NormGuard 更像一个低成本稳定器,而不是完整的对齐方案。


AI Agent 与软件工程

5. NormAct: A Benchmark for Hidden Social Norm Compliance in Embodied Planning

中文名:NormAct:具身规划中隐藏社会规范遵守能力基准
方向:具身 Agent / 社会规范 / 规划评测
作者:Shiyun Zhao, Xinwei Song, Tianyu Guo, Xiaomeng Gao et al.
链接:arXiv
Score:16

摘要翻译:NormAct 评估 MLLM 作为第一视角具身规划器时,是否能在完成显式目标的同时遵守隐含社会规范。它将任务评价拆成目标达成、规范遵守和整体任务成功,并把隐藏规范嵌入普通任务中。实验显示,SOTA 模型显式目标达成率有 67.3%,但隐藏规范遵守率只有 26.4%。作者进一步提出 NormPerceptor,在规划前生成与场景相关的规范线索,将任务成功率从 24.2% 提升到 46.7%。

精评:这篇很贴近真实 Agent 落地。现实任务里用户不会把所有约束都写出来,比如“拿杯子”不等于可以打翻旁边物品,“进房间找东西”不等于可以随便翻私人物品。NormAct 证明模型不是不知道社会知识,而是不知道何时激活、如何把它落到视觉场景里。这个结论对家庭机器人、AR 助手、自动化办公 Agent 都很重要。


6. Towards Evaluation of Implicit Software World Models in Coding LLMs

中文名:迈向代码 LLM 隐式软件世界模型评测
方向:Coding LLM / 软件执行理解 / SWE-bench
作者:Egor Bogomolov, Yaroslav Zharov
链接:arXiv
HF 热度:1 upvote
Score:16

摘要翻译:软件工程需要理解软件如何运行,而不仅是如何写代码。论文将支撑这种理解的内部模型称为 software world model,并认为当前代码执行 benchmark 主要覆盖控制流这一小部分。作者转向执行资源维度,让模型预测峰值内存、运行时间、方法级和行级 profiler 排名等信息,数据来自 SWE-bench Verified。结果显示,包括前沿模型在内的所有模型表现都较弱且不稳定,说明它们对软件实际执行过程的理解仍然不足。

精评:这篇短但重要。现在很多 coding agent 评测只看测试是否通过,但真实工程里,性能、内存、热点路径和副作用同样关键。模型如果只学会“补丁长什么样”,却不知道运行时会怎样,就很难做可靠的大型代码修改。这个 benchmark 可能会推动 coding model 从语法/语义补全走向执行模型学习。


7. ProMSA: Progressive Multimodal Search Agents for Knowledge-Based Visual Question Answering

中文名:ProMSA:用于知识型视觉问答的渐进式多模态搜索 Agent
方向:多模态 RAG / 工具使用 / KB-VQA
作者:ZhengXian Wu, Hangrui Xu, Kai Shi, Zhuohong Chen et al.
链接:arXiv
HF 热度:7 upvotes
Score:15

摘要翻译:知识型视觉问答需要模型把图像理解和外部知识结合起来,但现有方法多是固定 retrieve-then-generate 管线,检索器和 top-k 都是静态的。ProMSA 将模型做成渐进式搜索 Agent,面对图像-问题对时可以迭代选择图像搜索、文本搜索或停止,并在明确工具预算下去重避免重复检索。训练先用 rejection-sampling SFT 学会合法工具格式,再用 TN-GSPO 做序列级 RL,按生成长度和工具交互深度归一化更新。E-VQA 和 InfoSeek 上相对强 RAG 与 Agent baseline 均有提升。

精评:这篇把 KB-VQA 从“固定检索”推向“按需搜索”。真正的问题不只是搜不搜,而是什么时候搜图、什么时候搜文本、什么时候停止。它也提醒多模态 Agent 的 RL 不能只按最终答案更新,否则工具调用长度和深度会让训练非常不稳。适合关注多模态搜索、网页 Agent、视觉问答系统的人跟进。


8. Towards Automating Scientific Review with Google’s Paper Assistant Tool

中文名:用 Google Paper Assistant Tool 自动化科学审稿
方向:科研 Agent / 审稿辅助 / AI for Science
作者:Rajesh Jayaram, Drew Tyler, David Woodruff, Corinna Cortes et al.
链接:arXiv
HF 热度:3 upvotes
Score:14

摘要翻译:AI 正在加速科学发现,但也让传统同行评审更难跟上论文产出速度。论文提出四级 AI-人类协作科学评估分类,并介绍 Paper Assistant Tool,一个用于深度科学审阅和验证的 Agent 框架。PAT 可以读取完整论文,检查理论结果、验证实验、提出修改建议并识别潜在缺陷。通过 inference scaling,PAT 在 SPOT 数学错误基准上相比 zero-shot recall 提升 34%。它还在 STOC 和 ICML 两个会议的预提交场景中试点,用于提前发现关键错误、减轻审稿人负担。

精评:这篇不是普通“用 LLM 审稿”的 demo,而是把 AI 审稿放进科研流程里讨论:预提交检查、错误发现、审稿人保留最终控制权。它真正有价值的地方在于把自动验证定位成“减轻审稿认知负担”,而不是替代审稿。风险也很大:如果评估标准不透明,容易让作者过拟合机器审稿偏好;如果模型漏检严重,也可能制造虚假的安全感。


9. GBC: Gradient-Based Connections for Optimizing Multi-Agent Systems

中文名:GBC:用于优化多 Agent 系统的基于梯度连接
方向:多 Agent 系统 / 归因 / Prompt 优化
作者:Xiaocheng Yang, Abdulrahman Alrabah, Dilek Hakkani-Tür, Gokhan Tur
链接:arXiv
HF 热度:8 upvotes
Score:13

摘要翻译:LLM 多 Agent 系统依赖角色分工和结构化交互解决复杂任务,但常受协调失败和细粒度 credit assignment 缺失限制。GBC 将多 Agent 系统建模为计算图,引入基于梯度的连接权重,在 token 级量化某个 Agent 输出对下游 Agent 的影响。通过构建归因图并反向传播任务损失,它可以更精确地定位错误来源并做针对性 prompt 优化。作者实现了 AgentChord,用 prefix-based gradient computation 提升效率;在 MultiWOZ 和 tau-bench 上超过强单 Agent 和多 Agent baseline。

精评:多 Agent 系统现在最大的问题之一是“看起来热闹,但不知道谁在拖后腿”。GBC 的思路是把 Agent 工作流当成可归因计算图,不再只看最终成功/失败。这对复杂工作流优化很有启发,尤其是需要多个专门角色协作的客服、代码、研究 Agent。限制在于它依赖可取梯度或近似梯度的设置,闭源黑箱模型场景可能比较难直接套用。


视频理解、评测与机器人

10. Reflect-R1: Evidence-Driven Reflection for Self-Correction in Long Video Understanding

中文名:Reflect-R1:长视频理解中的证据驱动反思与自校正
方向:长视频理解 / 自我纠错 / 多阶段 RL
作者:Shuimu Chen, Yuteng Chen, Yuanshen Guan, Zebang Cheng et al.
链接:arXiv
Score:14

摘要翻译:现有长视频理解的反思机制多依赖模型内部闭环自我反思,缺少外部客观证据,容易陷入盲目自信而无法纠错。Reflect-R1 提出第一个证据驱动长视频自校正框架,由直觉、验证和仲裁三阶段组成。它会动态检索视觉证据验证初始判断,并通过多次时间搜索解决冲突,从而打破幻觉循环。为缓解多阶段反思 RL 的策略耦合问题,作者提出 SD-GRPO,按不同推理阶段独立计算 advantage,并构建 120K 训练样本。VideoMME 和 LongVideoBench 上达到 SOTA,并提升真实纠错率。

精评:这篇和 Video-MME-Logical 可以一起看。长视频模型的“反思”如果只是让模型再想一遍,本质上还是在同一个错误信息池里打转。Reflect-R1 强调检索客观帧证据,再用仲裁解决冲突,方向更可靠。它的关键价值在于把自校正从语言内部过程拉回视觉证据本身,这对减少视频问答幻觉很重要。


11. PerceptionRubrics: Calibrating Multimodal Evaluation to Human Perception

中文名:PerceptionRubrics:将多模态评测校准到人类感知
方向:多模态评测 / 细粒度感知 / Rubric Scoring
作者:Yana Wei, Hongbo Peng, Yanlin Lai, Liang Zhao et al.
链接:arXiv
Score:13

摘要翻译:PerceptionRubrics 试图解决 benchmark 分数饱和但真实场景仍脆弱的问题。它从整体语义匹配转向原子级视觉审计,包含 1,038 张信息密集图像和 12,000 多条实例级 rubric。rubric 来自 Circular Peer-Review 共识流程,并拆成 Must-Right 必须正确事实与 Easy-Wrong 易错细节。评分采用 gated scoring:如果 mandatory visual facts 失败,会触发强二元惩罚,而不是被线性平均稀释。实验揭示模型常能验证碎片元素,却无法满足严格合取约束;开源与闭源前沿模型仍存在约 8% 感知差距。

精评:这篇抓住了多模态评测的一个老问题:平均分太温柔。真实场景里一个关键事实错了就是错了,不该被其它无关细节抵消。Must-Right/Easy-Wrong 加 gated scoring 很适合评估视觉可靠性,尤其适合图表、医学图、工业图、密集场景。它对生成模型评测也有启发:先保证关键事实,再谈整体观感。


12. Translation as a Bridging Action: Transferring Manipulation Skills from Humans to Robots

中文名:把平移作为桥接动作:从人类向机器人迁移操作技能
方向:机器人学习 / 人类数据迁移 / VLA
作者:Sijin Chen, Kaixuan Jiang, Haixin Shi, Yanhui Wang et al.
链接:arXiv
HF 热度:33 upvotes
Score:13

摘要翻译:论文研究能否从人类动作中学习新的双手机器人操作技能。人类动作数据便宜、丰富且多样,是扩展机器人学习的重要资源,但人手与平行夹爪在接触模式上差异很大,手部 6DoF 姿态估计也容易有噪声。作者认为直接从人类数据学习包含旋转的动作信号并不理想,于是提出桥接动作表示:初始头戴相机坐标系中的相对手腕平移,这是人类和机器人都共享的动作空间。模型采用类似 pi_0 的 VLA 架构,用 interleaved action tokens 和 attention masking 处理不同 embodiment 中缺失的动作分量。实验显示该表示比嘈杂 6DoF 人类动作更有效,并随人类数据规模增加而提升。

精评:这篇的观点很朴素但有力:别强行把人手动作拟合成机器人动作,先找双方真正共享的低噪声动作空间。相对手腕平移牺牲了一部分细节,但换来了跨 embodiment 可迁移性和数据规模化潜力。对低成本收集人类演示、再迁移到双臂机器人很有参考价值。后续要看它在需要精细旋转、复杂接触和工具使用任务上的上限。


去重记录

本期跳过过去 7 天已报道论文 18 篇,包括 JetSpec、ViQ、Qwen-Image-Agent、Verification Horizon、OpenThoughts/相关 Agent 与多模态评测论文等。
本期新增收录 arXiv ID:2606.28215、2606.27608、2606.27828、2606.27771、2606.27826、2606.27406、2606.27974、2606.28277、2606.27922、2606.28322、2606.28187、2606.28133。


生成时间:2026-06-30 08:00 Asia/Shanghai;数据来源:HuggingFace Papers、arXiv;去重窗口:过去 7 天 seen_papers.json。

Licensed under CC BY-NC-SA 4.0