AI Paper Daily | 2026-07-04

生成时间:2026-07-04 08:00 Asia/Shanghai

本轮流程:fetch_papers.py 抓取 100 篇,prefilter.py 预筛到 30 篇;读取 ~/DailyReport/.seen_papers.json 后,跳过过去 7 天已报道论文 12 篇,最终收录 18 篇。今天的主线是 agent 评测继续变细:数据科学 agent、低成本 agent 能力代理评测、长期有界记忆、策略自进化、技能使用过程评估都在出现。多模态侧则集中在 360 度具身搜索、专业视频 grounding、长视频理解、空间推理和扩散模型训练/量化。

今日重点

1. AgenticDataBench: A Comprehensive Benchmark for Data Agents

  • arXiv: https://arxiv.org/abs/2607.01647
  • 方向:Data agents / benchmark
  • 作者:Zhaoyan Sun, Shan Zhong, Daizhou Wen, Jiaxing Han, Guoliang Li et al.
  • 日期:2026-07-02
  • 评分:21

精评:这篇很适合关注“数据分析 agent 到底能不能替代真实工作流”的人。AgenticDataBench 不只做若干 toy task,而是覆盖 15 个垂直领域,并包含 5 个真实 B2B 金融科技用例。它的关键设计是用 Stack Overflow 大规模任务解法抽取 data science skills,再按 skill composition 去覆盖任务空间,所以评测能落到更细粒度的能力诊断,而不是只给一个总分。

摘要翻译:数据科学需要从异构原始数据中提取可行动洞察,但这一过程高度依赖人工。LLM data agents 有望自动化数据科学工作流,不过现有领域缺少能覆盖多样真实场景、并提供细粒度标注的综合 benchmark。AgenticDataBench 收集 15 个垂直领域的真实数据集和任务,包含来自头部金融科技公司的真实 B2B 用例;同时从 Stack Overflow 任务解法中抽取数据科学技能,并用技能覆盖度指导任务去重、选择和生成。作者还评估了当前数据 agent,并开源 testbed 以支持 skill-level 分析。

2. EAGLE-360: Embodied Active Global-to-Local Exploration in 360^circ

  • arXiv: https://arxiv.org/abs/2607.02479
  • 方向:360 panorama / embodied visual search
  • 作者:Jingtao Xu, Zizhuo Lin, Jianwen Sun, Yi Yang, Yawei Luo
  • 日期:2026-07-02
  • 评分:20

精评:EAGLE-360 把 360 度全景搜索从“切成局部小视角慢慢找”推进到“先用全局先验,再逐步收缩局部搜索”。这很重要,因为全景图有极区畸变和柱面连续拓扑,普通 MLLM 的位置编码与视角假设都不太适配。作者用 RoPE Rolling 建模连续拓扑,并配合 14K+ 4K panoramas、70K+ VQA 对话和 SFT+GRPO 训练,让模型具备空间推理和 tool-calling 搜索能力。

摘要翻译:标准 MLLM 在常规视觉理解上表现很好,但迁移到 360 度全景环境中的主动视觉搜索时,会受到极区畸变和柱面连续拓扑影响,目标检测准确率下降。已有方法依赖局部视角切片,缺少全局全景先验,因此搜索短视、效率低,也难以在目标不在当前视野时恢复。EAGLE-360 使用全局到局部的具身主动探索框架,先建立整体视角,再通过迭代推理逐步缩小搜索空间;模型采用 RoPE Rolling,并用大规模全景数据和 SFT+GRPO 训练。实验显示其在 360 度视觉搜索中达到新 SOTA,准确率相对 base model 近 8 倍提升。

3. AnyGroundBench: A Specialized-Domain Benchmark for Video Grounding in Vision-Language Models

  • arXiv: https://arxiv.org/abs/2607.02269
  • 方向:Video grounding / domain adaptation
  • 作者:Rintaro Otsubo, Ryo Fujii, Reina Ishikawa, Taiki Kanaya, Kanta Sawafuji et al.
  • 日期:2026-07-02
  • 评分:19

精评:AnyGroundBench 的问题意识很扎实:现在很多 STVG 评测停留在日常场景 zero-shot,但真实应用往往是动物、工业、体育、手术、公共安全等专业领域。作者没有只测 zero-shot,还提供 domain adaptation 训练子集,用来观察模型能否适应罕见概念和复杂时空动态。结果显示当前 VLM 在 zero-shot 和 ICL adaptation 下都不理想,说明“通用视频理解”在专业场景里还远没稳。

摘要翻译:VLM 在时空视频 grounding 上有潜力,但当前评测主要局限于日常场景 zero-shot benchmark,和专业领域应用存在明显脱节。AnyGroundBench 面向动物、工业、体育、手术和公共安全五个专业领域,收集新视频并配合高质量时空标注,同时提供训练子集用于系统评估领域适应能力。作者评测 15 个先进 VLM,发现模型面对专业领域时,无论 zero-shot 泛化还是 ICL 式适应都失败明显,暴露了当前模型在时空推理上的关键短板。

4. PACE: A Proxy for Agentic Capability Evaluation

  • arXiv: https://arxiv.org/abs/2607.02032
  • 方向:Agent benchmark proxy / model routing
  • 作者:Yueqi Song, Lintang Sutawika, Jiarui Liu, Lindia Tjuatja, Jiayi Geng et al.
  • 日期:2026-07-02
  • 评分:19

精评:PACE 解决的是一个非常现实的成本问题:SWE-Bench、GAIA 这类 agent benchmark 昂贵、慢、基础设施复杂,模型迭代期没法频繁跑。它尝试用一小组 carefully selected atomic eval instances 去预测完整 agent benchmark 表现。结果在 14 个模型、4 个 agent benchmark 上做到 LOOCV MAE 低于 4%、Spearman 超过 0.80,成本不到完整评测 1%。这对模型开发、筛选和路由都很有用。

摘要翻译:完整运行 agent benchmark 往往耗时数天、成本可达数千美元,而普通非 agentic LLM benchmark 则快速便宜。PACE 构建 proxy benchmark:从现有非 agentic eval 中选择一小组 atomic capability instances,并通过回归预测目标 agent benchmark 分数。实例选择结合 target-relevance local selection 和 globally informative global selection。实验显示 PACE-Bench 能以远低于 1% 的成本可靠预测 agent benchmark 表现,并揭示不同 agent benchmark 独有的能力需求。

5. AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents

  • arXiv: https://arxiv.org/abs/2607.02255
  • 方向:Long-horizon agents / memory contract
  • 作者:Xiangchen Cheng, Yunwei Jiang, Jianwen Sun, Zizhen Li, Chuanhao Li et al.
  • 日期:2026-07-02
  • 评分:18

精评:AgenticSTS 的重点是“记忆契约”。很多长期 agent 直接把过去 observation、tool call、reflection 全塞进 prompt,虽然简单,但每个记忆层到底产生什么影响很难隔离。它提出 typed retrieval 的 bounded contract:每次决策从新 user message 组装,不附加原始跨决策 transcript。用 Slay the Spire 2 作为长程任务环境,这个设计适合研究不同显式 memory layer 如何影响 agent 决策。

摘要翻译:长期 LLM agent 的记忆定义了未来每次决策能看到什么。最简单做法是把过去所有观察、工具调用和反思追加到 prompt,但这会让上下文混杂,并难以隔离单个记忆组件的效果。AgenticSTS 提出有界记忆契约:每次决策都由 typed retrieval 组装新的用户消息,不附加原始跨决策 transcript,从而保持 prompt 长度有界,并允许逐层 ablation。作者在 Slay the Spire 2 中实例化该 testbed,发布 298 条完成轨迹、memory/skill 快照、prompt records 和分析脚本。

Agent 与评测

EvoPolicyGym: Evaluating Autonomous Policy Evolution in Interactive Environments

精评:EvoPolicyGym 把 agent 自我改进约束在更可控的 setting 里:agent 反复编辑一个 executable policy system,并在固定交互预算下根据反馈改进。它不把结果简化成最终成功率,而是记录 trajectory-level diagnostics,用来区分 agent 如何分配预算、如何把反馈转成参数调优、是否找到任务合适机制。这个 benchmark 比开放式软件工程更容易分析“迭代改策略”的能力。

摘要翻译:自主 agent 越来越需要通过反馈改进可执行策略,但现有评测往往只看最终分数,或和开放式软件工程进展混在一起。EvoPolicyGym 定义 Autonomous Policy Evolution:一个 harness-model agent 在固定交互预算下反复编辑 executable policy system。该 benchmark 由紧凑交互式 RL 环境组成,用于评估 agent 如何迭代改进策略。实验显示 GPT-5.5 在 16 个环境中整体排名最高,同时 benchmark 也提供轨迹级诊断,揭示强 policy evolution 不只依赖单次任务胜利,还依赖发现任务机制并在有限反馈中持续细化策略。

SkillCoach: Self-Evolving Rubrics for Evaluating and Enhancing Agentic Skill-Use

精评:这篇和技能系统很贴近。现实 skill repository 里技能会重叠,final verifier 成功并不代表 agent 选对了技能、按步骤执行、正确组合、最后做了检查。SkillCoach 从真实 rollouts 中演化 skill-grounded process rubrics,分别评估 skill selection、following、composition 和 reflection。它的价值是把 outcome signal 和 process quality 分开,让训练数据筛选不再只靠最终成败。

摘要翻译:Skills 正成为 LLM agents 的可复用操作层,编码 SOP、领域规则、工具流程、脚本和验证例程。但在真实技能库中,技能重叠会让可靠使用变难;最终 verifier 成功又过于粗粒度,无法区分 agent 是否误选技能、跳步骤、组合错误或遗漏最终检查。SkillCoach 从真实 rollout 中生成并演化 process rubrics,沿四个维度评估轨迹:技能选择、技能遵循、技能组合和基于技能的反思。实验显示演化 rubric 能提升评估质量,暴露 final accuracy 隐藏的失败,并为提升 agentic skill-use 提供更强监督信号。

From Holistic Evaluation to Structured Criteria: Rubrics Across the Evolving LLM Landscape

精评:这篇更像一篇综述/框架论文,把 rubric 从“评测表格”提升成连接 evaluation、RL 和 safety alignment 的统一抽象。它提出 rubric 有三个层次:评估层把整体判断拆成可验证维度;训练层提供比标量 reward 更密集的过程信号;内生层则从模型行为中动态出现并推动自我改进。今天和 SkillCoach 一起看,会发现 rubric 正在成为 agent 训练和评测里的核心中间语言。

摘要翻译:随着 LLM 走向开放式自主 agent,用于评估和引导行为的机制也需要演进。本文将 rubric 定义为明确标准集合,把复杂质量判断转化为结构化、可行动的标准,并认为它在评估、强化学习和安全对齐中的反复出现并非偶然。作者系统整理 rubric 的设计、构造、优化和在评估/训练中的作用,并分析其可靠性、执行保真度、理论约束和安全风险。rubric 作为桥梁,把人类价值期望转译成机器可学习信号。

多模态、视频与空间理解

Video-Oasis: Rethinking Evaluation of Video Understanding

精评:Video-Oasis 提醒一个老问题:很多视频 benchmark 的样本其实不用看视频也能答。作者审计发现 55% 现有 benchmark 样本可在没有视觉输入或时间上下文时解决;过滤这些捷径后,SOTA 模型只比随机猜测略好。这篇的贡献不是又做一个 benchmark,而是给 benchmark 做诊断套件,帮助区分模型到底是在看视频、做语言推理,还是靠先验知识猜。

摘要翻译:视频理解很复杂,benchmark 表现可能来自视觉感知、语言推理或知识先验。现有很多 benchmark 聚焦高层推理,但缺少共享的 video understanding 评估准则。Video-Oasis 是一个可持续诊断套件,用于系统审计已有视频理解 benchmark。审计显示 55% 样本无需视觉输入或时间上下文即可解答;过滤捷径后,剩余 video-native challenge 暴露出明显能力差距,当前 SOTA 模型仅略高于随机猜测。作者希望该工作能为构建更严谨的视频 benchmark 提供基础。

Graph it first! Enabling Reasoning on Long-form Egocentric Videos through Scene Graphs

精评:这篇走的是“先结构化,再推理”的路线。长程第一视角视频由于 token 限制只能大幅抽帧,动态状态变化和上下文很容易丢。EgoSG 把对象、属性、空间关系和交互随时间压成文本 scene graph,让 MLLM 能在上下文预算内覆盖完整视频。它适合和 raw-frame video LLM 方案对照看:并不是所有视频理解都必须直接把帧塞进模型。

摘要翻译:当前 MLLM 处理长视频时受限于输入 token,只能大量下采样帧,尤其在第一视角视频中会损失复杂动态、频繁状态变化和移动相机造成的时间上下文。作者提出 Egocentric Scene Graphs,作为时间对齐的结构化表示,捕捉对象、属性、空间关系和交互。视频被转为紧凑文本 scene graph 后,模型可以在 token 预算内高效推理完整序列。该方法在 HD-EPIC VQA 上达到 SOTA,说明结构化时序表示能弥合长视频理解和上下文限制。

OmniView-Space: Reinforcing Spatial Reasoning via Multi-Perspective Spatial Mapping

精评:OmniView-Space 关注的是 MLLM 的空间一致性,尤其是多步推理中需要不断切换 camera-centric、object-centric 或 direction-centric 参照系的时候。它把重建几何重新锚定成 query-aligned visual cognitive map 和 textual spatial graph,再训练模型按 query 主动选择 ego anchor 并请求对应证据。亮点是最后还有 cognitive-map distillation,让模型减少对外部几何管线的依赖。

摘要翻译:空间智能要求模型具备超越物体识别的一致场景表征。现有方法通常依赖文本推理或 3D 重建,但在多步推理中,尤其当问题要求动态切换不同参照系时容易失败。OmniView-Space 包含三部分:Multi-Perspective Spatial Mapping 将重建几何转为 query-aligned visual cognitive map 和 textual spatial graph;Tool-Guided Egocentric Reasoning 训练模型主动选择所需 ego anchor;Cognitive-Map Distillation 用生成的轨迹和 ego-frame reward 训练模型使用自生成 cognitive maps。实验显示它在单图和多图空间推理上达到 SOTA,并减少对外部几何 pipeline 的依赖。

训练、系统与生成模型

Is One Layer Enough? Training A Single Transformer Layer Can Match Full-Parameter RL Training

精评:这篇很有冲击力:RL post-training 的收益并不均匀分布在所有层,训练单个 transformer layer 在很多情况下就能恢复 full-parameter RL 的大部分收益,甚至超过全参训练。更有意思的是,高贡献层稳定集中在中间层,跨 Qwen3/Qwen2.5、GRPO/GiGPO/Dr. GRPO、多任务域都成立。如果可复现,这会影响 RL 微调的参数高效化和机制解释。

摘要翻译:RL 已成为 LLM post-training 的关键组成,但很少有人理解 RL adaptation 在 transformer 各层如何分布。作者系统研究 layer-wise RL training,发现训练单个 transformer layer 就能恢复 full-parameter RL 的大部分提升,有时甚至更好。论文提出 layer contribution 衡量单层训练恢复 full RL improvement 的比例。跨 7 个模型、2 个模型家族、3 种 RL 算法和数学、代码、agentic decision-making 等任务,RL 收益稳定集中于少数层,尤其是中间层,而输入和输出附近层贡献较低。

Program-as-Weights: A Programming Paradigm for Fuzzy Functions

精评:PAW 很像把“用大模型解决每次输入”改成“用大模型编译一个可复用小程序”。对于日志重要性判断、坏 JSON 修复、按意图排序搜索结果这类 fuzzy functions,直接调用 LLM API 有本地性、可复现性和价格问题。PAW 用 4B compiler 从自然语言规格生成 adapter,让 0.6B interpreter 本地执行,性能接近 Qwen3-32B 直接 prompting,但内存约为五十分之一。这是非常值得盯的“模型即编译器”路线。

摘要翻译:许多日常编程任务很难用清晰规则实现,越来越多被外包给大语言模型 API,但这带来本地性、可复现性和成本问题。作者提出 fuzzy-function programming:把自然语言规格编译成紧凑、可本地执行的神经 artifact。Program-as-Weights 用一个在 FuzzyBench 上训练的 4B compiler,为冻结轻量 interpreter 生成参数高效 adapters。0.6B Qwen3 interpreter 执行 PAW programs 时,性能接近 Qwen3-32B 直接 prompting,推理内存约为五十分之一,并可在 MacBook M3 上以 30 tokens/s 运行。

Denser neq Better: Limits of On-Policy Self-Distillation for Continual Post-Training

精评:这篇是在给“on-policy self-distillation 可以稳定持续学习”的乐观叙事降温。SDPO 在 teacher signal 稳定且对齐时能加速领域内 specialization,但 OOD 泛化差,在 continual post-training 中遗忘更强,甚至会 collapse。dense self-distillation 会造成参数和 response space 漂移,并放大格式伪影。结论很实用:on-policy 数据不等于持续学习保障,dense token supervision 也不能默认当 stabilizer。

摘要翻译:Continual post-training 需要模型获取新知识同时保留旧能力。近期工作认为 on-policy learning 可缓解遗忘,其中 on-policy self-distillation 很有吸引力。本文通过 SDPO 重新审视这一观点,发现 SDPO 在 teacher signal 稳定、对齐良好时可加速领域内 specialization,但难以泛化到 OOD 场景;在持续 post-training 中,SDPO 遗忘更强,甚至可能崩塌,而 GRPO 等 on-policy RL 方法适应更保守、更能保留旧能力。进一步分析显示,dense self-distillation 会诱发更大漂移,并通过 teacher-student loop 放大高频格式伪影。

OrbitQuant: Data-Agnostic Quantization for Image and Video Diffusion Transformers

精评:OrbitQuant 针对 DiT PTQ 的麻烦点:activation distribution 会随 timestep、prompt、guidance branch 变化,传统校准要跟着 checkpoint 或模态重新 fit。它用 randomized permuted block-Hadamard rotation 把量化放到 normalized rotated basis 中,让每个坐标围绕固定已知边缘分布,从而用单一 Lloyd-Max codebook 跨 timesteps、prompts 和 layers。能从图像迁移到视频且无需每模态调参,工程价值很强。

摘要翻译:Diffusion transformers 在图像和视频生成中表现强,但多步采样和参数增长让推理成本高。PTQ 是自然解决方案,不过 DiT activation 会随 timestep、prompt 和 guidance branch 变化,导致既有方法需要为不同 checkpoint 或模态重新校准。OrbitQuant 是一种数据无关的 weight-activation quantizer,通过 normalized rotated basis 避免 range estimation。在该基下,RPBH rotation 让坐标分布固定,使单个 Lloyd-Max codebook 能服务给定输入维度的所有 timesteps、prompts 和 layers。该方法可从图像迁移到视频,并在 FLUX.1、Z-Image-Turbo、Wan 2.1 和 CogVideoX 上刷新多个低比特 PTQ 结果。

From SRA to Self-Flow: Data Augmentation or Self-Supervision?

精评:这篇是对 Self-Flow 机制解释的拆解。Self-Flow 认为提升来自不同噪声等级 token 之间的交互,干净 token 帮助推断更 noisy token;但作者用 Attention Separation 保持双时间步输入,同时阻断不同噪声级 token 的 attention,结果性能不降反升。这说明增益可能主要来自 noise-dimension data augmentation,而不是所谓跨噪声自监督交互。对 diffusion training trick 的机制理解有帮助。

摘要翻译:Representation alignment 能加速 DiT 训练并提高生成质量。SRA 和 Self-Flow 等 self-alignment 方法进一步去掉对外部预训练 encoder 的依赖,但 Self-Flow 中 dual-time scheduling 的作用机制仍缺少检验。作者提出 Attention Separation:保留 Self-Flow 的双 timestep 输入,但阻断不同噪声级 token 之间的 attention。实验发现移除这种交互并不会降低性能,甚至可提升表现,说明 Self-Flow 的改进主要来自噪声维度上的数据增强。作者进一步结合 self-representation alignment、dual-timestep 和 attention-separation augmentation,在 ImageNet 上验证有效性。

Optimizing Visual Generative Models via Distribution-wise Rewards

精评:这篇针对视觉生成 RL 的 reward hacking 和 mode collapse。sample-wise reward 逐样本打分,容易把所有样本往同一方向推,牺牲 diversity 并引入异常。distribution-wise reward 直接看一组样本的分布,但计算成本高,所以作者用 subset-replace strategy 只更新 reference set 的小子集来给 reward。另一个有意思点是用 RL 优化 post-hoc model merging coefficients,尝试缓解常规 RL 中 SDE 带来的 train-inference mismatch。

摘要翻译:视觉生成中的 RL 常用 sample-wise reward,但这容易导致 reward hacking、图像多样性下降和视觉异常。本文提出用 distribution-wise rewards 微调生成模型,让优化目标更好对齐真实数据分布。与逐样本 reward 不同,distribution-wise reward 会考虑样本集合的分布,从而缓解所有样本独立朝同一方向优化导致的 mode collapse。为降低估计成本,作者提出 subset-replace strategy,只替换生成 reference set 的小子集来提供 reward 信号;同时将 RL 用于优化 post-hoc model merging coefficients。实验显示该方法显著改善多种 base model 的 FID,并在提升感知质量的同时保留多样性。

Seed2.0 Model Card: Towards Intelligence Frontier for Real-World Complexity

精评:Seed2.0 更像模型卡和产品化能力展示,价值在于它把评估系统从用户真实需求和复杂场景出发,而不是只堆标准 benchmark。它强调长尾知识、复杂指令遵循、长程任务可靠性、推理、视觉理解和搜索能力。因为是 model card,技术细节密度可能不如方法论文,但适合观察大模型厂商如何定义“真实世界复杂任务”的能力边界。

摘要翻译:Seed2.0 是一个面向复杂真实任务的模型系列。其方法从识别用户真实需求开始,通过抽象这些需求和现实复杂场景来构建可靠、前瞻的评估系统。基于该评估系统,Seed2.0 聚焦两个长期挑战:长尾知识和复杂指令遵循,并提升模型在复杂长程任务中的可靠性。此外,Seed2.0 在推理智能、视觉理解和搜索能力方面也有强表现。作者通过大量真实用例展示 Seed2.0 已开始具备处理初步复杂现实任务的能力。

今日观察

今天最值得细读的三条线:第一是 agent 评测的成本和结构化问题,PACE、AgenticDataBench、AgenticSTS、EvoPolicyGym、SkillCoach 都在把“agent 强不强”拆成更便宜、更可诊断、更过程化的指标;第二是视频/空间理解 benchmark 开始反省捷径,AnyGroundBench 和 Video-Oasis 都说明现有 VLM 的泛化与真实视频理解还不能靠总分乐观判断;第三是训练和部署效率继续向机制层下钻,单层 RL、PAW、OrbitQuant、distribution-wise reward 都在减少“全量大模型每次都硬算”的浪费。

本次收录 arXiv IDs:2607.01647, 2607.02479, 2607.02269, 2607.02032, 2607.02255, 2607.02440, 2607.01874, 2607.01232, 2603.29616, 2607.02512, 2607.01763, 2606.25842, 2607.00881, 2606.08625, 2607.00248, 2607.02461, 2607.02508, 2607.02291.

本次跳过过去 7 天已报道 arXiv IDs:2607.00461, 2607.01071, 2607.00902, 2606.32034, 2606.32032, 2607.01213, 2607.01131, 2607.00678, 2607.00446, 2607.00466, 2607.00272, 2606.32033.

Licensed under CC BY-NC-SA 4.0