AI Paper Daily | 2026-07-09

抓取 100 篇，预筛 30 篇；按 ~/DailyReport/.seen_papers.json 去掉过去 7 天已报道论文后，本期可选 17 篇，全部收录。今天的主线很集中：机器人和 embodied world model 明显升温，RynnWorld 连发 teleop 与 4D world model 两篇；agent 方向从「会不会操作」继续转向「怎么评测、怎么蒸馏、怎么闭环改进」；基础模型侧则关注长上下文数据合成、OCR VLM、统一视觉生成，以及 AR/diffusion/self-speculation 混合解码。

今日重点

最值得优先读的是 2607.06558、2607.06559、2607.05943、2607.06118 和 2607.05722。RynnWorld-Teleop 与 RynnWorld-4D 可以合起来看：前者把真实机器人遥操作替换成由手部姿态驱动的生成式世界模型，目标是低成本造 imitation learning 轨迹；后者进一步把 RGB、depth、optical flow 统一成 4D 动态表征，让世界预测更接近机器人动作学习需要的几何和运动结构。

agent 方向今天比较扎实。SearchEyes 用知识图谱搭搜索世界，把数据、环境和 reward anchor 统一起来，解决多模态搜索 agent 训练时环境不可复现、奖励稀疏的问题。WebRetriever 则把 web agent 评测扩大到 800 个网站和 1550 个任务，并强调导航成功不能代表真实任务完成。底层推理效率方面，Nemotron-Labs-Diffusion 值得单独看，它把自回归、diffusion 和 self-speculation 放进同一架构，目标不是只做一个新解码技巧，而是让模型能按部署场景切换推理模式。

Embodied World Models / Robotics

RynnWorld-Teleop: An Action-Conditioned World Model for Digital Teleoperation

arXiv: 2607.06558 | PDF
作者: Haoyu Zhao, Xingyue Zhao, Hangyu Li, Biao Gong, Kehan Li et al.
日期: 2026-07-07
预筛分: 21 | HuggingFace: 67 upvotes

一句话: RynnWorld-Teleop 用动作条件生成式世界模型替代真实机器人遥操作，把操作者手部姿态流变成可迁移到不同机器人本体的 imitation learning 轨迹。

精评: 这篇的关键不是单纯「视频生成更真」，而是把机器人数据采集的瓶颈从物理硬件、场地和操作者时间中解耦出来。操作者不再直接控制真实机器人，而是用 hand-pose stream 驱动 robot-centric world model，从单张参考图生成高保真的第一视角视频；姿态流本身又作为 embodiment-agnostic action label，可以通过 retargeting 转到目标机器人。最有价值的点是它把生成过程蒸馏到单次推理，在单 H100 上做到 40+ FPS，这意味着它不是离线数据增强玩具，而开始接近可交互的数据引擎。如果 zero-shot Sim2Real 和真实数据增强的结论能稳定复现，这条路线会明显改变 dexterous manipulation 的数据成本结构。

中文摘要翻译: 扩展机器人学习需要大量、多样的轨迹数据，但当前数据采集受限于物理遥操作：每个示范都绑定操作者时间、具体硬件和工作空间。作者提出 digital teleoperation，用生成式世界模型替代真实机器人，从而把数据采集从物理约束中解耦。在该框架中，操作者的手部姿态流驱动以机器人为中心的生成式世界模型，从单张参考图合成高保真第一视角视频。记录下来的姿态流作为与机器人本体无关的动作标签，可通过标准 retargeting 转移到任意目标机器人，由此得到完整的状态-动作轨迹。作者实现的 RynnWorld-Teleop 集成深度感知骨架条件、人到机器人渐进训练的视频 Diffusion Transformer，以及流式自回归蒸馏，把生成过程压缩成单次推理，在单张 H100 上实现 40+ FPS 的实时交互式生成。仅用 RynnWorld-Teleop 生成数据训练的策略，在多种灵巧双臂任务上实现有效的 zero-shot Sim2Real；把数字遥操作数据加入真实数据集也能稳定提升成功率。

RynnWorld-4D: 4D Embodied World Models for Robotic Manipulation

arXiv: 2607.06559 | PDF
作者: Haoyu Zhao, Xingyue Zhao, Siteng Huang, Xin Li, Deli Zhao et al.
日期: 2026-07-07
预筛分: 17 | HuggingFace: 72 upvotes

一句话: RynnWorld-4D 把未来 RGB、深度和光流放进统一 diffusion 过程里生成，用 4D 动态表征服务机器人闭环动作预测。

精评: 这篇和 RynnWorld-Teleop 是一组很强的组合拳。2D 视频 world model 对机器人来说常常差一层：它能预测「看起来会发生什么」，但不一定捕捉到低层控制需要的几何结构和运动场。RynnWorld-4D 用 RGB-DF，也就是同步 RGB、depth、optical flow，把外观、3D 结构和时间运动捆在一起建模。更实用的是它不要求部署时反复 denoise，而是让 inverse dynamics head 直接消费内部 4D representation，单次 forward 输出动作。254.4M frames 的 Rynn4DDataset 也说明这类 embodied world model 正在进入大规模数据工程阶段。

中文摘要翻译: 开放世界中的机器人操作不仅需要识别场景外观，还要预测其 3D 结构在交互下如何运动。作者认为同步 RGB、深度和光流，也就是 RGB-DF，是一种有物理基础的表征，能捕捉场景底层 4D 动态。相比 2D 像素视频，这种多模态协同把视觉外观、几何结构和时间运动对齐，使表征空间更接近机器人系统所需的低层末端执行器动作，从而缩小世界预测与策略学习之间的距离。作者提出 RynnWorld-4D，一个从单张 RGB-D 图像和语言指令出发，在统一 diffusion 过程中共同生成未来 RGB 帧、深度图和光流的生成模型。它采用三分支架构，结合跨模态注意力和逐帧 3D RoPE，确保外观、几何和运动一致演化。作者还构建超过 2.544 亿帧的 Rynn4DDataset 1.0，并提出 RynnWorld-4D-Policy，用 inverse dynamics head 单次前向读取内部 4D 表征，绕过昂贵的多步 denoising，闭环输出机器人动作。实验显示该方法在真实灵巧双臂操作任务上达到 SOTA，尤其擅长空间精度和时间协调要求高的任务。

From Foundation to Application: Improving VLA Models in Practice

arXiv: 2607.06403 | PDF
作者: Wei Wu, Fangjing Wang, Fan Lu, He Sun, Shi Liu et al.
日期: 2026-07-07
预筛分: 16 | HuggingFace: 11 upvotes

一句话: LingBot-VLA 2.0 从数据、动作空间和预测式动态建模三方面改进 VLA，让模型更接近真实机器人部署。

精评: 这篇偏实践路线，价值在于把 VLA 从实验室 manipulation benchmark 往真实平台推。作者整理约 60,000 小时数据，其中 50,000 小时是覆盖 20 种机器人配置的轨迹，另有 10,000 小时 egocentric human video；动作空间也扩到头、腰、移动底盘和灵巧手，而不是只处理机械臂末端。future prediction 被当成 proxy task，并结合视频表征和深度估计提供语义与几何先验。这类论文不一定在方法上最花哨，但对判断 VLA 落地需要哪些工程补丁很有参考价值。

中文摘要翻译: 尽管 VLA foundation model 已有进展，实验室条件与真实应用之间的差距仍阻碍其实际部署。作者提出 LingBot-VLA 2.0，在三类功能上改进 LingBot-VLA。第一，提升跨任务和跨本体泛化：重构数据处理流水线，整理约 60,000 小时预训练数据，包括覆盖 20 种机器人配置的 50,000 小时机器人轨迹，以及 10,000 小时第一视角人类视频。第二，在双臂硬件平台之外扩展动作空间，支持头部、腰部、移动底盘和灵巧手自由度，使机器人能处理更复杂的实际任务。第三，引入预测式动态建模以提升时间推理，把未来预测作为代理任务，并利用视频表征模型提供语义先验、深度估计模型提供几何线索。GM-100 benchmark 的 generalist 设置验证了这些改动的收益；得益于覆盖全身自由度的预训练数据，LingBot-VLA 2.0 在两个机器人平台上展现出强跨本体长程移动操作能力。

arXiv: 2607.05765 | PDF
作者: Zihan Wang, Seungjun Lee, Yinghao Xu, Gim Hee Lee
日期: 2026-07-07
预筛分: 16

一句话: Image2Sim 从 posed RGB-D 序列构建实时神经仿真环境，把真实扫描的视觉质量和合成仿真的规模性结合起来。

精评: embodied navigation 的老问题是：真实扫描数据逼真但规模小，传统合成环境可扩展但 sim-to-real gap 大。Image2Sim 的拆法比较聪明，先用 feed-forward feature Gaussian 做 3D 空间锚定，再用 Geometry-Aware One-Step Pixel Flow 把稀疏 noisy projection 变成高质量 panoramic RGB-D observation。它还把视频和图像批量转成近 20K 个可交互场景，并合成 1000 万级导航样本。如果这个 pipeline 稳定，神经仿真会从渲染替代品变成 embodied agent 的数据生产线。

中文摘要翻译: embodied navigation 希望构建能理解多模态目标、在 3D 空间中推理并可靠到达真实目标位置的 agent，但进展受限于缺乏可扩展、高保真且有物理基础的交互环境。真实扫描数据视觉逼真但规模有限，合成仿真器更易扩展却常有较大 sim-to-real gap。作者提出 Image2Sim，一个从 posed RGB-D 图像序列构建高质量交互环境的实时神经仿真框架。核心思想是把 3D 空间锚定与照片级观测合成解耦：场景构建阶段，Image2Sim 用 feed-forward feature Gaussian 模型单次前向将 RGB-D 观测提升为 3D feature-Gaussian 表征；渲染阶段，Geometry-Aware One-Step Pixel Flow 模型把稀疏、噪声较大的 Gaussian projection 转成高质量 panoramic RGB-D 观测。Image2Sim 还作为自动 embodied 数据引擎，从视频和图像构建近 20K 个交互场景，合成超过 1000 万条导航训练样本。完全在这些神经环境中训练的导航模型，在主要 benchmark 上显著提升，并能有效 zero-shot 迁移到真实世界。

Multimodal / Web Agents

SearchEyes: Towards Frontier Multimodal Deep Search Intelligence via Search World Simulation

arXiv: 2607.05943 | PDF
作者: Zhengbo Jiao, Yiming Cheng, Yilei Jiang, Kaituo Feng, Rui Huang et al.
日期: 2026-07-07
预筛分: 21 | HuggingFace: 14 upvotes

一句话: SearchEyes 用 typed knowledge graph 构建可复现搜索世界，让多模态搜索 agent 的训练数据、环境和 step-level reward anchor 来自同一套结构。

精评: 多模态 deep search agent 的难点是结构断裂：数据合成时有的 metadata 到环境里丢了，环境又依赖外部搜索引擎导致不可复现，RL 奖励通常只有整条轨迹的稀疏信号。SearchEyes 的贡献是把 Wikidata5M 的视觉-知识交集做成 search world，并用 Perception-Knowledge Chains 采样受约束的多跳路径，保留每一跳实体 metadata。这样同一套结构既定义了环境，也定义了过程奖励锚点。HaPO 用这些锚点做 step-level credit assignment，不需要额外训练 process reward model。对开源多模态搜索 agent 来说，这种可复现的模拟搜索世界比继续调用真实搜索引擎更适合系统训练和消融。

中文摘要翻译: 训练多模态搜索 agent 进行多跳推理仍然困难，原因在于现有流水线在训练数据、搜索环境和奖励信号之间存在结构断裂：合成出的结构 metadata 会被丢弃，环境依赖不可复现的外部搜索引擎，RL 奖励也往往停留在轨迹级稀疏信号。作者提出 SearchEyes，用 typed knowledge graph 作为模拟搜索世界的骨架，统一这三部分。他们提出 Perception-Knowledge Chains，在 Wikidata5M 的视觉-知识交集上采样受约束的多跳路径，保留 hop-level 实体 metadata；这些 metadata 同时定义自包含搜索世界和 step-level reward anchors。作者还提出 Hop-Anchored Policy Optimization，复用这些锚点进行逐步 credit assignment，无需单独训练 process reward model。在六个多模态知识密集 benchmark 上，SearchEyes 在开源多模态搜索 agent 中达到 SOTA，SearchEyes-27B 平均比最强开源 baseline 高 6.2 分。

WebRetriever: A Large-Scale Comprehensive Benchmark for Efficient Web Agent Evaluation

arXiv: 2607.06118 | PDF
作者: Wei Dong, Tianyu Fu, Zhe Yu, Hanning Wang, Anyang Su et al.
日期: 2026-07-07
预筛分: 19

一句话: WebRetriever 用 800 个网站、1550 个任务和三类评测协议，更细地评估 web agent 的导航、知识辅助交互和端到端信息提取能力。

精评: 这篇是 AgentGym2 之后又一个「把 agent 评测拉回真实任务」的工作。很多 web agent benchmark 只看是否导航到目标页面，或者只用 screenshot 做 judge，容易漏掉查询语义、筛选条件、信息提取和后续任务完成质量。WebRetriever 的规模和领域覆盖更接近真实部署，还提出 NavEval，用更丰富的交互上下文做 LLM-as-Judge。它最重要的结论是导航成功和真实应用有效性之间有明显断层，这对产品评测很关键：只测 click path 会高估 agent。

中文摘要翻译: 随着 web agent 在自动任务执行中展现能力，如何稳健评估其导航和任务完成表现成为关键问题。现有 benchmark 有三个局限：规模不足、领域多样性有限，难以评估跨领域泛化；主流 LLM-as-Judge 方法无法充分捕捉细粒度交互语义，尤其是精确查询和筛选操作；多数 benchmark 强调导航成功，却忽略真实部署所需的端到端任务要求。作者提出 WebRetriever，一个包含 800 个网站和 1550 个任务的大规模 benchmark，覆盖消费、专业和企业等领域及多种用户意图。作者还提出 NavEval，一个利用视觉截图之外丰富交互上下文的 LLM-as-Judge 框架，并在多个人类判断数据集上达到 SOTA 对齐。WebRetriever 设置了三种互补协议：导航能力、知识辅助交互、以及带信息提取的端到端任务完成。实验显示，不同协议下性能差异很大，说明导航成功本身不足以预测真实应用效果。

Light-Omni: Reflex over Reasoning in Agentic Video Understanding with Long-Term Memory

arXiv: 2607.05511 | PDF
作者: Chang Nie, Jiaju Wei, Junlan Feng, Chaoyou Fu, Caifeng Shan
日期: 2026-07-06
预筛分: 18 | HuggingFace: 19 upvotes

一句话: Light-Omni 用全局 multimodal script 和 parametric latent state 替代重型迭代推理，让长视频 agent 以更低延迟完成记忆检索和响应。

精评: 长程视频理解 agent 很容易变成「侦探式」循环：反复搜索、聚合证据、再决定动作，准确但慢且耗显存。Light-Omni 的判断是，这种重推理很多时候是在弥补全局上下文不足和 retrieval 语义错位。它维护一个有限大小的 global state，把 episodic memory 层级合并成 multimodal script；再基于这个全局上下文生成 parametric latent state，直接驱动 action 和 retrieval embedding。结果是比 M3-Agent 平均高 2.4% accuracy，同时 12.1 倍加速、GPU memory efficiency 提升 2.6 倍。对实时视频助理或长期监控类 agent 来说，这种「先组织记忆，再反射式响应」比每次都深推理更现实。

中文摘要翻译: Agentic video understanding 让模型通过长期记忆自主处理并响应连续、长程的多模态流。但高级视频 agent 往往依赖「侦探式」迭代推理来控制动作、搜索证据和聚合信息，带来很高成本和延迟。作者认为，这类重型推理主要是在补偿全局上下文不足和检索语义错位。论文提出 Light-Omni，一个用于反射式、轻量视频理解的多模态 agent 框架。它通过双重上下文状态在单次前向中即时构建所需上下文。首先，系统维护一个 global state，即从 episodic memory 持续整合得到的有限大小 multimodal script，作为 Light-Omni 的全局上下文；通过层级合并，它既保留近期细节又总结过去事件。其次，在该全局上下文条件下，模型生成 parametric latent state，直接驱动自主动作并生成 retrieval embedding，以极低延迟完成响应。得益于这种耦合设计，Light-Omni 避免迭代推理，同时实现语义对齐检索和反射式响应。实验显示它在多个视频 benchmark 上有效，平均比 M3-Agent 高 2.4% accuracy，速度提升 12.1 倍，GPU memory efficiency 提升 2.6 倍，并可作为记忆系统提升现有 MLLM 的性能和效率。

TurnOPD: Making On-Policy Distillation Turn-Aware for Efficient Long-Horizon Agent Training

arXiv: 2607.05804 | PDF
作者: Yuhang Zhou, Kai Zheng, Haoling Li, Dengyun Peng, Can Xu et al.
日期: 2026-07-07
预筛分: 14 | HuggingFace: 10 upvotes

一句话: TurnOPD 把长程 agent 的 on-policy distillation 做成 turn-aware budgeting，减少无效尾部 rollout，并让深层决策轮次获得足够 KL 监督。

精评: OPD 对 agent 训练很自然：学生在自己的轨迹上行动，再向强教师对齐。但长程任务里，完整 rollout 往往浪费在尾部弱监督上，trajectory-level KL 又容易被浅层 token 主导，前几步对齐后后面真正决策的 turn 反而训练不够。TurnOPD 用两个预算控制器解决：一个根据 turn statistics 自适应决定 rollout depth，另一个把 loss 从 token-level 逐步转向 turn-balanced。它的工程意义是清楚的：在相同 wall-clock budget 下，把训练算力集中到更有信息量的决策轮次。

中文摘要翻译: On-policy distillation 让学生策略在自己的轨迹上匹配更强教师，是训练语言 agent 的有前景框架。但它在长程 agentic 任务中的应用还不充分。作者指出 vanilla agent OPD 有两个低效点：完整长程 rollout 往往把 wall-clock 资源浪费在只提供弱而噪声 KL 监督的尾部轮次；trajectory-level KL objective 又会把多数 loss 集中在浅层 token 上，初始行为对齐后更深的决策轮次训练不足。作者提出 TurnOPD，一种用于高效长程 agent on-policy distillation 的 turn-level budgeting 策略。它包含两个预算控制器：adaptive rollout-depth budgeting 用 probe-based turn statistics 决定 rollout 长度；progressive turn-normalized loss budgeting 逐渐把 KL 权重从 token-level 转向 turn-balanced supervision。在 ALFWorld、WebShop 和 Multi-Hop Search 上，TurnOPD 在相同训练时间预算下取得更高验证准确率，并推进 accuracy-time frontier。

SWE-Review: Closing the Loop on Issue Resolution with Agentic Code Review

arXiv: 2607.06065 | PDF
作者: Ruoyu Wang, Jierun Chen, Shaowei Wang, Chaofan Tao, Sidi Yang et al.
日期: 2026-07-07
预筛分: 15 | HuggingFace: 3 upvotes

一句话: SWE-Review 把 AI 生成 PR 的单次提交变成 generate-review-revise 闭环，用 reviewer agent 诊断、反馈并推动修订。

精评: coding agent 的下一步不是一次性写 PR，而是像真实工程流程一样接受 review、理解反馈、修补问题。SWE-Review 的设定很现实：给定 issue 和 AI-generated PR，reviewer agent 要探索 repo，判断 PR 是否可接受，并给结构化修订意见。它同时提出 SWE-Review-Bench 和 SWE-Review-Traj，分别用于评估 review 正确性、修订后收益，以及缓解 reviewer 训练数据稀缺。这个方向和生产 coding agent 很贴：真正有用的系统需要闭环检查、回滚和迭代，而不是只拼一次 resolve rate。

中文摘要翻译: Coding agent 越来越多地为真实软件 issue 生成 PR，但一次性 PR 生成仍是开环的：PR 被提出后没有系统化 review、诊断和修订。作者提出 SWE-Review，用 agentic code review 关闭这个循环。给定一个 issue 和 AI 生成的 PR，reviewer agent 会探索仓库，判断 PR 是否应被接受，并提供结构化修订反馈。作者提出 SWE-Review-Bench，用于衡量 review 正确性和下游修订有用性；还整理 SWE-Review-Traj 数据集，以研究 agentic review 的更广泛应用并弥补开放 reviewer 训练数据不足。实验显示，agentic review 能通过 generate-review-revise 循环持续改进 PR，在决策准确率和修订后 resolve rate 上超过单轮固定上下文 review，还能迁移到 issue-resolution 模型并支持有效的 test-time scaling。

Long Context / OCR / Vision Foundation Models

LongCrafter: Towards Diverse Long-Context Understanding via Evidence-Graph-Guided Instruction Synthesis

arXiv: 2607.06160 | PDF
作者: Chenhao Yuan, Yinhao Xu, Shuwen Xu, Xizhi Yang, Jiaxiang Liu et al.
日期: 2026-07-07
预筛分: 16 | HuggingFace: 8 upvotes

一句话: LongCrafter 用任务层级 taxonomy 和 evidence graph 合成长上下文 SFT 数据，让指令难度、证据定位和回答 faithfulness 都可控。

精评: 长上下文 SFT 数据合成最大的问题是看起来长，实际任务窄、难度低，回答还不一定真由上下文支持。LongCrafter 的设计比较扎实：先把长上下文理解分成 local/shallow 与 global/deep，再细化到 32 类任务；生成时构造 task-aligned long contexts，并显式分解为 evidence graphs，要求回答严格 grounded 在定位到的 evidence spans 上。它在 LongBench、LongBench v2 和 LooGLE 上超过其他 SFT baselines，尤其高难任务收益大，还缓解 lost in the middle。对训练长上下文模型来说，这种 evidence-first 的数据合成比简单拼接文档更可信。

中文摘要翻译: 合成长上下文 SFT 数据是提升 LLM 长上下文理解能力的可扩展方法，但现有方法有三类局限：任务覆盖窄、指令难度不足、缺乏 faithfulness supervision。作者提出 LongCrafter，一个结合层级任务 taxonomy 和 evidence-grounded pipeline 的结构化合成框架。taxonomy 把长上下文理解组织为 local/shallow 和 global/deep 两级，并产生 32 种细粒度任务类型，作为全局生成先验。在 taxonomy 指导下，LongCrafter 构造任务对齐的长上下文，把它们分解为显式 evidence graphs 来建模跨段依赖，并生成严格基于定位 evidence spans 的 instruction-response pairs，从而保证难度可控、推理 faithful 且可追踪。用 LongCrafter 数据微调的模型，在 Qwen2.5-7B 和 LLaMA-3.1-8B 上超过所有 SFT baseline，甚至超过官方 post-trained models，在高难任务上收益最大。进一步分析显示 LongCrafter 数据更丰富、难度分布更好，训练出的模型能更稳健地定位证据，缓解 lost in the middle。

HunyuanOCR-1.5: Making Lightweight OCR VLMs Faster and Better

arXiv: 2607.04884 | PDF
作者: Gengluo Li, Xingyu Wan, Shangpin Peng, Weinong Wang, Hao Feng et al.
日期: 2026-07-06
预筛分: 16 | HuggingFace: 3 upvotes

一句话: HunyuanOCR-1.5 在不换 backbone 的情况下，用 DFlash 加速长结构化 OCR 输出，并用 Agentic Data Flow 系统补齐长尾 OCR 能力。

精评: OCR VLM 的现实痛点很明确：文档、表格、公式这类长结构化输出慢，而且长尾场景很多。HunyuanOCR-1.5 的效率改进来自把 DFlash 适配到 OCR decoding，报告 6.37x Transformer inference speedup、vLLM 下 2.14x speedup。能力侧的 Agentic Data Flow 也值得看，它把模型弱点转成可执行数据需求，自动搜索材料、验证质量、开发 pipeline，补古文字 OCR、细粒度图表解析、多图文档 QA、低资源多语种解析和幻觉评估。这代表 OCR 专用 VLM 进入「模型架构 + agentic data engine」联合优化阶段。

中文摘要翻译: 作者提出 HunyuanOCR-1.5，一个轻量端到端 OCR 专用视觉语言模型。HunyuanOCR 在单一端到端 VLM 中统一文档解析、文字检测、信息抽取、图文翻译和多图文档理解。基于 HunyuanOCR-1.0 的轻量架构，1.5 版本不重新设计 backbone，而是系统提升效率和能力。效率方面，作者把 DFlash 适配到 OCR decoding，显著降低密集文档、表格、公式等长结构化输出的延迟，同时保持输出分布；HunyuanOCR-1.5 获得 6.37 倍 Transformer 推理加速，在 vLLM 下获得 2.14 倍加速，是轻量 OCR VLM 中推理最快的一类。能力方面，作者提出 Agentic Data Flow，一个 agent 驱动的数据构建系统，把模型弱点转化为可执行数据需求，并自动完成材料搜索、质量验证和 pipeline 开发。它显著提升古文字 OCR、细粒度图表解析、多图文本 QA、低资源多语种解析和文档幻觉评估等长尾能力。作者表示将发布模型权重和训练代码。

Vision as Unified Multimodal Generation

arXiv: 2607.06560 | PDF
作者: Xiaoyang Han, Jianhua Li, Kewang Deng, Zukai Chen, Xuanke Shi et al.
日期: 2026-07-07
预筛分: 15 | HuggingFace: 31 upvotes

一句话: SenseNova-Vision 把检测、OCR、关键点、分割、深度、法线、相机位姿等视觉任务都表达成统一多模态生成问题。

精评: 这篇是「不要给每个视觉任务接专用 head」路线的代表。它把异构视觉任务映射到统一模型原生的文本和图像生成空间：符号输出生成文本，密集空间预测生成图像，组合任务生成混合文本和图像。关键在于把传统 CV annotation 转成 instruction-response corpus，让通用 multimodal model 通过同一种接口学会不同任务。这个方向的上限很高，因为它让 category、color、region 这类语言条件自然组合；风险也在于评估和输出规范会变复杂，尤其是 dense geometry 和精确分割任务是否能稳定替代专用系统。

中文摘要翻译: 作者把计算机视觉表述为统一多模态生成：异构视觉任务都在统一多模态模型原生的文本和图像生成空间中表达，不使用任务专用架构。在这个表述下，SenseNova-Vision 用自然语言指令和可选视觉提示指定任务、目标区域或视角以及解码约定，并为符号输出生成文本，为密集空间预测生成图像，为组合任务生成混合文本和图像输出。为支持大规模训练，作者把多种计算机视觉标注转换成兼容这些生成空间的 instruction-response examples，形成覆盖文本、图像和混合目标的 SenseNova-Vision Corpus。模型从现成预训练统一多模态模型出发，主要在该 corpus 上训练，并加入辅助多模态数据保持能力，不需要任务专用预测头或架构修改。最终模型覆盖检测、OCR、关键点估计、分割、深度估计、表面法线预测、点图和相机位姿估计等任务，并支持通过语言定义类别、颜色、区域等视觉条件组合。实验显示，单一统一模型可以匹配领先任务专用系统，说明 unified multimodal generation 是把视觉能力整合进通用基础模型的可扩展路线。

CanvasAgent: Enabling Complex Image Creation and Editing via Visual Tool Orchestration

arXiv: 2607.05465 | PDF
作者: Hairui Zhu, Yiying Yang, Tengjin Weng, Ziyu Lu, Xiao Yao et al.
日期: 2026-07-06
预筛分: 14 | HuggingFace: 8 upvotes

一句话: CanvasAgent 学习多轮编排生成、定位、分割、编辑、合成、OCR 和增强等视觉工具，处理复杂图像创作与编辑任务。

精评: 单个图像生成或编辑模型很难覆盖真实创作流程，因为复杂请求通常需要先生成素材、定位对象、分割区域、局部编辑、合成、读文字、再增强。CanvasAgent 的定位是「manipulation-centered visual creation」而不是简单视觉问答或搜索。CanvasCraft 的 140K 可执行轨迹和 10K RL task specifications 是这篇的核心资产；训练上先 SFT 学推理-动作轨迹，再用 GRPO 和 outcome/process hybrid reward 优化。这个方向很像 coding agent 的工具链化：最终质量不只取决于底层工具强弱，还取决于 agent 如何检查中间状态并动态改计划。

中文摘要翻译: 复杂图像创建和编辑往往不能由单个生成或编辑模型完成。用户请求可能涉及图像合成、对象定位、区域分割、选区编辑、中间资产合成、文字读取和最终增强。这类任务把多模态 agent 从感知增强推理推向以操控为中心的视觉创作，工具需要主动改变视觉状态，而不只是检查它们。现有多模态工具使用 agent 多数针对感知、搜索或特定编辑领域，缺少大规模可执行图像创作轨迹监督。作者提出 CanvasCraft，一个面向复杂图像创建和编辑的大规模多模态工具使用数据集，以及 CanvasAgent，一个通过多轮交互学习编排异构视觉工具的 tool-augmented multimodal agent。CanvasCraft 包含 140K 条完整标注的可执行轨迹和 10K 个 RL 任务规格。CanvasAgent 先用 SFT 学习可执行推理-动作轨迹，再用结合结果级和过程级信号的 hybrid reward 进行 GRPO 优化。rollout 时，CanvasAgent 会检查中间结果、追踪视觉资产，并根据变化中的视觉状态调整工具决策。实验同时评估最终图像质量和轨迹行为，证明该 agent 与数据集对复杂多工具图像创作工作流有效。

SAGE: Spatial-visual Adaptive Graph Exploration for Efficient Visual Place Recognition

arXiv: 2509.25723 | PDF
作者: Shunpeng Chen, Changwei Wang, Rongtao Xu, Xingtian Pei, Yukun Song et al.
日期: 2026-07-07
预筛分: 15

一句话: SAGE 在视觉地点识别训练中动态融合地理邻近和当前视觉相似性，用在线 geo-visual graph 和 hard sample mining 提升细粒度地点区分。

精评: VPR 的难点是外观、视角和环境变化很大，简单 descriptor fine-tuning 或固定采样策略很难把训练集中真正难分的地点组织好。SAGE 的思路是训练时重建在线 geo-visual graph，让候选邻域随 embedding landscape 动态变化，再用 weighted clique expansion 采样高信息量 place neighborhoods。Soft Probing module 用残差权重增强 patch descriptor 的局部区分性，而 backbone 仍保持 DINOv2 冻结并做参数高效微调。虽然不是 LLM 核心论文，但对 embodied navigation、AR 定位和机器人场景重识别都有参考价值。

中文摘要翻译: 视觉地点识别要求在外观、视角和环境变化很大的情况下，稳定检索带地理标签的图像。以往方法关注 descriptor 微调或固定采样策略，却忽略训练过程中空间上下文和视觉相似性的动态相互作用。作者提出 SAGE，即 Spatial-visual Adaptive Graph Exploration，一个统一训练流水线，通过改进局部特征聚合、训练样本组织和 hard sample mining 来增强细粒度空间-视觉区分。SAGE 引入轻量 Soft Probing module，在双线性聚合前从训练数据学习 patch descriptor 的残差权重，增强有辨识度的局部线索。训练过程中，方法重构在线 geo-visual graph，融合地理邻近和当前视觉相似性，让候选邻域反映不断演化的 embedding landscape。为集中学习最有信息量的地点邻域，SAGE 从高亲和 anchor 播种 cluster，并用 greedy weighted clique expansion sampler 迭代扩展。基于冻结 DINOv2 backbone 和参数高效微调，SAGE 在八个 benchmark 上达到 SOTA，并在 SPED 上仅用 4096D global descriptor 获得 100% Recall@10。

Generative Worlds / Decoding

AlayaWorld: Long-Horizon and Playable Video World Generation

arXiv: 2607.06291 | PDF
作者: AlayaWorld Team, Kaipeng Zhang, Chuanhao Li, Yifan Zhan, Yongtao Ge et al.
日期: 2026-07-07
预筛分: 16 | HuggingFace: 71 upvotes

一句话: AlayaWorld 是开源 full-stack playable world generation 框架，覆盖数据、模型、训练、推理加速和部署，让用户实时导航、战斗、施法和召唤。

精评: 这篇和 embodied world model 有相通之处，只是落点在 playable world。视频 world model 的想法是从当前状态和用户交互自回归生成未来观测，替代传统游戏里手工制作所有场景组件。AlayaWorld 的价值在 full-stack：不是只放一个 demo 模型，而是把数据准备、模型架构、训练、推理加速、部署、评测工具和文档都开出来。它对游戏当然重要，但对 embodied intelligence 也有外溢价值，因为可交互长程世界生成本质上是在学「动作影响未来观测」。

中文摘要翻译: 游戏世界传统上依赖劳动密集型制作流水线，开发成本高、定制困难、部署后修改昂贵。视频世界模型提供了不同范式：不再显式制作虚拟环境的每个组件，而是根据当前世界状态和用户交互自回归合成未来观测，使可玩世界可以在线生成。这类模型同时在游戏记录和真实视频上训练，能捕捉多样视觉外观和物理动态，为游戏之外的交互应用，包括 embodied intelligence，带来新机会。作者提出 AlayaWorld，一个用于构建交互式生成世界的全栈开源框架。AlayaWorld 支持开放式实时交互，用户可以自由导航，并执行战斗、施法、召唤怪物等动作。框架在模块化、可扩展架构中统一数据准备、模型架构、模型训练、推理加速和部署。作者同时发布可复现流水线、参考实现、评估工具和完整文档，为生成式世界模型的未来研究和实时应用提供实用基础。

Nemotron-Labs-Diffusion: A Tri-Mode Language Model Unifying Autoregressive, Diffusion, and Self-Speculation Decoding

arXiv: 2607.05722 | PDF
作者: Yonggan Fu, Lexington Whalen, Abhinav Garg, Chengyue Wu, Maksim Khadkevich et al.
日期: 2026-07-07
预筛分: 14 | HuggingFace: 6 upvotes

一句话: Nemotron-Labs-Diffusion 在一个模型里统一 AR、diffusion 和 self-speculation decoding，让模型按部署并发和吞吐需求切换推理模式。

精评: 这篇的看点在「tri-mode」而不是单纯 diffusion LM。作者用联合 AR-diffusion objective 训练，使 AR 提供左到右语言先验，diffusion 提供 lookahead planning；self-speculation 模式下，diffusion 负责 draft，AR 负责 verify。它报告 Nemotron-Labs-Diffusion-8B 在相近准确率下每次 forward 解码 token 数是 Qwen3-8B 的 6 倍，在 GB200 + SGLang 的 SPEED-Bench 上吞吐提升 4 倍。现在推理成本越来越受部署场景影响，一个能在不同并发、延迟和吞吐约束下切换模式的 LM 架构，比单一解码方法更有生产吸引力。

中文摘要翻译: 作者提出 Nemotron-Labs-Diffusion，一个在单一架构中统一自回归、diffusion 和 self-speculation decoding 的三模式语言模型。模型用联合 AR-diffusion objective 训练，可以在不同部署设置和并发水平下切换模式以保持高吞吐。研究显示：第一，AR 和 diffusion 目标互补，diffusion 改善 lookahead planning，AR 提供左到右语言先验；第二，在 self-speculation 模式中，diffusion 负责 draft，AR 负责 verify，在接受率和真实设备效率上超过 multi-token prediction 方法；第三，speed-of-light 分析显示 diffusion 长期潜力很大，在最优 sampler 下每次 forward 可比 self-speculation 多生成 76.5% token。作者扩展到 3B、8B、14B 参数，包括 base、instruct 和 vision-language models，整体在准确率和速度上超过开源 AR 与 diffusion LM。例如 Nemotron-Labs-Diffusion-8B 在准确率相近时每次 forward 解码 token 数是 Qwen3-8B 的 6 倍，在 GB200 GPU 上用 SGLang 跑 SPEED-Bench 时吞吐提升 4 倍。

Evaluation / Multilingual Reasoning

PluraMath: Extending Mathematical Reasoning Evaluation Beyond High-Resource Languages

arXiv: 2607.05992 | PDF
作者: Daryna Dementieva, Nikolay Babakov, Kathy Hammerl, Ilseyar Alimova, Jindrich Libovicky et al.
日期: 2026-07-07
预筛分: 19 | HuggingFace: 4 upvotes

一句话: PluraMath 把 PolyMath 扩展到 18 种更多低资源和中资源语言，用人工校验翻译评测 reasoning LLM 的多语数学能力。

精评: 数学推理评测长期偏英语和中文，这会让 reasoning model 的能力看起来比真实全球使用场景更均衡。PluraMath 的贡献不是提出新模型，而是补评测盲区：18 种 underrepresented languages、6 个语系、native speakers 人工校验翻译，再用 27 个 reasoning LLM 做跨规模测试。结论也很符合直觉但需要数据支撑：高资源语言和低资源语言之间仍有持续差距，较好结果往往和 instruction-following 能力更强相关。对多语 reasoning 后训练来说，这类数据集能暴露「会做数学」和「能按本地语言理解题意」之间的差别。

中文摘要翻译: 数学推理已经成为评估和调优 reasoning LLM 的核心任务，但现有 benchmark 严重偏向高资源语言，英语和中文主导预训练语料和评测套件。PolyMath 数据集是重要进展，但也只覆盖 18 种高资源语言。为弥补这一缺口，作者提出 PluraMath，把 PolyMath 扩展到额外 18 种代表性不足的语言，覆盖 6 个语系，从中资源到极低资源设置不等。数据集通过人工 curated pipeline 构建，由母语者仔细校验预计算翻译。作者用 PluraMath 评测 27 个 reasoning LLM，覆盖小、中、大模型和闭源 ensemble，分析 SOTA 模型在不同语言条件下的多语数学推理能力。细粒度分析确认，高资源语言和代表性不足语言之间仍存在持续数学推理性能差距，较强结果通常与更好的 instruction-following 能力相关。作者开源数据集、数据获取 pipeline 和评测框架，以降低 underrepresented communities 构建多语 benchmark 的门槛。

生成时间：2026-07-09 08:00 Asia/Shanghai | 数据来源：HuggingFace Papers、arXiv