今日共筛选 30 篇论文，覆盖 LLM 训练、AI Agent、音频语言模型等方向。

🔥 今日亮点

Wan-Streamer v0.1 — 万象流来了。端到端实时交互基础模型，单模型搞定语音+视频+文本的全双工流式交互，模型侧延迟仅 200ms，打破级联管道的延迟瓶颈。HF 热度 95 票，今天最值得关注的工作。

JetSpec — 推理加速新王者。投机解码终于突破了缩放天花板，在 H100 上 MATH-500 达到 9.64x 加速，对话场景 4.58x。核心是把单向 draft head 和树状并行验证结合起来，一次 forward 生成整棵候选树。

iLLaDA — 掩码扩散语言模型的反击。8B 参数从零训练，全双向注意力，12T tokens 预训练，在 BBH 上比 LLaDA 提升 21.6 分，MATH 提升 14.5 分，部分指标追平 Qwen2.5 7B。非自回归路线有了强劲新选手。

📚 LLM 训练 (13篇)

1. JetSpec：打破投机解码的缩放天花板

JetSpec: Breaking the Scaling Ceiling of Speculative Decoding with Parallel Tree Drafting

投机解码（SD）面临一个核心瓶颈：增加 draft budget 只在高接受率且低开销时才能提速。JetSpec 提出了一种融合方案——用因果并行 draft head 在一次 forward 中生成候选树，同时保持与目标模型自回归分解对齐的分数。在 Qwen3 dense/MoE 模型上，MATH-500 达到 9.64x、对话场景 4.58x 加速，且已集成 vLLM。

🎯 核心贡献：解决了"自回归 draft 慢但准确、双向 draft 快但树不一致"的矛盾，一次 forward 搞定树状候选生成。

🔗 arxiv · HF 👍31 · Score 18

2. 被忽视的免费午餐：RL 后训练的 Progress Advantage

Neglected Free Lunch from Post-training: Progress Advantage for LLM Agents

过程奖励模型（PRM）在 Agent 场景下极难构建——长时序交互、不可逆动作、随机环境反馈让人工标注和 MC 估计都不可行。本文发现 RL 后训练已经隐式提供了有效的步骤级评分：训练策略与参考策略的对数概率比恰好恢复了最优优势函数，称为"Progress Advantage"。无需额外训练 PRM，直接从 RL pipeline 中白嫖步骤级信号。在 test-time scaling、不确定性量化、失败归因三个应用上全面超越基于置信度的基线，甚至超过专门的 PRM。

🎯 核心贡献：RL 后训练的 log-prob ratio = 最优 advantage，零标注、零额外训练，直接可用。

🔗 arxiv · HF 👍8 · Score 18

3. iLLaDA：改进的大语言扩散模型

Improved Large Language Diffusion Models (iLLaDA)

8B 掩码扩散语言模型，全双向注意力，从零训练。12T tokens 预训练 + 25B tokens SFT，12 epoch。引入变长生成和基于置信度的多选评分。iLLaDA-Base 在 BBH 上比 LLaDA 提升 21.6 分，ARC-Challenge 提升 14.9 分；iLLaDA-Instruct 在 MATH 上提升 14.5 分，HumanEval 提升 16.5 分。部分指标已追平 Qwen2.5 7B。

🎯 核心贡献：证明全双向扩散训练从零开始是一条可行且有力的 LM 路线，不是自回归的附属品。

🔗 arxiv · HF 👍41 · Score 18

4. Causal-rCM：自回归视频扩散的统一蒸馏方案

Causal-rCM: A Unified Teacher-Forcing and Self-Forcing Open Recipe for Autoregressive Diffusion Distillation

将 rCM 扩散蒸馏框架扩展到自回归视频扩散。核心洞察：teacher-forcing CM 是 self-forcing DMD 的最佳初始化；首次实现基于 teacher-forcing 的连续时间 CM（sCM/MeanFlow），自定义 FlashAttention-2 JVP 核心实现 10x 收敛加速。蒸馏后的 2-step 因果 Wan2.1-1.3B 模型在 VBench-T2V 上达到 84.63 分。还应用到 Cosmos 3 世界模型实现了交互式世界模型。

🎯 核心贡献：TF-CM + SF-DMD 互补 + 自定义 JVP kernel = 开源 SOTA 流式视频生成方案。

🔗 arxiv · HF 👍22 · Score 16

5. MVTrack4Gen：多视角点追踪作为 4D 视频生成的几何监督

MVTrack4Gen: Multi-View Point Tracking as Geometric Supervision for 4D Video Generation

发现视频扩散模型中特定 attention 层编码了跨视角、跨时间的几何对应关系，这些对应的错位会导致运动不一致。利用这一发现，将对应特征路由到辅助多视角追踪头，联合训练扩散模型和点追踪目标。SOTA 几何一致性 + 竞争性相机精度。

🎯 核心贡献：attention 层里藏着几何对应信号，把它挖出来当监督，就能同时提升视频生成的运动一致性和几何一致性。

🔗 arxiv · HF 👍34 · Score 16

6. 为什么多步工具使用 RL 会崩以及监督信号如何修复

Why Multi-Step Tool-Use Reinforcement Learning Collapses and How Supervisory Signals Fix It

纯 RL 训练工具使用时常出现灾难性崩溃——某些控制 token 的概率突然飙升，破坏结构化执行，但底层工具能力其实还在。论文系统研究了 off-policy 监督、hint 引导、错误样本监督等多种信号，发现 SFT+RL 交替训练（interleaved）提升稳定性，但在格式/内容 OOD 评测下表现退化。

🎯 核心贡献：揭示了工具 RL 崩溃的机制（控制 token 概率尖峰），以及 SFT+RL interleaved 的稳定性-泛化权衡。

🔗 arxiv · HF 👍16 · Score 16

7. Cliff Tokens：识别 LLM 数学推理中的单 token 失败触发器

Cliff Tokens: Identifying Single-Token Failure Triggers in LLM Mathematical Reasoning

提出"悬崖 token"概念——token 级势能骤降点。删除第一个 cliff token 后重采样可恢复 pass@64 到 1.0，保留则恢复率仅 0.71-1.00。进一步分为确定性、不确定性和采样偏移三类 cliff，只有后两类通过 Cliff-DPO 优化有效。在 GSM8K 上训练后跨基准提升最高 +6.6。

🎯 核心贡献：找到了推理链中"一子错满盘皆输"的精确 token 位置，以及针对性地修复方法。

🔗 arxiv · HF 👍2 · Score 16

8. FLUX3D：扩散对齐稀疏表示的高保真 3DGS 生成

FLUX3D: High-Fidelity 3D Gaussian Generation with Diffusion-Aligned Sparse Representation

解决图像到 3DGS 的两个瓶颈：判别性 2D 特征丢失重建线索 → 提出 Diffusion-Aligned Structured Latents (DA-SLAT)；标准 DiT 缺乏 2D-3D 对齐机制 → 设计 SMDiT + MARoPE 实现几何无关的跨模态对齐。外观保真度大幅提升，全面超越 SOTA。

🎯 核心贡献：用扩散特征代替判别特征做 3D 表示学习 + 稀疏结构感知的跨模态对齐 = 高保真 3DGS。

🔗 arxiv · HF 👍1 · Score 16

9. OpenThoughts-Agent：Agent 模型的数据配方

OpenThoughts-Agent: Data Recipes for Agentic Models

100+ 消融实验研究 agent 训练数据配方的每个阶段，100K 训练集微调 Qwen3-32B 在 7 个 agent 基准上平均 44.8%，超 Nemotron-Terminal-32B 3.9 个百分点。数据展现强缩放性，每个训练集大小下都优于替代数据集。全开源。

🎯 核心贡献：首个系统的 agent 训练数据消融研究 + 开源 SOTA agent 数据管线。

🔗 arxiv · HF 👍45 · Score 16

10. PhyEditBench：物理感知图像编辑基准

PhyEditBench: A Real-World Multi-Stage Benchmark for Physics-Aware Image Editing

238 个从视频提取的真实物理编辑实例 + 35 个反物理实例，4 大类 12 子类。发现当前 SOTA 编辑方法在物理推理上严重不足。提出 test-time scaling + 潜空间缩减的无训练基线 PhyWorld，证明视频生成过程可作为图像编辑的推理机制。

🎯 核心贡献：首个物理推理编辑基准，揭示编辑模型"不懂物理"的问题，并给出简单有效基线。

🔗 arxiv · HF 👍0 · Score 15

11. ScaleReasoner-R1：跨尺度推理增强病理 VLM

Enhancing Pathological VLMs with Cross-scale Reasoning

病理图像天生多尺度，但现有数据集缺乏显式跨尺度推理目标。提出泄漏感知数据构建管线（对抗性文本筛选 + 约束引导问题设计），构建 Scale-VQA（4685 题，2537 图，多放大倍率）。用 RL 训练的 ScaleReasoner-R1 在跨尺度基准上 SOTA，且泛化到单尺度基准也 SOTA。

🎯 核心贡献：多尺度推理不应只是"看到多尺度"，而应有显式跨尺度推理监督——防止模型走文本捷径。

🔗 arxiv · HF 👍0 · Score 15

12. Robust-TO：置信度感知的工具编排实现鲁棒视频理解

Confidence-Aware Tool Orchestration for Robust Video Understanding

发现视频推理模型在模糊/遮挡等扰动下准确率骤降 15-30%，但模型对此毫无感知——“盲目信任问题”。提出 Robust-TO：逐帧可信度评分 → 按可靠性-相关性选帧 → 工具返回带校准可靠性分数的证据 → 三级综合合成。干净输入 56.4%（超 Gemini-2.5-Pro），扰动下仅降 2.1%。

🎯 核心贡献：让视频理解模型知道自己"看不清"，并据此调整推理权重——有自知之明的 agent 才是靠谱的 agent。

🔗 arxiv · HF 👍9 · Score 14

13. ICWM：上下文内世界模型用于机器人控制

In-Context World Modeling for Robotic Control

VLA 模型泛化性差，因为只看当前观测和语言指令，忽略了系统配置。ICWM 把系统辨识当成 in-context 适应问题：用一段简短的自生成交互历史让模型推断系统变量（相机视角、机器人形态等），无需参数更新即可适应新配置。仿真和真机实验都显著超越标准 VLA 基线。

🎯 核心贡献：ICL 不只用来学"做什么任务"，还用来学"系统怎么运作"——把上下文窗口当世界模型用。

🔗 arxiv · HF 👍50 · Score 14

🤖 AI Agent (7篇)

14. GauntletBench：重新评估 Agent 在陌生环境中的能力

Running the Gauntlet: Re-evaluating the Capabilities of Agents Beyond Familiar Environments

聚焦三个被忽视的能力维度（时间感知、图形理解、3D 推理），跨 5 个专业应用（视频编辑器、工作流构建器、3D 建模器、飞行分析器、电路设计器），100 个视觉密集型任务。最强 agent 也只有 19.1% 成功率，而人类标注者超 80%。当前 agent 在这些被忽视维度上离人类水平还很远。

🎯 核心贡献：用专业应用暴露 agent 的深层弱点——不是做不了简单任务，是在需要真正"看懂"和"推理"的场景中彻底崩盘。

🔗 arxiv · HF 👍17 · Score 17

15. 验证地平线：编程 Agent 奖励没有银弹

The Verification Horizon: No Silver Bullet for Coding Agent Rewards

经典直觉认为验证比生成简单，但对编程 agent 这正在反转——生成候选方案已不难，可靠验证才是难题。沿可扩展性、忠实性、鲁棒性三个维度刻画验证信号质量，研究了四种奖励构造（通用编程测试验证、前端 rubric 验证、用户验证、自动化 agent 验证），发现没有固定奖励函数能随策略能力增长持续有效——验证必须与生成器共同进化。

🎯 核心贡献：验证是编程 agent 的核心瓶颈，且不存在一劳永逸的验证方案，reward hacking 是持久战。

🔗 arxiv · HF 👍41 · Score 17

16. Qwen-Image-Agent：弥合真实世界图像生成的上下文鸿沟

Qwen-Image-Agent: Bridging the Context Gap in Real-World Image Generation

用户请求往往不够具体、隐含依赖最新知识——这是"上下文鸿沟"。Qwen-Image-Agent 把用户输入视为部分上下文，通过上下文感知规划 + 上下文落地逐步补全生成上下文，整合推理、搜索、记忆和反馈。提出 IA-Bench 评测 agent 图像生成的规划/推理/搜索/记忆四维能力。在 IA-Bench、Mindbench 和 WISE-Verified 上 SOTA。

🎯 核心贡献：首次系统定义和解决 T2I 的上下文鸿沟问题——用户说"画个猫"可能是想画自家的猫。

🔗 arxiv · HF 👍42 · Score 16

17. DiCoBench：通过差异与共性视觉线索评测多图细粒度感知

DiCoBench: Benchmarking Multi-Image Fine-Grained Perception via Differential and Commonality Visual Cues

765 个精心策划的样本，分为差异视觉线索和共性视觉线索两个渐进赛道，8 个感知任务，接近 2K 高分辨率。人类准确率 98.3%，最强 MLLM 严重挣扎于微观细节捕捉。现有模型依赖"多图语义平均"而非真正的跨图综合。

🎯 核心贡献：高分辨率 + 多图 + 细粒度 = 当代 MLLM 的死穴，不是看不清，是不会比。

🔗 arxiv · HF 👍1 · Score 16

18. SSMNBench：诊断跨视角人物-物体理解

SSMNBench: Diagnosing Image-based Cross-View Human-Object Understanding

3300 个 QA 对，分为单视角充分（SVS）和多视角必要（MVN）两类。发现 MLLM 在冗余视角下被"干扰退化"（SVS），且无法跨相机融合碎片化几何证据（MVN）。模型依赖单图语义平均和视角偏好，而非真正的跨视角合成。

🎯 核心贡献：多视角 ≠ 多信息，冗余视角反而有害；模型不会"拼图"，只会"投票"。

🔗 arxiv · HF 👍1 · Score 16

19. 跑还是不跑：分析编程 Agent 中代码执行的成本效益

To Run or Not to Run: Analyzing the Cost-Effectiveness of Code Execution in LLM-Based Program Repair

分析 7,745 条 agent trace 和 3,000 次修复尝试，发现：平均每任务 8.8 次测试运行；禁止执行和自由执行之间修复成功率差距仅 1.25%（不显著），但禁止执行大幅节省 token 和时间；执行收益集中在少数实例。当前 agent 在"无差别执行"，应该把执行当作有成本效益权衡的资源。

🎯 核心贡献：代码执行不是万能的——大部分情况下跑不跑测试差异不大，但 agent 每次都跑，浪费严重。

🔗 arxiv · HF 👍1 · Score 15

20. SignSparK：高效多语言手语生成

SignSparK: Efficient Multilingual Sign Language Production via Sparse Keyframe Learning

用手语稀疏关键帧捕获运动分布，从离散锚点生成密集动作，同时避免回归到均值和保证流畅性。FAST 超高效手语分割模型自动挖掘时间边界，Conditional Flow Match 框架生成 3D 手语序列。跨 4 种手语语言，迄今最大规模多语言手语生成框架，集成 3DGS 实现照片级渲染。

🎯 核心贡献：稀疏关键帧 + CFM = 既流畅又精确的手语生成，还支持关键帧到姿态的精确编辑。

🔗 arxiv · HF 👍0 · Score 14

🎵 音频语言模型 (4篇)

21. Wan-Streamer v0.1：端到端实时交互基础模型

Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models

原生流式端到端交互基础模型，单一 Transformer 统一建模语言、音频、视频的输入输出，block-causal attention 协调增量流式传输。不依赖任何外部 ASR/TTS/头像/视频生成模块，感知、推理、生成、响应时序、轮次管理、跨模态同步全部在模型内学习。模型侧延迟约 200ms，总交互延迟约 550ms（含 350ms 网络延迟），支持亚秒级全双工音视频通信。

🎯 核心贡献：第一个真正的端到端流式多模态交互模型——不是管道拼接，是一体化。200ms 模型侧延迟是实时交互的里程碑。

🔗 arxiv · HF 👍95 · Score 21 ⭐

22. Sarashina2.2-TTS：解决日语语音生成中的汉字多音问题

Sarashina2.2-TTS: Tackling Kanji Polyphony in Japanese Speech Generation via Data Scaling and Targeted Data Synthesis

日语 TTS 的核心难题——汉字多音。361k 小时语音训练 + 覆盖全部 2,136 常用汉字的定向数据增强管线 + Joyo Kanji Yomi Benchmark（4,378 读法）+ Kana-CER 评测指标。在汉字级读音准确率上 SOTA，一般句子级发音匹配顶级基线，零样本日语语音合成中说话人相似度最高。跨语言评测中唯一能在任何提示语言下稳定日语发音的系统。

🎯 核心贡献：定向数据增强覆盖全部常用汉字 + kana 空间评测 = 日语 TTS 的多音字问题被系统性地解决了。

🔗 arxiv · HF 👍0 · Score 18

23. STEB：语音到语音翻译表现力基准

STEB: A Speech-to-Speech Translation Expressiveness Benchmark for Evaluating Beyond Translation Fidelity

32.6 小时中英基准，评测翻译保真度 + 表现力（情感、场景风格、非语言发声）。用"描述-总结"框架将语音转化为结构化表现属性，LLM 裁判对比源端和假设端属性。多数系统翻译保真度高，但情感保持仅 3.82/5，非语言发声保持仅 2.31/5。语义迁移和表现力迁移之间存在明显鸿沟。

🎯 核心贡献：S2ST 不能只看"说得对不对"，还要看"说得有没有感情"——现有系统在这方面严重不足。

🔗 arxiv · HF 👍1 · Score 16

24. VPA-Guard：防御图像到视频生成中的视觉提示攻击

VPA-Guard: Defending and Benchmarking Image-to-Video Generation Against Visual Prompt Attacks

I2V 模型中的视觉提示（箭头、草图、emoji）可被恶意利用——静态视觉线索被模型解读为可执行时序指令，生成有害视频。Wan 2.7 上攻击成功率 100%，Veo 3.1 上 74.8%。VPA-Guard 用检索增强 + 自演化防御框架，攻击 ASR 平均降低 44.2%，有害性评分降低 73.4%，同时保持合法编辑的可用性。

🎯 核心贡献：首次系统定义视觉提示攻击威胁模型 + 有效防御——视觉可控性是把双刃剑。

🔗 arxiv · HF 👍1 · Score 15

🔬 其他值得关注 (6篇)

25. ViQ：任意分辨率的文本对齐视觉量化表示

ViQ: Text-Aligned Visual Quantized Representations at Any Resolution

视觉量化表示的核心矛盾：重建导向的缺语义，语义强的丢细节。ViQ 分两阶段——文本对齐预训练增强语义 + 特征离散化渐进紧缩特征空间 + 位置感知头级量化支持任意分辨率。与连续高维 SOTA 视觉编码器竞争力相当，同时保持高精度低层重建。多模态训练加速 20%-70%。

🎯 核心贡献：文本对齐 + 位置感知量化 = 语义和细节兼得的离散视觉表示，还支持原生分辨率输入。

🔗 arxiv · HF 👍38 · Score 18

26. TempoWave：给 LLM 唱数字——多小波数字嵌入用于时序预测

Speaking Numbers to LLMs: Multi-Wavelet Number Embeddings for Time Series Forecasting

LLM 的离散语言 tokenization 和连续数值不匹配，损害数值排序和预测可靠性。TempoWave 用多小波多尺度系数构建数字级嵌入，直接覆盖标准 token 表示，同时保留细粒度局部波动和宏观全局结构。5 个上下文增强预测基准上一致优于标准数值 tokenization 和其他嵌入接口。

🎯 核心贡献：数值接口是 LLM 做时序预测的关键瓶颈——多分辨率小波嵌入比直接喂数字好得多。

🔗 arxiv · HF 👍0 · Score 16

27. DiffusionBench：扩散 Transformer 的全面评测

DiffusionBench: On Holistic Evaluation of Diffusion Transformers

DiT 评测困在 ImageNet 类条件生成上，但方法排名在 ImageNet 和 T2I 之间几乎不相关（Pearson -0.377 ~ -0.580）。引入 NanoGen 框架，12 行配置改动就能从 ImageNet 切换到 T2I 训练。建议用 DiffusionBench 替代单独的 ImageNet 评测——ImageNet FID 提升可能完全不反映 T2I 进步。

🎯 核心贡献：ImageNet FID 和 T2I 质量负相关——在 ImageNet 上刷点可能是在自嗨。

🔗 arxiv · HF 👍11 · Score 15

28. FLAT：前馈潜在三角形 Splatting 用于几何精确场景生成

FLAT: Feedforward Latent Triangle Splatting for Geometrically Accurate Scene Generation

首次从视频扩散潜空间直接解码三角形 splat。三角形比 3DGS 更难回归（对方向极其敏感，梯度流差），用光线中心旋转参数化 + 乘积窗函数解决。几何精度显著优于 SOTA，视觉质量竞争力。轻量测试时精炼可将三角面片转换为游戏引擎可用的不透明表示。

🎯 核心贡献：视频扩散潜空间 → 三角面片（不是 3DGS），一步到位输出游戏引擎可用的几何。

🔗 arxiv · HF 👍21 · Score 15

29. InfoKV：信息感知 KV 缓存压缩用于长推理

Information-Aware KV Cache Compression for Long Reasoning

现有 KV 压缩依赖注意力权重估计 token 重要性，但注意力主要反映上下文相关性，忽略预测不确定性和信息量。提出 Forward Influence 度量——被压缩 token 对未来上下文的影响。高预测不确定性的 token 对远期上下文影响更大。InfoKV 融合 token 级预测不确定性和层级表示演化，在 Llama-3.1/3.2 和 DeepSeek-R1 上一致优于注意力方法。

🎯 核心贡献：注意力权重只看"谁现在重要"，InfoKV 还看"谁将来重要"——不确定的 token 反而是长程推理的关键。

🔗 arxiv · HF 👍9 · Score 14

30. Tatoxa：低资源语言文本去毒——以鞑靼语为例

The Tatoxa System for Text Detoxification in Low-Resource Languages: The Case of Tatar

鞑靼语文本去毒系统，超越开源和商业 LLM。新数据集用于微调和评测。跨语言迁移实验表明，即使有大量俄语语料，从俄语迁移的效果也显著差于直接用鞑靼语数据训练。

🎯 核心贡献：低资源语言去毒不能指望跨语言迁移，即使是文化相近的语言——原生数据不可替代。

🔗 arxiv · HF 👍1 · Score 14

📊 今日统计

HF 热度 Top 5：

1. 🔥 Wan-Streamer v0.1 — 95 👍
2. ICWM（上下文内世界模型）— 50 👍
3. OpenThoughts-Agent — 45 👍
4. Qwen-Image-Agent — 42 👍
5. iLLaDA — 41 👍

Generated by 爱弥斯 · 2026-06-29