Looped Transformers 通过重复应用共享模块来扩展潜在计算量，但顺序循环会让延迟和 KV-cache 内存随循环次数增加。Parallel Loop Transformers (并行循环 Transformer, PLT) 通过 cross-loop position offsets (跨循环位置偏移, CLP) 和 shared-KV gated sliding-window attention (共享 KV 的门控滑动窗口注意力) 缓解了这一成本，使循环次数成为一个可实际选择的设计变量。因此，本文从“收益-成本”的视角研究 PLT 的循环次数选择：额外循环可能细化表征，但 CLP 也会在每个循环边界引入位置不匹配。作者从零开始在 18T tokens 上训练了 LoopCoder-v2，即一组不同循环次数的 7B PLT 代码模型，并进行了匹配的指令微调和评估。实验上，两循环版本在代码生成、代码推理、agentic 软件工程和工具使用 benchmark 上相对非循环 baseline 带来广泛提升，使 SWE-bench Verified 从 43.0 提升到 64.4 分，Multi-SWE 从 14.0 提升到 31.0 分。相比之下，三次或更多循环的版本出现退化，揭示了循环次数强烈的非单调效应。诊断显示，第二轮循环提供了主要的有效 refinement，而后续循环产生收益递减、振荡式更新，并降低表征多样性。由于 CLP 引起的位置不匹配在 refinement 收益缩小时仍大致固定，偏移成本会逐渐占主导。这个收益-成本权衡解释了 PLT 在两次循环处饱和的原因，也提供了选择循环次数的诊断方法。

用于长视频理解的被动模型通常依赖“全部观看”的范式，即不管查询难度如何都均匀处理帧，导致计算成本随视频时长增长。虽然已有交互式框架出现，但它们通常依赖全局预扫描，而且上下文成本仍然随视频长度扩展。本文提出 OmniAgent，这是第一个原生 omni-modal agent，它把视频理解表述为基于 Partially Observable Markov Decision Process (部分可观测马尔可夫决策过程, POMDP) 的迭代 Observation-Thought-Action (观察-思考-行动) 循环。OmniAgent 按需执行动作，将音视频线索选择性蒸馏进持久文本记忆，从而有效地将推理复杂度与原始视频时长解耦。为实现这一点，作者引入了两部分方法：第一，Agentic Supervised Fine-Tuning (智能体监督微调)，通过 best-of-N 轨迹合成和双阶段质量控制来启动原生主动感知；第二，带 TAURA (Turn-aware Adaptive Uncertainty Rescaled Advantage, 回合感知自适应不确定性重缩放优势) 的 Agentic Reinforcement Learning (智能体强化学习)，利用回合级熵把 credit assignment 引导到关键发现回合。关键的是，OmniAgent 展示出正向 test-time scaling：随着推理回合数增加，性能会提升，从而验证了主动感知的有效性。十个 benchmark，包括 VideoMME 和 LVBench 上的实验表明，OmniAgent 在开源模型中达到 state-of-the-art。尤其是在 LVBench 上，7B agent 超过了大 10 倍的 Qwen2.5-VL-72B，成绩为 50.5% 对 47.3%。

将 multimodal foundation models (多模态基础模型) 部署为 closed-loop policies (闭环策略) 时，越来越需要模型基于已经不再可见的观察来决定动作。然而，现有 benchmark 要么暴露完整状态，要么把隐藏状态重建和其他 agent 技能混在一起，要么只在 episode 结束后测试回忆。本文提出 RNG-Bench (Reconstructive Non-Markov Games, 重建式非马尔可夫游戏)，这是一个 benchmark 套件，旨在隔离基础模型在多步交互过程中重建过去观察并据此行动的能力。RNG-Bench 包含两个互补游戏：Matching Pairs 中，短暂揭示的卡牌身份必须在之后被回忆；3D Maze 中，第一人称视角必须被整合为空间地图。两个游戏都在统一 harness 下评估，并包含三个可控难度轴：网格大小、视觉图案和观察模态。该 benchmark 还引入了 head-to-head duel protocol (一对一对战协议) 来控制实例级方差，并提出 Memory Gap 指标，用于区分遗忘和糟糕的动作选择。最难的配置需要约 128K tokens 的上下文和每个 episode 350 个图像输入，并且前沿 MLLM 仍远未饱和。Memory Gap 分析表明，大多数剩余错误来自对早期观察的遗忘，而不是次优决策。最后，在 optimal-policy rollouts 和过滤后的模型 demonstrations 上微调 Qwen3.5-9B，可以提升 RNG-Bench 表现，并迁移到现有 benchmark，同时不损害通用多模态能力。

随着全球越来越多的视频内容在社交平台上被用于互动社交目的，面向社交世界的视频生成模型非常重要，但以往研究很大程度上忽视了这一方向。本文定义了 social world models (社交世界模型) 的定位，并构建了一个原型模型作为迈向该目标的第一步。虽然此前的世界模型已经能成功模拟物理环境或游戏世界探索，但它们从根本上仍与以人为中心的社交动态脱节。为弥合这一差距，作者提出 MaineCoon，这是第一个实时 audio-visual autoregressive model (音视频自回归模型)，拥有 22B 参数，能够进行实时流式生成和亚秒级交互，并在单 GPU 上达到最高 47.5 FPS 的破纪录帧率。据作者所知，MaineCoon 也是第一个专门针对社交互动应用优化的实时音视频生成模型。为实现高效稳定训练，作者在 MaineCoon 中引入了多项新技术，包括 self-resampling (自重采样)、cross-modal representation alignment (跨模态表征对齐)、domain-aware preference optimization (领域感知偏好优化) 和 reinforced online-policy distillation (强化在线策略蒸馏, ROPD)。他们还设计了第一个 agentic streaming inference framework (智能体式流式推理框架)，支持千秒级甚至更长时间的生成，并通过 agentic cache management 和 prompt planning 缓解漂移。这些创新显著加速训练，同时优化实时推理性能。作者认为，该工作不仅为高质量、低延迟、长时域音视频自回归模型设定了新的 state-of-the-art 性能 benchmark，也指出了下一代 AI 原生社交平台所需要的范式转变。

On-policy self-distillation (在策略自蒸馏, OPSD) 已被证明对 large language models (大语言模型, LLM) 的 post-training (后训练) 有效，但它在 diffusion LLMs (扩散大语言模型, dLLM) 上的应用仍未被探索。现有 OPSD 方法本质上以自回归为中心：它们通过从左到右的 prefix conditioning (前缀条件化) 注入特权信息，并使用 token-level divergence supervision (token 级散度监督)，这种设计与 dLLM 的 arbitrary-order generation (任意顺序生成) 从根本上冲突。本文提出 d-OPSD，这是第一个为 dLLM 定制的 OPSD 框架。方法有两个核心贡献。第一，作者重新构造 self-teacher (自教师)：使用自生成答案作为 suffix conditioning (后缀条件化)，使 student model (学生模型) 能从“自我未来经验”而不是特权前缀中学习。第二，作者把监督从 token-level (token 级) 转向 step-level (步骤级)，使训练与 dLLM 的 iterative denoising process (迭代去噪过程) 对齐。四个推理 benchmark 上的实验表明，d-OPSD 持续优于 RLVR 和 SFT baseline，且 sample efficiency (样本效率) 更高，只需要 RLVR 大约 10% 的优化步数，为 dLLM post-training 打开了一条有前景的路径。代码已发布于 https://github.com/xingzhejun/d-OPSD。

通过 sequential revision (顺序修订) 进行 test-time scaling (测试时扩展) 已成为增强 Large Language Model (大语言模型, LLM) 推理能力的强大范式。然而，标准 post-training 方法主要优化 single-shot objectives (单次回答目标)，这与 multi-step inference dynamics (多步推理动态) 之间存在根本错位。虽然近期工作把它视为 multi-turn reinforcement learning (多轮强化学习, RL)，但传统方法直接优化多步轨迹，未能进一步利用中间步骤中的高质量错误，而模型本可以从纠正这些错误中学习。本文提出一个两阶段迭代框架，在 online data/prompt augmentation (在线数据/提示增强) 和 policy optimization (策略优化) 之间交替进行。通过把成功恢复轨迹中的中间步骤，即 near-miss answers (“差一点”的答案)，转换为解耦的 revision prompts (修订提示) 和 verification prompts (验证提示)，该方法把训练集中在有效答案转换和错误识别上。与标准 multi-turn RL 相比，这种方法支持高效的 off-policy data generation (离策略数据生成)，并降低长时域采样的计算开销。在 LiveCodeBench 上，使用公开测试用例作为反馈，作者观察到相对 RL baseline 提升 +6.5 分，相对标准多轮训练提升 +4.0 分。除代码任务外，该方法在 circle packing 上匹配了此前报告的 SOTA 结果，同时使用最小的 base model (4B) 和远少于大规模 evolutionary search systems 的 rollout 数量。基于 ground-truth verification 的数学结果进一步确认了更强的纠错能力。该方法还泛化到 out-of-distribution constraint-satisfaction puzzles (分布外约束满足谜题)，如 n_queens 和 mini_sudoku，其中正确性完全由问题约束定义。代码可在 https://github.com/yxliu02/REVES.git 获取。

Unified Multimodal Modeling (统一多模态建模) 旨在把视觉理解和生成整合进同一个系统。然而，现有方法通常依赖两个不同的视觉 tokenizer，这会分裂表征空间，并阻碍真正统一的建模。本文提出 UniAR，这是一个统一的 autoregressive framework (自回归框架)，其中单个 discrete visual tokenizer (离散视觉 tokenizer) 作为理解与生成之间的关键桥梁，使模型处于共享上下文中，能够直接解释自己生成的视觉 token，而不需要额外重新编码。UniAR 通过 multi-level feature fusion (多层级特征融合) 和 lookup-free bitwise quantization scheme (无查表 bitwise 量化方案) 适配预训练视觉编码器，在以较低成本扩展有效视觉词表的同时，保留高层语义和低层细节。在此基础上，统一自回归模型采用 parallel-bitwise-prediction (并行 bitwise 预测) 来联合预测空间分组的多层级视觉代码，显著减少视觉序列长度并加速生成。最后，一个基于 diffusion (扩散) 的视觉解码器在离散视觉 token 上运行，解码出高保真图像。通过大规模预训练、监督微调和强化学习，UniAR 在图像生成和图像编辑上达到 state-of-the-art，同时在多模态理解 benchmark 上保持竞争力。项目页面为 https://sharelab-sii.github.io/uniar-web。

On-policy self-distillation (在策略自蒸馏, OPSD) 会在模型自己的 rollout 上训练模型，并使用一个冻结副本在给定 reference target (参考目标) 的条件下提供 dense token-level targets (密集 token 级目标)。这对 LLM 推理很有效，但直接扩展到 multimodal large language models (多模态大语言模型, MLLM) 时可能产生 shortcut (捷径)：privileged target (特权目标) 可能主要根据文本参考答案来引导 token，而不是根据图像。本文提出 ViGOS，一个 visually grounded OPSD framework (视觉 grounded 的 OPSD 框架)，用于 MLLM post-training。student 首先写出视觉描述，然后推理得到最终答案。对于有效 rollout，一个 image-only perception teacher (仅图像感知教师) 监督描述，而一个 privileged reasoning teacher (特权推理教师) 在同一 student prefix 上监督推理和最终答案。reference teacher 只用于无效 rollout，以恢复输出格式。在通用视觉语言、专家推理、视觉数学、空间 grounding 和视觉语言先验 benchmark 上，ViGOS 保留了 OPSD 的主要收益，并在容易出现 shortcut 的设置中提升了 image-grounded behavior (图像 grounded 行为)。

Reinforcement learning (强化学习, RL) 已成为 LLM 的代表性 post-training 范式，能够带来强推理和 agentic 能力。然而，rollout generation (rollout 生成) 仍是主要延迟瓶颈，因为自回归采样会顺序解码响应，而且少数长尾生成通常决定整体完成时间。Speculative decoding (推测解码, SD) 是解决这一瓶颈的自然方法：它是服务固定 LLM 的成熟技术，通过快速 draft tokens (草拟 token) 并用并行验证接受它们来降低延迟，同时保持目标模型分布。然而，它的实际加速不能直接迁移到 RL rollout：第一，不断演化的目标策略会让任何固定 drafter 与策略输出分布越来越不匹配；第二，活跃 batch size 会在 rollout 解码过程中缩小，使解码从 compute-bound (计算受限) 转向 memory-bound (内存受限)，此时并行验证可以利用未充分使用的计算。因此，加速 RL rollout 既需要 drafter 在来自演化策略的长、高温生成中保持有效，也需要 system-aware (系统感知) 地使用 SD，避免在 compute-bound 阶段误用。本文提出 EfficientRollout，这是一个面向 RL rollout 的 system-aware self-SD framework (系统感知自推测解码框架)。EfficientRollout 从目标模型诱导出一个 quantized drafter (量化草拟模型)，即 self-speculative decoding，使其无需单独 drafter 预训练或在线适配即可与演化策略保持耦合。它还结合 system-aware SD toggle policy (系统感知 SD 开关策略) 和 acceptance-aware draft-length adaptation (接受率感知草稿长度自适应)，只在有益阶段启用推测，并让草拟预算匹配不断变化的 drafter 质量。相对于加速过的自回归 rollout baseline，EfficientRollout 分别最高降低 rollout 延迟 19.6%、端到端延迟 12.7%，同时保持最终模型质量。

Natural language understanding (自然语言理解) 常常依赖那些暗示而非明说的意义，因此需要 pragmatic reasoning (语用推理)。尽管 large language models (大语言模型, LLM) 在数学和逻辑推理上表现强劲，但它们仍然难以进行语用推断，常常选择字面解释。为提升 LLM 的语用推理能力，本文提出 PragReST，这是一个 self-supervised framework (自监督框架)，它构造语用 QA 数据，生成 counterfactual reasoning traces (反事实推理轨迹)，并通过 supervised fine-tuning (监督微调) 和 reinforcement learning (强化学习) 训练模型内化这些轨迹，无需人工标注训练数据，也无需来自更强 teacher 的蒸馏。跨四个语用 benchmark，即 PragMega、Ludwig、MetoQA 和 AltPrag，PragReST 优于 backbone 模型、任务特定语用调优 baseline，以及同一 pipeline 的非反事实变体。在基于准确率的 benchmark 上，相对于 instruct backbone，PragReST 分别让 Qwen3-8B 和 Qwen3-14B 绝对提升 5.37% 和 5.50%。错误分析和消融强调了反事实推理的重要性：PragReST 主要减少了模型未能将观察到的话语与可能替代表达进行对比所造成的错误；移除反事实推理会显著降低性能。此外，这种训练还保持了模型在通用知识和数学推理 benchmark 上的 out-of-domain performance (分布外性能)。

本文介绍 Qwen-RobotWorld，一个用于 embodied intelligence (具身智能) 的 language-conditioned video world model (语言条件视频世界模型)。它以自然语言作为统一动作接口，基于当前观察预测物理 grounded 的未来视觉轨迹，覆盖机器人操作、自动驾驶、室内导航和人到机器人的迁移。这种统一表述提供了三个有前景的应用方向：为 policy training augmentation (策略训练增强) 生成合成数据，为 policy evaluation (策略评估) 提供可扩展虚拟环境，以及为下游机器人控制提供 language-guided planning signals (语言引导规划信号)。该能力通过三部分设计实现：a) 带 MLLM Action Encoding (多模态大语言模型动作编码) 的 Double-Stream MMDiT，其中 60 层双流 diffusion transformer (扩散 Transformer) 通过逐层 joint attention (联合注意力)，将冻结的 Qwen2.5-VL 语义与 video-VAE latents 结合；b) Embodied World Knowledge (具身世界知识, EWK)，一个含 8.6M video-text 样本、超过 200M 帧的数据语料，包含 20+ embodiments (具身形态) 和 500+ action categories (动作类别) 的动作-语言映射；c) General+Expert Progressive Curriculum (通用+专家渐进课程)，一种两阶段训练策略，先学习通用视觉先验，再在共享语言接口下注入具身专门化能力。大量结果显示其竞争力很强：在 EWMBench 和 DreamGen Bench 上总体排名第一，在 WorldModelBench 和 PBench 上超过所有开源模型。RoboTwin-IF benchmark 上的额外 zero-shot 分析进一步支持其稳健泛化和多视角一致性。

Diffusion models (扩散模型) 已成为 autoregressive models (自回归模型) 的有前景替代方案。其中，uniform diffusion language models (均匀扩散语言模型, UDLM) 原则上允许任意 token 在任意步骤被更新，从而支持更灵活的生成。然而，目前还没有 UDLM 在大参数规模和大 token 预算下从零预训练。自回归建模和 masked diffusion modeling (掩码扩散建模) 已经都有可供社区研究和构建的大规模强模型；uniform diffusion 还没有。一个从零预训练、规模足够大的 UDLM 将为研究 scaling behavior (缩放行为)、generation dynamics (生成动态)、controllability (可控性)，以及与成熟自回归和掩码扩散模型之间的权衡，提供干净参考点。为此，作者提出 Sumi（日语中的“墨”），一个完全开放的 7B uniform diffusion language model，在 1.5T tokens 上从零预训练。Sumi 在知识、推理和代码 benchmark 上，与使用相近 token 预算训练的自回归模型具有竞争力，但在 commonsense benchmark 上表现较弱，作者认为教育内容占比较高的数据混合可能是原因。作者发布模型权重、checkpoint 和完整训练 recipe，包括基于公开语料的数据混合完整规范。作者希望这一发布能帮助社区研究原生 uniform diffusion 在规模化条件下的行为，并推动对其尚未充分理解方面的研究。

在大规模 vision-language data (视觉语言数据) 上训练的语言模型已经展示出强大的 embodied agents (具身智能体) 潜力。通过 embodied tools use (具身工具使用) 来 harness (驾驭/封装) 模型，是端到端 vision-language-action systems (视觉-语言-动作系统) 之外的一条有前景路线，因为它把高层推理与外部感知、规划和控制模块结合起来。然而，对于 embodied manipulation (具身操作)，什么样的 harness 才有效，以及这种 harness 在多大程度上能解锁广泛 reasoning models 的具身能力，仍不清楚。本文提出 Guava，一个用于 embodied tool use 的 harness 框架，它通过系统探索 agent workflows、action spaces 和 observation spaces 的设计空间而形成。研究识别出有效具身 agent 的三个关键要素：iterative perception-reasoning-action loops (迭代感知-推理-行动循环)、semantic action abstractions (语义动作抽象) 和 multimodal observations (多模态观察)。为理解这些设计原则是否即使对小模型也具有普适性，作者开发了一个端到端训练 pipeline，使用少于 2K 条完全在仿真中收集的轨迹，将具身操作能力蒸馏进一个 4B 开源模型。仿真和真实世界环境中的实验结果显示，其性能可与前沿专有模型相比，并且对未见过的物体、新指令和长时域任务表现出强泛化。结果表明，设计良好的 harness 可以作为可扩展、模型无关的 embodied manipulation 接口，使紧凑开源模型在极少训练数据下获得强涌现具身能力。

Memory (记忆) 已成为 self-evolving agents (自进化智能体) 的标准底座，但保留经验并不等于学会如何通过经验进化。现有 memory agents 可以存储轨迹、检索反思或积累技能，但通常缺乏整体能力：选择有用经验、基于经验行动、写入可复用知识，并维护持续增长的知识库。本文提出 OPD-Evolver，一个 slow-fast co-evolution framework (慢-快协同进化框架)，通过 on-policy self-distillation (在策略自蒸馏) 培养这样的 agent evolver。在 fast loop (快循环) 中，OPD-Evolver 与四层 memory hierarchy (记忆层级) 交互，读取、使用、写入并维护经验，以支持快速 test-time evolution (测试时进化)。在 slow loop (慢循环) 中，outcome-calibrated memory attribution (结果校准的记忆归因) 和 privileged hindsight (特权后见信息) 将这四种能力蒸馏进可部署策略。跨多领域 benchmark，OPD-Evolver 相比 ReasoningBank 等记忆系统最高提升 11.5%，相比 Skill0 等训练式方法提升约 5.8%。进一步分析显示，OPD-Evolver 内化了高价值经验和记忆管理能力，使 OPD-Evolver-9B 能挑战 Qwen3.5-397B-A17B 和 Step-3.5-Flash 等巨型模型，指向从 memory-augmented agents 迈向真正合格的 agent evolvers 的方向。

基于 Large Language Model (大语言模型, LLM) 的 automatic Multi-Agent Systems (自动多智能体系统, MAS) 生成，已经成为解决复杂任务的重要前沿。然而，现有方法在模型能力和经验保留之间面临两难。Inference-time MAS (推理时 MAS) 利用冻结的前沿 LLM，但每次都会重复相同搜索，无法从过去经验中学习。相反，Training-time MAS (训练时 MAS) 通过梯度更新内化经验，却受限于较小模型的低能力上限，也难以扩展到大型前沿 LLM。为弥合这一差距，本文提出 Skill-MAS，这是一条新的第三路径：通过把高层编排能力概念化为可进化的 Meta-Skill (元技能)，将经验保留与参数更新解耦。Skill-MAS 通过闭环优化来精炼这种架构知识：第一，Multi-Trajectory Rollout (多轨迹 rollout) 在当前 Meta-Skill 下为每个任务采样行为分布；第二，Selective Reflection (选择性反思) 自适应选择优先任务，并应用 hierarchical contrastive analysis (层级对比分析)，将系统性经验蒸馏为可泛化的策略级原则。跨四个复杂 benchmark 和四种不同 LLM 的大量实验表明，Skill-MAS 不仅取得显著性能增益，还保持了良好的成本-性能权衡。进一步分析显示，进化后的 Meta-Skills 高度稳健，并能在未见任务和不同 LLM 之间表现出强迁移性。