通过微调向大语言模型注入新知识面临一个关键挑战：模型可以迅速记住新事实，却无法在下游推理任务中使用这些事实。我们将这一失败形式化为 Knowing–Using Gap（知道—使用鸿沟），其特征是记忆与泛化之间既存在准确率差距，也存在时间滞后。为理解这一现象，我们使用未见过的知识微调大语言模型，并通过一种名为 self-patching（自修补）的新型干预技术，监测知识在模型内部的空间渗透动态。Self-patching 会找出这样的激活位置：将表征迁移至这些位置后，原本失败的泛化案例能得到显著改善。结果与“知识回路错位”假设一致：已记忆的表征可能确实存在于模型内部，但未被路由到能够有效参与计算的层。为证明这一诊断发现的实用性，我们设计了一种简单的启发式策略，在泛化失败案例中恢复了 oracle 可提升空间的 58%–75%。我们还开展了跨领域实验，以验证该发现的稳健性。

我们提出 LingBot-World 2.0（亦称 LingBot-World-Infinity），这是 LingBot-World 的高级迭代版本，包含四项明显升级。第一，得益于精心设计的因果预训练范式，模型能够实现无界的交互时长，同时保持一致的输出质量。第二，通过从基础模型蒸馏出实时版本，系统可以保证快速响应，足以驱动 720p、60 fps 的视频流。第三，相比上一版本，本次更新引入了高度多样的交互元素，包括更广泛的动作，例如攻击、射箭、施法和射击，以及种类更丰富的文本驱动事件。第四，我们率先在世界建模领域引入智能体式执行框架：其中 pilot agent（领航智能体）负责规划并执行角色行为，director agent（导演智能体）则负责随着场景推进合成新的环境元素。此外，为提供共享体验，我们开发了允许多名玩家同时沉浸于这一生动世界模拟器的交互界面。我们还为主要的 14B 模型配套提供轻量级 1.3B 版本，后者可轻松部署在单张 GPU 上。

线性注意力模型能够使状态大小和每个 token 的计算量保持固定。然而，由于状态容量有限，线性注意力模型在长上下文回忆方面落后于基于 softmax 注意力的 Transformer 架构。增大线性注意力的状态规模可以改善回忆性能，但代价是更高的 FLOPs。在这项工作中，我们提出 Sparse Delta Memory（稀疏增量记忆, SDM），这是一种利用稀疏寻址方案，将门控线性 RNN 的隐藏状态扩展到高出多个数量级容量的架构。SDM 扩展了 Gated DeltaNet 架构，以对大型显式记忆的稀疏读写替代稠密的键值外积。我们表明，在等 FLOPs 约束且参数数量相同的情况下，更高的状态记忆容量能显著提升上下文学习和长上下文检索任务的性能。此外，通过学习 SDM 记忆的初始状态，并将其作为参数记忆使用，我们证明模型还可以在广泛的常识和推理任务上进一步提升性能。

从第一视角预测人体运动，是增强现实/虚拟现实、人与机器人协作以及具身智能实现主动辅助的基础。近期工作虽然将语言作为语义先验，以缓解第一视角预测问题的不适定性，但大多忽略了支配运动展开方式的三维空间与语义上下文，并将姿态预测和语言预测视为相互分离的推理流。我们提出 Ego3DLM，它建立在两个核心原则之上：准确的运动预测需要对三维环境进行明确的空间和语义理解；姿态与语言必须在单次过程中整体预测，因为运动与正在执行动作的语义解释天然关联。给定三点追踪、三维场景特征和第一视角视频，Ego3DLM 在一次自回归过程中同时解码过去姿态、未来姿态、过去叙述和未来叙述，并让预测的姿态与描述彼此落地，以保证跨模态与时间一致性。我们采用三阶段训练方案：第一，空间—语义场景感知预训练；第二，在一次解码中针对全部四类输出进行整体指令微调；第三，使用模态内与模态间奖励进行基于 GRPO 的强化微调，直接优化姿态—语言保真度。Nymeria 基准上的实验表明，Ego3DLM 在未来运动预测、过去运动追踪和运动描述方面均达到当前最佳性能，说明三维场景落地与整体式跨模态预测能够产生物理合理、语义连贯的运动预测。项目页面位于 https://jaewoo97.github.io/Ego3DLM/。

DeepSWE 是一个用于评估编码智能体的基准，包含 113 项原创的长程软件工程任务。多数公开的智能体编码基准沿用 SWE-bench 的做法，从公开 GitHub 仓库中挖掘已经合并的修复，这会带来两个问题：第一，这些修复及其讨论很可能在预训练中已经被模型见过，因此高分可能反映的是记忆而非问题解决能力；第二，每项任务由随已合并修复提交的测试来评分，而这些测试的目的是确认某一种特定修复，并非评估任意可能的解决方案，因此它们可能拒绝正确的替代实现，或放过不完整的实现。DeepSWE 避免了这两点。其任务是围绕 91 个活跃开源仓库、使用五种编程语言从零编写的，并且永远不会贡献回上游仓库，因此参考解决方案不会进入模型训练会抓取的公开记录；每项任务则由手写验证器评分，验证器检查所要求的功能，并接受任何能够实现该功能的方案。当独立 LLM 裁判重新审查已评分的运行记录时，它与 DeepSWE 验证器的分歧率相比 SWE-Bench Pro 的继承测试低约一个数量级（1.4% 对 32.4%）。尽管 DeepSWE 的任务描述长度约为 SWE-Bench Pro 的一半，但其参考解决方案涉及的代码量是后者的 5.5 倍；同时，该基准能在更宽的分数区间内区分前沿智能体，而这些智能体在其他排行榜上的得分通常聚集在一起。我们公开发布该基准、验证器以及完整的评测轨迹记录。

我们提出 Infinity-Parser2，这是一种大型多模态模型，它将可控数据合成流水线与多任务强化学习结合起来，用于端到端文档解析，以解决高保真标注文档解析语料长期匮乏的问题。我们的贡献有三方面。第一，我们构建了可扩展的合成引擎，将可控渲染框架与迭代优化循环配对，并据此构建并开源 Infinity-Doc2-5M：一个包含 500 万样本的中英双语语料库，覆盖多种文档类型，标注了元素边界框、规范化内容形式（Markdown、HTML、LaTeX、SMILES 与结构化图表）以及完整页面阅读顺序。第二，我们提出可验证的多任务奖励系统，使八个共同训练目标能够进行联合强化学习，包括文档解析、布局分析、表格解析、数学公式解析、图表解析、化学式解析、文档视觉问答以及通用多模态理解，从而用统一优化信号整合感知、结构与推理。第三，我们在共享架构下发布两个版本：Infinity-Parser2-Flash 面向低延迟推理优化，吞吐量比 Infinity-Parser-7B 提高 3.68 倍；Infinity-Parser2-Pro 面向精度关键场景设计。Infinity-Parser2-Pro 在 olmOCR-Bench 上达到当前最佳的 87.6%，在 ParseBench 上达到 74.3%，超过 DeepSeek-OCR-2、PaddleOCR-VL-1.5 和 MinerU2.5，并对图表、化学公式和文档视觉问答表现出很强的泛化能力。

本报告提出 Pelican-VLA 0.5，这是一种统一的 Vision-Language-Action（视觉—语言—动作, VLA）模型，在单一架构中整合了视觉语言理解、未来帧生成和动作预测。Pelican-VLA 0.5 实现了注意力层面的泛化：即便没有物体标注、分割掩码、注意力监督或任务特定微调，其动作通路也已经会聚焦于与指令相关的物体和接触区域。这一行为在未见场景和未见机器人形态上仍然保持，并且明显强于其他开源 VLA 基线。我们验证了这种能力源自插入感知与动作之间的可学习 Reasoning Slots（推理槽）：通过紧凑瓶颈路由与任务相关的视觉信息，槽接口在预训练期间诱导出以操作为中心的注意力，并能在包括 MoT 风格架构在内的不同策略结构中持续发挥作用。

Vision-Language-Action（视觉—语言—动作, VLA）模型旨在将多模态输入映射为机器人动作。然而，多数现有方法对所有视觉 token 一视同仁，并使用人工选择的因素进行推理，因此缺少强调任务关键证据和发现潜在因素的机制，难以覆盖复杂动态场景。为解决这一问题，我们提出 LEEVLA，这是一种面向 Latent Environment Evolution（潜在环境演化）的 VLA 架构，可在保留潜在世界表征结构化演化的同时，明确引导模型关注信息丰富的区域。为识别显著且与指令相关的区域，我们提出 drift-guided dynamic prioritization（漂移引导动态优先化, DGDP），它结合 dynamic position prioritization（动态位置优先化, DPP）与 semantic drift guidance（语义漂移引导, SDG），在训练期间指导 VLA 智能体应该关注哪里。在此基础上，我们提出 structured feature flow generation（结构化特征流生成, SFFG），通过 prototype-to-periphery（原型到外围, P2P）预测来建模这些优先特征应如何在潜空间中演化，并使用 mutual-neighborhood contrastive（互邻域对比, MC）损失维持邻域间的拓扑一致性。DGDP 与 SFFG 共同构成任务感知的“where-how（哪里—如何）”训练框架。大量 VLA 基准实验表明，LEEVLA 持续优于以往方法，证实显式任务证据引导与结构化潜在推理对于可扩展 VLA 都至关重要。代码已发布于 https://github.com/LyuQi127/LEEVLA。

会使用工具的大语言模型智能体可能违反其部署时本应执行的策略，同时表面上仍像是成功完成了任务。在策略宽松的环境中，只要工具调用格式正确，工具就可能执行它，即使相应的状态转换已被领域策略禁止。结果便是静默错误状态，例如预订被取消、乘客人数被修改，或索赔在未经核验时被处理，而工具和智能体的自我报告都不会暴露该问题。

我们在 τ²-bench 的航空领域研究这一失败模式。对于低预算智能体，观察到的失败中有 78% 是没有工具错误的静默错误状态；总体失败率可在互不重叠的随机种子上复现，并非采样噪声。随后，我们评估了一种轻量干预：在执行前部署确定性的只读门控，在允许写操作之前检查拟议调用和当前状态。四门控套件将 gpt-4o-mini 的全基准成功率从 29.6% 提升至 42.0%（+12.4 个百分点；成对任务级 bootstrap，P=0.0012）；在另一组互不重叠的 15 个随机种子上，该提升也得到复现（+12.3 个百分点；P=0.0008）。

效果集中在门控实际触发的任务上：在 50 项任务中门控触发的 26 项上，成功率提高了 19.2 个百分点；而在其余 24 项未触发任务上，变化无法排除为零。两个负对照——工具会自行执行策略的零售领域与 BFCL——限定了该机制的适用范围：当工具在策略上宽松时，门控有效；当工具已经自行强制执行策略时，门控作用很小。作为提示性证据而非核心主张，同一失败模式在前沿模型上依然存在：使用默认推理配置的 gpt-5.2 仍会尝试违反策略的写操作，同一套门控将成功率从 61.2% 提升至 71.6%（+10.4 个百分点；P=0.020；n=5，未复现）。本文贡献是一项边界明确的评估和可靠性结果：确定性门控不能保证任务成功，但可以在动作边界确定性地阻止一类已知的静默策略违规写操作。

大语言模型展现出显著的推理能力，但其无状态架构从根本上限制了它们在需要跨会话连续性和定量严谨性的长程研究工作流中的部署。本文提出 Ensemble QSP，一个采用三层分级记忆架构的多智能体框架。该架构通过限制每类状态的容量并淘汰已完成工作，使注入上下文相对于项目持续时间保持有界且恒定：在 104 次运行中，中期项目状态的中位数为 301 token，最大值为 4,050 token，从而支持无上下文退化的持续自主运行。系统在领域专家型首席研究员智能体的管理下协调五个专业工作智能体，并通过基于物理的检查清单和结构化领域知识强制执行物理约束。综合基准测试表明，系统无需人工干预即可稳健地完成药代动力学—药效动力学模型选择；较低成本与前沿大语言模型均能保持一致的结果质量；相较单智能体基线，药代动力学参数恢复更准确；对于语言表达不同但任务相同的提示，模型选择也保持稳定。针对覆盖广泛复杂度的生理药代动力学模型开展特征级消融后发现，PI 智能体监督提高了调试效率，同时在不同条件下保持最终准确率。该架构在结构上与领域无关，增加一个新的科学领域只需要配置新的 PI 智能体。

工具使用使大语言模型智能体能够与真实世界交互并解决复杂任务。然而，现有智能体框架主要依赖由细粒度原子动作组成的静态工具集，例如基础文件输入输出或单轮搜索。这迫使智能体在每个重复出现的工作流中重新构建底层逻辑，导致推理开销和失败率上升。本研究提出，智能体可以通过将这些原子动作合成为可复用的 Standard Operating Procedures（标准操作程序, SOP）来实现自我演化；这些 SOP 作为可调用的高阶工具，封装了多步逻辑。我们进一步提出 EvoSOP 框架，使智能体能够从执行轨迹中提取 SOP，并通过构建、合并、评估和剪枝组成的系统化生命周期，迭代优化工具集。大量实验表明，与基线相比，EvoSOP 显著提升任务成功率，同时大幅减少交互轮数。分析还显示，迭代式工具优化能够形成可靠且高效的工具使用模式，为自演化智能体的发展提供一条可扩展路径。

当前用于评估大语言模型数据分析能力的基准通常无法反映真实环境。它们往往专注于从小型表格中检索事实，而忽略大型多表数据集、外部知识整合和探索式洞察发现带来的挑战。我们提出 DataGovBench，这是一个源自政府开放数据、面向实际场景的大语言模型评测基准。基准包含两项任务：Table QA（表格问答）要求解决复杂且可分解的问题，并生成文本答案或可视化；Table Insight（表格洞察）则评估模型通过探索性数据分析生成专家级发现的能力。我们对带有和不带智能体框架的当前最佳大语言模型进行了综合实验，结果显示两项任务均存在显著性能差距。这说明当前基于大语言模型的系统距离满足真实世界数据分析需求仍然很远。DataGovBench 为推动既能回答分析问题、又能从数据中发现洞察的大语言模型研究提供了具有挑战性的基准。代码与样例数据已发布于 https://github.com/SoHasegawa/datagovbench。

主流 Vision-Language-Action（视觉—语言—动作, VLA）模型主要在马尔可夫假设下依据当前观察预测动作，因此难以处理长程、具有时间依赖性的任务。现有记忆增强型 VLA 要么扩大观察窗口，要么从记忆库中检索历史，将其作为策略侧的辅助上下文。然而，它们把记忆留在 VLA 推理原生潜在嵌入空间之外，导致历史经验无法与多模态推理和动作形成过程流畅交织。为此，我们提出 LaMem-VLA，一个以原生潜在记忆为核心的框架，它把历史经验重构为潜在记忆 token，并直接将其交织进 VLA 推理。LaMem-VLA 的核心包括四个协同组件：第一，curator（整理器）将历史经验组织进相互补充的短期与长期记忆库；第二，seeker（检索器）利用多模态认知查询两个记忆库，检索与上下文相关的证据；第三，condenser（压缩器）将检索到的证据重构成紧凑的短期与长期潜在记忆 token；第四，weaver（编织器）把这些记忆 token 与当前观察和指令一起注入一个连续嵌入序列。通过完全在同一连续潜空间中表征、检索和使用历史经验，LaMem-VLA 使记忆能够在受限上下文中直接参与 VLA 推理并指导动作生成。我们在 SimplerEnv 和 LIBERO 上开展了大量实验，证明 LaMem-VLA 具有更优性能。