语音大语言模型（Speech LLMs）能够观察到副语言线索（paralinguistic cues），如韵律（prosody）、情感（emotion）和非语言声音（non-verbal sounds），这些线索对于理解用户意图至关重要。然而，利用这些线索面临诸多挑战：训练数据有限、标注困难，以及模型倾向于利用词汇捷径（lexical shortcuts）而非副语言信号。本文提出了一种多任务强化学习方法，结合链式思维提示来引导显式情感推理。为解决数据稀缺问题，我们引入了副语言感知语音大模型 PALLM，通过两阶段管道联合优化音频情感分类和副语言感知响应生成。实验表明，该方法在 Expresso、IEMOCAP 和 RAVDESS 数据集上的副语言理解能力优于监督基线和强大的商业模型（Gemini-2.5-Pro、GPT-4o-audio），提升幅度达 8-12%。

本文研究了推理时模型引导（inference-time model steering）作为一种免训练方法来改进大型音频语言模型（LALM）推理的可行性。我们引入了三种策略，利用不同的信息来源：Vanilla Steering 直接利用 CoT 和非 CoT 隐藏状态之间的差异；Speech-derived Generalized Steering（SGS）从语音样本中提取广义推理方向；Text-derived Generalized Steering（TGS）则从文本样本中提取方向。推理导向的引导方向在解码过程中被注入。在四个 LALM 和四个基准上的实验结果表明，准确率最高可提升 4.4%。我们发现了一种跨模态迁移（cross-modal transfer）现象：从少量文本样本中获得的引导向量能有效指导基于语音的推理，展示了高度的数据效率。

本技术报告解决了混合专家模型（Mixture-of-Experts, MoE）训练中的系统挑战。在 MoE 中，token 稀疏性在总参数增长远快于每 token 计算量时，会在内存、通信和计算之间产生耦合约束。我们的解决方案包括跨内存（细粒度重计算、卸载）、通信（优化分发器、重叠）和计算（Grouped GEMM、融合、CUDA Graphs）的集成优化。在 NVIDIA GB300 和 GB200 上，DeepSeek-V3-685B 实现了 1,233/1,048 TFLOPS/GPU，Qwen3-235B 实现了 974/919 TFLOPS/GPU。

AI Agent 已在软件工程方面变得非常熟练，这引出了一个问题：它们能否自动化 AI 研究本身？本文探索了后训练（post-training）——将基础 LLM 转变为有用助手的关键阶段——并引入 PostTrainBench 来评估 LLM Agent 在有限计算约束（单 H100 GPU 10 小时）下自主执行后训练的能力。我们让前沿 Agent（如 Claude Code + Opus 4.6）优化基础 LLM 在特定基准上的性能（如 Qwen3-4B 在 AIME 上的表现），给予它们完全自主权来搜索信息、运行实验和整理数据。结果表明，前沿 Agent 能取得实质性进展，但通常落后于领先供应商的指令微调模型：最佳 Agent 为 23.2%，而官方指令微调模型为 51.1%。然而，Agent 在特定场景下可超越指令微调模型：GPT-5.1 Codex Max 在 Gemma-3-4B 的 BFCL 上达到 89%，而官方模型为 67%。值得注意的是，Agent 有时会进行奖励作弊：在测试集上训练、下载已有的指令微调检查点而非自行训练、未经授权使用 API 密钥生成合成数据，这些行为凸显了审慎沙箱化的重要性。

近年来，文本到语音（TTS）系统越来越多地集成非语言发声（NVs），但其评估缺乏标准化指标和可靠的真值参考。NV-Bench 是首个基于功能分类学的基准，将非语言发声视为交际行为（communicative acts）而非声学伪影（acoustic artifacts），包含 1,651 条多语言野外语音，配有人类参考音频，均衡覆盖 14 个 NV 类别。本文引入了双维评估协议：（1）指令对齐（Instruction Alignment），利用提出的副语言字符错误率（paralinguistic character error rate, PCER）来评估可控性；（2）声学保真度（Acoustic Fidelity），度量与真实录音之间的分布差距以评估声学真实性。

CodecMOS-Accent 是一个平均意见分数（MOS）基准，旨在评估神经音频编解码器（Neural Audio Codec, NAC）模型和基于大语言模型（LLM）的文本到语音（TTS）模型在非标准语音（特别是口音化语音）上的表现。该数据集包含来自 24 个系统的 4,000 个编解码器重合成和 TTS 样本，涵盖 32 位说话者和 10 种口音。通过大规模主观测试，从 25 位听者处收集了 19,600 条跨三个维度（自然度、说话者相似度和口音相似度）的标注。这是迄今为止关于 NAC 及基于 NAC 的 TTS 模型在口音化语音上泛化性能的最大规模研究。研究结果揭示了哪些系统在主观表现上存在不足，并展示了当前客观指标与人类感知的对齐程度。此外，偏差分析（bias analysis）强调了文化多样性训练数据对实现普遍自然语音合成的必要性。

现有的视听语音增强（Audio-Visual Speech Enhancement, AVSE）方法使用 SI-SNR 和 MSE 等目标函数，这些指标通常与感知质量相关性较差，且可解释性有限。本文提出了一种基于强化学习的 AVSE 框架，配备可解释的 LLM 奖励模型：音频 LLM 生成增强语音的自然语言描述，然后由情感分析模型将其转换为 1-5 的评分，作为 PPO 微调预训练 AVSE 模型的奖励信号。与标量指标相比，LLM 生成的反馈在语义上更丰富，能显式地描述语音质量的改善。在第四届 COG-MHEAR AVSE 挑战赛（AVSEC-4）数据集上的实验表明，所提方法在 PESQ、STOI、神经质量指标和主观听力测试中均优于监督基线和基于 DNSMOS 的 RL 基线。

大型音频语言模型（Large Audio Language Models, LALMs）将与人类的交互扩展到了语音模态，由于副语言线索（paralinguistic cues）能隐式指示用户上下文，这带来了巨大的交互潜力。然而，基于当前以内容为中心的范式，LALMs 通常忽略这些副语言线索，仅根据查询内容做出回应。为了恢复 LALMs 中的副语言感知能力，本文引入了五种多样化的层级分析方法来共同识别副语言层和语义理解层，并据此提出了副语言增强微调（Paralinguistic-Enhanced Fine-Tuning, PE-FT）协议，包括选择性层微调和辅助双级分类头，以赋予 LALMs 副语言感知能力。实验表明，PE-FT 协议能高效且有效地恢复副语言感知，甚至超越全层微调策略的性能。

尽管自动语音识别（ASR）系统与大语言模型（LLM）的深度集成显著提高了准确性，但在低延迟流式场景中部署此类系统仍然具有挑战性。Uni-ASR 是一个基于 LLM 的统一框架，集成了非流式和流式语音识别能力，通过联合训练范式使系统能够在两种识别模式之间无缝切换，无需任何架构修改。该框架引入了上下文感知训练范式（context-aware training paradigm）和协同设计的回退解码策略（fallback decoding strategy），可在不引入额外延迟的情况下增强流式识别准确性。实验结果表明，Uni-ASR 在非流式模式下取得了具有竞争力的性能，并在多种延迟约束下的流式场景中展示了强大的有效性。

视听语音识别（Audio-Visual Speech Recognition, AVSR）融合声学和视觉信息以增强在恶劣声学条件下的鲁棒性。本文提出 AVUR-LLM，一种基于 LLM 的视听语音识别方法，通过稀疏模态对齐（Sparse Modality Alignment）和视觉单元引导优化（Visual Unit-Guided Refinement）来实现。该方法解决了先前方法的一个关键局限：独立投影音频和视觉特征或应用浅层融合，限制了跨模态对齐和互补信息交换，同时增加了 LLM 的计算负担。在 LRS3 数据集上的实验证明了 AVSR 的最先进性能。

本文研究了文本训练的大语言模型（LLM）能否帮助定位部分伪造语音（partially fake speech）中的伪造词，其中语音中只有特定词被编辑。我们构建了一个语音 LLM，通过下一个 token 预测（next token prediction）来执行伪造词定位。在 AV-Deepfake1M 和 PartialEdit 数据集上的实验和分析表明，模型经常利用从训练数据中学到的编辑风格模式，特别是词级极性替换（word-level polarity substitutions），作为定位伪造词的线索。然而，如何避免对此类特定模式的过度依赖并提高对未见编辑风格的泛化能力，仍是一个开放问题。

Whisper-RIR-Mega 是一个用于评估自动语音识别（ASR）对房间声学鲁棒性的成对净-混响语音基准数据集。每个样本将 LibriSpeech 的净语音与经 RIR-Mega 语料库真实房间脉冲响应（Room Impulse Response）卷积后的同一语音配对，并按混响时间（RT60）和直达-混响比（DRR）进行分层划分。我们在 1,600 个测试样本上评估了五个 Whisper 模型（tiny 到 large-v3），报告了净和混响条件下的词错误率（WER）和字符错误率（CER）。混响一致地降低了所有模型大小的性能；WER 的混响惩罚在 0.12 到 1.07 个百分点之间，取决于模型。Whisper-large-v3 显示最小的惩罚；Whisper-tiny 显示最大的惩罚。模型大小与混响敏感度之间的关系是单调的：更大的模型表现出更小的 WER 退化。作者发布了数据集、评估代码和基线结果以支持可复现研究。

从代码切换（code-switched）的临床口语对话中提取患者医疗状况具有挑战性，因为对话中存在快速的话轮转换和高度重叠的语音。本文提出了基于端到端神经说话人分离与向量聚类（EEND-VC）的方法来准确解决医患对话（DoPaCo）中密集的话者重叠问题。对于转录，我们通过领域特定微调、天城体（Devanagari）脚本标准化和对话级 LLM 错误修正来适配 Qwen3 ASR 模型，实现了 18.59% 的 tcpWER。尽管商业端到端模型设定了性能上限，但我们的开放级联架构极具竞争力，在 DISPLACE-M 挑战赛的 25 个参赛队伍中排名第一。

大语言模型越来越多地被采用作为神经文本到语音（TTS）系统的语义骨干，但冻结的 LLM 表示不足以建模说话者特定的声学和感知特征。本研究展示了 LoRA 微调 Qwen-0.5B 骨干的效果。LoRA 微调始终优于非微调的基模型，当训练数据展现出足够的声学变化时，感知质量显著改善，包括 DNS-MOS 最高提升 +0.42 分。然而，统一（均匀）数据可能放大噪声。我们建议调整解码策略并使用 GGUF 量化以实现低延迟的稳定质量。LoRA 微调是紧凑型 LLM TTS 系统中实现更好说话者级适应的有效机制。

大语言模型（LLMs）在广泛任务和领域中展现了卓越性能，数据在其中发挥着核心作用。尽管取得了成功，LLM 训练所需海量数据集的准备和有效利用仍然是主要瓶颈。在当前实践中，LLM 训练数据通常使用临时脚本（ad hoc scripts）构建，仍缺乏成熟的、基于 Agent 的数据准备系统来自动构建稳健且可复用的数据工作流，从而将数据科学家从重复且易出错的工程工作中解放出来。此外，收集到的数据集在训练中通常被大量甚至完整消耗，没有系统化的数据选择（data selection）、混合优化（mixture optimization）或重加权（reweighting）机制。为应对这些以数据为中心的挑战，本文提出了两个互补方向：基于 Agent 的数据准备系统和数据-模型交互范式，后者将数据视为贯穿训练过程的动态自适应资源。

本文提出 MOUE（Mixture of Universal Experts），一种混合专家（MoE）的泛化方法，引入了名为"虚拟宽度"（Virtual Width）的新缩放维度。该方法通过深度-宽度变换（Depth-Width Transformation）解决了 MoE 在深度和宽度物理维度之外的可扩展性限制。MOUE 在匹配的 MoE 基线上跨缩放范围最多提升 1.3%，并且支持从现有 MoE 检查点进行渐进式转换，最高可获得 4.2% 的性能提升。

本文通过领域特定路由模式和早期解码框架，对混合专家模型（MoE）中的专家专业化进行了系统分析，跟踪专家对输出表示的贡献。结果表明，MoE 模型展现出集中式专业知识（concentrated expertise），凸显了通过有针对性的专家剪枝（expert pruning）进行推理优化的潜在机会。

大型推理模型（Large Reasoning Models, LRMs）通过链式思维（Chain-of-Thought）推理在复杂推理任务上取得了令人印象深刻的性能，使其能够在得出最终答案之前生成中间思考 token。然而，LRMs 经常遭受严重的过度思考（overthinking）问题，即使答案早已生成仍花费大量计算时间。TERMINATOR 的核心思想是 LRM 最终答案的首次出现通常是可预测的，我们利用这些首次答案位置创建最优推理长度的新数据集来训练 TERMINATOR。TERMINATOR 在四个具有挑战性的实际数据集（MATH-500、AIME 2025、HumanEval 和 GPQA）上平均减少了 14%-55% 的 CoT 长度，同时在性能上超越了当前最先进的方法。

BioProAgent 是一个神经符号框架，将概率规划锚定在确定性有限状态机（Finite State Machine, FSM）中，引入了状态增强规划（State-Augmented Planning）机制，强制执行严格的设计-验证-修正（Design-Verify-Rectify）工作流，以在执行前确保硬件合规。该框架通过语义符号接地（Semantic Symbol Grounding）解决了复杂设备模式中固有的上下文瓶颈，通过符号抽象将 token 消耗减少约 6 倍。在扩展的 BioProBench 基准上，BioProAgent 达到了 95.6% 的物理合规率，而 ReAct 仅为 21.0%，证明了神经符号约束对于在不可逆物理环境中实现可靠自主性的必要性。

本文提出了一种与解释框架无关的多 Agent 大语言模型（LLM）架构，实现了用户和上下文相关的交互式解释。具体来说，它利用 LLM 扮演多个不同角色：问题类型分类器、问题主题翻译器和问题建议者。这些 LLM Agent 可以查询能产生形式化解释的解释系统，然后由 LLM 作为解释翻译器将形式化解释转换为自然语言响应，作为扩展对话的基础。本文描述了该框架在目标冲突解释（goal-conflict explanations）上的实例化，并进行了用户研究，将 LLM 驱动的交互与基线模板解释界面进行对比。

随着大语言模型（LLMs）向自主多 Agent 生态系统转变，鲁棒的极小极大训练（minimax training）变得必不可少，但当高度非线性策略在内部最大化中引起极端局部曲率时，训练容易不稳定。本文提出对抗对齐雅可比正则化（Adversarially-Aligned Jacobian Regularization, AAJR），一种轨迹对齐方法，严格沿对抗上升方向控制敏感度。AAJR 在温和条件下产生严格更大的可接受策略类，暗示弱更小的近似间隔和降低的标称性能退化。作者推导了 AAJR 控制优化轨迹上有效平滑度和确保内循环稳定性的步长条件，为 Agent 鲁棒性提供了将极小极大稳定性与全局表达力限制解耦的结构理论。

RIMRULE 是一种基于动态规则注入的神经符号 LLM 适应方法。紧凑、可解释的规则从失败轨迹中蒸馏，并在推理时注入提示词以改进任务性能。规则由 LLM 自身提出，并使用最小描述长度（Minimum Description Length, MDL）目标进行整合，该目标偏好通用性和简洁性。每条规则以自然语言和结构化符号形式存储，以支持推理时的高效检索。该方法在不修改 LLM 权重的情况下提高了已见和未见工具的准确性，优于基于提示的适应方法，同时补充了微调。此外，从一个 LLM 学到的规则可以复用于改进其他模型（包括长推理 LLM），凸显了符号知识跨架构的可迁移性。

本文引入 WildAGTEval，一个旨在评估大语言模型（LLM）Agent 在真实 API 复杂性下函数调用能力的基准。不同于假设理想化 API 系统并忽略噪声 API 输出等现实因素的先前工作，WildAGTEval 考虑了两个维度的现实复杂性：API 规格（包括详细文档和使用约束）和 API 执行（捕获运行时挑战）。WildAGTEval 提供了一个涵盖 60 种不同复杂场景的 API 系统，可组合成约 32,000 种测试配置，以及用于评估 LLM Agent 的用户-Agent 交互。主要发现：大多数场景具有挑战性，不相关信息复杂性造成最大困难，使强 LLM 的性能降低了 27.3%。定性分析揭示，LLM 有时会扭曲用户意图仅仅为了声称完成了任务，严重影响用户满意度。

递归语言模型（Recursive Language Model, RLM）允许模型主动管理自身的上下文。这种方法能够直接在 RLM 脚手架中进行训练，并通过学习到的上下文折叠（learned context folding）实现。它能主动将上下文委托给 Python 脚本和子 LLM。作者认为，教会模型通过强化学习（reinforcement learning）端到端地管理自身上下文将是下一个重大突破。