概览
- 9 篇精评 + 7 篇简报，共 16 篇，已对 7 天滚动窗口去重（474 篇原始候选 → 音频初筛 42 篇，全部未在窗口内报道；另从 HF 每日论文补充 1 篇未报道音频论文 → 报道 16 篇）。
- 来源：arXiv API（cs.CL/cs.LG/cs.AI/cs.SD/eess.AS/cs.CV，2026-10-06 公告 474 篇去重；抓取初期被限流 429，冷却后恢复；10-07 公告在 API 索引中尚未可见，无降级）。
- 主题分布：全双工对话 5 篇（评测/RL/记忆/timing/延迟）、音频生成 3 篇（世界模型配音/Kandinsky/音乐修复）、语音隐私 2 篇、AudioLM 方法 2 篇、TTS 2 篇、语音翻译 1 篇、唇同步检测 1 篇。
- 今日关键词：全双工的"人味"工程——DyaFDB 说评测要双边、HiPLEX 把"何时说"拆出来单独 RL、PERSIST 给助手装跨会话记忆、Coupled but Late 发现模型换话比人慢 3–4 倍还不会做 turn-end 预测，各家都在给语音 agent 补"像人一样对话"的课；另一条线是"修生成管线"：WorldSonus 的流式空间音频、Kandinsky 的音画同步、音乐修复的三段式。
精评
1. WorldSonus：给世界模型配实时空间音频，流式因果扩散 RTF 0.41
一句话：世界模型终于有声音了——流式因果自回归扩散做视频到音频，RTF 0.41 跟上交互视频流，还能生成中途改音效指令、输出空间对齐的立体声。
贡献/机制：三大设计对准世界模型的三个痛点：实时性用 streaming causal autoregressive diffusion，按 chunk 合成音频，RTF 0.41；交互控制用 audio-centric captioning + chunk-indexed prompt scheduling，生成中途可动态操控声音事件；空间对齐用 stereo + ambisonic 数据做高质量立体声监督，让声音跟上场景几何与相机运动。项目页：https://noizai.github.io/WorldSonus/
数值结果：RTF 0.41；在开放域 video-to-audio benchmark 上，声学质量与空间对齐打平或超过 SOTA 双向模型。
批判性分析：“流式+可交互+空间对齐"三件套是冲着可玩的世界模型去的，定位准；但"打平 SOTA 双向模型"的结论建立在开放域 benchmark 上，世界模型特有的长程交互一致性（比如镜头切了声音还对不对）没评。做 V2A/世界模型音频的人必读。
摘要译文：世界模型的进展让视觉合成越来越逼真，但这些生成的环境大多是静默的。给世界模型配声音有三个核心挑战：实时生成以跟上交互视频流、交互控制以响应中途的声音指令、空间对齐的立体声以反映场景几何与相机运动。为此我们提出 WorldSonus，一个面向世界模型实时空间声音合成的交互式视频到音频框架。实时性上，WorldSonus 采用流式因果自回归扩散架构，按 chunk 合成音频，实时因子（RTF）低至 0.41。交互控制上，我们引入以音频为中心的 captioning 管线与 chunk 索引的 prompt 调度，支持生成过程中动态操控声音事件。空间对齐上，我们利用从多种立体声与 ambisonic 数据中精选的高质量立体声监督。大量实验表明，WorldSonus 虽为世界模型定制，但在开放域视频到音频 benchmark 上同样有效，在声学质量与空间对齐上打平或超过 SOTA 双向模型。
2. HiPLEX：全双工语音 LM 的 RL，把"何时说"和"说什么"拆成两层策略
一句话：全双工语音模型 RL 的老大难是"时机"和"内容"没法一起优化——HiPLEX 把策略拆成"何时说"的控制策略和"说什么"的内容策略，分开给 reward。
贡献/机制：把预训练的全双工文本策略 factorize 成两层：控制策略每帧在 pad/epad/con 三者中选（何时发内容），内容策略只在选 con 时选 token，复用模型现有的 text head。timing advantage 经 event-causal mask（从生成的语音 episode 导出）路由到 token-group 因子，语义 advantage（LLM judge）路由到内容因子，时机和内容各学各的。
数值结果：3 个 Moshi seed 在 Full-Duplex-Bench v1 上：自然停顿与 backchannel 机会处的抢话率下降、中断后响应延迟缩短（vs GRPO），中断响应质量相当；在 Moshi 与 PersonaPlex 上，turn-taking/backchannel 分布比 GRPO 更接近人类。
批判性分析：分层 RL 漂亮地解开了时机与内容的耦合，“event-causal mask 定 timing credit"是有想法的设计；但 timing advantage 的质量完全取决于 mask derivation 这一步，摘要没展开其鲁棒性；评测仍在 Moshi/PersonaPlex 生态内，跨架构泛化没验证。做全双工对话 RL 的人必读。
摘要译文：随着人机交互越来越对话化，能自然实时对话的全双工语音语言模型越来越重要。除了生成合适的回复，这些模型还必须实时协调 turn-taking、backchannel 和话轮管理。强化学习（RL）可以通过对交互结果的直接反馈来精炼这些行为。但现有 RL 方法要么把 timing 反馈加到 token 策略上、要么只优化语义内容，时机与内容的联合改进一直没解决。我们提出 HiPLEX，一个 RL 框架，把预训练的全双工文本策略分解为决定何时发内容的控制策略和决定发什么的条件内容策略。第一层在每帧中选择 ‘pad’、’epad’、‘con’；第二层只在选 ‘con’ 时选 token。这一分层描述了每帧内的条件动作，并复用模型现有的 text head。我们把 timing advantage 经由从生成语音 episode 导出的 event-causal mask 路由到 token-group 因子，把 LLM-judge 的语义 advantage 路由到条件内容因子。在 Full-Duplex-Bench v1 的三个 Moshi seed 上，HiPLEX 相对 GRPO 降低了自然停顿与 backchannel 机会处的抢话率、缩短了中断后响应延迟，同时保持了相当的中断响应质量。在 Moshi 和 PersonaPlex 上，HiPLEX 比 GRPO 更接近人类汇聚的 turn-timing 与 backchannel 分布。
3. PERSIST：给多会话语音助手装"谁-什么-何时"记忆，检索延迟 578ms→7ms
一句话：语音助手跨会话记忆不能只靠语义检索——PERSIST 把历史结构化成事件记录，用语义+说话人声纹+时间状态三维联合打分，还复用对话主干的中间表征免掉音频重编码。
贡献/机制：跨会话历史整理成可读的事件记录；3W 联合检索机制同时打分语义内容、声学说话人身份、时间状态（区分"最初计划"和"后来的修改”）；为实时全双工，复用 dialogue backbone 的中间表征，避免 query 音频重编码，检索延迟从 578.42ms 降到 7.03ms；新 benchmark SpokenTrace 按记忆任务×说话人查询类型分解评测，暴露 recall/说话人归属/时间状态跟踪三类失败。
数值结果：SpokenTrace 端到端任务准确率 85.08%；all-support EM@3 从 BGE-large 的 49.01% 提到 82.10%。
批判性分析：“谁-什么-何时"三维拆分切中了语音助手记忆的真痛点（多人共用设备、计划被修改）；但 SpokenTrace 是自建 benchmark，自举评估的味道偏浓；7ms 是"免重编码"的检索延迟，端到端记忆问答延迟没展开。做语音 agent 记忆系统的人必读。
摘要译文：现代语音助手可能被多人共用，需要能回答” 我当初 originally 计划什么时候出发？“这类关于早先对话的问题，还要能按用户调整行为。这不只是检索一段主题相似的文本：助手必须识别当前说话人、找回相关的过去状态、并把它和后来的修改区分开。我们提出 PERSIST，一个面向多会话、多说话人语音对话的持久记忆系统，显式建模谁（Who）、什么（What）、何时（When）。PERSIST 把跨会话历史结构化为可读的事件记录，并用结合语义内容、声学说话人身份、时间状态的 3W 联合打分机制检索。为支持实时全双工交互，PERSIST 复用对话主干的中间表征，避免 query 音频重编码，把检索延迟从 578.42ms 降到 7.03ms。我们还提出诊断型 benchmark SpokenTrace，沿记忆任务与说话人查询类型分解评测，暴露 recall、说话人归属、时间状态跟踪上的失败。在 SpokenTrace 上，PERSIST 端到端任务准确率达 85.08%，all-support EM@3 从 BGE-large 的 49.01% 提升到 82.10%。
4. DyaFDB：全双工评测不该只看"单人考官”——让两个模型直接对话、两边都打分
一句话：现有全双工评测都是"单边"的（放录音或固定考官）——DyaFDB 让两个模型在合作/对抗目标下直接对话、离线双边打分，4 个任务 140 个场景录了 7560 段对话。
贡献/机制：dyadic 评测框架：两个模型按分配角色（合作或冲突目标）直接对话，外部 judge 离线给两边打分；考察 turn-taking、打断、角色维持等双边耦合行为；4 个任务实例化为 140 个场景，覆盖 6 种 self-/cross-play 配对；release 场景、role prompt 与双模型录制协议，不用任何预录音频。
数值结果：140 scenarios，7560 段对话；核心发现：模型的行为会持续重塑对方——每个模型必须同时是考官和考生，不存在一个固定 interlocutor 能同时扮演两边。
批判性分析：把"对话是双人问题"落成可复现的 benchmark 是真贡献，“考官-考生同一体"的论证有说服力；但离线 judge 打分的主观性、以及"无预录音频"录制协议在跨 lab 复现时的方差都没讨论。做对话 agent 评测的人必读。
摘要译文：全双工语音对话模型边听边说，能实现轮流制系统做不到的自然低延迟交互。但它们通常只被放在单边 interlocutor 前评测：不能反应的预录音频，或能实时反应但只执行固定测试序列、自己从不被打分的自动考官。这些单边框架只评了双人问题的一半——turn-taking、重叠、打断都是两个耦合说话人的联合产物。我们提出 DyaFDB，一个 dyadic 评测框架：两个模型在分配角色下直接对话（合作或冲突目标），离线用外部 judge 给两边打分。DyaFDB 考察两模型如何相互对待，比如在不同利益下如何换话、如何维持分配角色。我们把 4 个任务实例化为 140 个场景，录制 7560 段对话，覆盖 6 种 self- 与 cross-play 配对。实验中我们反复观察到：一个模型的行为会持续重塑对方。因此每个模型必须同时是对方的考官和考生，不存在一个固定的 interlocutor 能同时扮演两边。我们将发布场景、角色 prompt 与双全双工模型录制协议，不使用任何预录音频。
5. SkillFormer：音频 LM 几十种技能互相打架？拆成技能专属 LoRA + 路由器拼装
一句话：音频 LM 联合训几十种技能会互相干扰——SkillFormer 给每个技能簇训专属低秩 adapter，推理时路由器按问题动态拼装，只加 <4% 参数。
贡献/机制：把音频理解分解为 skill-specific 低秩 adapter，推理时 learned router 看问题决定激活哪些 adapter、给多少权重（问音高的问题走的参数和音乐流派分类不一样）；交替训练：各 adapter 先在自己技能簇上训、再联合校准路由器，避免标准多任务优化的梯度冲突；不改 audio encoder 与 language backbone。
数值结果：3 种架构不同的模型，在 MMSU、MMAU-Pro、MMAR 上平均准确率 +2.5~4.1 分，感知/推理/语义子项均衡上涨。
批判性分析：MoE 式"按技能拆参数"的老思路在音频 LM 上的干净实现，<4% 参数的代价很克制；但路由器的误判代价（问音高被分到流派 adapter）没量化，+2.5~4.1 的涨幅里多少来自"更多参数"也没做等参对照。做 AudioLM 多任务训练的人必读。
摘要译文：音频语言模型要处理几十种不同技能，从音高比较、说话人计数到音乐 tempo 估计、情感识别。一起联合训练会导致干扰：一个技能的涨常常以另一个技能的跌为代价。我们提出 SkillFormer，把音频理解分解为技能专属的低秩 adapter，推理时通过 learned router 拼装。路由器看问题决定激活哪些 adapter、各自给多少权重——问音高的问题和流派分类走不同的参数。交替训练先让每个 adapter 在自己的技能簇上更新、再联合校准路由器，避免标准多任务优化中的梯度冲突。SkillFormer 只增加不到 4% 的参数，不改 audio encoder 与 language backbone。在三种架构不同的模型上，于 MMSU、MMAU-Pro、MMAR 评测，平均准确率提升 2.5 到 4.1 分，感知、推理、语义子项均衡上涨。
6. DirectSpeech2LLM：Speech-LLM 的 prompt 过拟合——只训 ASR 指令就只会当 ASR 用
一句话：Speech-LLM 只在 ASR 指令上训，换个语音翻译指令就崩回 ASR 行为——DirectSpeech2LLM 用 frozen LLM embedding 上的 CTC 距离损失做端到端对齐，只训 960h LibriSpeech 就能零样本泛化到翻译和情感识别。
贡献/机制：在 frozen LLM embedding 矩阵上算 distance-based CTC loss；用 greedy CTC label 分别导出几何对齐与时间对齐的语音 embedding 喂给 LLM；附带发现：几何对齐强度不如之前认为的重要，改过的 CTC 损失提供的隐式几何 grounding 就够了，不需要显式回归损失。
数值结果：只训 960h LibriSpeech ASR 数据：ASR（seen 任务）超过 cascaded 系统；零样本语音翻译、情感识别（unseen）接近 cascaded 上界；结论在两族 LLM 上一致，随数据与模型规模提升。
批判性分析：把"对齐方式"和"指令泛化"解耦是漂亮的诊断，端到端 CTC 对齐的简洁性值得抄；但 960h LibriSpeech 是干净英文朗读，unseen 任务也都偏简单（情感识别），真实噪声/多语/口音下的泛化没验证。做 Speech-LLM 训练的人必读。
摘要译文：Speech-LLM 常表现出 prompt 过拟合：只在 ASR 指令上训的模型泛化不到语音翻译等新指令，行为上基本还是个 ASR 系统。我们提出 DirectSpeech2LLM，一个简单的端到端框架，在语音条件下保留 LLM 在未见任务上的指令跟随能力。它在 frozen 的 LLM embedding 矩阵上算基于距离的 CTC 损失，用 greedy CTC label 分别导出几何与时间对齐的语音 embedding 作为 LLM 输入。只在 960 小时 LibriSpeech ASR 数据上训练，DirectSpeech2LLM 在 ASR（seen 任务）上超过 cascaded 系统，并零样本泛化到语音翻译与情感识别（两个 unseen 任务），接近 cascaded 系统上界，尽管训练时从没见过这两个任务。我们还发现几何对齐强度不如之前认为的重要：改过的 CTC 损失已提供足够的隐式几何 grounding，不需要显式回归损失。结果在两个 LLM 家族上一致，并随更多训练数据与更大模型规模提升。
7. 日语 TTS 的发音 RL：别在字形域算 CER，换到 kana 域，目标汉字误读降 26%
一句话：日语 TTS 拿 ASR 做 RL 时，在字形域算 CER 会"不同汉字同读音坍缩、同发音多种写法”——换到 kana 域算 Kana-CER，目标汉字读音错误降约 26%，4k 步就收敛（原来要 18k）。
贡献/机制：用 kana-transcribing ASR + 参考读音，在 kana 域算 CER 做 GRPO reward，让 reward 的表示域与优化目标（发音）对齐；观察到无约束 Kana-CER 优化会导致严重的输出拉长（output elongation），用 KL 正则压住。
数值结果：同等 GRPO 条件下，目标汉字读音错误相对字形域 CER reward 降约 26%，字形 CER、说话人相似度、客观音质相当；4k vs 18k 步达到最优验证性能。
批判性分析：把"reward 的表示域"和"优化目标的表示域"对齐是教科书级 trick，收敛还快了 4 倍多；但结论限日语（kana 表音的特殊性），中文多音字/英文同音异形词能不能照搬没说。做 TTS RL（尤其 CJK 语音）的人必读。
摘要译文：ASR 算出的字错率（CER）被广泛用作 TTS 系统 RL 后训练的可懂度 reward。但对日语，字形 CER 会带来表示失配：不同汉字的读音可能坍缩到同一字形表示，而等价发音也可能有不同字形写法。我们改在 kana 域算 CER，用 kana 转写的 ASR 模型与参考读音（Kana-CER）。在匹配的 GRPO 条件下，Kana-CER 把目标汉字读音错误相对字形域 CER reward 降低约 26%，字形 CER、说话人相似度、客观语音质量相当；达到最优验证性能也快得多（4k vs 18k 步）。我们还观察到无正则的 Kana-CER 优化下严重的输出拉长，KL 正则可大幅抑制。
8. 音乐源修复：先修混音、再分离、再逐轨修——三段式 MSR，8 个 stem 一次分
一句话：音乐源修复不只是分离——混音里还有 EQ/压缩等非线性制作痕迹和 codec 损伤，三段式框架先修整混音、再分 8 轨、再给每轨配专属修复 expert，代码模型全开源。
贡献/机制：三段式：(1) mixture restoration 先修 degradation 再分离；(2) 单个模型把修好的混音分成 8 个目标 stem（人声、吉他、键盘、合成器、贝斯、鼓、打击乐、管弦）；(3) stem-specific restoration expert 在分离器自己的残差 artifact 上微调；MSR Challenge 测试集上每段都比上一段好。代码与模型：https://github.com/theMoro/music_source_restoration
数值结果：三段逐段提升修复质量（MSR Challenge 测试集）；代码、模型已发布。
批判性分析：“在分离器自己的残差上训修复 expert"是闭环自举的妙手；但 8 stem 的粒度在真实流行歌分布上的覆盖度、以及"先修再分"的误差传播（第一段修坏了后面全歪）没量化。做音乐分离/修复的人必读。
摘要译文：音乐源修复（MSR）要从混音、母带处理、可能退化的录音中恢复原始未处理的乐器 stem。不同于传统声源分离把混音当干净声源的线性叠加，MSR 还要逆转非线性制作效应（如均衡、压缩）与传输退化（如 codec artifact）。我们提出三段式框架：(1) 混音修复模型在分离前处理 degradation；(2) 单个模型把修复后的混音分成 8 个目标 stem（人声、吉他、键盘、合成器、贝斯、鼓、打击乐、管弦）；(3) stem 专属修复 expert 在分离器自身的残差 artifact 上微调。在 MSR Challenge 测试集上，每段都比上一段提升修复质量。我们发布代码与模型以支持 MSR 后续研究。
9. Kandinsky 6.0 Video：3B/29B 文生音视频，44kHz 同步音频带唇同步，MIT 开源
一句话：Kandinsky 6.0 Video 双流 CrossDiT 做文本/图像到音视频联合生成，5 秒片段配 44kHz 同步音频（含唇同步），3B Lite 与 29B Pro 代码权重全按 MIT 开源。
贡献/机制：dual-stream CrossDiT：预训练视频流 + 新训音频流，双向 cross-attention 做时间/语义对齐；continuous pretraining 先在音频语料上从零训音频流、再在音视频对上联合训（保持单模态保真）；SFT + RL post-training + 蒸馏；内置超分到 1080p；代码、权重、diffusers 集成全 MIT 发布。
数值结果：side-by-side 人评明显超过 Kandinsky 5.0 Video Pro，与头部音视频生成模型相当、语音质量尤其强；生成 5 秒片段。
批判性分析：开源力度拉满（代码/权重/diffusers 全 MIT），社区可直接用；但"与头部模型相当"的人评细节（样本量、评测协议）摘要没展开，5 秒时长限制了实用场景。做音视频生成的人必读。
摘要译文：我们发布 Kandinsky 6.0 Video，一个同步文本到音视频生成的基础扩散模型家族，包括 Kandinsky 6.0 Video Lite（3B 参数）与 Kandinsky 6.0 Video Pro（29B 参数）。两模型都生成 5 秒视频片段配 44kHz 同步音频（含唇同步），支持文本到音视频（T2AV）与图像到音视频（I2AV）；内置超分模型把输出提到 Full-HD（1920×1080）。基于 Kandinsky 5.0 的视频生成能力，6.0 Video 采用双流 CrossDiT 架构：预训练视频流与新训音频流经双向 cross-attention 连接，做时间与语义对齐。continuous pretraining 先在音频语料上从零训音频流、再在音视频对上联合训两流并保持单模态保真；预训练后接监督微调、基于 RL 的后训练与蒸馏。side-by-side 人评中，6.0 Video Pro 明显超过前代 5.0 Video Pro，与头部音视频生成模型相当、语音质量尤其强。为加速多媒体生成的开放研究与落地，我们按 MIT 协议发布代码、模型权重与 diffusers 集成。
简报
10. HINTT：MLC-SLM 多语"谁在何时说了什么”，级联还是打不过统一语音 LLM？
多语说话人归属 ASR：级联管线（DiariZen diarization + Qwen3-ASR 微调 + LLM 生成式纠错）vs 统一语音 LLM（VibeVoice-ASR 微调，直接输出说话人/时间戳/转写），只用官方数据。结论：级联在 MLC-SLM Task 1 更稳，统一模型是未来方向。点评：工业界落地可直接抄的对照实验；但挑战赛数据的结论外推到真实会议场景要打折。
11. 多语语音匿名化的攻击者：声学派还是内容派？
匿名语音的攻击者 ASV 之前只在英文上研究；本文在多语上对比声学导向 vs 内容导向攻击者，并造了多语 voice-converted 数据集提跨语泛化。结论：声学派总体更强，但语言信息保留得好时两派差距缩小。代码、模型、MultiVC 数据集都开源。点评：隐私 vs 可用性的 trade-off 被量化得很清楚；但"攻击者"视角的结论对防御方（匿名化算法设计）的直接指导有限。
12. 免训练语音匿名化：只改推理时的 conditioning 和 guidance
两阶段免训练匿名化，套在预训练 flow-matching voice conversion 上：随机说话人上下文重构内容表征去残留音色，再用源语音找生成方向、压掉源说话人分量。VoicePrivacy 2026 Track 1 上隐私提升、WER 与情感识别保持。点评：纯推理时改法，落地零成本；但"训练-free"的安全边界（自适应攻击者）没测。
13. LipDA：用"唇动-头姿不一致"揪出 LipSync 伪造，还能溯源是哪个模型生成的
LipSync 生成器修掉了视觉 artifact，但修不掉"唇动和头部姿态的生物耦合”——LipDA 对比真伪视频的唇/姿态特征做检测，用时序动态+音画同步指纹做模型溯源。两个难数据集+自建多生成器大数据集上检测 AUC 97%+、溯源 97.5%。代码和 LipSync-A 数据集开源。点评：找"生成器修不掉的不变量"是 deepfake 检测的正路；但对抗"连头都一起动"的下一代生成器能撑多久是开放问题。
14. 端侧语音助手的投机执行：ASR 没听完就先调工具，首音频延迟 5.79s→4.60s
级联语音助手（ASR→LLM→工具）是串行的；本文加 Predictor 从部分 ASR 假设预测工具调用、边听边执行，结果缓存注入 LLM prompt；用户自我纠正用规则校验过滤。Android 真机实测中位 time-to-first-audio 5.79→4.60s，方差也降了。点评：speculative execution 的老思想在语音 agent 上的扎实落地；最坏情况退化为基线串行，工程上很稳。
15. Coupled but Late：两个全双工语音模型对话，换话慢得像在"等对方说完再反应"
两个 PersonaPlex-7B 在共享时钟上无脚本对话：timing 是耦合的（跨对话重配说话人就破坏），但换话中位 400–560ms vs 人类 137ms；人类 10% 的换话发生在对方 turn 最后 120ms（提前预测），模型只有 1%。单向延迟实验表明模型是"感知到结束后再反应"，而非人类式的 turn-end 预测。点评：和 HiPLEX/DyaFDB 一起看，“时机的人味"是全双工下半场的主战场；纯观察性研究，没给修法。
16. 边缘设备语音翻译：Jetson Nano 全离线，QE 当门控不做排序
Jetson Nano（4GB）全离线英西语音翻译管线：Whisper-tiny + Opus-MT，多语 BERT 余弦做质量估计门控，低置信触发二次修正。关键发现：QE 做门控有效、做排序无效（去掉排序省 680MB）；N=3 小候选池修正更"精准”。BLEU +0.67。系统开源。点评：边缘部署的诚实工程报告；BLEU 涨幅不大，但"门控 vs 排序"的消融值得做端侧的人记一笔。
今日 16 篇：9 篇精评 + 7 篇简报，全双工对话的"人味"工程是主线（DyaFDB 双边评测、HiPLEX 时机-内容分层 RL、PERSIST 跨会话记忆、换话 timing 比人类慢 3–4 倍且不会预测），音频生成三线并进（WorldSonus 流式空间配音、Kandinsky 6.0 音视频同步开源、音乐源三段式修复）；日语 TTS 的 kana 域 RL trick 做 CJK 语音的值得细读。
Cover image by HawthorneKitty