Featured image of post AI Paper Daily | 2026-10-15

AI Paper Daily | 2026-10-15

概览

  • 10 篇精评 + 6 篇简报,共 16 篇,已对 7 天滚动窗口去重(候选池 1510 篇 → 近两日提交 904 篇 → 音频初筛未报道 55 篇 → 报道 16 篇)。
  • 来源:arXiv(1411 篇,六类目 API 直抓,主批 published 2026-10-13 计 569 篇、2026-10-12 计 335 篇;抓取期间多次触发限流,分类目重试后全量完成);HuggingFace Daily Papers(127 条,10-12 至 10-15,其中 99 篇为 arXiv 池外补充、27 篇合并 upvotes)。
  • 主题分布:全双工与语音语言模型 3 篇、TTS 与语音生成/个性化 4 篇、Audio LLM 理解与评测 4 篇、说话人提取与语音检索 2 篇、音频深伪检测 1 篇、语音 LM 偏好后训练 1 篇、音视频同步奖励 1 篇。
  • 今日关键词:“全双工”——D2 把半双工骨干改造成全双工、Diffuplex 用离散扩散把解码速度推到 1872 token/s、DuplexAct 开始给全双工模型的"互动动作"打分;同日 Fish Audio Drama 3 开源 35B MoE 表演式语音生成,单卡解码 271 帧/秒。

精评

1. Fish Audio Drama 3:35B MoE 表演式语音生成,单卡 271 帧/秒

2610.18010

一句话:Drama 3 把"配音表演"做成单一模型能力——多参考音色克隆、自然语言导演指令、多轮按意见改戏、多角色场景、填充式编辑、长篇与流式合成全塞进一个 35B MoE(每 token 激活 3B)。

贡献/机制:混合线性注意力骨干 + 新的 codebook 多 token 预测音频解码器(每帧的声学码本由专属层预测、注意力覆盖全序列);三阶段预训练 + 指令微调 + 大批次 RL,RL 奖励只有一个学习到的人类偏好模型。多轮修改、场景配音、填充编辑、流式文本输入均为本代新增。权重已开源(GitHub fishaudio/fish-speech、Hugging Face fishaudio/drama-3),推理走 SGLang-Omni。

数值结果:单张 H200 上单流解码 271 帧/秒,对比 Fish Audio S2 的 177 帧/秒——参数量是 S2 的 7 倍以上、解码反而更快(摘要未给 WER/相似度/MOS 等质量数值)。

批判性分析:这是自家技术报告:摘要通篇能力清单 + 速度数字,没有任何横向质量对照(与 S2 及外部 TTS 的同台评测缺席),“表演质量"目前只能去 fish.audio 听 demo 自行判断;RL 只用单一偏好模型做奖励,偏好模型的偏差即全系统的品味上限。做语音生成的人必读,但引用其能力主张时要标注"厂商自报”。

摘要译文:我们发布 Fish Audio Drama 3,一个把文本变成"导演式表演"的开源语音生成模型,基于 35B 参数 MoE 骨干、每 token 激活 3B 参数。它能从多个参考克隆音色、遵循自然语言导演指令、在下一轮收到意见时修改一遍表演、为多角色场景配音、通过填充编辑已有语音,并合成长篇与流式音频。多轮修改、场景配音、填充编辑与流式文本输入均为 Drama 3 新增,且在同一个模型内实现。Drama 3 将混合线性注意力骨干与新的码本多 token 预测音频解码器配对,后者用专属层预测每帧的声学码本并对全序列做注意力。模型经三阶段预训练、指令微调与大批次强化学习训练,RL 的唯一奖励是一个学习到的人类偏好模型。其推理引擎在单张 H200 上以 271 帧/秒解码单流,Fish Audio S2 为 177 帧/秒,而 Drama 3 的参数量是其 7 倍以上。权重已在 GitHub 与 Hugging Face 开源,推理可通过 SGLang-Omni 使用。


2. D2:把半双工骨干"改装"成全双工,VoiceBench 70.1 登顶

2610.17124

一句话:全双工语音 LM 能同时听说是卖点,但通用能力普遍落后半双工模型——D2 不从头训,而是把现成的半双工模型改造成全双工:Qwen3-Omni-D2 在 12.5Hz 更新率下轮次成功率 99.2%、延迟 521 毫秒。

贡献/机制:Dialogue-to-Duplex 两步:先用无解码器的表征蒸馏把原音频编码器改成流式,再用监督微调学习全双工互动;系统研究了块大小对互动、通用能力与推理算力的权衡。在 Qwen3-Omni 与 LLaMA-Omni 2 两种骨干上都验证成立。

数值结果:Qwen3-Omni-D2(12.5Hz):轮次切换成功率 99.2%、延迟 521 ms、打断成功率 99.5%、VoiceBench 70.1(SOTA)。

批判性分析:99% 级的轮次/打断成功率来自其评测协议,与真实嘈杂多人对话的差距未测;块大小权衡的完整曲线要看正文;只改装了两个骨干,蒸馏对编码器的能力损耗未在摘要量化。做实时语音对话的人,这是目前"改造而非重训"路线最完整的参照。

摘要译文:全双工语音语言模型(FD-SLM)支持同时听与说,但通用能力往往落后于半双工模型(HD-SLM)。我们提出 Dialogue-to-Duplex(D2),把预训练 HD-SLM 在精细时间粒度上改造成高能力 FD-SLM:D2 通过无解码器的表征蒸馏把原音频编码器适配为流式,并通过监督微调学习全双工互动。我们系统研究了块大小对全双工互动、通用能力与推理算力的影响,并把 D2 应用于 Qwen3-Omni 与 LLaMA-Omni 2 两种骨干。在 12.5Hz 更新率下,Qwen3-Omni-D2 达到 99.2% 的轮次切换成功率、521 毫秒延迟、99.5% 的打断成功率,以及 SOTA 的 VoiceBench 分数 70.1。


3. Diffuplex:全双工语音建模换上离散扩散,1872 token/秒

2610.17780

一句话:自回归全双工把"何时说"和"说什么"挤在一条时间线上,语义计算被音频帧率锁死——Diffuplex 在训练层面把两者拆开:AR 策略管互动时机,离散扩散并行生成与修订内容,一次前向出 13 个 token。

贡献/机制:推理时 AR 互动策略持续跟踪用户语音,响应内容由扩散并行生成与精修;带 thinking 模式时每前向 13.0 token、平均 1872 token/秒,大幅超过前沿 AR 模型;不开 thinking 时首音频延迟与现有全双工模型相当、语言智能显著更强。代码与检查点"即将发布"。

数值结果:13.0 token/前向、1872 token/秒(thinking 模式);无 thinking 时语言智能"显著强于"现有全双工模型(摘要未给具体基准分数)。

批判性分析:1872 token/秒是解码吞吐而非端到端对话延迟,扩散的修订步数与质量关系未在摘要交代;无具体基准分数,“显著更强"暂时无法核验;代码未放出前可复现性为零。与同日 D2 对照看很有意思:一个改造 AR、一个绕开 AR,全双工的路线之争正在升温。

摘要译文:我们提出 Diffuplex,一个基于离散扩散的全双工语音语言模型,在语言智能与响应效率之间取得了前所未有的平衡。开启 thinking 模式时,Diffuplex 每次前向交付 13.0 个 token,达到平均 1872 token/秒,大幅超越前沿自回归(AR)模型;不开 thinking 时,它与现有全双工模型保持相当的首音频延迟,同时语言智能显著更强。其关键在于在训练层面把"何时说"与"说什么"分开,而不是把两者压进一条自回归时间线。推理时,Diffuplex 用 AR 互动策略持续跟踪用户语音,同时通过并行扩散独立生成与精修响应内容。于是语义计算不再受感知音频帧率约束,智能与响应速度可以同时提升。训练代码与检查点即将发布。


4. 一次性 TTS 个性化:固定目标是病根,on-policy 才是解药

2610.17838

一句话:拿一对参考音频 SFT 自回归 TTS,模型很快学会"沉默”——这篇定位病根为固定、off-policy 的监督信号,并给出两种 on-policy 解法:GRPO 效果最强,on-policy 自蒸馏(OPSD)适配最快。

贡献/机制:先证伪两条直觉路线:SFT 单参考对会迅速退化出空白/近空白输出;用零样本伪对扩增数据能消除崩坏,但相似度几乎不涨、WER 还上升(目标仍是固定的教师强制)。GRPO 用说话人相似度作奖励,OPSD 用参考条件教师的软监督自蒸馏;受控分析确认增益来自 on-policy 监督本身、而非目标多样性。

数值结果:摘要只给定性结论:两种 on-policy 方法都提升说话人相似度且保住可懂度,GRPO 整体最强,OPSD 无需外部奖励评估、适配显著更快(未给相似度/WER 绝对值)。

批判性分析:无绝对数值是硬伤——“提升"幅度、有无统计显著性都要等正文;只在单参考对设定验证,多参考与跨语种未提;GRPO 的奖励模型(说话人相似度)本身可被钻空子,论文是否防了 reward hacking 需看全文。做少样本音色适配的人,方法论结论(别再堆固定目标)比数值更值得带走。

摘要译文:自回归(AR)文本转语音模型的一次性个性化仍具挑战:在单个参考对上做监督微调(SFT)会迅速损害生成质量。我们指出固定、off-policy 的监督是一次性 SFT 失败的关键原因,它导致推理时出现空白或近空白输出。用零样本伪对扩增训练数据能消除这一失败,但说话人相似度提升甚微、词错误率反而上升,因为目标仍是固定且教师强制的。为此我们提出两种 on-policy 方法:以说话人相似度为奖励的 GRPO,以及用参考条件教师软监督的 on-policy 自蒸馏(OPSD)。两种方法都提升了说话人相似度并保持可懂度,但权衡不同:GRPO 整体表现最强,OPSD 则无需外部奖励评估、适配快得多。进一步分析确认增益来自 on-policy 监督而非目标多样性,从而确立 on-policy 训练是 AR TTS 一次性个性化的有效框架。


5. Codec 目标说话人提取:解耦表征本身不涨点,任务感知分工才行

2610.16858

一句话:生成式 TSE 用统一 codec token 把内容、说话人、声学全搅在一起——换成解耦的语义-声学 token 直接掉点;真正的解法是让判别分支管"说什么”、生成分支管"怎么听起来",Libri2Mix 上 dWER 从 0.388 降到 0.118。

贡献/机制:先给出反直觉的负结果:仅把统一 token 换成解耦 token、仍由统一生成模型处理,性能反而变差。随后提出任务感知的判别-生成框架:判别分支抽取目标相关的语义信息,生成分支预测粗粒度声学 token 并在语义引导下精修,在因子化的 codec 空间里分工协作。

数值结果:Libri2Mix 上 dWER 0.388 → 0.118(相对统一 codec 基线),同时保持有竞争力的感知质量与说话人一致性;消融确认增益来自任务感知的语义-声学建模,而非表征解耦本身。

批判性分析:只在 Libri2Mix(双人、干净混合)验证,真实会议噪声与三人以上场景未测;dWER 是内容指标,感知质量只给了"有竞争力"的定性说法;判别分支的错误会直接污染生成,上限分析缺失。这篇的价值一半在方法、一半在那个负结果——给所有"换个解耦表征就涨点"的叙事提了个醒。

摘要译文:目标说话人提取(TSE)旨在借助注册语句从混合语音中恢复目标说话人的语音。近期的 codec 生成式方法把 TSE 建模为条件语音 token 生成,感知质量不错;但多数系统依赖统一 codec token,把语言内容、说话人特征与声学细节纠缠在一起,迫使单个模型同时处理目标选择、内容语义与声学重建。本文研究解耦的语义-声学 codec 表征是否更适合 TSE。我们首先表明:仅把统一 codec token 换成解耦 token 是不够的,当两者仍由统一生成模型处理时甚至会掉点。受此启发,我们提出任务感知的判别-生成框架:判别分支提取与目标相关的语义信息,生成分支预测粗粒度声学 token 并在语义引导下精修,从而把"说什么"与"怎么听起来"分开、又在因子化的 codec 空间内协同。Libri2Mix 实验显示,该方法把 dWER 从 0.388 降至 0.118(相对统一 codec 基线),同时保持有竞争力的感知质量与说话人一致性;消融证实增益来自任务感知的语义-声学建模,而非表征解耦本身。


6. ATTEST:给长音频时序定位上 RL——先验"证据还在不在"

2610.17149

一句话:LALM 在长音频上做时序定位既弱又爱幻觉,标注还稀缺——ATTEST 用 GRPO 加三路奖励治它,其中最狠的一路是反事实奖励:把模型声称的证据片段挖掉,它的预测还成立就罚。

贡献/机制:配套发布 EgoSCAPE 基准(源自 Ego4D、人工核验、700 条最长 5 分钟的真实音频,带密集字幕、声源、时间线与定位查询)。ATTEST 不改架构与词表:反事实接地奖励(惩罚证据移除后仍存活的预测)+ 注意力密度奖励(生成时要看自己声称的时间段)+ token 级优势(给长密集字幕做片段级信用分配)。

数值结果:在既有密集字幕与定位基准上超过先前时序定位方法、幻觉更少(摘要未给具体分数与提升幅度)。

批判性分析:核心卖点是方法 + 基准,但摘要无一个绝对数字,效果强度无法评估;反事实奖励依赖"证据可移除性",对弥漫型声源(背景音乐、环境声)如何定义证据未交代;Ego4D 第一人称场景与播客/会议等长音频域的迁移性未知。做长音频理解的人,EgoSCAPE 本身可能比方法更耐用。

摘要译文:时序定位是音频理解的基础,但大音频语言模型(LALM)在长音频上依然薄弱:幻觉不断累积,标注数据稀缺。现有基准只覆盖短片段或提供粗粒度合成标注。我们提出 EgoSCAPE:一个由 Ego4D 构建、经人工核验的基准,含 700 条最长 5 分钟的真实音频,标注了密集字幕、声源、音频时间线与时序定位查询。我们还提出 ATTEST,一个基于 GRPO 的强化学习框架,在不改变基础模型架构与 token 词表的前提下改进时序定位。ATTEST 结合三项设计:(i)反事实接地奖励,惩罚在移除其声学证据后仍存活的预测;(ii)注意力密度奖励,鼓励生成时关注模型自己声称的时间段;(iii)token 级优势,为长而密集的字幕提供片段级信用分配。ATTEST 在既有密集字幕与定位基准上超过先前的时序定位方法,且幻觉更少。EgoSCAPE 与 ATTEST 共同建立了一套严格的评测-训练配方,使时序接地的音频理解更接近实用的长音频部署。


7. UA-Bench:九个 LALM 下了水,叶子类准确率 2.0%–13.1%

2610.16942

一句话:把通用 LALM 放到水下声学识别上,几乎全军覆没——37.5 万条参数化合成记录构成的 UA-Bench 上,九个开源 LALM 的细粒度准确率只有 2.0%–13.1%,而随机基线是 7.7%:不少模型还不如掷骰子。

贡献/机制:首个 LALM 水下声学基准:参数化声源(探测脉冲、通信波形、舰船辐射噪声)× 建模传播(声速剖面、几何、多径),每条记录可溯源到生成条件;三级标签(13 个叶子类)、模板化多轮对话与完整的源/信道元数据,并发布训练划分。在 2,600 条均衡子集上用门控的由粗到细协议定位错误(源路由/细分类/输出格式),另加配对的静音对照检验模型是否真的在用波形。

数值结果:九个 LALM 叶子准确率 2.0%–13.1%(随机 7.7%);波形对源路由的帮助远大于叶子识别(某模型 +29.5 vs +2.3 个百分点,相对于静音);只有四个模型的叶子级增益可靠、至多 +4.7 个百分点。

批判性分析:全合成数据是双刃剑:参数化传播与真实海洋录音的域差距决定这个基准的上限,真实录音验证缺席;“不如随机"部分可能来自输出格式/路由失败而非纯感知失败,作者的门控协议恰好能拆这一点,建议读者看分项而非总分。做 LALM 垂直域评测的人,这套"合成可溯源 + 静音对照"的造基准方法值得抄。

摘要译文:大音频语言模型(LALM)正迅速成为声音的通用接口,但其广泛预训练能迁移到多深的专业领域仍大体未知。船舶监测、海上安全与海洋感知都依赖水下信号识别,但据我们所知 LALM 尚未在此被系统评测。标注录音采集昂贵,而可信的合成替代必须同时刻画探测脉冲结构、通信波形、舰船辐射噪声,以及声速剖面、几何与多径传播。为此我们提出 UA-Bench,据我们所知是首个评测 LALM 水下声学信号识别的大规模基准。它包含 375,051 条记录,将参数化声源与建模传播耦合,每条记录都可溯源到产生它的条件。记录涵盖三类信号家族,每条带三级标签层级(13 个叶子类)、模板化多轮对话以及源与信道元数据。我们在 2,600 条均衡子集上以门控的由粗到细协议评测,把每个错误定位在源路由、细粒度分类或输出格式,并加入配对的静音音频对照来检验波形是否真的被使用。九个未经任务适配的开源 LALM 叶子准确率仅 2.0%–13.1%,随机参照为 7.7%。波形对源路由的帮助远大于叶子识别(某模型相对静音 +29.5 vs +2.3 个百分点),只有四个模型的叶子级增益可靠、至多 4.7 个百分点。UA-Bench 为这些模型提供了参照点,其发布的训练划分支持后续适配研究。


8. 音频深伪检测:Whisper-small 底座做出 1.51% 平均 EER,还比 3B 模型小一个量级

2610.16049

一句话:固定瓶颈架构吃不下五花八门的伪造痕迹——这篇用自适应压缩池动态选潜维度、再在梅尔域做定向扰动正则,基于 Whisper-small 拿到 1.51% 平均 EER,参数量只有 3B 级 SOTA 的零头。

贡献/机制:两件套:AAFI 自适应音频特征整合(压缩池 + 随机探索,动态选择最优潜维度,适配不同攻击的信息密度);Mel-BAP 梅尔带对抗扰动(在梅尔谱域做定向正则,逼模型学不变的决策边界,缓解鲁棒性-准确率的病态权衡)。

数值结果:ADD 2022、FakeOrReal、In-the-Wild 上平均 EER 1.51%(SOTA);相对 Resemble-Detect-3B-Omni,参数量最多减少 91.6%、平均 EER 相对改善 60.7%;跨语种评测中 Whisper-base 配置在五个未见语种上 EER 3.91–5.65%,对真实声学失真保持鲁棒。

批判性分析:“平均 EER"跨三个基准取平均会掩盖单集表现,In-the-Wild 单项数字要看正文;与 3B 模型的比较是跨论文数字而非同台复跑,60.7% 的口径需谨慎;新一代 TTS(如同日 Drama 3 级别)的伪造样本不在评测内,检测-生成军备竞赛下保质期存疑。做语音安全的人,这是当前"小模型打大模型"的代表作。

摘要译文:现有音频深伪检测(ADD)方法泛化有限:固定瓶颈架构无法适应多样的伪造痕迹所固有的异质信息密度;标准数据增强又常导致鲁棒性与准确率的病态权衡。我们提出统一框架解决两者:(1)自适应音频特征整合模块(AAFI),通过压缩池与随机探索机制动态选择最优潜维度,保证对多类动态攻击的灵活表征;(2)梅尔带对抗扰动策略(Mel-BAP),在梅尔谱域施加定向正则,鼓励模型学习不变的决策边界。在 ADD 2022、FakeOrReal 与 In-the-Wild 等基准上的广泛评测显示,基于 Whisper-small 的模型达到 SOTA 的平均等错误率 1.51%。与 3B 参数的 Resemble-Detect-3B-Omni 等现有 SOTA 相比,该框架参数量最多减少 91.6%,平均 EER 相对改善 60.7%。在单独的跨语种评测中,Whisper-base 配置在五个未见语种上取得 3.91–5.65% 的 EER。框架对真实世界声学失真也保持强鲁棒性,为提升音频网络生态的可信与安全提供了可扩展的高效"插件"方案。


9. 连续 AR 语音 LM 的偏好后训练:训骨干别训头,训练损失最低 ≠ 语音最好

2610.16276

一句话:连续自回归语音 LM(AR 骨干 + 扩散/流匹配头)做偏好后训练,关键决策是"对怎么造、模块训哪个”——受控实验的答案是:扰动造对、训骨干(固定头),而且别信训练损失。

贡献/机制:先做机制探针:扰动一段声学 patch 会改变后续骨干状态,但表征变化更大并不必然意味着语音质量更差。偏好对通过噪声扰动或推理配置扰动构造,偏好更新基于相对参考的流匹配误差;在流时间与模块的消融网格里比较更新范围。

数值结果:摘要只给定性结论:在其评测设定下,固定头更新骨干的奖励改善强于只适配头;跨流时间与模块消融,最低训练损失并不稳定地对应最好的语音(未给奖励/WER/MOS 绝对值)。

批判性分析:又是一篇"结论有价值、数字不在摘要"的论文——奖励改善的幅度、评测协议都要进正文核;偏好对来自人工扰动而非真实人类偏好,与线上偏好分布的对应关系未论证;只在一个模型设定上验证。结论与同日第 4 篇(on-policy 个性化)可以对照读:语音生成后训练正在从"堆数据"转向"先搞清干预点”。

摘要译文:连续自回归语音语言模型把自回归(AR)骨干与扩散或流匹配头结合。偏好后训练需要决定如何构造偏好对、更新哪些模块。受控干预表明:被扰动的声学片段会改变后续骨干状态,但更大的表征变化并不必然降低语音质量。我们通过噪声扰动或推理配置扰动构造偏好对,并基于相对参考的流匹配误差制定偏好更新。在我们的评测设定中,固定头、更新骨干带来了比只适配头更强的奖励改善。在流时间与模块的消融中,最低的训练损失并不始终产生最好的语音。这些发现支持一种同时考虑声学采样与自回归条件的偏好后训练,并主张以生成的语音来验证训练选择。


10. SpectralBridge:给 LALM 补上 8–16 kHz 的"耳朵",ESC-50 零样本 75.5 → 90.5

2610.17048

一句话:主流 LALM 把音频重采样到 16 kHz 单声道,8 kHz 以上直接不可见——SpectralBridge 用时对齐的跨频注意力把高频带表征接回冻结的模型,只训一个小适配器 + rank-8 LoRA,高频依赖任务直接起飞。

贡献/机制:低频带与上频带表征通过成对的跨频注意力连接;原音频编码器、投影器与基座 LM 全部冻结,只训适配器与 rank-8 LoRA。消融把上频带流擦除后增益消失,证明收益来自高频信号本身、而非多出的 token 或提示格式。

数值结果:ESC-50 零样本平衡准确率 75.5 → 90.5;自建 Insect-10(10 类昆虫)微调下 55.4 vs 同预算 LoRA 基线 26.2;“答案只取决于 8–16 kHz 频带"的基准上比冻结模型高 30 mAP。均在 Audio Flamingo Next 上验证。

批判性分析:只在一个基座模型上验证,跨 LALM 的通用性待证;Insect-10 是自建小基准,55.4 的绝对水平仍不高;真实录音常止于 16 kHz 采样(电话、会议),高频带缺失时这套方法的退化行为未测。做环境声/生物声学理解的人,这是"输入带宽"这个被忽视变量的干净证据。

摘要译文:大音频语言模型(LALM)已在涵盖语音、音乐与环境声的广泛任务上表现强劲。然而许多现代 LALM 把输入音频重采样为 16 kHz 单声道,使 8 kHz 以上的所有频率不可观测。我们提出 SpectralBridge,一个轻量扩展,通过时对齐的成对跨频注意力连接低频与上频带表征,让这类模型获得 8–16 kHz 频带的访问。在 Audio Flamingo Next 上,该方法只训练一个小适配器与 rank-8 LoRA 模块,原始音频编码器、音频投影器与基座语言模型保持冻结。SpectralBridge 同时改善零样本迁移与下游微调:ESC-50 音频分类的零样本平衡准确率从 75.5 提升到 90.5;在我们由 InsectSet459 录音构建的 10 类昆虫任务 Insect-10 上微调时,在与 LoRA 基线相同的预算下达到 55.4 的平衡准确率,基线为 26.2。在一个答案仅取决于 8–16 kHz 频带的基准上,它比冻结模型高 30 mAP。从训练好的模型中擦除上频带流会消除这些增益,表明收益来自高频信号本身,而非额外的 token 或适配后的提示格式。


简报

11. PhonoVoxtLM:单码本音系 token,一个表征同时管理解与生成

2610.18469

单一码本的音系 token 同时保留语言内容与韵律信息,tokenizer 联合 ASR 与重合成训练,同一组单元既作语音输入又作生成目标、无需额外的语音 token 预测模块。在不同训练数据规模下,理解与生成均超过 HuBERT 基线;与 WavLM token 对比则暴露识别与合成之间的权衡。经带回放的微调扩展到语音问答后,问答超过同等适配的 HuBERT 基线且原有语音任务优势保留。为"统一语音 LM 该用什么 token"提供了单码本路线的新证据。

12. DuplexAct:全双工模型的"互动动作"到底做对了没有

2610.17738

现有全双工评测多只看动作"发生没发生”,不看"做成没做成"。DuplexAct 定义三级动作分类(8 类互动动作、24 种条件),并把成功拆成即时执行与后续跟进两步、各配专用指标。共 4,691 个测试实例,覆盖闲聊、会议、客服与访谈,其中 2,531 个来自真实对话录音。与同日 D2、Diffuplex 配套读:方法论文开始刷能力,评测论文开始追问能力是真是假。

13. SSEmb:只用 ASR 数据训出能打的语音检索模型

2610.17813

端到端语音到文本检索通常需要昂贵的语音查询-文档配对。SSEmb 换思路:只用标准 ASR 语料的语音-转写对训练——一个轻量适配器把冻结语音编码器的输出投影进冻结文本嵌入模型的检索空间。效果与级联的"ASR 再检索"系统相当、推理延迟更低,并超过现有公开语音嵌入模型;零额外训练即可迁移到文到语音与语音到语音检索。权重与代码将发布。给语音智能体做检索层的人,这是数据成本最低的一条路线。

14. Prime-EVC:把情绪转换的活儿提前干完,一步采样就够

2610.16036

扩散/流匹配式情绪语音转换要多步采样,因为条件只说了"要什么情绪"、声学实现全丢给采样器。Prime-EVC 把转换工作前移:FiLM 融合的说话人-情绪风格、情绪方差适配器、直接的情绪与谱-时监督在上游拼出信息丰富的条件,剩给流匹配解码器的残差一步欧拉就能走完。ESD 语料上全面超过五个代表性 EVC 系统,主观自然度与情绪表现超过 4 步与 100 步的 DurFlex-EVC,速度快 3.4–50 倍。

15. AMemOps:长音频流里的"记忆更新"需要单独一张考卷

2610.18652

总准确率掩盖了音频记忆的三种不同失败:取最新属性、保住未变属性、拒绝不存在的声源。AMemOps 基准把三者拆开考,并用配对对照 varying 录音、训练身份与早期事件。发现:用测试乐器的其他录音训练,能让参考 delta-rule 记忆的更新优势(相对匹配的注意力机制)扩大 13.4 个百分点;在 120 秒检索延迟下,一致重复的收益与冲突旧值的代价可以被分开测量。做长音频/流式记忆的人值得收藏。

16. SyncReward:8 万条人工同步评分,训出会"挑音画不同步"的奖励模型

2610.16338

音视频生成的老大难是同步,而领域里连"怎么量同步"都没有共识。这篇三件套齐发:SyncReward-Data-80K(8 个音视频生成器的片段、8 万条专业同步评分,覆盖语音、起始音、乐器、环境四类声事件)、SyncReward-Bench(1K 片段、多人独立评分),以及先在真实片段上做语义-时序对比预训练、再以生成片段的人工监督训练的奖励模型 SyncReward。系统评测显示现有专用同步指标与全模态模型都与人工判断明显错位,SyncReward 一致性最佳;用作奖励时,通过推理期 best-of-N 与 RL 后训练都能改善生成同步。数据、基准、模型与代码将发布。


本日 16 篇(10 精评 + 6 简报)全部来自 2026-10-12/13 提交批次的未报道候选;抓取期间 arXiv API 多次限流,已通过分类目重试完成全量抓取,HuggingFace 贡献 upvotes 与补充候选,宁缺毋滥不凑数。


Cover image by FormX

Licensed under CC BY-NC-SA 4.0