Featured image of post AI Paper Daily | 2026-10-05

AI Paper Daily | 2026-10-05

概览

  • 10 篇精评 + 6 篇简报,共 16 篇,已对 7 天滚动窗口去重(737 篇原始候选中 15 篇已在窗口内报道、34 篇昨日已评估,688 篇未报道)。
  • 来源:arXiv 公告页直抓(cs.CL/cs.LG/cs.AI/cs.SD/eess.AS/cs.CV 周五 10-02 公告共 737 篇 → 去重后 688 篇 → 音频初筛 53 篇 → 报道 16 篇;arXiv API 本次 429 限流、HF 周末无新榜、周一公告抓取时尚未发布,降级为公告页直抓模式)。
  • 主题分布:音频/语音方向 15 篇(精评 9、简报 6)、推理效率 1 篇。
  • 今日关键词:全双工语音模型的"时机"问题——LateIntent-Bench 测意图迟到时的抢答(PRR),DuplexSpeechBench 测语音 agent 文档 grounding 的多轮衰减;encoder-free Speech-LLM 靠元数据监督预训练补课;非洲语音 codec 基准戳破 NISQA/UTMOS 的下游有效性;另有扩散 LLM serving 成本曲面(DWS)一条效率线。

精评

1. MSP:Encoder-free Speech-LLM 的元数据监督预训练——不装 encoder 也能听出"谁在说"

2610.01695

一句话:encoder-free 的 Speech-LLM 把 Mel 谱直接喂进 LLM,缺的是系统性预训练——MSP 用说话人/情感等元数据做监督,数据量不大也能打。

贡献/机制:encoder-based Speech-LLM 依赖预训练语音 encoder(重语言内容、丢说话人/副语言细节);encoder-free 把 Mel 谱经轻量 embedding 层直映射进 LLM 输入空间。本文提出 metadata-supervised pretraining(MSP):用说话人身份、情感等语音属性做监督信号,培养说话人区分与副语言能力;另提 speaker-aware utterance composition(SAUC)强化说话人区分,加 random span masking 正则。主要在多人对话的联合 ASR+说话人日志上评测,辅以副语言理解任务。

数值结果:同等训练数据下,encoder-free 模型超过随机初始化的 encoder-based 对照;用有限的元数据标注数据,即可与"在数量级更大语料上预训练 encoder"的模型打得有来有回,若干设置下反超。

批判性分析:encoder-free 是原生多模态 LLM 的正路(少挂一个外挂 encoder),MSP 把"元数据"这顿免费午餐吃透了;但"有限元数据"具体是多少、与 Whisper-encoder 系 SOTA 的绝对差距,摘要没给硬数字。做 Speech-LLM 预训练的人必读。

摘要译文:基于 encoder 的语音大语言模型通常用预训练语音 encoder,重语言内容但可能丢掉说话人区分与副语言理解所需的细粒度声学线索。Encoder-free 的 Speech-LLM 把 Mel 谱经轻量 embedding 层直映射进 LLM 输入空间,让 LLM 从底层声学特征学习;但其系统性预训练策略尚未被充分探索,限制了它弥补"没有大规模预训练语音 encoder"的能力。我们提出元数据监督预训练(MSP),利用说话人身份、情感等语音属性发展说话人区分与副语言能力;并引入说话人感知的 utterance 组合(SAUC)强化说话人区分,用随机 span masking 正则预训练。主要在多人对话的联合 ASR 与说话人日志上评测,辅以副语言理解实验。同等训练数据下,我们的 encoder-free 模型超过随机初始化的 encoder-based 对照;用有限的元数据标注数据,它与使用大得多的语料预训练 encoder 的模型相当,并在若干设置下超过它们。这证明了 encoder-free 架构在构建原生多模态 LLM 上的潜力。


2. LateIntent-Bench:全双工语音模型"抢答"实测——意图还没说完,它先动手了

2610.00272

一句话:native 全双工模型不等用户说完就响应——LateIntent-Bench 用 3,136 组"共享歧义前缀+良性/有害分叉"测它是否在意图揭晓前就开火。

贡献/机制:现有 benchmark 主要测轮流发言机制,安全评测又默认"看到完整请求才生成"。本文引入 matched-pair 的延迟意图揭晓基准:共享歧义前缀后接良性或有害延续,用受控停顿延迟两分支可区分的时机;定义 Premature Response Rate(PRR)度量响应起点是否早于意图揭晓;联合评估有害/良性两分支的参与度,把"安全选择性变化"与"整体响应性下降"区分开。

数值结果:3,136 个 session、4 个 native 全双工模型呈现出不同的响应时序模式;3 个在保持良性响应性的同时有害参与度上升,1 个两分支参与度都掉;在意图揭晓后插入 1.5s 静音,PRR 接近无停顿基线,且有害参与度的变化大幅下降。

批判性分析:与昨天的 VGBench/VoxParity 是同一条"语音 agent 行动门控"线,但切的是时间维——“何时动"比"动不动"更刁钻;“意图揭晓后静音 1.5s"这个缓解简单但治标。做全双工语音安全的人必读。

摘要译文:原生全双工语音模型可以在用户说完之前响应,使模型行为同时取决于最终话语和意图定义信息到达的时机。现有 benchmark 主要评估轮流发言机制,而安全评测通常假设在响应生成前已观测到完整请求。我们引入 LateIntent-Bench,一个延迟意图揭晓的 matched-pair 基准:共享歧义前缀后接良性或有害延续,用受控停顿延迟两分支可区分的时机。我们定义 Premature Response Rate(PRR)度量响应起点是否先于意图揭晓;对有害与良性参与度的联合评估,把安全选择性的变化与响应性的普遍损失区分开。在 3,136 个 session 上,四个原生全双工模型呈现出不同的响应时序模式:三个在保持良性响应性的同时有害参与度上升,一个对两分支的参与度都下降。在意图揭晓后插入 1.5s 静音,PRR 接近无停顿基线,并大幅降低有害参与度的变化。这些结果表明,只评估完全指定的请求捕捉不到新出现的时序模式,评估延迟意图揭晓势在必行。代码将公开发布。


3. DuplexSpeechBench-Document Grounding:语音 agent 的"开卷考试”——文档越长、轮次越多,越记不住

2610.00316

一句话:语音 agent 接外部文档答题,grounding 能力随文档变长、多轮对话衰减——1,636 个对抗验证 QA 对、50 篇文档、5 个专业领域。

贡献/机制:DSB-DG 测语音 agent 文档 grounding 的三种失败模式:Context Saturation(文档变长时的 grounding)、Grounding Decay(多轮对话中的文档事实保持)、Proactive Grounding(上下文重注入能否缓解对话漂移);支持对 grounding 准确率、幻觉与响应延迟的全自动评估。

数值结果:横跨级联式、专有全双工/实时、开源 speech2speech 架构评测;级联管线(ASR-LLM-TTS)grounding 准确率最高,Gemini-Live 与 GPT-Realtime 紧随其后;开源系统有独特失败模式,最突出的是"上下文容量断崖式坍塌"与多轮 grounding 衰减;总体上 grounding 保真度随上下文与对话负载下降,失败多表现为无依据生成而非拒绝回答。

批判性分析:这是 RAG 在语音侧的翻版,但"实时+语音"的约束让问题更难;1,636 QA 的规模够用,“断崖式坍塌"这个发现对开源 speech2speech 是当头棒喝。做语音 agent 评测的人可以直接拿去用。

摘要译文:语音 agent 支持低延迟自然交互,但它忠实 grounding 外部文档回答的能力尚未被充分探索。我们引入 DuplexSpeechBench-Document Grounding(DSB-DG),一个覆盖五个专业领域的语音 agent 文档 grounding 基准。DSB-DG 针对三种失败模式:Context Saturation,测文档变长下的 grounding;Grounding Decay,测多轮对话中的文档事实保持;Proactive Grounding,评估上下文重注入能否缓解对话漂移。该基准含 1,636 个对抗验证的 QA 对,来自五个专业领域的 50 篇文档,支持对 grounding 准确率、幻觉与响应延迟的全自动评估。在横跨级联式、专有全双工与实时、开源 speech2speech 架构的系统上,我们发现有效 grounding 容量存在显著差异:级联管线(ASR-LLM-TTS)grounding 准确率最高,Gemini-Live 与 GPT-Realtime 紧随其后;开源系统呈现出独特的失败模式,最突出的是上下文容量的 abrupt 坍塌与多轮 grounding 衰减。更广地看,grounding 保真度随上下文与对话负载下降,失败常表现为无依据生成而非拒绝回答。我们证明,上下文 grounding 是可靠全双工语音 agent 尚未解决的关键挑战。


4. 非洲语音 codec 基准:NISQA/UTMOS 在下游任务面前"失灵"了

2610.00154

一句话:7 个开源神经音频 codec × 3 个非洲语音数据集——信号级指标里 ViSQOL/STOI/F0-RMSE 能预测 ASR/ASV 下游退化,NISQA/UTMOS 不行。

贡献/机制:benchmark DAC、EnCodec、FocalCodec、LanguageCodec、SemantiCodec、UniCodec、WavTokenizer 七个开源神经 codec,在 afrinames、afrispeech dialog、afrispeech multilingual 三个非洲语音数据集上;同时报告信号级质量(NISQA、UTMOS、ViSQOL、STOI、F0-RMSE)与两个下游任务(ASR、ASV)。

数值结果:四个发现——(1) 参考型结构/可懂度指标(ViSQOL、STOI)与韵律误差(F0-RMSE)比神经 MOS 预测器(NISQA、UTMOS)更可靠地跟踪 ASR/ASV 退化;(2) 可懂度与说话人身份保持在不同架构间 sharply 分化,且身份排名本身依赖 ASV 后端;(3) 退化域依赖性强,对话场景最大;(4) 部分可恢复:约 35 小时非洲语音上对 codec 做 LoRA(约 1–3% 参数)可缩小压缩引入的 WER gap,向无压缩基线恢复(配套工作展开)。

批判性分析:做 codec 的人长期用 MOS 类指标自嗨,这篇把"指标的下游有效性"本身拿出来验了——结论对 inclusive deployment 很重要;但三个数据集的代表性、LoRA 恢复的具体数值,摘要语焉不详。做语音 tokenizer 的人必读。

摘要译文:神经音频 codec 支持低码率语音压缩与 tokenization,但其在口音化与多语言语音上的鲁棒性尚未被充分评估。我们在三个非洲语音数据集(afrinames、afrispeech dialog、afrispeech multilingual)上 benchmark 七个开源神经 codec(DAC、EnCodec、FocalCodec、LanguageCodec、SemantiCodec、UniCodec、WavTokenizer),同时报告信号级质量(NISQA、UTMOS、ViSQOL、STOI、F0-RMSE)与两个下游任务:自动语音识别(ASR)与说话人验证(ASV)。分析得出四个发现:第一,信号指标的下游有效性差异显著——参考型结构/可懂度指标(ViSQOL、STOI)与韵律误差(F0-RMSE)比神经平均意见分预测器(NISQA、UTMOS)更可靠地跟踪 ASR 与 ASV 退化;第二,可懂度与说话人身份保持在不同架构间 sharply 分化,且表观身份排名本身依赖 ASV 后端;第三,退化 strongly 域依赖,对话场景最大;第四,退化部分可恢复:在约 35 小时非洲语音上对 codec 做参数高效(LoRA,约 1–3% 参数)适配,可缩小压缩引入的词错率 gap,向无压缩基线恢复(在配套工作中展开)。这些结果说明,任务感知、域代表性、适配感知的语音 codec 评估是包容性部署的前提。


5. Articulatory Source-Filter TTS:给 TTS 装一个"声道”,想怎么捏就怎么捏

2610.00735

一句话:现代神经 TTS 保真度高但黑盒——这篇用发音器官运动学生成声道滤波器,声源(基频/能量)与滤波器独立预测,OT-CFM 精修声源。

贡献/机制:AAI(acoustic-to-articulatory inversion)模型在大规模预训练表征增强下,为大 TTS 语料生成运动学伪轨迹,条件化滤波器响应;预测的 pitch/energy 轮廓参数化声门源;声源与滤波器独立预测,声源经 Optimal Transport Conditional Flow Matching(OT-CFM)精修后与滤波器重组为最终频谱。

数值结果:可懂度与自然度与同尺寸基线相当,只付出"适度的频谱保真代价"换显式控制;评估显示清晰的源-滤波器解耦:稳定的韵律缩放、跨说话人源/滤波器重组(F0 跟声源说话人、声道特征跟滤波器说话人);直接操纵发音轨迹可做口音修改等细粒度控制。

批判性分析:“可解释控制"是 TTS 里喊了很久但没人做好的方向,这篇把 source-filter 这尊老古董用现代 flow matching 重新供起来了,cross-speaker 重组很漂亮;但"适度代价"到底是多少、AAI 伪轨迹的误差传播,摘要没展开。做可控语音合成的人值得细读。

摘要译文:现代神经 TTS 系统声学保真度出色,但如黑盒,对声道滤波器几乎没有可解释控制。我们提出一种基于发音运动学的可控 source-filter TTS 架构。经大规模预训练表征增强的 Acoustic-to-Articulatory Inversion(AAI)模型,为大 TTS 语料生成运动学伪轨迹;这些轨迹条件化滤波器响应,而预测的 pitch 与能量轮廓参数化声门源。声源与滤波器独立预测,声源经 Optimal Transport Conditional Flow Matching(OT-CFM)模块精修后与滤波器重组为最终频谱。我们的模型可懂度与自然度与同尺寸基线相当,只以适度的频谱保真代价换取显式控制。评估显示清晰的源-滤波器解耦,支持稳定的韵律缩放与跨说话人源/滤波器重组——F0 跟声源说话人、声道特征跟滤波器说话人。最后,直接操纵发音轨迹可做口音修改等细粒度控制,为可解释语音合成指了新方向。音频样例见项目页。


6. AudioJev:音频问答的"选项顺序"也会骗模型——直接对概率做顺序校准

2610.01293

一句话:音频问答里答案选项换个顺序,模型的概率估计就变了——AudioJev 用 random-derangement SKL 训练,让同一题的两种选项排列输出一致的分布。

贡献/机制:音频决策常依赖 transcript 不保留的证据,而概率估计又依赖选项顺序。AudioJev 把 waveform+问题+候选项经一个共享全参数模型直接映射为候选分布;定义 order calibration:选项做保义重排后答案概率不变;random-derangement SKL 训练把每题配一个"每个选项都换位"的重排视图,两边都监督再对分布做对称 KL 惩罚;推理只有一次候选打分前向,无校准头、无顺序集成。

数值结果:3 个训练种子下,完整 MMAU/MMAR 上平均准确率 68.88%/55.33%;相对单视图消融,随机顺序 SKL 降低 43.8%/60.5%;同一模型还处理意图、环境声、音符属性、语音活动、对话转场。

批判性分析:LLM 的选项顺序偏置是老问题,这篇把它搬到音频问答并给了"校准作用于候选语义而非呈现位置"的干净形式化;但 MMAU/MMAR 55–68% 的绝对准确率说明音频推理本身还很弱。做音频 QA 评测的人应该把 order calibration 收进检查单。

摘要译文:音频决策常依赖 transcript 不保留的证据,而其概率估计又可能依赖答案选项的顺序。AudioJev 把 waveform、问题与给定选项经一个共享全参数模型直接映射为候选分布。我们把 order calibration 定义为:在保义的选项重排下保持答案概率不变。Random-derangement SKL 训练把每个问题配一个重排视图(每个选项都换位),对两边都监督,再施加对称 KL 惩罚前先对齐两个分布。推理保留单次候选打分前向,无校准头、无顺序集成。在三个训练种子上,AudioJev 在完整 MMAU/MMAR 上达到 68.88%/55.33% 平均准确率,相对单视图消融的随机顺序 SKL 降低 43.8%/60.5%。同一模型处理意图、环境声、音符属性、语音活动与对话转场。配对消融与多顺序评估同时度量预测准确率与概率稳定性,建立了一个校准目标作用于候选语义而非呈现位置的直接音频接口。推理代码与模型权重已发布。


7. Balalaika-Longform:俄语长语音 TTS 语料——1,200 词连续生成,短窗微调的 WER 是 99.9%

2610.00658

一句话:长语音 TTS 的句子级训练/评测掩盖了"丢词、早停”——189 小时俄语连续语料(30 秒–15 分钟单元),50 组文本-音色对测 75/300/1,200 词连续合成。

贡献/机制:长单元+匹配短窗支持"同一录音源、不同窗口"的微调对照;评测保留每一次合成尝试;在 CosyVoice3、Qwen3-TTS、VoxCPM2、F5-TTS 上做对照实验,测试约 75、300、1,200 词的连续合成(微调未见过的音色)。

数值结果:1,200 词时,CosyVoice3 短窗微调 WER 99.9%,长目标微调降到 47.3%,再加标点/格式匹配的 transcript 降到 16.6%;配对区间比较中,长目标在 Qwen3-TTS 和 VoxCPM2 上占优,F5-TTS 上小幅占优但其绝对 WER 仍在 90% 以上。

批判性分析:把"训练序列长度"这个变量在固定连续生成协议下孤立出来了,结论干净——长音频 TTS 的评测范式得改;但这只是俄语单语料,“16.6%“离可用还远。做长音频/播客生成的人必读。

摘要译文:长语音 TTS 必须在长生成中保留请求的词,但句子级训练与评估会掩盖丢词与早停。我们引入 Balalaika-Longform,一个 189 小时的开放俄语语料,连续单元 30 秒到 15 分钟。长单元与匹配短窗支持在同一源录音上的微调对照,配套评估保留每一次合成尝试。我们在两种视角下微调 CosyVoice3、Qwen3-TTS、VoxCPM2 与 F5-TTS,在 50 组文本-音色对(音色未在微调中出现)上测试约 75、300、1,200 词的连续合成。1,200 词时,CosyVoice3 短窗微调后 WER 为 99.9%,长目标微调降到 47.3%,再加标点、格式匹配的 transcript 降到 16.6%;配对区间比较中长目标在 Qwen3-TTS 和 VoxCPM2 上占优,在 F5-TTS 上小幅占优(其绝对 WER 仍在 90% 以上)。结果在固定的连续生成协议下孤立了训练序列长度的效应。


8. Multi-Party Backchannel Prediction:双人对话的"嗯嗯"模型,放到多人会议里直接归零

2610.01488

一句话:backchannel 预测几乎只在双人场景做过——这篇基于 AMI 建了多人基准:SOTA 双人模型零样本直接掉到 chance(AUROC 0.499)。

贡献/机制:682 个 masked-listener 视角、171 场会议、190 说话人、18,697 个 backchannel 事件,person-disjoint 的 held-out 划分;SOTA 双人模型零样本用于会议音频只有 0.499,但其冻结声学特征仍有信息量:线性探针 0.704,重训预测器 0.751;listener conditioning 只对训练见过的听者有效,未见听者救不回来(容量缩减、listener 对抗训练、per-listener 自适应、oracle 词汇条件都试过)。

数值结果:零样本 AUROC 0.499(chance);线性探针 0.704;重训 0.751;backchannel 在帧级只占约 1%,帧级 F1 受基率影响大,故 AUROC 与 listener-active 区域上的 event-F1 双报。

批判性分析:昨天的 ThyVoice 在做跨会议说话人归因,这篇在做多人对话的倾听者建模——“身份与有用线索纠缠"这个诊断很诚实;但 0.751 的绝对值说明这条线才刚起步。做会议语音理解的人可以把 benchmark 收了。

摘要译文:backchannel 预测几乎只在双人对话中研究过。我们基于 AMI 语料引入一个多人基准:682 个 masked-listener 视角,来自 171 场会议、190 个说话人、18,697 个 backchannel 事件,held-out 划分 person-disjoint。SOTA 双人模型零样本用于会议音频只有 chance 水平(AUROC 0.499);但其冻结声学特征仍有信息量:线性探针达到 0.704,重训预测器到 0.751。重训暴露了第二个局限:listener conditioning 只改善训练见过的听者,对未见听者无效;在容量缩减、listener 对抗训练、per-listener 自适应、oracle 词汇条件下 gap 都在。对抗训练只能去掉部分说话人身份信息,去得更狠则伤害预测,说明身份与对 backchannel 有用的线索纠缠在一起。同一特征与数据划分下的 within-model 对照解释了这一模式:turn-onset 预测能迁移到未见听者,backchannel 预测不能;backchannel 率在个体间的差异约为 turn-onset 率的两倍。backchannel 在帧级只占约 1%,帧级 F1 受基率影响大,因此我们在 AUROC 之外还报告 listener-active 区域上的 event-F1。benchmark 与评估工具已发布。


9. ProxyMOS:不花一分钱人工标注,用 5 个公开 MOS 模型蒸出一个更强的

2610.00419

一句话:人工 MOS 太贵、非侵入式 MOS predictor 出域就崩——ProxyMOS 把 8 个公开 MOS predictor 挑出 5 个做自适应路由集成,标 807k 无标注 utterance 蒸给 wav2vec 2.0 学生。

贡献/机制:8 个 predictor 对人类打分做 benchmark,5 个进子集搜索(uniform、correlation-weighted、error-weighted、MSE-optimised、adaptive per-utterance routing);最优的 4 模型路由集成标 807k 无标注 utterance,训练 wav2vec 2.0 学生;同步发布俄语 TTS 新基准 mos260(4,600 utterances、38 合成条件);模型、ONNX 导出与 mos260 已发布。

数值结果:URGENT 上学生 Spearman ρ=0.802,超最佳 teacher(0.773);mos260 上 utterance 级 0.636 对 0.613、condition 级 0.95,一次前向打平自己的路由集成;自适应路由是唯一"加弱 predictor 不掉点"的规则。

批判性分析:“用模型标数据再蒸馏"是老套路,但"自适应 per-utterance 路由选 teacher"这步做扎实了,且 student 一次前向打平集成很实用;不过 mos260 是俄语自建基准,跨语言泛化没验。做 TTS 质检的人可以直接拿模型用。

摘要译文:人工平均意见分(MOS)采集昂贵,非侵入式 MOS 预测器在训练域外 sharply 退化。ProxyMOS 把一池公开 MOS 预测器变成一个更强的单一模型,不用新的人工标注。8 个预测器对人类打分做 benchmark;最有信息量的 5 个进入子集搜索(uniform、correlation 加权、error 加权、MSE 优化与自适应 per-utterance 路由);最优的路由 4 模型集成标注 807k 无标注 utterance,训练一个 wav2vec 2.0 学生。在 URGENT 上学生达到 Spearman ρ=0.802,超最佳 teacher 的 0.773。在 mos260(一个新的俄语 TTS 基准,38 种合成条件下 4,600 条 utterance)上达到 utterance 级 ρ=0.636(对 0.613)、condition 级 0.95,一次前向打平自己的路由集成。自适应路由是唯一在加入弱预测器时不掉点的规则。模型、ONNX 导出与 mos260 已发布。


10. Denoising Surface:扩散 LLM 上线 serving,成本预估得按"二维"算

2610.00499

一句话:dLLM 的推理成本估不准——输出长度和去噪步数这两个常用代理都塌成标量,丢了"block×步"的二维执行结构;DWS 把它保留成概率曲面。

贡献/机制:block-autoregressive 生成机制诱导出"输出 block × block 内去噪步"的二维执行结构,常用代理(输出长度、去噪步数)把它塌成标量。Denoising Workload Surface(DWS)把该二维结构保留为概率曲面,给异构单步成本加权;coarse-to-fine 训一个轻量 prompt-only 预测器,单 CPU 核可跑,不跟 serving 模型抢 GPU;DWS 把"请求相关的执行行为"与"部署相关的成本因子"解耦,换硬件不重训。

数值结果:真实 serving 实验里,DWS 相对标量 predictor 成本预测误差最高降 2.50×;DWS 指导的 shortest-job-first 调度让在线 chatbot 端到端延迟最高降 1.92×。

批判性分析:跟昨天的 Galahad(KV 记忆 serving)是同一条"推理效率"线,但切的是 dLLM 这个新物种——“二维结构不能塌成标量"这个洞察抓得准;不过实验只在自家 serving 环境,“跨硬件不重训"的泛化证据单薄。做 dLLM serving 的人值得一看。

摘要译文:扩散大语言模型(dLLM)越来越强,正从研究走向真实 serving;请求管理(调度、资源分配)依赖对单请求推理成本的准确估计。但常用成本代理对 dLLM 不够用:输出长度忽略了一次前向可解码多个 token,去噪步数忽略了异构的单步成本。我们观察到 block-autoregressive 生成机制诱导出输出 block 与 block 内去噪步的二维执行结构,而这些代理把它塌成标量,丢掉了刻画成本的关键信息。受此启发,我们提出 Denoising Workload Surface(DWS),把该二维 block-step 结构保留为概率曲面,给异构单步成本加权;并设计 coarse-to-fine 训练,让轻量 prompt-only 预测器准确预测复杂的 DWS。该预测器在单 CPU 核上高效运行,不跟 serving 模型抢 GPU;DWS 把请求相关的执行行为与部署相关的成本因子解耦,预测器换硬件配置不重训即迁移。在真实 serving 实验中,DWS 相对标量 predictor 成本预测误差最高降 2.50×,DWS 指导的 shortest-job-first 调度让在线 chatbot 端到端延迟最高降 1.92×。


简报

11. ParaCalib:抑郁检测里,同样的声音在不同语义下意思不一样

2610.01103

用 ALM 生成上下文相关的声音描述,再用 LLM 抽成结构化的语义校准副语言表征(SC-Para);DAIC-WOZ 上 Macro-F1 71.9%、MODMA 上 90.5%,均为所评方法最高。对照实验证明了 PSE 阶段的语义校准效应:固定声学描述、只换语义上下文,推出的抑郁相关证据会变。点评:把"说什么"从"怎么说"里解耦出来,是副语言建模该有的样子;但抑郁检测的临床落地门槛远高于 benchmark 数字。

12. Silence-the-Mimic:防 voice cloning 的对抗扰动,加速 45.3 倍

2610.00662

在频域按心理声学掩蔽约束生成不可感知扰动,训练时硬约束可感知边界,不用迭代调 quality-control loss;多个 SOTA VC/TTS 模型上保护性能持平或更优,相对白盒基线加速最高 45.3 倍。点评:把"不可感知"从软损失变成硬约束,工程上干净利落;但白盒假设下的数字,黑盒迁移没说。

13. StateVC:免训练 voice conversion,WavLM 空间里按"共享状态"做局部搬运

2610.01952

源/参考内容不同、帧级对齐不可靠——StateVC 把两边 WavLM 表征池化后拟合一个 pair-specific GMM 得"共享状态”,每状态内估计源→参考的均值漂移,按后验概率组合;LibriSpeech one-shot 协议 WER 8.01%/CER 3.22% 最低,SIM 0.9512,主观说话人相似度最高。点评:“不硬对齐、按状态搬运"的思路巧;但 one-shot 协议的数字,跨域还没验。

14. Watch Your Speech:看默片配音,文本条件一加上,口型同步 SOTA 了

2610.01012

video-to-speech 的一对多映射(光看嘴猜不出说了啥)——WYS 加文本条件做显式语言线索,attention 融合+条件 flow matching;LRS2/LRS3 上音画同步(LSE-C/D)新 SOTA,WER 也有竞争力,主观自然度近人类。点评:“视觉不够、文本来凑"是实用主义的好答案;但依赖文本输入,纯视觉唇读场景用不上。

15. 语音里的阿尔茨海默检测:加个噪声,预测就变了——干预式鲁棒性测试该成标配

2610.01846

对 ADReSSo 上三个 SSL backbone 做受控噪声/混响干预:声学干预系统性地改变 AD 预测,且效应沿分类器决策方向结构化、held-out 可复现、反转干预方向则效应反转;原数据里噪声本无诊断组间差异。点评:“高准确率≠鲁棒"的实证很硬;临床部署前,这套干预测试确实该成标配。

16. RMS-AQA:具身助手在家里听声答题——先定位声源,再时空推理

2610.00935

真实一阶 Ambisonics 录音+RIR 合成数据的空间音频问答基准,两阶段:先 grounding 可听声事件,再做复杂时空推理;还给了个轻量空间插件,把 FOA 数据注入冻结的 audio-language backbone。主要难点:并发声源、远距离、RIR 合成到真实录音的 sim-to-real gap。点评:空间音频 QA 的基准来得正是时候(具身智能的前置);但 sim-to-real gap 的量化还停留在"揭示问题"阶段。


今日 16 篇:10 篇精评 + 6 篇简报,音频/语音 15 篇打头,全双工"时机"问题(LateIntent 抢答、DSB grounding 衰减)是今日音频主线;encoder-free 预训练、codec 基准、dLLM serving 三线并进。


Cover image by FormX

Licensed under CC BY-NC-SA 4.0