Featured image of post AI Paper Daily | 2026-10-07

AI Paper Daily | 2026-10-07

概览

  • 10 篇精评 + 6 篇简报,共 16 篇,已对 7 天滚动窗口去重(468 篇原始候选中音频初筛 34 篇,全部未在窗口内报道 → 报道 16 篇)。
  • 来源:arXiv API 直抓(cs.CL/cs.LG/cs.AI/cs.SD/eess.AS/cs.CV,2026-10-05 起发布 468 篇去重 → 音频初筛 34 篇 → 报道 16 篇;抓取初期曾被限流,冷却 5 分钟后恢复,无降级)。
  • 主题分布:TTS 与语音合成 3 篇、语音增强与隐私 2 篇、语音理解与表征 4 篇、音频生成 2 篇、实时交互与评测 3 篇、方法论与扩展 2 篇。
  • 今日关键词:生成式音频的"最后一公里"——AuraSE 治生成式增强的幻觉、AudioGAR 补 codec 解码器的训推失配、Paradee 揪出蒸馏 student’s 相位毛刺,各家都在修生成管线的最后一环;另一条线是"别被评测骗了":抑郁检测的层选择偏差、口音表征的跨风格崩塌。

精评

1. Paradee:Kokoro-82M 蒸馏成 8M 单音色 TTS,相位毛刺用无参滤波修掉

2610.06817

一句话:82M 的 Kokoro 蒸馏成 8M 单音色模型,int8 只有 8.5MB、单 CPU 线程 25 倍实时,UTMOS 只掉 0.11。

贡献/机制:保留 Kokoro 架构但大幅收窄层宽;两半分开训——文本侧预测 teacher 合成语料的 duration/pitch/energy/phoneme,解码侧把 teacher 存好的这些值还原成 teacher 音频(先谱损失、再对抗);最后拼接 + int8 量化;无需 alignment 学习、无需联合训练。诊断发现 student 的轻微"嗡嗡声"来自 2–8kHz 浊音段的相位问题,用一个训练-free、无参数的锁相滤波在合成后修掉。

数值结果:参数 10× 更少、算力 15× 更少;int8 8.5MB,单 CPU 线程 25× 实时;UTMOS 4.41 对 teacher 4.52。代码、模型、音频样例已发布。

批判性分析:“窄架构 + 分半蒸馏 + 后处理修相位"是把蒸馏链条拆到最简,端侧 TTS 落地可直接抄;但只做了单音色,Kokoro 的 54 音色多说话人能力蒸馏后怎么保留没说。做端侧/高效 TTS 的人必读。

摘要译文:我们把广泛使用的开源 TTS 模型 Kokoro-82M(54 个音色)蒸馏成 Paradee——一个 8.07M 参数、只说其中一个音色的模型。Paradee 保留 Kokoro 架构但层宽大减,两半分别对 frozen teacher 训练。参数少 10 倍、算力少 15 倍。我们先用 teacher 合成语料并保留其 duration、pitch、energy 与音素特征;再训一个小文本侧预测这些值、一个小解码器把 teacher 存好的值还原成 teacher 音频,先用谱损失再对抗训练。最后连接两半并把权重 quantize 到 int8。不需要 alignment 学习与联合训练,一台笔记本就能跑。int8 存储 8.5MB,单 CPU 线程 25 倍实时,UTMOS 4.41 对 teacher 的 4.52。student 初期有轻微嗡嗡声,我们追溯到 2–8kHz 浊音段的相位;合成后加一个锁相滤波基本消除,无需训练、无额外参数。代码、模型文件与音频样例已发布。


2. AuraSE:生成式语音增强的幻觉,用推理策略优化在线治

2610.06615

一句话:生成式语音增强会"脑补"改内容、换音色——AuraSE 用多模态流匹配 + 在线推理策略优化治幻觉,真实 DNS 盲测拿下最高分。

贡献/机制:双流转单流多模态 DiT(MMDiT),transcript 与声学表征交互的同时给 degraded 输入保留专用通路;发现最优解码配置(guidance scale、采样温度、步数)随 utterance 大幅变化,于是提出 Inference Policy Optimization(IPO):在线 on-policy,用当前模型在不同推理配置下生成多个候选,以多目标 reward 排序、从相对偏好中学习。部署时固定 10 步 ODE、无 CFG、无逐句配置搜索。

数值结果:合成测试集 12 个指标 11 个第一;真实 DNS 盲测集 DNSMOS 与盲听得分参评最高。

批判性分析:“推理配置也是一种可学习的策略"是漂亮的角度,把 test-time 的超参搜索内化成偏好优化;但在线 IPO 的训练开销摘要没展开。做生成式语音增强的人必读。

摘要译文:生成式语音增强比判别式方法更干净自然,但可能幻觉——即使有 transcript 条件也会改内容或换说话人身份。我们提出 AuraSE,一个流匹配框架,从互补的模态与推理设计两处治幻觉。第一,双流转单流多模态 Diffusion Transformer 让 transcript 与声学表征交互,同时为 degraded 输入保留专用通路。第二,我们发现由 guidance scale、采样温度、步数决定的最优解码配置在 utterance 间差异很大;这引出 Inference Policy Optimization(IPO),一个在线 on-policy 偏好优化方法:用当前模型在不同推理配置下生成多个候选,以多目标 reward 排序,从相对偏好中学习。AuraSE-IPO 在合成测试集 12 个指标中 11 个第一,在真实 DNS 盲测集上 DNSMOS 与盲听得分参评最高。部署时用固定的 10 步 ODE 解码器,无 classifier-free guidance、无逐句配置搜索。


3. AudioGAR:latent 音频生成的"解码器训推失配”,只微调解码器就补上

2610.06632

一句话:latent 音频生成是两段式——codec 解码器训在 encoder 来的 latent 上、推理却吃生成器产的 latent,AudioGAR 只微调解码器补上这道 gap。

贡献/机制:先实证:在多个数据集与 latent 生成模型上,FD/FAD 下的重建-生成 gap 清晰存在,重建好 ≠ 生成好。直接 remedy 是在生成 latent 上 adapt 解码器,但生成 latent 与源音频无对应、做不了配对监督。AudioGAR 把 encoder latent 加噪、再经 frozen latent diffusion 模型去噪,构造从重建走向生成的中间 latent 轨迹——低噪 latent 保留源对应、可做配对微调。只微调 codec 解码器,encoder 与 latent 生成模型 frozen。

数值结果:用在 AudioX 上生成性能大幅提升;只用原训练音频小时数的 1.5%、原训练代价的 0.26%。

批判性分析:“用扩散轨迹造配对数据"是四两拨千斤的 trick,代价低到离谱;但结论目前只在 AudioX 上验证。做音频生成/神经 codec 的人必读。

摘要译文:Latent 音频生成模型通常两阶段训练:先学音频 codec,再学 latent 生成模型。这种分解带来解码器训-生成失配:codec 解码器训在 encoder 诱导的 latent 上,推理时却吃生成器产的 latent。在多个数据集与 latent 生成模型上,我们在 FD 与 FAD 下都观察到清晰的重建-生成 gap:强重建质量不必然转成强端到端生成质量。自然的 remedy 是在生成 latent 上 adapt 解码器,但生成 latent 与源音频无对应、无法直接做配对监督。我们提出 AudioGAR:把 encoder latent 扰动、再经 frozen latent 扩散模型去噪,构造中间 latent;这些 latent 形成从重建走向生成的轨迹,低噪 latent 保留源对应、支持配对解码器微调。我们只在这些 latent 上微调 codec 解码器,codec encoder 与 latent 生成模型保持 frozen。用在 AudioX 上,AudioGAR 大幅提升生成性能,只需原训练音频小时数的 1.5% 与原训练代价的 0.26%。


4. UltraDub:视觉引导的配音统一框架,唇形做"节奏锚”

2610.05932

一句话:visual voice cloning 里视觉条件常打乱已建好的时序与音色线索——UltraDub 让唇动同时做语义检索与节奏校准,四数据集 SOTA。

贡献/机制:视觉两用:连续唇动做多模态上下文聚合(Motion-guided Dual-context Retrieving,MDR——经共享唇动 query 残差持续重校准语言与说话人风格检索,独立时序门控调节贡献),结构节奏做轨迹校准(Rhythm-anchored Trajectory Guidance,RTG——training-free,在视觉预测中点评估分层多模态修正,强化语义条件的同时保住时序对齐)。另建 DiverseDub 野外多场景配音 benchmark。

数值结果:四个数据集上均为 SOTA。

批判性分析:“一个模态、两种用法"的设计干净,RTG training-free 即插;但 SOTA 的具体指标摘要没展开。做配音/唇同步语音克隆的人必读。

摘要译文:Visual voice cloning 要求可懂、音色一致且与可见发音同步的语音。但串行的多模态条件会打乱已建立的时序与说话人线索,不平衡的推理 guidance 则以唇同步为代价换语言准确率。本文提出 UltraDub,一个统一视觉引导流学习与轨迹制导的配音框架,视觉两用:连续运动做多模态上下文聚合,结构节奏做轨迹校准。具体地,我们引入 Motion-guided Dual-context Retrieving(MDR)模块,经共享唇动 query 残差持续重校准语言与说话人风格检索,用独立的时序条件门控调节各自贡献。进一步提出 Rhythm-anchored Trajectory Guidance(RTG),一个 training-free 机制,在视觉预测中点评估分层多模态修正,安全地强化语义条件并更好保留时序对齐。最后构建 DiverseDub 多场景 benchmark 评测野外视频配音。大量实验证明 UltraDub 在四个数据集上达到 SOTA。


5. 语音匿名化的"先手防御”:给参考语音加对抗扰动,重识别 EER 从 14% 干到 45%

2610.06074

一句话:语音匿名化一直只保护待测语音——本文把对抗噪声加到攻击者的参考语音上,ASV 等错率从 14% 提到 45%,接近完美隐私。

贡献/机制:现有范式:defender 只匿名化 test utterance,attacker 拿同样匿名化的 reference utterance 做 ASV 比对。新范式 preemptive:在 reference 端也加保护——用对抗扰动降 reference 的身份推断能力;不降参考语音的主观质量;与具体 ASV 系统无关。双侧保护叠加。

数值结果:ASV 等错率从 14% 提到 45%(近完美隐私)。

批判性分析:把攻防视角从单侧翻成双侧,思路一转数字直接翻三倍;但对抗扰动在重压缩/转码后的鲁棒性没说。做语音隐私/匿名化的人必读。

摘要译文:语音匿名化(VA)用于隐藏语音数据中的说话人身份。性能通常以自动说话人验证(ASV)为代理评估攻击者重识别能力:defender 匿名化测试语音,attacker 把它们与同样匿名化的参考语音比对推断身份,ASV 性能越差说明匿名化越成功。因此 defender 的保护是单侧的、只作用于测试语音。此前没人探索过:保护参考语音也能增强匿名化。我们提出新的先手 VA 范式:用对抗噪声保护参考语音,削弱其身份推断能力。先手保护不降参考语音的主观质量,且与用于身份推断的具体 ASV 系统无关。叠加先手保护与常规测试侧 VA,ASV 等错率可从 14% 提到 45%(接近完美隐私)。


6. 方法论纠错:语音抑郁检测里"挑最好的一层”,AUC 能虚高 0.09

2610.06465

一句话:在小临床语音集上"25 层里挑最好的一层再报数",AUC 能虚高 0.09——打乱标签都还能"检出"0.59,选的是噪声不是信号。

贡献/机制:在 DAIC-WOZ 上对五个 deep encoder 家族做重复嵌套交叉验证:naive best-of-25 层 probing 把 AUC 抬高至多 0.09;打乱标签后 naive 选择仍有 AUC 0.59(嵌套选择下 0.50),且偏差随 probing 层数增加、样本减小而变大——锁定"选择"而非"信号"是病因。在第二个临床语料+语言(Androids,意大利语)上复现。无泄漏选择下,一个紧凑的任务对齐 affect-prosody 模型与大得多的 SSL/深度/audio-LLM/codec 方法打平,下游可训参数少约 1000 倍。

数值结果:AUC 膨胀至多 0.09;打乱标签 naive 选择 AUC 0.59 vs 嵌套 0.50;PHQ-8 单症状层面同样存在。

批判性分析:一次教科书级的"评测卫生"纠错,结论直接外推到一切小样本 probing 研究;顺带证明小而对齐的模型不输大模型。做语音健康/小样本 probing 的人必读。

摘要译文:预训练语音表征越来越多用于抑郁检测,但在同一份数据上选"最好"的 encoder 层再评测,会系统性抬高报告性能。在 DAIC-WOZ 上,对五个 deep encoder 家族做重复嵌套交叉验证,naive 的 best-of-25 层 probing 把 AUC 抬高至多 0.09。在打乱标签的真实 latent 表征上,naive best-of-25 仍达 AUC 0.59(嵌套选择下 0.50),且该偏差随 probing 层数增加、样本减小而变大,锁定选择而非信号是病因。该效应在第二个临床语料与语言(Androids,意大利语)上复现。无泄漏选择下,跨表征家族的公平比较发现:一个紧凑的任务对齐 affect-prosody 模型与大得多的 SSL、深度学习、audio-LLM、codec 方法打平,下游可训参数少约 1000 倍。把分析延伸到 PHQ-8 单个症状,同样存在选择偏差。我们主张:在小临床语音数据集上 probing encoder 层表征时,嵌套模型选择应成为标准。


7. Lyric:把谱滤波搬进声学结构里,语音识别前端功耗砍 98.6%

2610.06433

一句话:语音识别前端不用数字滤波了——被动声学谐振器在波域直接分频,采样数砍 32 倍,树莓派上延迟+能耗降 98.6%。

贡献/机制:wave-domain computing:被动声学谐振器按频率分离语音,把缓变包络送进紧凑时序神经网络;谱滤波搬进声学结构,数字化之前就做完。在 AudioMNIST 说话人无关切分、九个分类器家族上评测。

数值结果:比 16kHz 波形少 32 倍标量采样;Raspberry Pi 4 上 EdgeSpeechNet-A 对比,预处理+推理延迟与单次推理能耗降 98.6%,准确率只掉 3.58 个点到 95.70%。

批判性分析:“用物理结构代替数字计算"的路线够野,边缘语音的功耗账算得漂亮;但目前只做到 spoken-digit,连续语音/噪声下的表现没说。做超低功耗语音的人值得一看。

摘要译文:低功耗语音识别要同时砍音频采集、特征处理与神经推理的成本。我们提出 Lyric,一个用波域计算提取特征、数字化之前就完成的语音识别前端。系统用被动声学谐振器按频率分离语音,把缓变包络送进紧凑时序神经网络。这把谱滤波搬进声学结构,减少识别所需的数据与处理。我们做了原型,在说话人无关的 AudioMNIST 切分、九个分类器家族上评测口语数字识别。前端采集的标量采样比 16kHz 波形少 32 倍。在 Raspberry Pi 4 的 EdgeSpeechNet-A 对比中,预处理+推理延迟与单次推理估计处理器能耗降 98.6%,准确率降 3.58 个点到 95.70%。


8. 口音表征跨不过"朗读→自发”:Whisper 域内 0.489 UAR,跨风格掉到 0.11

2610.06430

一句话:500 德语人、九个地区的口音分类,Whisper 域内九分类 UAR 0.489、地理定位中位误差 148km;一跨到自发语音就崩到 0.11/363km。

贡献/机制:RVG1 数据集(500 说话人、九地区),十种语音表征,对比匹配条件 vs 说话人无关的朗读-自发迁移;分类 + 连续地理定位双任务。发现:Whisper 匹配条件最好(0.489 九分类 UAR、148km 中位误差),但跨迁移掉到 0.11/0.18 UAR、363km;SSL 模型同样崩;说话人 embedding 域内弱但跨迁移更稳。跨表征看,鲁棒性与"表征在风格间漂移多小"相关(style-invariance),跨风格说话人检索是可解释代理。年龄/性别/句子重叠/时长控制都解释不了这个 gap,信道有贡献。

数值结果:Whisper 匹配 0.489 UAR / 148km → 跨风格 0.11–0.18 UAR / 363km。

批判性分析:“匹配条件下强 ≠ 口音信息鲁棒"是给口音自适应泼的冷水,style-invariance 作为鲁棒性代理指标值得借鉴;但结论限德语九地区。做口音鲁棒 ASR/说话人表征的人必读。

摘要译文:匹配条件下能抓到地域口音线索,但这些线索在朗读与自发语音之间是否保留尚不清楚。我们研究 RVG1(500 德语说话人、九地区),对比十种语音表征在匹配条件与说话人无关的朗读-自发迁移下的地域分类与连续地理定位。Whisper 匹配条件最好,九分类 UAR 0.489、地理定位中位误差 148km,但跨迁移两个方向掉到 0.11/0.18 UAR、363km 地理误差。自监督模型同样退化,而说话人 embedding 域内判别力弱但跨迁移更稳;分类与定位双任务一致。跨表征看,鲁棒性与表征在风格间漂移多小相关(style-invariance),跨风格说话人检索是可解释代理。年龄、性别、句子重叠、时长控制都解释不了这个 gap,信道特性有贡献。这些结果表明:匹配条件下的强性能不代表鲁棒的地域信息。


9. LeAVJEPA:极简音画自监督,一个早融合 ViT 吃掉所有模态

2610.06226

一句话:音画自监督不需要 EMA、预测头、重构解码器、对比损失——单个早融合 ViT + LeJEPA 无崩溃目标,AudioSet-20K frozen 36.0 mAP。

贡献/机制:LeJEPA 无崩溃目标下训练的第一个音画 encoder;单个早融合 ViT 处理音频、视频、联合输入;modality dropout 把缺失模态当成同一事件的另一个 view,对齐隐含在目标里;全局 embedding 与模态内局部 embedding 对齐,SIGReg 防崩溃。消融锁定 modality dropout 是对齐的关键机制。

数值结果:frozen 下 AudioSet-20K 36.0 mAP、ESC-50 91.3%;微调后 VGGSound 61.1%;embedding 支持 zero-shot 音画检索。

批判性分析:“减法做到极致"的表征工作,modality dropout 当 view 的视角干净;但 36.0 mAP 的绝对值与 SOTA 线的对比摘要没展开。做音画表征的人值得一看。

摘要译文:此前的音画自监督方法依赖 EMA target encoder、预测头、重构解码器、对比损失等机制。我们提出 LeAVJEPA,第一个在 LeJEPA 无崩溃目标下训练的音画 encoder。单个早融合 Vision Transformer 处理音频、视频与联合音画输入。Modality dropout 把缺失模态当成同一事件的另一个 view,使跨模态对齐隐含在目标里。模型对齐全局 embedding 与模态内局部 embedding,SIGReg 防止表征崩溃。受控消融认定 modality dropout 是音画对齐的关键机制。架构极简,LeAVJEPA 在 frozen 评测下 AudioSet-20K 达 36.0 mAP、ESC-50 达 91.3% 准确率;微调后 VGGSound 达 61.1%,其 embedding 支持 zero-shot 音画检索。


10. Aether:生理波形基础模型的扩展定律,10 倍算力→模型 1.2 倍、数据 8.2 倍

2610.05649

一句话:训了 100+ 个生理波形基础模型(20M–2.1B,36.3M 小时),拟合出扩展定律:算力涨 10 倍,最优配比是模型 1.2 倍、数据 8.2 倍。

贡献/机制:Aether 家族 100+ 个 FM(20M–2.1B 参数,至多 36.3M 小时生理波形);MIMIC-III 构建八个临床预测任务做 linear probing;拟合"模型尺寸–预训练小时数–标注病人数 → 下游 ranking error(1-AUROC)“的扩展定律,held-out 资源规模下预测 MAE 0.5%、外推到 2.1B 时 0.9%。三发现:(1) 计算最优训练同时放大模型与数据,10 倍 FLOPs → 模型 1.2×、数据 8.2×;(2) 大模型用波形数据更高效,模型翻倍则达到同性能所需的预训练小时数降 51.8%;(3) 预训练与临床监督互相放大:720M 模型预训练从 120K 拉到 36.3M 小时,同目标下所需标注病人数降 61%。

数值结果:720M FM 八个任务全超现有基线 FM;扩展定律预测 MAE 0.5%(held-out)/0.9%(外推 2.1B)。

批判性分析:波形模态的 Chinchilla 式工作,100+ 模型的实验量级扎实,“数据 8.2× vs 模型 1.2ד的配比结论对生理信号训练有直接指导;但结论限生理波形,往语音/音频迁要小心。做生物信号/波形基础模型的人必读。

摘要译文:我们研究生理波形基础模型(FM)的扩展定律与计算最优训练。我们训了 Aether 家族 100+ 个 FM(20M 到 2.1B 参数,至多 36.3M 小时生理波形),从 MIMIC-III 构建八个临床预测任务做 linear probing。720M FM 在八个任务上全超现有基线 FM。模型尺寸、预训练小时数、标注病人数预测下游 ranking error(1-AUROC)的扩展定律拟合有效,held-out 资源规模下预测 MAE 0.5%、外推到 2.1B 参数时 0.9%。三个发现:(1) 计算最优训练同时放大 FM 尺寸与预训练小时数;拟合定律下算力 FLOPs 涨 10 倍,模型尺寸放大 1.2 倍、预训练小时数放大 8.2 倍。(2) 大 FM 用波形数据更高效,预训练暴露越多、模型放大的收益越大;从 25M 参数、4.8M 预训练小时起,FM 尺寸翻倍则达到同性能所需的预测小时数降 51.8%。(3) 预训练与临床监督互相强化:标注病人数越多,预训练的回报越大;而大 FM 与长预训练降低标注需求;以 720M FM 为例,预训练从 120K 拉到 36.3M 小时,目标 ranking error 下预测所需病人数降 61%。这些发现给出定量训练 recipe,为生理波形建模与下游临床预测指出一条可观且持久的扩展路径。


简报

11. vMF 似然做无标签说话人 embedding 增强,难失配集上增益更清楚

2610.06691

干净目标训练时直接可观测,embedding 增强在单位超球面上就是个匹配问题:用 von Mises-Fisher 似然建模干净目标,profile 掉逐样本 concentration 参数,得到带自适应加权的简单闭式目标。VoxCeleb1、VoxSRC23、CN-Celeb、VOiCES、VC-Mix 上基本保住基线、难失配集增益更清楚;单视角 recipe 下稳定,同期 diffusion 基线在对照里反而不可靠。点评:跟昨天的 correlation 蒸馏纠错呼应——“简单闭式目标打败复杂结构”;但只在固定 backbone 下验证。

12. CavaBench:英国口音的金融语音助手,WER 与工具调用准确率 r=-0.93

2610.06587

首个口语金融查询 benchmark(内部采集),覆盖苏格兰、爱尔兰、威尔士等自报英国口音,评测一众 ASR 模型及其 ASR-LLM 端到端管线。WER 强预测下游工具调用准确率(r=-0.93),但 WER 有时反映不出任务级性能,口音相关失败在不同模型与声学条件下差异大。点评:跟精评 8 同一主题的另一面——部署视角的口音账;但 benchmark 未公开,复现性打折。

13. 土耳其语 TTS 大横评:18 个客观指标,Chatterbox/CosyVoice/OmniVoice/VoxCPM2 对打

2610.06057

四个当代系统(Chatterbox、CosyVoice、OmniVoice、VoxCPM2)× 微调/zero-shot,对 VITS 基线、锚定自然语音;18 个互补客观指标(UTMOS v2、DNSMOS-Pro、SCOREQ、WhisQA、AudioBox-PQ、NatScore、SpeechLMScore、SQUIM PESQ/SI-SDR/STOI、Brouhaha、说话人相似度、TTSDS、低层声学描述子),另分析 utterance 长度效应与长 chunk 的音色/自然度漂移;评测代码已发布。点评:低资源形态丰富语言的 TTS 横评模板,指标栈可直接抄;但全是客观指标、无主观听感。

14. KyaraBench:角色身份 ≠ 说话人身份,85 个配音角色的人审 benchmark

2610.06013

配音角色换演员仍是同一角色——角色身份与说话人身份是同一录音的两种属性,speaker verification 只测后者。KyaraBench 用 85 个人审角色身份建 benchmark:固定角色换演员、固定演员换角色两种难例;78 人听辨提供人类参照;SV 基线在这两种条件下误差上升。KyaraEmbed(多语言角色监督 + 同演员负例 + 语言对齐项的小 encoder)全条件最好,benchmark/协议/encoder 已发布。点评:给语音克隆/角色语音评测补了块缺的板;但数据限配音动画场景。

15. 构音障碍语音重建:改发音瓶颈而非语言表征,保住音色与韵律

2610.05944

Dysarthric speech reconstruction 通常从受损语音抽语言/音素表征再合成;本文反其道:在神经分析-合成框架里加 residual mapper,改发音对齐的 latent 空间、保留说话人与韵律信息;mapper 先在平行合成健康/人工构音障碍语音上预训练,再用音素引导+对抗目标适配真实构音障碍语音;另与维度匹配的无监督表征对照,验证显式发音监督的增益。点评:“动发音、不动语言"的干预视角新颖;但摘要没给硬数字,效果待正文验证。

16. InteractionBench:流式视频助手"该说就说、不该说闭嘴"的实时交互 benchmark

2610.05775

视频助手必须在指令需要时说话、不需要时沉默——benchmark 评模型+记忆+响应控制器的完整系统:1060 次交互/812 视频,69 条负向流、53 组"计数事件配长得很像的干扰项”;按视频时钟打分内容准确率、时机准确率、沉默遵守率。Polled Qwen3-VL-8B 时机 77.8 但沉默遵守仅 10.9;原生实时系统沉默遵守 29.2/时机 66.8,却在 89.9% 的负向流上开口;无开源系统通过三分之一的干扰套件。点评:把"克制"量化成指标,“及时说话要拿沉默来换"的 tradeoff 很实在;但评测限视频助手,纯音频 agent 的迁移待验。


今日 16 篇:10 篇精评 + 6 篇简报,TTS 蒸馏(Paradee)、生成式增强幻觉(AuraSE)、音频生成解码器失配(AudioGAR)三线并进,“修生成管线的最后一公里"是今日主线;抑郁检测层选择偏差、口音跨风格崩塌两篇方法论纠错值得细读。


Cover image by otaku_emmy

Licensed under CC BY-NC-SA 4.0