概览
- 5 篇精评 + 2 篇简报，共 7 篇，已对 7 天滚动窗口去重（候选池 270 篇 → 已报道去重 5 篇 → 近期未报道 265 篇 → 音频方向初筛与标题全扫后报道 7 篇；另从 HF 论文搜索补充 2 篇未报道论文：0 篇精评、2 篇简报）。
- 来源：HuggingFace Daily Papers（268 篇，10-14 至 10-16 三期列表）；HuggingFace 论文搜索（补充 2 篇）；arXiv API（0 篇，本次首个请求即返回 429 限流，按硬停规则未重试，降级模式）；Semantic Scholar（0 篇，同样返回 429，降级模式）。
- 主题分布：全模态音视频评测 1 篇、全双工语音决策 1 篇、音视频字幕 1 篇、音频源分离 1 篇、丰富转写与语音事件检测 1 篇、空间音频生成 2 篇。
- 今日关键词：“听见转写之外的东西”——DuplexJev 让冻结 LLM 直接从声学隐状态里读出性别与情绪，OmniCompass 专测模型有没有真用上音频证据，Speech Event Detector 则专门捡回 ASR 扔掉的呼吸、咳嗽和环境声。
精评
1. OmniCompass：全模态视频理解的"体检表"——音视频联合证据是最短板
一句话：只测"看懂视频"已经不够了——OmniCompass 给全模态模型立了 VL 与 AV 两条赛道、时间/空间定位加问答三项任务，测了 50 个 MLLM，结论是开源模型全面落后、音视频联合理解尤其弱，连目标的指定方式换一下答案都会飘。
贡献/机制：OmniCompass-VL 评需要视觉证据的任务，OmniCompass-AV 评需要音视频联合证据的任务；每条赛道含时间定位（何时出现）、空间定位（在何处）与问答（发生了什么）。VL 赛道 820 个视频、2,460 个实例，覆盖短/中/长三种时长；AV 赛道取叙事与音频丰富的子集，240 个视频、720 个实例。每个实例都在纯文本与文本+图像两种配对设定下评测、以两种方式指定同一目标，全部实例经人工标注与多轮质检。
数值结果：共评测 50 个 MLLM：开源模型仍落后于闭源模型，在音视频理解上差距尤甚；即使领先模型，精确的时间与空间定位仍然困难，且同一目标在两种指定方式下的预测存在不一致（摘要未给各模型的具体分数与差距幅度）。
批判性分析：它的价值在诊断结构而不在排行榜：AV 赛道单独成轨、配对设定查一致性，这两点能定位"模型到底有没有用音频"。短板也明显：AV 子集只有 240 个视频，覆盖面有限；摘要没有任何一个模型的绝对分数，“落后多少"无法核验；纯基准论文，后续生命力取决于社区是否真拿它当标尺。对做 AudioLLM 评测的人，这套"联合证据 + 配对一致性"的拆法值得借。
摘要译文：随着多模态大语言模型（MLLM）快速发展，评测其视频理解能力变得日益重要。现有视频理解基准只覆盖部分评测维度，限制了对全模态视频理解的系统诊断。我们提出 OmniCompass，一个面向全模态视频定位与理解的整体性基准。OmniCompass 定义两条评测赛道：OmniCompass-VL 评测视觉语言模型在需要视觉证据的任务上的表现，OmniCompass-AV 评测全模态模型在需要音视频联合证据的任务上的表现。每条赛道包含三项互补任务：时间定位（TG）、空间定位（SG）与问答（QA），分别评测被指目标何时出现、在何处、以及发生了什么。QA 在 OmniCompass-VL 中覆盖五个感知与三个推理类别，在 OmniCompass-AV 中覆盖三个感知与两个推理类别。OmniCompass-VL 包含 820 个视频与 2,460 个实例，跨多个领域与短、中、长三种时长类型；一个叙事与音频丰富的子集构成 OmniCompass-AV，含 240 个视频与 720 个实例。每个实例都在两种配对设定下评测：纯文本与文本+图像，以文本和视觉语言引导指定同一目标。全部实例经人工标注与多轮质量验证。对 50 个 MLLM 的评测显示，开源模型仍落后于闭源同行，在音视频理解上尤甚。即使对领先模型，精确的时间与空间定位仍具挑战，且它们的预测在配对的目标指定方式之间仍表现出不一致。
2. DuplexJev：全双工的"小决策"别再解码了——单 token 读出，冻结 LLM 能听出转写之外
一句话：全双工语音智能体要不停做"该不该插话、用户什么情绪"这类封闭小决策，用自回归解码回答又慢又浪费——DuplexJev 把 ASR 编码器隐状态接进冻结 LLM、每个问题只读一个 token 的分布，8 卡节点 0.1 秒批答 80 个决策，还能听出转写里根本没有的性别与情绪（都到 90%）。
贡献/机制：ASR 编码器隐状态经小连接器送入冻结 LLM，决策以答案 token 上的交叉熵直接训练，而不是惯常的转写蒸馏（教师从未听过声音）；蒸馏只保留给内容部分。连接器有两种：最后一层连接器与交叉注意力连接器。编码器与 LLM 均可互换；权重、训练配方、批式推理管线与双语语音问答集一并发布。
数值结果：8 卡节点约 0.1 秒回答关于八段话语的 80 个决策。用最后一层连接器时，语音问答接近读转写文本（90% 对 91%）。用交叉注意力连接器时，性别与情绪准确率都达到 90%（分别从 55% 与 28% 提升），其语音问答只下降 1 个点（83% 到 82%，摘要未交代这两个基线的确切对照设定）。
批判性分析：问题切得准：全双工系统里大量决策本来就是封闭集，单 token 读出是量级级的延迟优化。但它的边界也清楚——只能答封闭选项，开放生成仍要解码；“0.1 秒 80 个决策"是整节点批吞吐，不是流式场景下单个决策的端到端延迟；90% 的问答成绩来自作者自建的双语集，规模与难度未在摘要交代，性别/情绪的评测集同样如此。做全双工 serving 的人，这篇的"决策与生成分开定价"值得抄。
摘要译文：全双工语音智能体会做许多小的、封闭式的决策，而当前系统以缓慢的自回归解码来回答它们。我们提出 DuplexJev，它把 ASR 编码器的隐状态经一个小型连接器送入冻结的 LLM，并把每个问题读作其选项上的单 token 分布。什么都不需要解码，一台 8 卡节点在约 0.1 秒内就能回答关于八段话语的 80 个决策。使用最后一层连接器时，语音问答与读转写文本保持接近（90% 对 91%）。DuplexJev 还能听出说话人：使用交叉注意力连接器时，性别与情绪准确率都达到 90%（分别从 55% 与 28% 提升），而其语音问答只下降 1 个点（83% 到 82%）。我们以读出答案 token 上的交叉熵训练决策，而不是通常的转写蒸馏——后者的教师从未听过声音——并把蒸馏保留给内容。编码器与 LLM 可以互换；我们发布权重、训练配方、一条面向全双工服务的批式推理管线，以及一个双语语音问答集。
3. EVA-Cap：字幕别再当一坨文本生成——拆成原子事件对齐，ChronusAV +9.0%
一句话：音视频字幕写得"通顺"不等于对得上画面和声音——EVA-Cap 把字幕拆成原子级音视频事件，用事件完整性、事件内归属、事件间同步三个目标做 GRPO，在事件中心评测 ChronusAV 上平均涨 9.0%。
贡献/机制：把无结构文本监督转化为事件中心的对齐：在自建的 EVA-Data（带事件中心质量控制）上先做 SFT，再做 GRPO；GRPO 阶段显式优化三个目标——全局事件完整性、事件内归属（哪个事件是谁/什么发出的）、事件间同步（音画事件的时间对应）。
数值结果：在事件中心评测上显著优于现有方法（ChronusAV 平均提升 9.0%），在通用音视频字幕基准上保持竞争力（WorldSense +3.3%）；摘要未说明这两处提升是相对百分比还是百分点，也未给基线绝对值。
批判性分析：思路对症：字幕的失败模式大多是漏事件、错归属、音画错位，拆成可优化的事件目标比笼统的文本奖励更可控。风险在评测的"主场性”——训练数据自建、主打的 ChronusAV 又是事件中心评测，方法与标尺同源，+9.0% 有多少能迁移到中立基准要看 WorldSense 这类外部结果的完整表；三个事件目标本质上仍是代理指标，与人类对字幕质量的判断之间还隔着一层。做多模态后训练的人，事件级奖励拆分可直接借鉴。
摘要译文：全模态语言模型（OLM）的最新进展为音视频视频字幕提供了一个统一的解法。然而，现有方法大多把字幕生成当作无结构的文本生成过程，忽略了视频固有的语义结构，导致细粒度音视频对齐欠佳。为弥合这一差距，我们提出 EVA-Cap，一个新颖的框架，它把字幕分解为原子级音视频事件，并把无结构的文本监督转化为以事件为中心的对齐。我们在自建数据集 EVA-Data 上通过监督微调（SFT）与组相对策略优化（GRPO）训练 EVA-Cap，该数据集以事件为中心的质量控制构建。在 GRPO 阶段，模型显式针对三个事件中心对齐目标优化：全局事件完整性、事件内归属与事件间同步。大量实验表明，EVA-Cap 在事件中心评测上显著优于现有方法（例如在 ChronusAV 上平均提升 9.0%），同时在通用音视频字幕基准上取得有竞争力的表现（例如在 WorldSense 上 +3.3%）。
4. Dynamic Band Splitting：频带别再一刀切——按内容动态切分，源分离 SI-SDR 相对 +29.0%
一句话：带分裂分离器把频谱按固定边界切成 token，可每个混合音频的信息分布都不一样——DBS 在固定 token 预算下让边界跟着内容走，在 DnR v2 上把 BSRNN 的平均 SI-SDR 相对拉高 29.0%。
贡献/机制：在频率块内预测内容相关的边界分数，用硬 Top-K 选出规定数量的边界，再做内容相关的池化得到紧凑的带 token；分离后把 token 平滑、展开回原始 STFT 网格，沿频率细化，最后用频率共享的解码头输出复数掩码。整个框架端到端、且可套到多种分离骨干上。
数值结果：在 DnR v2、MUSDB18-HQ 与 EchoSet 三个基准上都改进了对应的静态带分裂模型；其中 DBS-BSRNN 在 DnR v2 上平均 SI-SDR 相对提升 29.0%（摘要未给绝对 SI-SDR 值）。代码与音频演示已公开。
批判性分析：“固定预算下比划分策略"是干净的对照设计，29% 的相对提升幅度不小；但没有绝对 SI-SDR 就判断不了它离可用还有多远，相对提升也可能被较弱的静态基线放大；硬 Top-K 选边界的梯度处理与训练稳定性在摘要里没交代，这是这类离散选择最容易翻车的地方。对做分离/增强前端的人，这篇说明"预处理层的结构先验"仍有可观红利，不必全指望骨干变大。
摘要译文：音频源分离模型必须保留精细的频谱结构，同时使分离器的成本可控。带分裂架构通过手工把频谱划分为预定义的频带、并把每个频带编码为一个 token 来降低这一成本，但对每个混合音频都使用相同的边界。由于有信息量的频谱结构随声源内容而变化，固定边界可能把有判别力的成分合并在一起，或在几乎不需要分辨率的地方花费 token。我们提出动态带分裂（DBS），一个端到端框架，在固定的带 token 预算下，使边界位置与带宽适应每个混合音频。DBS 在频率块内预测内容相关的边界分数，用硬 Top-K 选择规定数量的边界，并应用内容相关的池化来获得紧凑的带 token。分离之后，它把这些 token 平滑并展开回原始的 STFT 网格，沿频率细化它们，并用一个频率共享的解码头解出复数掩码。DBS 在 DnR v2、MUSDB18-HQ 与 EchoSet 上改进了对应的静态模型，其中 DBS-BSRNN 在 DnR v2 上取得了平均 SI-SDR 29.0% 的相对提升。这些结果以及在 DnR v2 上的边界分析表明，在固定的带 token 预算下，内容自适应的频率划分对多种分离骨干都有益。代码与音频演示已公开。
5. Speech Event Detector：ASR 扔掉的呼吸、咳嗽和喇叭声，580 万参数全捡回来
一句话：转写只有词，没有"人味"和"现场感”——这个 5.8M 参数的小模型每 40 毫秒扫一遍 54 类事件（20 类人声非言语发声 + 34 类背景声），把带时间戳的事件并回 Whisper 转写，在 CPU 上跑到实时的 39 倍。
贡献/机制：卷积-Transformer 模型输出逐帧事件概率，后处理转成带时间戳事件，再合并进 Whisper 转写。数据工程是本文重头：七个公开数据集的标签形式互不兼容（区域、自由文本、强标注本体、转写内嵌符号、孤立录音、环境录音），用规则映射统一、用 CTC 强制对齐为内嵌符号恢复时间戳（8,620 个声音中定位回 6,360 个），再把约 168 小时真实标注录音与真实背景噪声的合成混合、增强拼成训练集；两个运行档位（敏感/均衡）的逐类阈值在真实留出集上调优。
数值结果：在四个数据集的整段留出录音上、对至少有 10 个留出事件的 48 个类别：敏感档平均检出每类 49% 的事件、覆盖全部 9,367 个事件的 67%，宏平均精确率 0.30；均衡档宏平均召回 0.37、精确率 0.36；两档宏平均事件 F1 分别为 0.32 与 0.33。推理速度约为实时的 39 倍（八个 CPU 线程）。
批判性分析：数字不好看但报得诚实：精确率 0.30 意味着敏感档写进转写的事件约七成是误报，直接进产品会污染转写可读性——它更像一个可调工作点的检测前端，而非开箱即用的"丰富转写”。标签统一只找回 74% 的内嵌声音，数据噪声给性能封了顶；事件并入转写后的下游可用性（如会议纪要、情感分析）没有实测。但方向本身重要：AudioLLM 之外的"结构化副语言信息"仍需要这种便宜、快、可解释的小模型。
摘要译文：自动语音识别产出词语，却丢掉了录音的非言语内容：说话人的呼吸、咳嗽、叹息与笑声，以及周围的喇叭声、音乐或犬吠。我们描述 Speech Event Detector，一个 580 万参数的卷积-Transformer 模型，每 40 毫秒为 54 个事件类别（20 类说话人发声与 34 类背景声音）输出概率，并配有把这些概率转化为带时间戳事件的后处理，以及把事件合并进 Whisper 转写的流程。该模型在取自七个公开数据集的材料上训练，这些数据的标签形式互不兼容：单个检测到的区域、带时间戳的自由文本标签、时间上强标注的本体标签、嵌入转写中的符号、孤立录音与环境录音。我们用基于规则的标签映射统一它们，通过 CTC 强制对齐为嵌入转写的标签恢复时间戳，在 8,620 个声音中定位了 6,360 个，并把约 168 小时的真实标注训练录音与使用真实背景噪声的合成混合及增强结合起来。两个运行档位的逐类阈值在真实留出录音上调优，性能用二折交叉验证估计。在来自四个数据集的整段留出录音上，对至少有十个留出事件的 48 个类别，敏感档平均检出一个类别 49% 的事件，覆盖全部 9,367 个事件中的 67%，宏平均精确率为 0.30。均衡档达到宏平均召回 0.37、精确率 0.36，两个档位的宏平均事件 F1 分数分别为 0.32 与 0.33。该检测器在八个 CPU 线程上的运行速度约为实时的 39 倍。
简报
6. StereoBind：立体声要跟着画面里的声源一起动——动态空间对应
联合音视频生成已经能对上语义和时间，但立体声的"声像随声源运动"一直没人管。StereoBind 用运动轨迹把视觉运动绑到立体声生成上：Visual Motion Binding 建源级音画对应、Spatial Track Encoder 编码声源绝对位置、Residual Track RoPE 建相对运动；配套 StereoWorld-29K 数据集（带配对运动轨迹的立体声音视频）与 StereoWorldBench 空间一致性评测。作者称其在保持整体音画质量的同时大幅改善立体声空间对齐（摘要未给量化幅度）。upvotes 66。
7. WorldSonus：给世界模型装上耳朵——实时、交互、空间对齐的流式声音合成
世界模型生成的环境至今基本是"哑巴"的。WorldSonus 做交互式视频到音频：流式因果自回归扩散逐块合成、实时因子 RTF 0.41；以音频为中心的标注管线加分块索引的提示调度，支持生成中途改声音指令；用立体声与 Ambisonic 数据策展的监督做空间对齐。作者称其在开放域视频到音频基准上声学质量与空间对齐可比肩甚至超过双向 SOTA 模型（摘要未给具体分数）。与 StereoBind 同日对照看：空间音频生成正在从"有声音"卷到"声音在对的位置上动"。upvotes 41。
本日 7 篇（5 精评 + 2 简报）来自降级模式候选池：arXiv API 与 Semantic Scholar 均因 429 限流零贡献，HuggingFace Daily Papers（10-14 至 10-16）与 HF 论文搜索补充构成全部候选；当日 arXiv 全量新投稿未能覆盖，宁缺毋滥不凑数。
Cover image by Freenight