AI Paper Daily | 2026-07-16

今日概览

共收录 12 篇论文 | Audio LLM: 1 篇 | LLM Training: 8 篇 | AI Agents: 2 篇 | 其他值得关注: 1 篇

来源: HuggingFace Papers(12) | 去重跳过近 7 天已报道论文(18)

重点推荐 ⭐

  1. AVSCap:把非语音声学事件和视觉动作显式绑定,且显示强化学习比单纯扩充 SFT 数据更有效,最贴合 Audio LLM 方向。
  2. Read It Back / SpectraReward:用提示词条件似然把预训练 MLLM 直接变成零样本奖励模型,避免偏好标注和奖励模型微调。
  3. Hy-Embodied-VLM-1.0:只激活 3B 参数,却接近上一代激活 32B 参数的具身模型,兼顾推理能力和部署延迟。
  4. Self in Space:将无人机的空间认知与“自我”状态放进统一评测框架,暴露现有 MLLM 的主体运动建模短板。
  5. SynthDocBench:通过可控合成变量定位长文档 VLM 的长度、位置和图表理解退化,适合做模型诊断而非只看总分。

🔊 Audio LLM

AVSCap: Orchestrating Audio-Visual Synergy for Omni-modal Video Captioning

通过显式跨模态事件绑定、三模态数据构建和混合奖励强化学习,让视频描述真正刻画画面、语音、音乐与音效之间的协同演化。

  • 作者: Yanghai Wang et al.
  • 来源: HuggingFace Papers
  • 链接: arXiv | PDF
  • 关键贡献: 构建 AVSCap-130K、AVSCap-7B 与 AVSCapBench,形成从训练数据、两阶段训练到细粒度事件召回评测的完整闭环。对 Audio LLM 工程尤其有价值的是,其缩放实验表明优化混合奖励的强化学习收益高于继续堆叠 SFT 数据,可直接指导音视频描述模型的数据与算力分配。
  • 相关技术: cross-modal event binding, audio-visual captioning, hybrid-reward reinforcement learning, non-speech audio coverage, fine-grained event recall
  • 代码/权重: 未提及
📄 Abstract 中文翻译

全模态视频描述并不只是把视觉描述与音频转写拼接起来:有用的描述必须说明视觉动作、语音、音乐和音效如何共同演变。现有大型多模态模型往往无法完成这种关系建模,它们把音频流与视觉流当作松散耦合的观察结果,依赖自动语音识别,并且对非语音声音及其与视觉事件的联系描述不足。我们提出 AVSCap,这是一个以显式跨模态事件绑定为核心的音视频描述框架。首先,我们构建 AVSCap-130K,一个由“先解耦、后融合”流程生成的三模态训练语料库;该流程先锚定视觉与声学证据,再合成有依据的全模态描述。其次,我们训练了 AVSCap-7B,一个采用两阶段策略的 70 亿参数描述模型:监督微调(Supervised Fine-Tuning, SFT)建立基础能力,样本高效的强化学习则使用混合奖励优化声学信息完整性与音视频协同性。我们的缩放分析表明,与增加 SFT 数据相比,强化学习带来的增益更大。第三,我们提出 AVSCapBench,该基准把描述拆解为视觉事件、音频事件和协同事件,并用细粒度事件召回率进行评估。在 AVSCapBench 和外部基准上的实验显示,AVSCap-7B 提高了非语音音频的覆盖率与跨模态绑定能力,并在所有参与评估的开源模型中取得最佳综合性能。


🧠 LLM Training

Hy-Embodied-VLM-1.0: Efficient Physical-World Agents

以动作中心能力分类体系组织预训练和后训练数据,并用高效 MoE 在仅激活 3B 参数时实现接近上一代 32B 激活模型的具身性能。

  • 作者: Ziyi Wang et al.
  • 来源: HuggingFace Trending(5 upvotes)
  • 链接: arXiv | PDF
  • 关键贡献: 论文把具身能力拆成动作相关状态理解、动作转移推理、序列与自适应推理三个递进层级,并据此贯通数据混合与训练阶段。Hy3-A3B、Hy-ViT2 和 MoE 的组合展示了面向实时物理智能体的实用路线:用稀疏激活降低延迟,同时保留长时程、多轮交互能力。
  • 相关技术: action-centric capability taxonomy, Hy3-A3B, Hy-ViT2, sparse Mixture-of-Experts, long-horizon embodied reasoning
  • 代码/权重: 未提及
📄 Abstract 中文翻译

构建有能力的具身智能体,不仅需要多模态感知与理解,还需要围绕动作进行推理、适应不断变化的情境以及与物理世界交互的智能体能力。在本报告中,我们提出 Hy-Embodied-VLM-1.0,这是一个专为在物理世界中运行的具身智能体设计的高效且强大的具身基础模型。为了从预训练阶段开始培养这些能力,我们定义了一套以动作为中心的能力分类体系,其中包含三个递进维度:动作相关状态理解、动作转移推理,以及序列与自适应推理。在该分类体系指导下,我们开发了系统化的数据流水线,并整理出覆盖预训练和后训练的数据混合。为了在支持延迟敏感型部署的同时提供强大的物理世界理解与交互能力,我们以 Hy3-A3B 语言骨干和 Hy-ViT2 视觉编码器构建模型。其高效的混合专家(Mixture-of-Experts, MoE)架构兼具较强的模型容量与较高的推理效率。我们在一套包含 38 个基准的综合评测中测试 Hy-Embodied-VLM-1.0,这些基准覆盖具身感知、物理世界理解和具身推理。模型在其中 19 个基准上取得同等规模模型中的最佳性能,并显著超过 Qwen3.6-A3B、Cosmos 3 等强劲竞争模型。与上一代 Hy-Embodied-0.5 MoT-2B 相比,Hy-Embodied-VLM-1.0 的平均性能提高 8.4%。尽管只激活 30 亿参数,它的性能已接近上一代激活 320 亿参数的模型。除静态基准评估外,Hy-Embodied-VLM-1.0 在需要多轮交互和长时程推理的具身智能体任务上也表现出色。


Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation

SpectraReward 以“能否从生成图像中读回原提示词”的条件似然作为奖励,无需偏好数据或奖励模型微调即可训练文生图策略。

  • 作者: Runhui Huang et al.
  • 来源: HuggingFace Trending(42 upvotes)
  • 链接: arXiv | PDF | 项目页
  • 关键贡献: 单次图像条件、教师强制前向即可计算平均提示词对数似然,省去了问题分解、偏好标注和奖励模型训练。Self-SpectraReward 进一步让统一多模态模型的理解分支评价其生成分支,实验提示“奖励—策略对齐”可能比单纯扩大奖励模型更关键。
  • 相关技术: image-conditioned prompt likelihood, teacher-forced reward, zero-shot reward modeling, Self-SpectraReward, image-generation reinforcement learning
  • 代码/权重: 未提及
📄 Abstract 中文翻译

本文提出 SpectraReward,一种无需训练的奖励函数,可将预训练多模态大语言模型(Multimodal Large Language Model, MLLM)直接转化为图像生成强化学习可用的现成奖励模型。SpectraReward 不要求 MLLM 判断生成图像的好坏,也不要求它回答拆分后的验证问题,而是通过一次以图像为条件、采用教师强制的前向传播,衡量从生成图像中恢复原始提示词的程度。我们将图像条件下提示词的平均对数似然作为奖励,无需偏好标签或奖励模型微调,直接复用 MLLM 在预训练中获得的图文对齐能力。我们还提出 Self-SpectraReward,这是面向统一多模态模型的一个特殊形式:策略自身的理解分支充当生成分支的奖励模型,从而在不依赖外部奖励模型或外部知识的情况下形成闭环自我改进框架。我们通过一项广泛的图像生成强化学习研究验证 SpectraReward,实验覆盖两个扩散模型、三种强化学习算法、来自四个 MLLM 家族且参数规模从 40 亿到 2350 亿的九种奖励 MLLM 骨干,以及五个分布外文生图基准。结果显示,SpectraReward 和 Self-SpectraReward 都能显著且稳定地改善生成性能,并超过此前从 MLLM 派生奖励的训练方法。进一步分析发现,更大的奖励 MLLM 并不总是更好;Self-SpectraReward 能够达到或超过规模大得多的外部奖励模型,这说明奖励模型与策略之间的对齐是图像生成强化学习有效性的关键因素。


Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models

将编码智能体的“动作—观察—继续推理”映射为函数调用结构,用函数感知 FIM 中期训练强化模型吸收工具返回值的能力。

  • 作者: Yubo Wang et al.
  • 来源: HuggingFace Trending(12 upvotes)
  • 链接: arXiv | PDF
  • 关键贡献: 方法利用程序依赖图和“复杂度—可推断性”双重标准选择被遮蔽函数,把互联网规模代码中的函数调用结构转成智能体工具使用的自监督信号。它在多种基础模型和后训练流水线上稳定提高 SWE-Bench,同时缓解智能体后训练造成的通用编码与工具使用能力侵蚀。
  • 相关技术: function-aware fill-in-the-middle, program dependency graph, agentic mid-training, tool-return integration, SWE-Bench
  • 代码/权重: 未提及
📄 Abstract 中文翻译

编码智能体必须把外部工具的返回结果整合进正在进行的推理,而标准的从左到右代码预训练只会让模型接触这一能力的正向形式。我们观察到,编码智能体的“动作—观察—继续”循环在结构上与函数调用点同构:调用方绑定参数,被调用方返回在其他位置计算出的值,后续代码再消费该值。这种条件结构在互联网规模的普通代码中广泛存在。我们通过函数感知的中间填充(Fill-in-the-Middle, FIM)中期训练利用这一结构:该自监督目标使用程序依赖图分析,并依据“复杂度—可推断性”双重标准选择要遮蔽的函数。我们在一个去污染语料库上对 Qwen2.5-Coder-Instruct(7B/14B)和 Qwen3-8B 进行中期训练;该语料来自 968 个 GitHub 仓库,共 26 亿 token,之后再应用现有智能体后训练流水线。中期训练使 7B、14B 和 Qwen3-8B 在 SWE-Bench-Verified 上分别提高 2.8、3.0 和 3.2 个百分点,在 SWE-Bench-Lite 上分别提高 3.7、4.0 和 5.4 个百分点。这种提升在两套后训练流水线(R2E-Gym、SWE-Smith)以及不同于 Qwen2.5 的基础模型(结合 SWE-Lego 的 Qwen3-8B)上均成立。除域内增益外,中期训练还缓解了智能体后训练通常对非智能体编码能力(如 LiveCodeBench)和非编码工具使用基准(tau-bench、BFCL)造成的能力侵蚀:尽管中期训练语料只包含 Python 代码,函数调用的归纳偏置在后训练后依然保留,并带来稳定增益。


MAGIC: Transition-Aware Generation of Navigable Multi-Scene Game Worlds with Large Language Models

从一条自然语言提示直接生成可运行的多场景游戏项目,并用可达性校验与实际执行代理保证场景门户真的可穿越。

  • 作者: Tsz Hei Fan et al.
  • 来源: HuggingFace Papers
  • 链接: arXiv | PDF | 代码
  • 关键贡献: 四阶段流水线用共享的过渡感知中间表示维持跨场景一致性,并以 flood-fill 校验门户可达性。配套的执行型评估代理会真正运行每个过渡,比只测单场景视觉保真度更接近游戏生成系统的工程验收条件。
  • 相关技术: transition-aware intermediate representation, multi-scene game generation, flood-fill reachability, executable project synthesis, evaluation agent
  • 代码/权重: 已开源 ✅
📄 Abstract 中文翻译

多场景导航——在一个有边界的空间中完成目标,再穿过入口进入下一个空间——是当代 3D 游戏的标志性特征,但创作过程十分费力:每个入口在两侧都必须拥有一致的端点,每个室内场景布置完成后仍须保持可导航,并且由此产生的连接关系还要在许多文件间保持一致。近期基于大型语言模型(Large Language Model, LLM)和多模态大型语言模型(Multimodal Large Language Model, MLLM)的场景生成器大幅降低了单个室内场景的合成成本,但它们一次只生成一个场景,简单重复使用无法得到相互连通的多场景世界。我们指出单场景方法尚未解决的三项障碍:跨场景一致性、场景内可导航性,以及判断过渡是否真正有效的评估方法。我们提出 MAGIC,一个同时解决三项问题的“提示词到项目”系统。MAGIC 是一条四阶段流水线,可把单条自然语言提示转换为可运行的多场景游戏项目:它先规划共享的过渡感知中间表示,再在使用洪泛填充验证器确保入口可达的同时规定各个场景,随后生成场景及其过渡脚本,最后将它们组合成统一项目。由于现有单场景保真度指标从不实际执行过渡,我们还引入一个聚焦过渡的评估智能体,在运行时逐一执行各个过渡。在一个包含 100 个多场景案例的新基准上,MAGIC 为每个案例都生成了可执行项目,并在端到端过渡识别上达到 0.99 的精确率、0.95 的召回率和 0.96 的 F1;从各阶段来看,与 LLM 基线和 Holodeck 相比,它恢复了更多真实入口并生成了明显更可导航的布局。我们的代码已公开。


Controllable Generation of Diverse Dermatological Imagery for Fair and Efficient Malignancy Classification

cgDDI 用混合式可控生成扩展稀缺肤色与罕见病变样本,在只用合成数据训练时仍取得 86.4% 的恶性分类准确率。

  • 作者: Héctor Carrión, Narges Norouzi
  • 来源: HuggingFace Papers
  • 链接: arXiv | PDF | 代码与模型
  • 关键贡献: 框架覆盖健康皮肤生成、罕见病变跨肤色/位置非参数迁移以及少至 10 个训练样本的参数化生成,并兼容人工或自动分割掩码。它把 656 张图像扩展 400 倍以上,还公开 26.6 万余张合成图像,给医学影像公平性研究提供了可复用数据资产。
  • 相关技术: controllable dermatology synthesis, lesion transfer, few-shot parametric generation, skin-tone fairness, synthetic-only malignancy classification
  • 代码/权重: 已开源 ✅
📄 Abstract 中文翻译

准确的皮肤病诊断天然要求模型在不同人群中都具有公平表现,但系统性缺乏专家标注图像——尤其是代表性不足的肤色和罕见疾病图像——阻碍了可量化公平方法的发展。我们提出 cgDDI(Controllable Generation of Diverse Dermatological Imagery,可控多样化皮肤病学图像生成),这是一种混合框架,能够:(1)合成逼真的健康皮肤样本,同时不改变输入的其他属性;(2)以非参数方式把单样本罕见病变映射到新的肤色和位置;(3)仅用少至 10 个训练样本实现高效参数化生成。该框架同时支持人工和自动分割掩码,因此可扩展到没有预制病变掩码的数据集。我们把一个 656 张图像的数据集扩充了 400 倍以上,并在两个数据集上进行验证:经活检确认的 Diverse Dermatology Images(DDI)和经专家核验的 Fitzpatrick17k(F17k)。在 DDI 基准上,仅使用合成数据训练时,我们取得 86.4% 的恶性分类准确率;使用真实数据微调后达到 90.9% 的最新最佳性能,同时在公平性指标上也处于领先地位。跨数据集实验显示,即使疾病类型重合极少,模型在未见过的 F17k 数据上仍获得 13.9% 的准确率提升。我们公开发布超过 26.6 万张合成图像、代码和生成模型,以进一步支持公平性研究。


Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning

将无需人工标注、采用可验证奖励的 Zero RL 扩展到万亿参数,并系统观察大规模推理行为的发现期、锐化期及自发涌现特征。

  • 作者: Xinyu Tang et al.
  • 来源: HuggingFace Papers
  • 链接: arXiv | PDF
  • 关键贡献: 训练流水线结合截断重要性采样、训推比例校正和混合精度控制,解决直接放大 Zero RL 时可读性差、token 冗余与推理深度僵化的问题。论文还把 CoT 质量拆成可理解性、可复现性和效率三维,为避免只看最终答案正确率提供了可操作的评估框架。
  • 相关技术: zero reinforcement learning, verifiable rewards, clipped importance sampling, training-inference ratio correction, CoT quality evaluation
  • 代码/权重: 未提及
📄 Abstract 中文翻译

无需人工标注数据、使用可验证奖励的强化学习通常被称为 Zero RL,它已成为激发思维链推理的有力范式。然而受计算约束影响,现有研究大多局限于小模型,大规模条件下的训练动态和涌现能力仍未得到探索。为了有意义地探索这一前沿,我们希望从模型中激发高质量推理行为。但我们发现,朴素扩展模型规模经常带来可读性差、token 冗余以及无法自适应调整推理深度的问题。为此,我们提出稳定且高效的训练流水线,其中包含截断重要性采样、训练—推理比例校正和混合精度控制等算法与系统优化。实验得到三项关键发现,它们印证了规模扩展的“苦涩教训”:(1)扩展到 1 万亿参数能显著提高样本效率和性能上限;(2)训练过程依次经历最初的发现阶段和随后的锐化阶段;(3)模型会自发形成高级认知行为,包括拟人化、结构化格式、自我验证、并行推理和上下文焦虑,使人工设计的启发式规则变得多余。Ring-2.5-1T-Zero 在七个数学基准上取得有竞争力的性能。此外,为了在最终答案正确性之外评估思维链(Chain-of-Thought, CoT)质量,我们提出一个涵盖可理解性、可复现性和效率三个维度的结构化评估框架;模型在生成结构清晰且简洁的推理轨迹方面展现出明显优势。通过分享观察到的涌现现象,我们希望让社区更深入地理解规模扩展行为,尤其是万亿参数规模下的行为。


DA-Nav: Direction-Aware City-Scale Vision-Language Navigation

将商业导航工具的方向指令落到第一视角图像的离散网格上,并用 CoT 做偏航判断、动作预测和目标网格选择以恢复长程轨迹。

  • 作者: Ye Yuan et al.
  • 来源: HuggingFace Papers
  • 链接: arXiv | PDF
  • 关键贡献: DA-Nav 避开稠密地图和昂贵导航监督,把城市导航重构为空间定位问题;ReDA 数据集专门提供方向指令与恢复轨迹。在 CARLA 未见城市中达到 56.16% 成功率,并能零微调迁移到四足和人形机器人,显示接口设计具有跨本体潜力。
  • 相关技术: direction-aware navigation, egocentric grid grounding, trajectory recovery, Chain-of-Thought recovery, ReDA dataset
  • 代码/权重: 未提及
📄 Abstract 中文翻译

当前城市尺度户外导航严重依赖稠密地图或成本高昂的导航监督,因此受到限制。本文提出一种新范式,利用商业导航工具(如 Google Maps)提供的方向指令。为弥合商业指令与可执行导航动作之间的差距,并通过稳健的轨迹恢复缓解长时程误差累积,我们提出 DA-Nav,一种方向感知视觉语言导航框架。该框架将导航重新表述为第一视角二维图像平面上的离散空间定位问题。为实现轨迹恢复,DA-Nav 使用包含偏离评估、动作预测和目标网格选择的思维链(Chain-of-Thought, CoT)推理过程。我们还提出 ReDA 数据集,其中包含方向感知指令和恢复轨迹,可增强空间定位并支持 CoT 恢复推理。在 CARLA 中进行的大量实验表明,DA-Nav 在未见过的城市环境中取得 56.16% 的高成功率,超过现有最新最佳方法,同时保持强得多的恢复能力。此外,无需微调,DA-Nav 就能顺利适配四足机器人和人形机器人,并在复杂真实世界环境中实现稳定的公里级闭环户外导航。


ExToken: Structured Exploration for Efficient Vision-Language-Action Reinforcement Fine-tuning

用来自离线示范的离散行为 token 条件化 VLA 策略,以轨迹多样性驱动结构化探索,降低机器人强化微调的环境交互成本。

  • 作者: Yilun Kong et al.
  • 来源: HuggingFace Papers
  • 链接: arXiv | PDF
  • 关键贡献: 论文指出在 VLA-RL 中,轨迹多样性比 rollout 总数量更决定样本效率。ExToken 在采样时切换行为先验,并在部署时通过状态条件 token 选择器恢复确定性决策,为有限真机预算下的探索提供了轻量通用接口。
  • 相关技术: RL Exploration Token, VLA reinforcement fine-tuning, offline behavioral priors, trajectory diversity, state-conditioned token selection
  • 代码/权重: 未提及
📄 Abstract 中文翻译

强化学习(Reinforcement Learning, RL)在提升视觉—语言—动作(Vision-Language-Action, VLA)模型处理复杂操作任务的能力方面展现出巨大潜力。然而,环境交互的高昂成本严重限制了它在实践中的可扩展性。本文首先研究现有 VLA-RL 框架中的探索停滞瓶颈,并揭示轨迹多样性对样本效率的根本重要性高于所收集 rollout 的绝对数量。基于这些发现,我们提出强化学习探索 token(RL Exploration Token, ExToken),这是一个简单而通用的框架,它以从离线示范中提取的离散行为先验为条件来控制 VLA 策略,从而开展结构化探索。在收集 rollout 时使用不同 token 对策略进行条件化,ExToken 会鼓励智能体探索多样化行为模式,显著提升状态—动作覆盖范围和探索效率。为了衔接训练时的探索和部署时的确定性推理,ExToken 还引入一个以状态为条件的 token 选择器,可针对未见场景自适应预测有效的行为模式。在模拟和真实世界机器人操作任务上的大量实验表明,ExToken 能够稳定加速收敛、提高任务性能,并在环境交互预算高度受限时表现出很强的稳健性。


🤖 AI Agents

Self in Space: Benchmarking Self-Awareness and Spatial Cognition in UAV Embodied Intelligence

SIS-Bench 用“空间—自我”双维度和“感知—记忆—推理”三级层次评测无人机具身智能,并验证主体运动信息能改善自我觉察。

  • 作者: Zhishan Zou et al.
  • 来源: HuggingFace Trending(2 upvotes)
  • 链接: arXiv | PDF
  • 关键贡献: 4,856 个问答对覆盖 1,646 段真实无人机视频和 13 类任务,首次把智能体自身状态从隐含因素提升为显式评测轴。光流与视觉特征融合带来的普遍增益说明,具身模型若只建模环境而忽略主体运动,会在记忆和下游决策上留下系统性缺口。
  • 相关技术: SIS-Bench, UAV self-awareness, embodied spatial cognition, optical flow fusion, agent-centered motion modeling
  • 代码/权重: 未提及
📄 Abstract 中文翻译

自主无人机系统越来越依赖多模态大型语言模型(Multimodal Large Language Model, MLLM)在复杂真实环境中运行。这类具身场景不仅要求理解周围空间,还要求维持对智能体自身的一致表征。然而,现有面向无人机的方法和基准仍主要以环境为中心,重点关注空间理解任务,智能体的自我觉察则一直是隐含的。为弥补这一缺口,我们提出 SIS-Bench,一个在统一“空间中的自我”表述下评估无人机场景具身空间智能的基准。SIS-Bench 沿空间和自我两个互补维度,以及感知、记忆和推理三个层级组织评测。它通过任务条件化构建流水线并经专家核验,从 1,646 段真实无人机视频中得到覆盖 13 项任务的 4,856 个问答对。大量评估显示,当前 MLLM 在动态过程和以智能体为中心的过程建模上存在根本性局限。特别是,我们观察到空间认知与自我觉察之间存在明显失衡,而且性能会随着认知层级提高而逐步下降。受这些发现启发,我们进一步探索了一种运动感知表征,通过光流和视觉特征融合纳入与自我相关的动态信息。实验结果表明,对智能体运动进行建模能够稳定改善感知和记忆性能;这种提升不仅出现在空间认知上,也出现在自我觉察上,并且可以泛化到下游无人机决策任务。我们的结果强调了自我觉察对推进具身空间智能的重要性,并为运动感知的“空间中的自我”建模提供了新基准和实证依据。


Evidence-Grounded AI for Musculoskeletal Care

OrthoPilot 把医院实时数据与权威医学知识连接起来,将临床 AI 从单点预测推进到覆盖诊断、治疗和康复的纵向管理。

  • 作者: Wenjie Li et al.
  • 来源: HuggingFace Trending(13 upvotes)
  • 链接: arXiv | PDF
  • 关键贡献: 系统自动检索影像、检验、病理与医嘱,以持续变化的患者状态驱动循证决策,并在专家对照、60 家外部中心、前瞻性病例与随机部署中多层验证。结果很强,但其临床部署结论仍需结合数据治理、责任边界与独立复现谨慎解读。
  • 相关技术: longitudinal clinical management, evidence-grounded LLM, real-time hospital data retrieval, specialist-validated benchmark, randomized inpatient deployment
  • 代码/权重: 未提及
📄 Abstract 中文翻译

肌肉骨骼疾病是全球主要致残原因之一,也造成了全球最大的康复需求。由于恢复、重塑和退行性变化往往持续数月乃至数年,肌肉骨骼护理需要纵向管理,反复整合不断变化的患者证据、外部医学知识和特定阶段的功能目标。在常规实践中,这些证据分散在不同就诊、科室和医院系统之间,限制了个体化循证护理。本文报告 OrthoPilot,这是一个由大型语言模型驱动的临床人工智能系统,它整合医院数据流与权威外部知识,以支持持续的肌肉骨骼管理。OrthoPilot 可自主检索实时影像、实验室检查、病理和医嘱数据,并把不断变化的患者状态转化为从入院诊断到康复规划的循证决策。我们基于覆盖 1,000 个疾病编码的真实世界电子健康记录,建立了经专科医生验证的基准。在覆盖完整护理路径的读者研究中,OrthoPilot 与 81 名骨科医生进行比较,在诊断推理、临床决策和管理规划方面超过拥有 25 年经验的专家。它还在 60 家外部临床中心超过所有参与评估的智能系统。在一项包含 1,870 个复杂病例的前瞻性研究中,OrthoPilot 使全链条管理成功率提高 10.6%。在一项为期 8 个月、涉及 8,240 名住院患者的随机部署中,它使每张病床的累计收治病例数提高 9.7%,并改善了患者自报的健康信息可获得性。这些结果推动临床 AI 从预测孤立事件迈向执行覆盖完整肌肉骨骼护理路径的纵向管理。


📌 其他值得关注

SynthDocBench: Controlled Benchmark for Long-Context Visual Document Understanding

通过独立控制文档长度、布局、模态组成和问题类型,SynthDocBench 能把长文档 VLM 的失败归因到具体因素,而不只是给出一个混合总分。

  • 作者: Abhigya Verma et al.
  • 来源: HuggingFace Trending(52 upvotes)
  • 链接: arXiv | PDF
  • 关键贡献: 全合成组合设计使各因素可独立变化,并用 40% 随机覆盖防止模型利用伪相关。对七个前沿 VLM 的评测暴露出长度急剧退化、文档中段最难和长文档图表理解崩溃三种现有基准难以发现的失效模式。
  • 相关技术: controlled synthetic benchmark, long-context visual documents, combinatorial factor design, positional sensitivity, chart comprehension
  • 代码/权重: 未提及
📄 Abstract 中文翻译

视觉语言模型(Vision-Language Model, VLM)已经在 DocVQA、ChartQA 和 MMLongBench-Doc 等视觉文档理解基准上取得很强的性能。然而,真实世界文档同时包含长度、布局复杂度、模态和问题难度等多种因素,因此很难把模型失败归因于某个具体原因。我们提出 SynthDocBench,这是一个面向长上下文视觉文档理解的全合成基准,可系统控制文档长度、布局结构、模态组成和问题类型等因素。该基准采用组合式设计构建,每个因素都可在生成文档中独立变化,从而支持对模型行为的可控分析。文档通过大型语言模型流水线端到端生成,覆盖六种布局原型,并加入 40% 的随机覆盖,防止模型利用伪相关。此外,SynthDocBench 所覆盖的长上下文文档在长度和结构多样性上都显著超过现有基准。通过评估七个前沿 VLM,我们发现了现有基准无法揭示的三种失效模式:性能会随文档长度急剧下降;模型存在系统性位置敏感,其中六个模型中的五个在处理文档中间三分之一时最困难,而且六个模型中的五个表现出从前到后的负向趋势,最陡降幅达到 8.3 个百分点;在长文档环境中,图表理解能力会崩溃。这些结果说明,当前模型可能是在过拟合基准伪影,而非真正获得稳健的长上下文视觉文档理解能力。


Generated on 2026-07-16 08:00 CST | Sources: HuggingFace Papers, arXiv links

Licensed under CC BY-NC-SA 4.0