今日概览
共收录 15 篇论文 | Audio LLM: 1 篇 | LLM Training: 7 篇 | AI Agents: 5 篇 | 其他值得关注: 2 篇
来源: arXiv(0) | HuggingFace(15) | Papers With Code(0)
去重说明: 已跳过过去 7 天报道过的 3 篇论文:2607.06558、2607.06559、2607.06403。
重点推荐 ⭐
Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning
SciReasoner 把蛋白质、小分子和晶体结构转成可检查的结构 token,让科学结构-性质推理同时提升准确率和可解释性。
- 作者: Chen Tang et al.
- 来源: HuggingFace Trending (77 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文提出 SciReasoner,用统一的 structure-aware vocabulary 表示坐标、拓扑和周期连接,让模型能把结构证据作为推理单元使用。它在 86 个 benchmark 中有 67 个达到 SOTA,并在蛋白质 GO 预测、单步逆合成、材料相/带隙区分上给出可解释推理链,对科学 AI 和材料/生物/化学建模很有参考价值。
- 相关技术: structure-aware vocabulary, native structural reasoning, Gene Ontology prediction, retrosynthesis, crystal structure modeling
- 代码/权重: 未提及
📄 Abstract 中文翻译
结构-性质关系是生物学、化学和材料科学的基础,功能、反应性和物理响应都来自空间、化学和周期性组织。要从机理上解释这些关系,需要通过科学原理和物理约束来解读结构证据,范围从立体化学和成键,到对称性、能量学和周期性有序结构。然而,将人工智能用于这一过程面临表示与推理的共同挑战:模型既要保留领域原生的结构信息,又要说明具体证据如何在这些约束下支持预测。本文提出 SciReasoner,这是一个面向蛋白质、小分子和无机晶体的原生结构推理多模态科学基础模型。SciReasoner 将坐标、拓扑和周期性连接离散化为统一的结构感知词表,并在推理过程中把结构 token 作为可寻址的证据单元。在同源性控制的 Gene Ontology (基因本体, GO) 预测中,SciReasoner 提升了低同源和孤儿样蛋白的 Cellular Component 注释表现,将 Fmax 从 0.42 提高到 0.55。在化学任务中,它将单步逆合成准确率从 0.63 提高到 0.72,同时生成片段级断键和前体验证轨迹。在材料科学中,它的表征能够区分元素相和化合物相,并解析高带隙与低带隙区域。在 86 个 benchmark 中,SciReasoner 在 67 个任务上达到最先进性能。双盲专家评估显示,其推理轨迹在 98% 的案例中被认为优于或至少可比于前沿大语言模型。通过让结构成为在科学约束下可检查的推理基底,SciReasoner 将准确预测与可解释科学推断连接起来。
UniClawBench: A Universal Benchmark for Proactive Agents on Real-World Tasks
UniClawBench 用 400 个双语真实任务和 live Docker 环境评估主动型 Agent,比静态单轮 benchmark 更接近实际使用。
- 作者: Zhekai Chen et al.
- 来源: HuggingFace Trending (22 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文把 Agent 评测从场景分类改成能力分类,覆盖技能使用、探索、长上下文推理、多模态理解和跨平台协作。它用执行器 Agent、隐藏监督 Agent 和用户 Agent 组成闭环评估,适合分析 base model 与 agent framework 各自造成的失败原因。
- 相关技术: proactive agents, live Docker evaluation, step-by-step checkpoints, closed-loop evaluation, cross-platform coordination
- 代码/权重: 已开源 ✅
📄 Abstract 中文翻译
大语言模型和多模态大语言模型的快速发展,加速了主动型 Agent 的出现,这类 Agent 能够操作日常工具,并在真实环境中辅助用户。然而,现有 benchmark 难以有效评估这类 Agent,因为它们通常依赖沙盒环境和单轮评估范式。此外,它们基于场景的任务分类会在同一任务类别中混合多种模型能力,使得研究者难以识别 Agent 失败的根本原因。为解决这些限制,本文提出 UniClawBench,这是首个面向动态真实环境、以能力为驱动的主动型 Agent benchmark。UniClawBench 围绕五种基础模型能力构建:Skill Usage (技能使用)、Exploration (探索)、Long-Context Reasoning (长上下文推理)、Multimodal Understanding (多模态理解) 和 Cross-Platform Coordination (跨平台协作)。基于这些能力,作者设计了 400 个双语真实世界任务。不同于依赖静态预录答案的以往 benchmark,该 benchmark 在 live Docker 容器中评估 Agent,并使用细粒度的逐步完成检查点。此外,作者设计了一个闭环评估策略,由执行器 Agent、隐藏监督 Agent 和用户 Agent 组成,用于模拟真实的多轮人类反馈,同时不泄露评分标准。为区分基础模型能力和框架级设计选择的影响,作者在多个 Agent framework 下评估了最先进模型。通过对模型和框架的全面比较,论文展示了基础模型能力与 Agent framework 设计如何共同影响真实环境中的表现。为了促进后续研究,作者公开了 benchmark 和代码:https://github.com/HKU-MMLab/UniClawBench。
Jet-Long: Efficient Long-Context Extension with Dynamic Bifocal RoPE
Jet-Long 用动态双焦 RoPE 在不微调的情况下扩展长上下文,同时尽量保住短上下文质量和推理吞吐。
- 作者: Haozhan Tang et al.
- 来源: HuggingFace Trending (7 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 方法把本地 RoPE-faithful window 和随序列长度动态缩放的 long-range window 结合起来,短输入时恢复 base model,长输入时稳定外推。它通过 inclusion-exclusion attention merge 和 on-the-fly RoPE correction rotation 降低推理成本,在 H100 上长上下文 prefill 最高达到 FA2 的 1.39 倍吞吐。
- 相关技术: Dynamic Bifocal RoPE, zero-shot context extension, inclusion-exclusion attention, CuTe kernel, long-context prefill
- 代码/权重: 未提及
📄 Abstract 中文翻译
现代 LLM 越来越多地部署在长上下文应用中,例如 retrieval-augmented generation (检索增强生成, RAG)、仓库级代码任务和 agentic workflows。这些场景中累积的推理与工具轨迹经常让输入长度超过预训练窗口一个数量级,使零样本上下文扩展成为开放权重 checkpoint 的主要部署路径。多数现有零样本方法会预先固定一个缩放因子,因此激进的缩放会损害短上下文保真度,而保守的缩放又会在长上下文中失效。本文提出 Jet-Long,这是一种无需调参的零样本方法,将一个忠实保持本地 RoPE 的窗口与一个长程窗口配对,后者的缩放因子会根据当前序列长度动态调整,从而在短输入时精确恢复基础模型,在长输入时干净外推。通过 inclusion-exclusion attention merge (容斥式注意力合并) 和在线 RoPE 校正旋转,双焦结构在推理中几乎没有额外成本;融合到单个 CuTe kernel 后,H100 上的长上下文 prefill 吞吐最高达到 FA2 的 1.39 倍,接近 Hopper-only FA4,单 batch 生成在任意长度下的额外开销不超过 4%。在 Qwen3-1.7B/4B/8B 上扩展到 128K context 时,Jet-Long 在 RULER 上分别比最强 baseline 高出 4.79/2.18/2.03 个百分点,在 HELMET-RAG 上取得最佳总体准确率,并获得最低的 PG-19 perplexity。Jet-Long 还能泛化到 Jet-Nemotron 等 hybrid attention architecture,在无需重新训练的情况下进一步改善长上下文能力,并且对超参数具有鲁棒性,便于部署。
Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning
SAO 针对长程 Agent RL 的异步训练稳定性问题,把 GRPO 式 group sampling 改成 single-rollout sampling,并加入双侧 token-level clipping。
- 作者: Zhenyu Hou et al.
- 来源: HuggingFace Trending (10 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文聚焦异步 RL 在 agentic coding/reasoning 中的 off-policy 和稳定性问题,用每个 prompt 一个 rollout 的训练方式提升泛化并减少组采样不匹配。SAO 能稳定训练 1000 步,在 SWE-Bench Verified、BeyondAIME、IMOAnswerBench 等任务上超过 GRPO 及其变体,并已用于开放 GLM-5.2 训练流水线。
- 相关技术: asynchronous RL, single-rollout sampling, token-level clipping, value-model training, agentic coding benchmarks
- 代码/权重: 未提及
📄 Abstract 中文翻译
Reinforcement Learning (强化学习, RL) 对大语言模型后训练变得越来越重要。以往用于 LLM 的 RL pipeline 大多是同步且 batch-interleaved 的,这对长程 Agent 任务来说效率较低。近期,异步 RL 作为一种更高效的替代方案出现,它会在 rollout 返回时更新模型。然而,现有异步 RL 系统通常强调吞吐,而对训练稳定性和任务有效性探索不足。例如,广泛使用的 GRPO 框架中的 group-wise sampling 并不天然适配异步 Agent 训练。本文提出 Single-rollout Asynchronous Optimization (单 rollout 异步优化, SAO),用于解决异步 RL 中的稳定性和 off-policy 挑战。为减少 off-policy 影响并改善泛化,作者将 group-wise sampling 替换为 single-rollout sampling,即每个 prompt 只使用一个 rollout。作者进一步用实用的 value model 训练设计增强这一单 rollout 策略。为了提升优化稳定性,论文引入严格的双侧 token-level clipping 策略。SAO 能够稳定训练 1000 步,并在 SWE-Bench Verified、BeyondAIME 和 IMOAnswerBench 等 Agent coding 与 reasoning benchmark 上持续超过 GRPO 及其变体。论文还展示了 single-rollout RL 在模拟在线学习设置中特别有效,在这种设置下模型必须适应不断变化的演化环境。最终,SAO 已成功部署到开放 GLM-5.2 模型 (750B-A40B) 的 Agent RL 训练 pipeline 中。
PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction
PS4 为真实对话混合语音中的目标说话人提取构造代理监督训练方案,在 REAL-T challenge 中拿到整体第 2。
- 作者: Wanyi Ning et al.
- 来源: HuggingFace Trending (0 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文构造了 71,771 条中英双语训练样本,每条包含重叠语音、说话人 enrollment audio、转录和帧级 VAD 标签。训练上同时使用 ASR cross-entropy、speaker similarity、VAD 和 perceptual audio quality 四种可微目标,只微调 BSRNN separator,对真实会议语音分离/提取很实用。
- 相关技术: target speaker extraction, proxy-supervised training, BSRNN separator, voice activity detection, REAL-T challenge
- 代码/权重: 未提及
📄 Abstract 中文翻译
在真实对话混合语音中训练 Target Speaker Extraction (目标说话人提取, TSE) 模型仍然很困难,因为缺少大规模训练语料和用于监督的干净目标语音。本文提出 PS4,这是一个用于真实对话混合语音中 TSE 的 proxy-supervised training (代理监督训练) 框架,包含两个主要贡献。第一,作者从四个公开数据集中构建了一个包含 71,771 条训练样本的大规模语料,覆盖中文和英文场景。每条样本都包含一段重叠语音混合、每个说话人的 enrollment audio (注册音频)、ground-truth transcript (真实转录) 和帧级 voice activity labels (语音活动标签)。第二,作者提出一种代理监督联合训练策略,用四个互补的可微目标微调基于 BSRNN 的 TSE 模型:ASR cross-entropy (自动语音识别交叉熵)、speaker similarity (说话人相似度)、frame-level voice activity detection (帧级语音活动检测) 和 perceptual audio quality (感知音频质量)。从公开可用的预训练 checkpoint 出发,微调过程中只更新 BSRNN separator。在 REAL-T challenge leaderboard 上,PS4 总体排名第 2,并在所有提交系统中取得最佳的说话人相似度和 timing F1。
🔊 Audio LLM
重点论文已在「重点推荐」中收录:PS4: Proxy-Supervised Joint Training for Real Target Speaker Extraction。
🧠 LLM Training
LongE2V: Long-Horizon Event-based Video Reconstruction, Prediction, and Frame Interpolation with Video Diffusion Models
LongE2V 用预训练视频扩散先验处理事件流视频重建、预测和插帧,重点解决长序列时序漂移。
- 作者: Cheng-De Fan et al.
- 来源: HuggingFace Trending (19 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 方法把 event-based vision 和 video diffusion prior 结合,通过 Autoregressive Unrolling 与 Adaptive Context Switching 提升超长序列稳定性。对事件相机视频重建和插帧任务有直接参考价值,尤其是稀疏事件流下的感知质量和时序一致性。
- 相关技术: event-based video reconstruction, video diffusion priors, autoregressive unrolling, adaptive context switching, frame interpolation
- 代码/权重: 未提及
📄 Abstract 中文翻译
从稀疏事件流中恢复高质量视频是一项具有挑战性的任务。回归方法通常会让纹理变得模糊,而现有生成式模型又难以保持长期稳定性。本文提出 LongE2V,这是一种利用预训练视频扩散先验,同时处理 event-based video reconstruction (基于事件的视频重建)、prediction (预测) 和 frame interpolation (帧插值) 的新方法。通过微调基础视频模型,该方法实现了高数据效率和更好的感知质量。作者引入 Autoregressive Unrolling (自回归展开) 和 Adaptive Context Switching (自适应上下文切换) 来缓解极长序列中的时间漂移。作者还提出 Reencoding Alignment with Cross Residual Correction (带交叉残差校正的重编码对齐),以确保帧插值中的精确双向一致性。此外,Event Voxel Density Augmentation (事件体素密度增强) 保证了模型在不同传感器分辨率下的鲁棒性。在真实世界 benchmark 上的大量实验表明,LongE2V 在三项任务上均超过现有最先进方法,表现出优秀的时间一致性和零样本泛化能力。项目页面:https://cdfan0627.github.io/LongE2V-page/。
Who Broke the System? Failure Localization in LLM-Based Multi-Agent Systems
AgentLocate 试图定位多 Agent 系统失败时是哪一个 Agent、哪一步让轨迹不可逆地跑偏。
- 作者: Yufei Xia et al.
- 来源: HuggingFace Trending (0 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文把多 Agent failure localization 拆成责任 Agent 识别和最早决定性错误步骤定位。AgentLocate 用 LLM judge、多视角独立验证和 confidence-aware aggregation 组合判断,再用反馈轻量微调 judge,对复杂 agent workflow 的日志诊断很有价值。
- 相关技术: multi-agent systems, failure localization, LLM judge, multi-perspective verification, confidence-aware aggregation
- 代码/权重: 未提及
📄 Abstract 中文翻译
基于 Large Language Model (大语言模型, LLM) 的 multi-agent systems (多智能体系统) 能通过协同推理和行动解决复杂问题,但其分布式结构也为诊断系统级失败带来了新挑战。当一次执行失败时,由于长程交互和紧密耦合的 Agent 行为,很难识别哪个 Agent 应负责,以及轨迹在何处第一次变得不可逆地偏离目标。本文研究 LLM-based multi-agent systems 中的 failure localization (失败定位) 问题,并提出 AgentLocate,一个同时将失败归因到具体 Agent 和最早决定性步骤的框架。AgentLocate 将基于 LLM 的 judging mechanism 与独立评估器的多视角验证结合,并用 confidence-aware strategy (置信度感知策略) 聚合评估结果。得到的反馈进一步用于通过轻量微调来适配 judge,从而提升归因质量。作者在两个互补 benchmark 上评估 AgentLocate,覆盖多样任务、Agent 配置和轨迹长度。实验结果表明,AgentLocate 在识别责任 Agent 和失败步骤方面持续优于现有 failure localization 方法,同时在 token 使用量和运行时间上保持高效。
Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
LingBot-Video 是面向具身智能的视频预训练范式,用 MoE DiT 和机器人数据 profiling 缓解通用视频生成模型的物理世界错配。
- 作者: Shuailei Ma et al.
- 来源: HuggingFace Trending (42 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文从架构、数据和训练三方面把视频生成模型改造成具身智能基础模型:MoE 提升容量/效率权衡,数据 profiling 加入机器人操作、导航和 egocentric 视频,多维 reward 强化物理合理性和任务完成度。对 VLA 和 robotics world model 的预训练路线很有参考价值。
- 相关技术: Mixture-of-Experts, DiT video pretraining, embodied intelligence, robot-oriented footage, multi-dimensional reward
- 代码/权重: 已开源 ✅
📄 Abstract 中文翻译
尽管视频生成模型在机器人控制中展现出近期潜力,但由于其主要关注内容创作,它们仍存在领域错配。例如,这些模型的设计天然更重视视觉保真度和创造性,而不是计算效率和物理真实性。本文提出 LingBot-Video,这是一个基于 DiT、专门面向 embodied intelligence (具身智能) 的视频预训练范式。从架构角度看,作者采用 Mixture-of-Experts (专家混合, MoE) 而非 dense framework,以在建模容量和推理效率之间取得更好权衡,并成功从零开始扩展。从数据角度看,作者构建了一个 data profiling engine (数据画像引擎),用大量面向机器人的视频增强标准互联网视频,涵盖操作、导航和第一视角,从而让基础模型具备对动作和世界动力学的内在理解。从训练角度看,作者开发了一个多维 reward system,用来强化关于物理合理性和任务完成的对齐,超越美学、prompt following 和运动一致性等标准指标。全面评估验证了它作为视频基础模型的性能和效率。作者将 LingBot-Video 作为首个大规模开源 MoE 视频基础模型贡献给社区,尝试连接数字创作和物理执行。
UP: Unbounded Positive Asymmetric Optimization for Breaking the Exploration-Stability Dilemma
UP 重新设计 RL objective,让正优势样本保持无界稳定梯度,负优势样本继续用 clipping 防止崩坏。
- 作者: Chongyu Fan et al.
- 来源: HuggingFace Trending (2 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文指出保守 clipping 会过早截断正确但低置信推理路径的更新预算,限制探索。UP 用 stop-gradient 将策略锚定到当前状态,对正优势释放 unclipped gradient,对负优势保持标准 clipping,并可接入 GRPO、DAPO、GSPO 等 token/sequence 级框架。
- 相关技术: Unbounded Positive Asymmetric Optimization, importance sampling, probability capacity, GRPO, DAPO
- 代码/权重: 未提及
📄 Abstract 中文翻译
Reinforcement Learning (强化学习, RL) 已成为增强大语言模型复杂推理能力的标准范式。为实现样本效率,现代 RL 框架依赖 importance sampling (重要性采样, IS)。然而,这些算法存在 exploration-stability dilemma (探索-稳定性困境)。纯 IS 往往导致灾难性训练不稳定,而用于缓解不稳定性的标准 clipping 机制又会严格限制策略更新预算。通过形式化 Probability Capacity (概率容量, Cap) 概念,作者揭示保守 clipping 会结构性地抑制探索,因为它过早截断了正确但低置信推理路径的更新预算。为摆脱这些限制,本文提出 Unbounded Positive Asymmetric Optimization (无界正向非对称优化, UP),一个通用且可插拔的目标函数。UP 通过 stop-gradient operator (停止梯度算子) 将策略锚定到当前状态,从理论上重构优化过程。这种非对称设计为 positive advantages (正优势) 释放无 clipping 且稳定的梯度以最大化探索,同时为 negative advantages (负优势) 保留标准 clipping 防护来防止训练不稳定。此外,该公式可以自然扩展到不同优化粒度,包括 token-level 的 GRPO、DAPO 和 sequence-level 的 GSPO。大量实验表明,UP 能增强探索容量,并在多种 RL 算法、模型架构和训练模态上取得更好的推理准确率,覆盖 DAPO、GSPO、GRPO,Dense、MoE、vision-language,以及语言和多模态训练,验证了 UP 是一个真正通用的 RL-based training 可插拔增强方法。
TimEE: End-to-end Time Series Classification via In-Context Learning
TimEE 用纯合成任务预训练一个 4.5M 参数模型,通过 in-context learning 直接做时间序列分类。
- 作者: Jaris Küken et al.
- 来源: HuggingFace Trending (11 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文摆脱时间序列分类常见的“encoder 预训练 + 分类器微调”两阶段流程,用 labeled support set 和 query 一次前向输出类别分布。虽然预训练只看合成任务,TimEE 在 UCR benchmark 上 ROC AUC 第一、accuracy 第三,对小模型 ICL 和合成 prior 设计很有启发。
- 相关技术: time series classification, in-context learning, prior-data fitted networks, synthetic pretraining, UCR benchmark
- 代码/权重: 已开源 ✅
📄 Abstract 中文翻译
Time Series Classification (时间序列分类, TSC) 主要由两阶段范式主导:先训练一个 feature encoder,可以是在目标数据集上从零训练,也可以在大规模语料上预训练,然后在其上拟合任务特定分类器。虽然这种方法有效,但它将表示学习与分类目标分离优化,需要针对每个数据集训练,并且阻止模型在推理时利用标签信息。本文提出 TimEE,一个 4.5M 参数的基础模型,通过 in-context learning (上下文学习, ICL) 进行端到端 TSC。给定一个 labeled support set (带标签支持集) 和一个 query time series,TimEE 在单次前向传播中直接输出预测类别分布,不需要任何 per-dataset training (针对每个数据集的训练)。遵循 prior-data fitted network (先验数据拟合网络, PFN) 框架,TimEE 只在合成 TSC 任务上进行 meta-training,每个任务包含由生成过程中的结构化分布偏移产生的、具有不同类别身份的时间序列。尽管预训练阶段没有见过真实时间序列,TimEE 在 UCR benchmark 上的 ROC AUC 排名第一、accuracy 排名第三,比较对象包括基础模型和有监督深度学习 baseline。据作者所知,TimEE 是第一个纯合成预训练、并在 UCR benchmark 上达到最先进性能的模型。这些结果表明,带合成先验的端到端 ICL 是 TSC 中一个很有吸引力但尚未充分探索的方向,扩展模型、先验设计和更丰富的生成机制都是自然的改进路径。代码已公开:http://github.com/automl/timee。
重点论文已在「重点推荐」中收录:Jet-Long、Single-Rollout Asynchronous Optimization for Agentic Reinforcement Learning。
🤖 AI Agents
CausalDS: Benchmarking Causal Reasoning in Data-Science Agents
CausalDS 用合成 SCM、观测数据和自然语言故事评估数据科学 Agent 的因果推理、编码、工具使用和拒答能力。
- 作者: Andrej Leban, Yuekai Sun
- 来源: HuggingFace Trending (1 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文把 Pearl 三层因果任务放进 agentic data-science workflow 中,并加入不完美观测和需要多工具求解的代码任务。它还把“无可靠答案时应 abstain”作为评分项,适合评估数据分析 Agent 是否只是会写代码,还是能判断因果可识别性和不确定性。
- 相关技术: structural causal model, Pearl’s rungs, synthetic causal scenes, data-science coding, abstention
- 代码/权重: 未提及
📄 Abstract 中文翻译
Large Language Models (大语言模型, LLMs) 越来越多地作为集成式 data-science agents (数据科学智能体) 使用,将抽象推理与高级工具使用结合起来。然而,相关 benchmark 版图大体分裂为两类:一类是没有真实数据分析的符号因果推理 benchmark,另一类是没有原则性因果数据生成结构的数据分析 benchmark。此外,现有因果评估数据集通常局限于来自已有来源的 curated examples (精选样例),其多样性来自有限模板变化,而不是系统性生成新的合成因果结构。本文提出 CausalDS,一个用于评估 agentic data-science workflows 中因果推理能力的 benchmark。每个 benchmark instance 是一个 scene,由采样得到的 Structural Causal Model (结构因果模型, SCM)、生成的观测数据,以及基于真实领域的合成自然语言故事组成。作者还可以选择用真实世界数据集中得到的经验分布来约束 benchmark 组件构成,从而在保留经验结构的同时,通过完全合成生成降低 “causal parrot” (因果鹦鹉) 风险。然后,作者从每个 scene 中派生覆盖 Pearl 三层因果阶梯的任务,其中典型的数据科学预测任务属于 Rung 1。大多数任务包含数据科学编码组件,由于经常存在由观测模型生成的不完美观测,模型通常需要使用多个工具才能得到最终答案。此外,当问题没有可靠答案时能够识别并 abstain (拒答/弃答) 被作为一等评分结果。因此,该 benchmark 联合评估符号因果推理、数据科学、不确定性量化、拒答以及工具使用/编码能力。
Video2Reaction: Mapping Video to Audience Reaction Distribution in the Wild
Video2Reaction 构建短视频片段到社交媒体观众情绪分布的 benchmark,并用开源 LLM 多 Agent 流水线持续标注。
- 作者: Trang Nguyen et al.
- 来源: HuggingFace Trending (0 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 数据集覆盖 10,000+ 短视频,用于预测群体观众反应分布。作者用两阶段 multi-agent pipeline 低成本生成连续标注,并证明视频 foundation model 零样本表现不足,微调后才能有效建模完整反应分布和主导反应。
- 相关技术: audience reaction prediction, multimodal dataset, two-stage multi-agent pipeline, foundation video models, reaction distribution
- 代码/权重: 已开源 ✅
📄 Abstract 中文翻译
理解并预测观众对视频内容的反应,对于改进内容创作、推荐系统和媒体分析至关重要。为支持 audience reaction prediction (观众反应预测) 和其他内容参与度应用,本文提出 Video2Reaction,这是一个多模态数据集,将短电影片段映射到真实环境中观众被激发出的情绪分布,这些情绪通过社交媒体表达。Video2Reaction 包含超过 10,000 个视频,既是可靠 benchmark,也是观众反应预测的训练资源。为实现成本可控的连续标注,因为反应可能随时间变化,作者开发了一个只使用开源 LLM 的两阶段 multi-agent pipeline。尽管任务本身具有噪声和主观性,该流水线在盲法人类验证下达到 86% 正确率。作者建立了首个野外场景下 video-to-reaction-distribution prediction (视频到反应分布预测) benchmark,并展示预训练 video foundation models 在零样本设置下会失败,而微调可以把它们转化为最先进预测器,使其仅基于视频就能建模完整反应分布和主导反应。不过,该任务仍很困难:即使最强方法 LLaVA-Next 在主导反应预测上也只有 77% Top-3 F1,说明对群体观众反应的建模仍存在显著差距。数据集和代码可在项目页面获取:https://information-fusion-lab-umass.github.io/video2reaction-bench.github.io。
AgentLens: Production-Assessed Trajectory Reviews for Coding Agent Evaluation
AgentLens 不只看 coding agent 是否通过测试,还评估完整轨迹:指令遵循、工具使用、自检、恢复和沟通质量。
- 作者: Andrey Podivilov et al.
- 来源: HuggingFace Trending (6 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文把产品化代码 Agent 的评估从 pass/fail 扩展到 trajectory review,并结合形式化验证、LLM-written review 和 side-by-side comparison。它更适合持续评估真实 coding agent 版本迭代,能定位行为退化而不只是输出一个分数。
- 相关技术: coding agent evaluation, trajectory reviews, formal verification, side-by-side comparison, nightly evaluation pipeline
- 代码/权重: 已开源 ✅
📄 Abstract 中文翻译
本文提出 AgentLens,一个 production-assessed benchmark (由生产环境评估驱动的 benchmark),用于 interactive code agents (交互式代码智能体)。大多数 code-agent benchmark 会把一次运行简化为一个二元结果:任务是否通过。但真正使用这些 Agent 的人体验到的是完整轨迹:Agent 如何遵循指令、使用工具、验证自己的工作、从错误中恢复,以及在过程中如何与用户交流。AgentLens 评估的正是整条轨迹。它将形式化验证与 LLM 编写的 trajectory reviews (轨迹评审) 和 side-by-side comparisons (并排比较) 配对;在存在客观检查时使用形式化验证,同时让每次运行都产生一段可读解释,说明得分为何如此。这让 AgentLens 不只用于模型排名:作者还用它诊断模型行为、比较自家 Agent 的连续版本,并在 nightly evaluation pipeline (夜间评估流水线) 中捕捉产品回归。作者将 benchmark 以开源形式发布在 https://github.com/agent-lens/agent-lens-bench。
重点论文已在「重点推荐」中收录:UniClawBench、Accurate, Interdisciplinary and Transparent Structure-property Understanding with Deep Native Structural Reasoning。
📌 其他值得关注
Ideas Have Genomes: Benchmarking Scientific Lineage Reasoning and Lineage-Grounded Idea Generation
IdeaGene-Bench 把科学想法表示为可追踪的 Idea Genome,用来评估 AI scientist 是否理解研究谱系和继承关系。
- 作者: Yifan Zhou et al.
- 来源: HuggingFace Trending (20 upvotes)
- 链接: arXiv | PDF
- 关键贡献: benchmark 包含 1,961 条 golden lineage trace、1,085 个 Idea Genome object 和 920 条 GenomeDiff。它同时评估封闭式谱系推理和基于谱系的 idea generation,结果显示当前 LLM-based scientist 在组合式谱系推理上仍很弱。
- 相关技术: IdeaGene framework, GenomeDiff, scientific lineage reasoning, lineage-grounded generation, Population-Evolution Score
- 代码/权重: 未提及
📄 Abstract 中文翻译
科学想法很少从空白页开始。它们继承机制、修复已知限制,并重新组合早期工作的组成部分,很像生物基因组。当前 benchmark 对 AI 系统是否能跟踪这种继承结构仍知之甚少。本文提出 IdeaGene-Bench (IG-Bench),一个用于 scientific lineage reasoning (科学谱系推理) 和 lineage-grounded idea generation (基于谱系的想法生成) 的 benchmark。IG-Bench 围绕 IdeaGene framework 构建:每篇论文或 proposal 都被表示为一组最小化、带类型、由证据支撑的 Idea Genome objects;GenomeDiff 会对齐这些对象,以记录继承、突变、丢失、外部引入和新插入,并覆盖六种可操作的演化动态。该 benchmark 包含 1,961 条 golden lineage traces、1,085 个 curated Idea Genome objects 和 920 条跨 10 个科学领域的 pairwise GenomeDiff records。它支持两类评估。IG-Exam 包含 42 种任务类型和 1,029 个实例,用于测试 Idea Genome 抽象、继承追踪、演化推理和谱系验证中的封闭式谱系推理。IG-Arena 使用 lineage-conditioned Population-Evolution Score (基于谱系条件的种群演化分数, PES) 评估生成,要求一个 proposal 能作为给定谱系种群的连贯后代插入:它应继承正确的 Idea Genome objects,与邻近工作产生有意义差异,并为未来研究提供选择价值。对 14 个 LLM-based scientist 的实验暴露了一个组合式瓶颈。最强系统在谱系推理上的 exact accuracy 只有 27.3%,而结构化谱系上下文会重新排列系统排名,并不是对所有参与者都有一致帮助。
ARDY: Autoregressive Diffusion with Hybrid Representation for Interactive Human Motion Generation
ARDY 用混合表示和两阶段自回归 transformer denoiser 做实时可控 3D 人体动作生成。
- 作者: Kaifeng Zhao et al.
- 来源: HuggingFace Trending (1 upvotes)
- 链接: arXiv | PDF
- 关键贡献: 论文面向交互式应用,把文本 prompt、运动学约束和长程目标融合进 streaming generation。它用显式 root feature 加 latent body embedding 平衡轨迹控制和生成质量,并展示了键盘鼠标交互、路径跟随和动态文本控制等 demo。
- 相关技术: autoregressive diffusion, hybrid motion representation, transformer denoiser, kinematic constraints, interactive motion generation
- 代码/权重: 已开源 ✅
📄 Abstract 中文翻译
在交互式应用中实时生成逼真的 3D 人体动作,是动画、仿真和 humanoid robotics (人形机器人) 的关键。近期离线动作生成方法可以通过文本和运动学约束提供精确控制,但缺少交互场景所需的推理速度。相反,现有在线方法能够实现实时合成,却常常牺牲可控性,或者因为上下文窗口有限而难以处理复杂文本语义和长程目标。本文提出 ARDY,一个 streaming generation framework (流式生成框架),通过支持在线文本 prompt 和灵活运动学约束的高保真动作生成,弥合这两类方法之间的差距。ARDY 使用 hybrid representation (混合表示),结合显式 root features 与 latent body embedding,在精确轨迹控制和高效生成学习之间取得平衡。作者提出一个两阶段 autoregressive transformer denoiser (自回归 Transformer 去噪器),具有可变历史上下文,并支持基于灵活长程运动学约束的 conditioning。通过在大规模 motion capture dataset 上训练,并直接用从真实姿态采样得到的文本标签和运动学约束进行条件化,ARDY 原生学习到可控生成能力,支持在线 prompt 和灵活长程目标。在 HumanML3D benchmark 和大规模高保真 Bones Rigplay dataset 上的大量评估表明,ARDY 具有高动作质量和良好约束遵循能力,验证了关键架构设计的有效性。最后,作者通过一个交互式 demo 展示了该方法的实用多样性,包括动态文本控制、多样 keyframe pose constraints、路径跟随,以及通过鼠标键盘进行交互式 locomotion control。补充视频结果、代码和模型发布见 https://research.nvidia.com/labs/sil/projects/ardy/。
Generated on 2026-07-11 08:00 Asia/Shanghai | Sources: arXiv, HuggingFace, Papers With Code