生成时间:2026-07-05 08:00 Asia/Shanghai
今天 fetch_papers.py 抓到 100 篇,prefilter.py 预筛到 30 篇。按 ~/DailyReport/.seen_papers.json 做过去 7 天去重后,27 篇已报道过,本期只收录 3 篇新论文。整体看,今天的新内容集中在 agent memory、具身安全评测,以及 diffusion language model 在医学报告草稿中的交互式生成。
今日重点
最值得优先看的是 AutoMem。它把“记忆管理”从 prompt 工程问题变成可训练技能,且声称只优化 memory skill 就能让长程任务表现提升约 2x-4x。这个方向很贴近长期 agent 的核心瓶颈:不是模型能不能推理一次,而是几千步以后还知不知道该记什么、取什么、丢什么。
EgoSafetyBench 也值得注意。它不是再做一个宽泛的 embodied VLM benchmark,而是专门检查 runtime safety guard 在机器人第一视角视频里能不能识别真正危险、避免误报,以及能不能不被场景文字误导。这个评测设计比单纯 binary safe/unsafe 更接近部署时的麻烦。
Discrete Diffusion Language Models for Interactive Radiology Report Drafting 的亮点在交互形态。它不只是说 diffusion LM 比 AR 快,而是利用双向去噪天然支持 any-order infill,让医生固定报告片段后由模型补中间内容。这种“编辑式生成”比从左到右续写更贴近真实报告工作流。
1. AutoMem: Automated Learning of Memory as a Cognitive Skill
- arXiv: https://arxiv.org/abs/2607.01224
- PDF: https://arxiv.org/pdf/2607.01224.pdf
- 作者: Shengguang Wu, Hao Zhu, Yuhui Zhang, Xiaohan Wang, Serena Yeung-Levy
- 方向: AI Agents / Long-horizon memory
- 预筛分: 13
- 来源: HuggingFace Papers, 12 upvotes
- 发表日期: 2026-07-01
中文标题
AutoMem:把记忆作为一种认知技能进行自动化学习
摘要翻译
记忆能力是一种可以学习的技能:知道该编码什么、何时检索、以及如何组织知识,这在认知科学中被称为元记忆。本文把这一视角引入 LLM,将记忆管理视为一种可训练技能。作者把文件系统操作提升为与任务动作同等的一等记忆动作,让模型自行决定如何管理自己的记忆。
这种记忆技能沿两个轴改进:一是支撑记忆的结构,包括 prompt、文件 schema、动作词表;二是模型实际运用这些结构的熟练度。这两个轴都很难手工优化,因为长程任务可能持续数千步,单次记忆错误往往要过很久才暴露,人工审查完整轨迹并不现实。
作者提出 AutoMem,用两个循环自动优化这两件事。第一个循环让强 LLM 审查完整 agent 轨迹,并迭代修订影响 agent 如何与记忆文件交互的记忆结构。第二个循环从大量 episode 中识别 agent 自己做得好的记忆决策,把它们作为训练信号,直接提升模型的记忆熟练度。
在 Crafter、MiniHack 和 NetHack 三个程序生成的长程游戏中,作者只优化记忆而不改变模型的任务动作行为,就让基础 agent 性能提升约 2x-4x,使一个 32B 开源权重模型接近 Claude Opus 4.5 和 Gemini 3.1 Pro Thinking 等前沿系统。结果表明,记忆管理是一种可独立学习的技能,也是长程任务中高杠杆的优化目标。
精评
这篇的价值在于把 agent memory 从“存储组件”重新定义成“行为技能”。很多记忆系统默认问题是检索算法、向量库、上下文压缩或 memory schema,但 AutoMem 的立场更激进:记忆本身包含决策,模型需要学会何时写、写成什么粒度、什么时候读、读出来以后如何用。
方法上,它把文件系统操作纳入 agent action space,这一点很实用。长期 agent 真正运行时,memory 往往不是单条向量,而是文件、日志、状态、计划、规则和摘要的混合物。让强模型审查完整轨迹并改 schema,再用好决策反哺训练,像是在给 agent 做“记忆行为的自举课程”。
需要谨慎的是,实验场景集中在游戏类长程任务,和真实办公、研究、软件工程 agent 还有距离。另一个风险是第一循环依赖强 LLM 审查轨迹,成本、稳定性和审查标准是否可迁移还要看正文细节。不过结论如果成立,它会直接影响长期个人 agent、游戏 agent、研究助理和自动化操作系统的 memory 设计。
建议优先读:方法章节、memory action space 设计、trajectory review prompt/schema 的迭代方式,以及 2x-4x 提升是否来自更好检索、避免遗忘,还是某种任务特定的记忆模板。
2. EgoSafetyBench: A Diagnostic Egocentric Video Benchmark for Evaluating Embodied VLMs as Runtime Safety Guards
- arXiv: https://arxiv.org/abs/2607.00218
- PDF: https://arxiv.org/pdf/2607.00218.pdf
- 作者: Siddhant Panpatil, Arth Singh, Mijin Koo, Chaeyun Kim, Haon Park, Dasol Choi
- 方向: AI Agents / Embodied VLM safety evaluation
- 预筛分: 13
- 来源: HuggingFace Papers, 1 upvote
- 发表日期: 2026-06-30
中文标题
EgoSafetyBench:用于评估具身 VLM 作为实时安全守卫的诊断型第一视角视频基准
摘要翻译
视觉语言模型现在被提议作为家庭和工厂中具身 agent 的实时安全守卫。一个可部署的守卫必须能捕捉真正危险的情况,同时避免对日常但表面上看起来可疑的活动做不必要干预,而这种区别是二元安全基准难以揭示的。
作者提出 EgoSafetyBench,这是一个包含 1,200 个机器人视角场景、以 0.5 秒粒度标注的第一视角视频基准,用于在两个 track 上评估 VLM 作为流式安全守卫的能力。情境 track 包含 800 个场景,覆盖四类情况,从常规安全、看似可疑但安全,到明显危险和上下文相关危险。视觉通道 track 包含 400 个场景,针对场景中的文字,例如标志、贴纸或标签,这些文字可能错误描述物理情况;每个误导性标志都配有真实版本,用来测试守卫能否识别文字误导,以及文字是否会污染它对物理安全的判断。
两个 track 都使用对比阶梯设计:近乎相同的场景只在一个可见决定性线索上不同,因此正确判断必须依赖这个线索,而不能只根据整体场景类型猜测。作者评估了 10 个开源和闭源 VLM。结果发现,安全守卫通常能识别包含危险的视频,但经常错过具体危险时刻,尤其是上下文相关危险。此外,误导性的场景内文字会削弱所有测试守卫:脆弱模型最多漏掉三分之一危险,而鲁棒模型则会对安全内容过度干预。匹配对照显示,表面上的安全鲁棒性常常只是无差别报警,而不是真正的物理推理。
精评
这篇的关键贡献不是模型方法,而是评测问题定义。具身安全守卫如果只做“这个视频安全吗”的离线判断,离部署还很远;真正困难的是流式检测、半秒级时刻定位、对上下文危险的理解,以及少误报。EgoSafetyBench 把这些问题拆成更可诊断的测试,非常适合发现 VLM 作为 safety monitor 时的失败模式。
我比较看重它的两个设计。第一是 contrastive ladders,让场景只差一个决定性线索,能减少模型靠场景先验蒙对的空间。第二是 in-scene text 误导测试,这很现实:机器人看到“安全”“清洁剂”“已断电”之类标签时,模型可能过度相信文字,而忽略物理状态本身。
局限也明显:1,200 个场景对于真实具身安全仍然偏小,且 benchmark 本身是否覆盖家庭、工厂、医疗、实验室等不同风险分布,需要看数据构成。它更像诊断仪,不是最终部署认证。但对做 embodied agent、机器人安全、VLM video grounding 的人来说,它提供了一个很好的错误分类框架。
建议关注:场景类别定义、0.5 秒标注协议、误导文字对不同 VLM 的影响,以及作者如何区分“谨慎”与“无差别报警”。
3. Discrete Diffusion Language Models for Interactive Radiology Report Drafting
- arXiv: https://arxiv.org/abs/2607.01436
- PDF: https://arxiv.org/pdf/2607.01436.pdf
- 作者: Max Van Puyvelde, Halil Ibrahim Gulluk, Wim Van Criekinge, Olivier Gevaert
- 方向: Diffusion language models / Medical report drafting
- 预筛分: 12
- 来源: HuggingFace Papers, 4 upvotes
- 发表日期: 2026-07-01
中文标题
用于交互式放射科报告草拟的离散扩散语言模型
摘要翻译
扩散语言模型通过双向去噪 token 画布来生成文本,而不是像自回归模型那样从左到右逐 token 输出;这类模型已经在生成能力上接近自回归生成。然而,医学基础模型几乎仍然全是自回归模型。
作者改造了一个 mixture-of-experts 扩散语言模型 DiffusionGemma-26B,并在医学视觉问答数据集上,与同等规模的自回归兄弟模型 Gemma-4-26B 进行对比。两者使用相同的 LoRA 配方,并由对冗长程度鲁棒的 LLM judge 评分。结果显示,扩散模型在所有数据集上都匹配或超过自回归模型;微调后的模型有 3.8B active 参数,表现可与前沿视觉语言模型竞争,解码速度也快 3.5-4.4 倍。
除了这种性能相当之外,扩散模型还提供了自回归模型缺少的草稿能力:任意顺序补全。由于画布是双向去噪的,放射科医生可以固定报告片段,让模型填充片段之间的文本。这是扩散生成天然具备、而自回归生成不擅长的操作。它适合真实报告,因为不同医生和机构的报告常常简短且格式不一致。
精评
这篇值得看的地方在于,它不是简单把 diffusion LM 套进医学文本生成,而是抓住了 diffusion 的交互优势:any-order infill。医疗报告不是聊天续写,医生经常已经有若干确定片段,只需要模型在中间补结构、补表述、补一致性。自回归模型当然也可以用 prompt 模拟填空,但生成机制本身并不天然适合这种非线性编辑。
性能部分如果正文支持摘要里的说法,会很有吸引力:同 LoRA recipe 下扩散模型不弱于同尺寸 AR sibling,且解码快 3.5-4.4 倍。这对医学场景重要,因为低延迟和可编辑性往往比“从零生成一整段漂亮报告”更有用。
需要小心的是,摘要里提到的医学视觉问答和 radiology report drafting 之间仍有任务差距。VQA judge 分数不等于临床报告质量,更不等于安全可用。LLM judge 即便做了 verbosity-robust,也可能无法覆盖医学事实一致性、漏诊风险和机构模板要求。
建议读正文时重点查:具体数据集、report drafting 是否有真实医生交互实验、infill 任务如何构造、以及 diffusion 生成在事实一致性上的错误类型。
本期去重记录
本期收录并写入 ~/DailyReport/.seen_papers.json 的 arXiv ID:
- 2607.01224
- 2607.00218
- 2607.01436
本期从预筛结果中跳过 27 篇过去 7 天已报道论文,包括:2607.02479, 2607.00461, 2607.01647, 2607.02032, 2607.01071, 2607.02269, 2607.02255, 2607.01232, 2607.00902, 2607.02440, 2607.01213, 2607.01131, 2607.00881, 2607.00678, 2607.00446, 2606.08625, 2607.00248, 2607.01874, 2603.29616, 2607.00466, 2607.00272, 2607.02512, 2607.01763, 2606.25842, 2607.00293, 2602.21397, 2607.02461。