具身认知要求智能体把高层任务推理与需要实现的物理状态连接起来。我们提出 Hy-Embodied-RxBrain，一种联合进行语言—视觉推理与想象的具身认知基础模型。不同于强调场景理解和文本决策的视觉语言模型，也不同于主要预测未来视觉状态的生成式世界模型，RxBrain 在一条统一的规划序列中表示具身计划，其中语言和视觉想象发挥互补作用。语言提供计划的抽象结构，包括任务分解、规划基元、约束、时间顺序和决策逻辑；视觉想象则通过世界状态预测与联合子目标规划，把这一结构落实到物理世界，使每个规划步骤都与中间及最终物理状态关联。RxBrain 采用统一的多模态 Mixture-of-Transformers（Transformer 混合体）架构，在一个模型中支持语言、图像和视频的理解与生成。为训练这种能力，我们构建了一条自动流水线：将具身视频分解为多个规划步骤，并把这些步骤与视觉状态转移对齐，从而将视频转换为文本—视觉联合规划监督。我们进一步提出 RxBrain-Bench，用于评估模型能否通过联合的文本和视觉组成部分来表示具身计划，而不只是分别完成理解或生成。实验表明，RxBrain 保持了具身理解与生成能力，并能生成将文本推理、世界状态预测和联合子目标规划耦合起来的计划。我们还将 RxBrain 扩展到连续机器人动作生成；即使没有大规模动作数据预训练，它也展现出令人期待的真实机器人性能。这些结果为面向具身认知的基础模型迈出了初步一步。

大型语言模型越来越多地被部署为智能体，但可靠的智能体行为所需要的远不只是下一个 token 预测。在推理时，我们希望智能体能够判断：是继续当前推理、转交给更强模型、请求补充信息、调用外部工具，还是在给定条件下拒绝作答。现有方法通常通过提示词级路由、外部编排或任务特定微调处理这些决策，它们主要依赖输入侧信号，而且随着模型主干演进，往往成本高、难维护。我们探究这些控制决策能否直接从模型的潜在生成过程中推断出来。我们提出 Multi-Head Latent Control（多头潜在控制），这是一个轻量层，可读取冻结 LLM 或 VLM 的隐藏状态轨迹，产生部署时控制信号。Capability Head（能力头）预测当前模型能否解决该样例，或是否应转交给更强的协作模型；Resolution Head（处置头）则预测合适的处置决策：澄清、使用工具、拒绝作答或直接回答。两个头都只使用来自同一冻结 LLM 主干的潜在轨迹训练，因此无需修改模型即可进行后置适配。在语言和视觉—语言任务中，Multi-Head Latent Control 持续改善多模型系统的质量—成本权衡，能够基于部分生成进行提前转交，并做出更准确的干预决策。在路由执行（小模型加大模型）中，它在 AndroidWorld 上最多减少 90.7% 的大模型使用量，在各项基准上平均减少 27%–53%，同时保留大模型的大部分性能。此外，学习到的控制信号还能改善工具使用决策质量，带来最高 158% 的相对得分提升，并使遗漏必要工具调用的情况减少 65.5%。

验证自动驾驶系统需要多样且符合监管规定的测试场景。在基于仿真的测试中，场景被定义为可执行脚本。然而，如何根据法规描述自动生成这类脚本仍是一个开放问题，现有方法还面临根本性的权衡：检索—拼装方法能取得尚可的编译率，却缺乏可扩展性；基于检索的完整脚本生成则编译成功率较低。我们提出 Chat2Scenic，这是首个使用 Domain Specific Language（领域特定语言，DSL）生成场景脚本的迭代式检索增强框架。具体而言，Chat2Scenic 提供支持交互式场景细化的聊天机器人界面，并集成 Retrieval-Augmented Generation（检索增强生成，RAG），使场景生成以法规知识和 DSL 语法为依据。此外，我们提出一个开放的场景生成基准，其中包含来自多种法规的 123 个场景，法规来源包括美国国家公路交通安全管理局（NHTSA）、联合国车辆法规及其他资料。使用当前先进大语言模型进行的大量评测表明，Chat2Scenic 的编译成功率（Compilation Success Rate，CSR）达到 76.42%，框架准确率（Framework Accuracy，FA）达到 58.17%，超过现有方法：检索拼装的 CSR 为 30.08%、FA 为 11.03%，检索式完整脚本生成的 CSR 为 16.26%、FA 为 10.86%。为推动后续研究，我们已在 https://github.com/TUM-AVS/chat2scenic 开源代码。

智能体 harness（外部控制层）通过管理上下文、工具、编排、记忆、解码和输出处理，把基础 LLM 变成可执行智能体。虽然 harness 设计会强烈影响智能体行为，但大多数自动改进方法优化的是提示词、流水线或工作流等更窄的对象，而部署后的智能体通常会对所有样例复用同一个全局 harness。我们提出 MemoHarness，一个能够从自身执行中学习的自适应 harness 优化框架。MemoHarness 将 harness 分解为六个可编辑控制维度，把逐样例诊断和提炼后的全局模式存入双层经验库，并利用检索到的经验针对每个测试样例调整学到的 harness，无需测试时标签、反馈或额外搜索。在覆盖 Shell 智能体、代码生成和分析推理基准的评测中，MemoHarness 优于我们对比的固定 harness，并对未见测试套件和基础模型表现出选择性迁移能力。当大部分检索经验可以缓存时，它引入的额外上下文也能保持成本竞争力。这些结果表明，执行经验可作为一种实用基础，用来构建比单一静态配置更具适应性的智能体 harness；至于更广泛的统计稳健性与组件归因结论，仍留待未来研究。

视频审美评估（Video Aesthetic Assessment，VAA）旨在预测一段视频在审美上有多令人愉悦，但相较其他视觉评估任务，它受到的研究远少得多。该方向的发展不仅受到大规模基准稀缺的阻碍，也受到审美判断内在主观性的影响，而这种主观性由人类感知塑造。本文从心理学视角重新审视 VAA，并提出 Peak-End-Net：一个受峰终定律启发的轻量、可解释框架。峰终定律认为，人们往往主要根据一段时间体验中的显著时刻和结尾作出判断。基于这一直觉，我们首先引入预训练的图像审美评估（Image Aesthetic Assessment，IAA）头，产生逐帧审美先验，从而把 IAA 知识迁移到 VAA；这些先验作为替代信号，用于识别审美上显著的时刻，并指导基于峰终定律的时间聚合。为进一步捕捉视频审美随时间演变的方式，我们设计了审美节奏编码器，对孤立时刻之外的时间进程进行建模。此外，我们通过动态门控融合机制细化整体评估，以提高分布偏移条件下的稳健性。该方法构建在冻结的 Vision Transformer（视觉 Transformer，ViT）之上，只需训练少量参数，因此具有可扩展性和参数效率。在两个现有 VAA 基准上的大量实验，包括 VADB 的域内评估和 DIVIDE-3K 的跨域测试，表明我们的方法达到了当前先进性能，验证了以心理学为依据进行 VAA 建模的价值。代码和模型已发布于 https://github.com/AMAP-ML/Peak-End-Net。

上下文学习通常被解释为一种条件推断：提示词指定上下文，模型输出则被视为对相应条件分布的估计。如果这种解释成立，那么 LLM 的估计应满足基本概率恒等式。特别是，全概率公式表明，对总体进行任意有效划分后，按照先验概率加权的条件分布应聚合为总体层面的边际分布。在这项工作中，我们研究 LLM 的估计在多大程度上遵循这一自洽原则。我们使用二叉树作为评估框架，把总体递归划分为越来越细的子总体。随后，我们在上下文中用文字描述这些子总体来提示 LLM，把得到的估计重新聚合为总体层面的估计，并比较不同划分粒度下的结果。将这一协议应用于多个问题领域和当前先进的前沿模型后，我们发现模型广泛违反基本一致性性质。对角色提示（persona prompting）的深入研究揭示了一种被我们称为“宏观谬误”的模式：由更细粒度子总体响应重建出的估计，往往比直接得到的总体层面估计更符合人类参考数据。这种效应在不同树结构和估计任务中持续存在，也可以通过隐式提示部分恢复。综合来看，这些发现说明模型拥有相关的子总体知识，却无法可靠地把它传播到聚合估计中。这一缺口使统计自洽性成为一种尚未饱和、无需参考答案的 LLM 评估标准。