LLM 智能体自我改进、机器人推理与多模态世界建模

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM Agent 与黑盒优化、递归自我改进、多模态世界建模、对齐泛化预测、机器人基础模型、因果推断、AI 安全以及音频表征逆向分析等方向。

1. 重新审视 Agentic BBO：面向黑盒优化的 LLM Agent 基准测试

作者: Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu 等 | 分类: cs.LG, cs.AI, cs.NE 链接: arxiv.org/abs/2610.12183

黑盒优化（BBO）广泛存在于目标评估昂贵且受限的科学与工程问题中。近年来，LLM Agent 通过结合任务语义、计算、优化工具与反馈驱动的决策，为 BBO 提供了新思路，并因与数学严谨工具的结合而展现出巨大潜力。然而，现有 agentic BBO 研究使用不同的任务领域与系统配置，导致结果难以比较，各设计选择的效果也难以单独归因。为此，我们提出 AgenticBBO-Bench——一个跨域 agentic BBO 基准，在统一的有限预算评估协议下覆盖合成函数、超参数优化、数据库调优、芯片设计与分子设计。实验表明，agentic BBO 在全部五个领域中的族平均得分均高于直接基于 LLM 的方法，并在四个领域中优于最佳数值优化器。我们进一步研究了影响 Agent 性能的三个因素：优化工具、任务信息与先验知识、以及 LLM 在搜索中的角色。结果显示，额外数值工具并不能稳定提升性能，任务语义普遍有用而更具体的先验则不太可靠，数值优化器可有效吸收 Agent 建立的搜索轨迹所带来的收益。最后，我们提出 AgenticBBO-Bench 中的五项任务前沿挑战，并在 Codex agent 框架下评估七个 LLM，其中 GPT-6 Astra 与 DeepSeek-V4.1-Flash 位于性能与成本的帕累托前沿。代码已开源。

点评: 这篇工作填补了 Agentic BBO 领域长期缺乏统一评测标准的空白，其对”工具越多越好”直觉的系统性否证尤其有价值，为后续 Agent 设计提供了实证依据。

2. 通过多智能体自我监督实现递归自我改进

作者: Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Somayeh Sojoudi 等 | 分类: cs.AI 链接: arxiv.org/abs/2610.12176

在开放式研究等不可验证任务上，模型的递归自我改进（RSI）面临监督瓶颈：当模型输出超出人类专家可靠评估的能力时，模型自身（被优化者）成为唯一可用的优化者与评估者。然而，单个模型实例在同质化循环中难以批判并改进自身的复杂推理。为此，我们提出多智能体自我监督（MASS），一种在进化式工作流优化与基于自生成轨迹的监督微调之间交替的 RSI 方法。基于多智能体拓扑在复杂推理中表现优异的早期发现，MASS 促使单一基础模型迭代地提出、执行并自评估多智能体工作流。通过受结构护栏约束的进化搜索，模型优化这些类计算图编排，为给定任务发现最有效的差异化角色与信息路由。在 Qwen3.6-27B 上进行两个 MASS 循环后，模型在四个开放式公开基准上实现了每输出 token 1.2–1.6 倍的性能提升。由于改进后的模型随后充当更好的优化者与评估者，这种交替框架实现了模型能力的持续递归自举。此外，多智能体轨迹在训练上也更高效：用其训练的学生模型优于用 1.4 倍训练 token 训练的单智能体学生。这些发现表明，从多智能体轨迹中联合学习编排与受限子智能体执行可为 RSI 提供有效信号。

点评: 把”编排能力”本身作为可自举的优化对象，是 RSI 研究的一个巧妙转向；“多智能体轨迹训练效率更高”这一副产物发现，对实际训练成本敏感的场景颇具吸引力。

3. WOVEN：将视觉世界建模编织进多模态 LLM

作者: Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang 等 | 分类: cs.CV, cs.CL, cs.LG 链接: arxiv.org/abs/2610.12417

多模态大语言模型（MLLM）在空间、具身、物理与时间推理上表现不佳。我们假设这些失败反映了一个共同缺陷——视觉状态转移推理能力的不足，并检验该能力是否可作为共享的训练基元：不同模型可从不同监督来源学习并跨任务复用，且存在系统化的训练配方。现有基准分别记录了这些缺陷，但不支持跨场景、动作与推理操作的受控比较。因此我们提出 WOVEN，一个视觉状态转移推理的训练来源与基准，按场景、动作与推理类型组织转移监督，使用来自视频预训练生成模型的多样真实 rollout：涵盖 20 种场景类型、5 种动作类型与 8 种推理类型，共 36,076 个样本。我们首先评估了 38 个前沿 MLLM（如 GPT-5.4 与 Qwen3-VL-235B-A22B），发现存在显著且系统性的缺陷：即便最强模型也远低于人类水平，且失败跨模型族重现并随规模持续。随后我们在 WOVEN 上训练多个规模的 MLLM，发现它们学到了一种可广泛迁移的共享能力：仅约 2,000 条的子集即可共同提升 26 个外部基准中的 22 个，最高提升 27.3 个百分点，且 WOVEN 数据可替代某任务自身 30–50% 的训练数据而保持相当精度。受控比较进一步得出视觉世界建模的训练配方，并在留出基准上前瞻性验证：应按监督所教授的推理操作而非其展示的动作、场景或领域来选择监督，并偏好更大的视觉状态变化以提升鲁棒性。本工作确立了视觉状态转移推理作为 MLLM 系统化视觉世界模型训练的可复用基础。

点评: “按推理操作而非领域选择监督数据”这一结论颇具反直觉价值，配合 2000 条数据即可泛化至 22 个外部基准的结果，为多模态训练数据配比提供了重要参考。

4. 用价值表征预测对齐泛化

作者: Andy Liu, Mehar Bhatia, Karolina Stanczak, Mona Diab, Vered Shwartz 等 | 分类: cs.CL, cs.AI, cs.LG 链接: arxiv.org/abs/2610.12410

LLM 开发者对其模型进行后训练以展现亲社会价值观与行为特征，这些特征在对齐目标中被列举。然而，尽管近期后训练进展已使模型在对齐评估中取得高分，在窄行为集合上训练仍会以意想不到的方式影响模型在未见情境与环境中的行为。本文确立了对齐泛化预测任务，即预测将模型微调至遵循某一给定价值后，其在广泛留出价值上的行为如何变化。我们对现代对齐目标中的 66 种价值进行了大规模对齐泛化效应分析，并在该预测任务上对表征技术进行基准测试。我们发现，基于模型在上下文中应用价值时的激活的表征，显著优于基于价值文本描述的方法。具体而言，最佳激活方法的泛化矩阵相关系数达 0.45，而基于描述的基线仅为 0.05。随后我们展示了预测对齐泛化的表征在下游任务中的适用性：用其衡量多值对齐目标中各价值之间的相似度，发现其与模型鲁棒性显著相关。最后，我们给出了存在共享的、与模型无关的价值空间的初步证据，并据此构建了首个基于实证泛化动态的 LLM 价值分类法。本工作表明研究 LLM 中的价值泛化及其在更实证化的模型行为设计与训练中的应用的重要性。

点评: 将”对齐泛化”从模糊担忧转化为可预测的量化任务，激活表征 0.45 对比文本描述 0.05 的差距颇具说服力，对多值对齐目标的设计有直接指导意义。

5. ARC：机器人基础模型的推理配方

作者: Gokul Puthumanaillam, Tao Sun, Elie Aljalbout, Moritz Reuss, Zhaoshuo Li 等 | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2610.12386

提升机器人基础模型（RFM）的主流方法依赖更大模型、更多机器人演示与昂贵的大规模训练。我们表明存在一种有效且高效的互补路径：恰当的推理配方可显著提升现有 SOTA RFM 的零样本任务表现。我们称该配方为 ARC，包含三个关键要素：推理轨迹、可扩展的自动标注流水线，以及使预训练 RFM 适配使用这些轨迹进行控制的策略。首先，我们发现有效的推理轨迹应扎根于机器人的下一步动作并解释其因果结构：为何该动作合适、应产生何种效果。其次，我们证明这些轨迹可从现有演示中自动生成，从而无需额外采集机器人数据即可从 DROID 构建 ARC-Trace-DROID。第三，我们展示 SOTA VLA（如 π₀.₅）与 WAM（如 Cosmos3-Nano-Policy）如何学习使用这些轨迹进行控制，并针对各模型架构与能力定制微调与推理。使用 ARC，我们获得了据我们所知在无额外机器人演示或基础规模训练条件下前所未有的零样本 RFM 性能提升。适配后的模型在 RoboLab-120 与 MolmoSpaces 上建立新 SOTA，在 RoboLab-Reasoning-50 上提升高达 50 个百分点。在真实机器人上，ARC 将 π₀.₅ 的任务成功率提升 82.2 个百分点。

点评: “不靠加数据、不靠加参数”却取得真实机器人 82.2 个百分点的成功率提升，说明具身智能的瓶颈可能不全在规模，而在推理结构的设计——值得机器人团队重点关注。

6. 用于处理效应估计的预测驱动数据融合

作者: Yonghan Jung, Shu Yang | 分类: stat.ML, cs.AI, cs.LG, stat.ME 链接: arxiv.org/abs/2610.12332

随机对照试验（RCT）可在无混杂条件下识别处理效应，但规模往往较小；观察性研究（OBS）样本量大但可能存在混杂。已有许多将小型 RCT 与大型 OBS 结合的方法用于平均处理效应（ATE）与条件平均处理效应（CATE）。然而，现有 ATE 估计器要么对 OBS 施加假设，要么未能从 OBS 中借足统计功效。CATE 的研究少于 ATE。现有 CATE 方法要么假设 OBS 无混杂，要么依赖混杂函数模型，要么以偏差换取更低方差。为此，我们提出一个框架：在不需对 OBS 施加特殊假设的前提下，通过保留 RCT 估计的无偏性、同时从大型 OBS 借取功效以提升精度，从而融合 OBS 与 RCT。应用该原则，我们构建了具有闭式权重与置信区间的 ATE 估计器 AIPW-Fusion，以及两个 CATE 学习器 DR-Fusion 与 R-Fusion。实验验证了我们的结论。

点评: 在”不假设 OBS 无混杂”这一务实前提下同时兼顾无偏与高精度，闭式权重与置信区间也让方法更易落地；对因果推断与 A/B 实验融合场景有实际价值。

7. ReSI：面向抗性与韧性 AI 的递归安全改进

作者: Jingnan Zheng, Dongcheng Zhang, Yi Zhang, Ming Zhang, Qiaosheng Zhang 等 | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2610.12233

递归自我改进——AI 系统参与提升自身能力——正从理论构想走向实践，这为安全对齐既带来挑战也带来机遇。模型通过频繁更新演进，其安全对齐需持续适应每个新检查点。同时，随着红队方法不断演化并暴露新漏洞，每个检查点的安全改进既需缓解已暴露漏洞，也需泛化到尚未揭示的风险。沿用 R²AI 的术语，我们将这两个目标称为对已知威胁的抗性与对未预见风险的韧性。递归自我改进反过来启发了同时实现两个目标的方法：安全对齐同样可通过评估与更新的连续轮次推进。为此，我们提出 ReSI，一个通过自动化研究实现该思路的递归安全改进框架。每一轮中，ReSI 应用多样化的红队方法识别当前目标模型的漏洞，开发训练配方，并在通过能力保留帕累托门槛的方案中，将安全增益最大者提升为下一目标模型。在四个稠密与 MoE 模型上，ReSI 在分布内与分布外安全基准上匹配或超越所评估的前沿模型，并在几乎所有安全评估中优于对齐基线，同时基本保持通用能力。特别地，ReSI 将四个模型的平均 X-Teaming 攻击成功率从 86.01% 降至 31.45%，远低于 GPT-5.6-Luna 的前沿最佳结果 56.69%，表明对训练中未见攻击具有更强的韧性。这些发现支持递归安全改进作为通向抗性与韧性 AI 的实用路径。

点评: 把”安全对齐”本身纳入递归自我改进闭环，并用帕累托门槛约束能力不退化，61 个百分点的攻击成功率降幅是很有说服力的工程证据。

8. 嵌入中还剩下多少音频？音频编码器的逆向审计

作者: Marios Glytsos, Brian McFee | 分类: cs.SD, cs.AI 链接: arxiv.org/abs/2610.12250

预训练音频编码器常被复用于编码器训练时未知的下游任务，因此其有用性部分取决于哪些信号属性在预训练目标下得以保留。我们通过配对源重建研究这类保留信息。使用共享的 Stable Audio Open 潜扩散解码器，我们从监督分类器（VGGish、ConvNeXt）、音频-文本对比模型（CLAP）与波形重建模型（EnCodec）产生的冻结表征中重建 5 秒、44.1 kHz 立体声音乐。这些目标对保留源细节施加了不同压力，而其暴露接口在时间与频谱分辨率上差异显著。在百万歌曲数据集（MSD）上评估，我们发现不同编码器族之间的可重建性存在明显差异，而同一编码器内的比较显示，当暴露更精细的时间或频谱结构时恢复效果更好。即便是压缩的面向任务嵌入，其重建结果也保留了可测量的源特定性与高层音乐内容。

点评: 以”能从嵌入重建出多少原始音频”作为信息保留的审计指标，为音频表征学习提供了直观且可量化的诊断工具，也间接揭示了任务导向嵌入的隐私与版权风险。

本内容由 AI 辅助生成，论文信息来源于 arXiv。