智能体自进化、多模态世界建模与对齐泛化前沿

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 智能体与黑盒优化、递归自我改进、多模态世界建模、对齐泛化预测、机器人基础模型推理、因果推断数据融合、安全对齐与音频编码器信息保留等方向。

1. 重新审视智能体式黑盒优化：为 LLM 智能体建立跨域基准

作者: Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu 等 | 分类: cs.LG, cs.AI, cs.NE 链接: arxiv.org/abs/2610.12183

黑盒优化（BBO）广泛出现在目标评估代价高昂且次数受限的科学与工程问题中。近期，LLM 智能体为 BBO 提供了新思路：它结合任务语义、计算、优化工具与反馈驱动的决策，并因与数学严谨工具的集成而展现出巨大潜力。然而，现有智能体式 BBO 研究采用不同任务域与系统配置，导致结果难以比较，各设计选择的影响也难以单独分离。为此，我们提出 AgenticBBO-Bench——一个跨域智能体式 BBO 基准，在统一的有限预算评估协议下覆盖合成函数、超参数优化、数据库调优、芯片设计与分子设计。实验中，智能体式 BBO 在全部五个领域上均取得高于直接 LLM 方法的族平均分，并在四个领域中超越最佳数值优化器。我们进一步研究影响智能体性能的三个因素：优化工具、任务信息与先验知识，以及 LLM 在搜索中的角色。结果表明，额外的数值工具并不总能提升性能；任务语义普遍有用，而更具体的先验则不太可靠；数值优化器能够有效吸收智能体所建立搜索轨迹带来的收益。最后，我们引入 AgenticBBO-Bench 中的五任务前沿挑战，在 Codex 智能体框架下评估七个 LLM，其中 GPT-6 Astra 与 DeepSeek-V4.1-Flash 位于所评估模型的性能—成本帕累托前沿。代码已开源。

点评: 该工作为火热的”LLM 智能体做优化”研究提供了首个跨域统一评测协议，并系统拆解了工具、先验与 LLM 角色的实际贡献，对领域内结论的可比性具有重要意义。

2. 通过多智能体自监督实现递归自我改进

作者: Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Somayeh Sojoudi 等 | 分类: cs.AI 链接: arxiv.org/abs/2610.12176

模型在开放式研究等不可验证任务上的递归自我改进（RSI）面临监督瓶颈：当模型输出超出人类专家可靠评估的范围时，模型自身（被优化者）便成为唯一可用的优化器与评估器。然而，在单一模型的同质循环中，模型实例难以批判并改进自身复杂推理。为此，我们提出多智能体自监督（MASS），一种在进化式工作流优化与自生成轨迹监督微调之间交替的 RSI 方法。基于多智能体拓扑在复杂推理上表现优异的早期发现，MASS 让单一基座模型迭代地提出、执行并自评估多智能体工作流。通过受结构护栏约束的进化搜索，模型优化这些类计算图的编排，为给定任务发现最有效的角色分工与信息路由。在 Qwen3.6-27B 上进行两个 MASS 循环后，模型在四个开放式公开基准上实现了每输出 token 1.2–1.6 倍的性能提升。由于改进后的模型随后成为更好的优化器与评估器，这一交替框架实现了模型能力的持续递归自举。此外，多智能体轨迹在训练上更高效：在其上训练的”学生”优于用 1.4 倍训练 token 训练的单智能体学生。这些发现表明，从多智能体轨迹中联合学习编排与有界子智能体执行，可为 RSI 提供有效信号。

点评: 论文将”多智能体编排”作为可进化的自监督信号，兼顾了复杂推理提升与训练效率，为递归自我改进提供了一条绕开人类监督瓶颈的可行路径。

3. WOVEN：将视觉世界建模编织进多模态 LLM

作者: Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang 等 | 分类: cs.CV, cs.CL, cs.LG 链接: arxiv.org/abs/2610.12417

多模态大语言模型（MLLM）在空间、具身、物理与时间推理上表现不佳。我们假设这些失败反映了共同的”视觉状态转移推理”缺陷，并检验该能力能否作为共享训练原语——不同模型可从不同监督来源学习，并跨任务复用，且配备系统化的训练配方。现有基准分别记录了这些缺陷，却无法支持跨场景、动作与推理操作的受控比较。因此，我们提出 WOVEN：一个视觉状态转移推理的训练来源与基准，按场景、动作与推理类型组织转移监督，使用来自视频预训练生成模型的多样真实 rollout，包含 36,076 个样本，覆盖 20 种场景、5 种动作与 8 种推理类型。我们首先评估 38 个前沿 MLLM（如 GPT-5.4 与 Qwen3-VL-235B-A22B），发现显著且系统性的缺陷：即便最强模型也远低于人类，且失败跨模型家族反复出现并随规模扩大而持续。随后我们在 WOVEN 上训练多个规模的 MLLM，发现它们学到可广泛迁移的共享能力：每个仅约 2,000 条的训练子集合计在 26 个外部基准中的 22 个上提升最多 27.3 个百分点，且 WOVEN 数据可替代某任务自身 30–50% 的训练数据而保持相当准确率。受控比较进一步给出视觉世界建模的训练配方，并在留出基准上前瞻性验证：应按监督所教的推理操作而非其展示的动作、场景或领域来选择数据，并偏好视觉状态变化更大的样本以提升鲁棒性。本工作确立了视觉状态转移推理作为 MLLM 视觉世界模型系统化训练的可复用基础。

点评: 通过将多种视觉推理缺陷归因于统一的”状态转移推理”能力，WOVEN 给出了可跨任务迁移的训练原语与可操作的数据选择配方，是视觉世界建模方向少见的系统性实证研究。

4. 用价值表征预测对齐泛化

作者: Andy Liu, Mehar Bhatia, Karolina Stanczak, Mona Diab, Vered Shwartz 等 | 分类: cs.CL, cs.AI, cs.LG 链接: arxiv.org/abs/2610.12410

LLM 开发者通过后训练使模型展现亲社会价值观与行为特质，这些在”对齐目标”中被逐条枚举。然而，尽管近期后训练进展让模型在对齐评估上得分很高，在窄行为集合上训练仍会以意想不到的方式影响其在未见情境与环境中的行为。本文确立”对齐泛化预测”任务，即预测将模型微调以遵循某一价值后，其行为在一系列留出价值上如何变化。我们对现代对齐目标中的 66 种价值进行大规模对齐泛化效应分析，并在该预测任务上基准测试多种表征技术。我们发现，基于模型在上下文中应用价值时的激活表征，显著优于基于价值文本描述的方法：最佳激活方法与我们构建的泛化矩阵相关性达 0.45，而描述基线仅为 0.05。随后我们展示这些预测表征在下游任务中的适用性：用其度量多价值对齐目标中各价值之间的相似度，发现其与模型鲁棒性显著相关。最后，我们给出存在共享、模型无关的价值空间的初步证据，并据此构建首个基于经验泛化动态的 LLM 价值分类体系。本工作表明研究 LLM 价值泛化的重要性，及其对更经验化地设计与训练模型行为的价值。

点评: 首次将”对齐泛化”形式化为可预测任务，并以激活表征大幅超越文本描述基线，为对齐目标的经验化设计提供了可度量的方法论。

5. ARC：机器人基础模型的推理配方

作者: Gokul Puthumanaillam, Tao Sun, Elie Aljalbout, Moritz Reuss, Zhaoshuo Li 等 | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2610.12386

当前提升机器人基础模型（RFM）的主流路径依赖更大模型、更多机器人演示与昂贵的大规模训练。我们表明存在一种有效且高效的互补路径：合适的推理配方即可显著提升现有最先进 RFM 的零样本任务性能。我们将该配方称为 ARC，包含三个关键要素：推理轨迹、可扩展的自动标注流水线，以及让预训练 RFM 使用这些轨迹进行控制的适配策略。首先，我们发现有效的推理轨迹应扎根于机器人的下一动作并解释其因果结构：为何该动作合适、应产生何种效果。其次，我们表明这些轨迹可从现有演示自动生成，从而无需采集新机器人数据即可从 DROID 构建 ARC-Trace-DROID。第三，我们展示 π_{0.5} 等最先进 VLA 与 Cosmos3-Nano-Policy 等 WAM 如何学会用这些轨迹进行控制，并针对各模型架构与能力定制微调与推理。使用 ARC，我们在零样本 RFM 性能上取得了据我们所知无需额外机器人演示或基础规模训练所未有的提升。适配后的模型在 RoboLab-120 与 MolmoSpaces 上树立新 SOTA，在 RoboLab-Reasoning-50 上提升最多 50 个百分点。在真实机器人上，ARC 将 π_{0.5} 的任务成功率提升 82.2 个百分点。

点评: 在不增加数据与模型规模的前提下，仅靠”扎根于下一动作的因果推理轨迹”就带来真实机器人上 82 个百分点的成功率提升，为机器人基础模型的推理增强提供了极高性价比的范式。

6. 预测驱动的数据融合用于处理效应估计

作者: Yonghan Jung, Shu Yang | 分类: stat.ML, cs.AI, cs.LG, stat.ME 链接: arxiv.org/abs/2610.12332

随机对照试验（RCT）可在无混杂条件下识别处理效应，但样本往往很小；观察性研究（OBS）样本大，却可能存在混杂。已有许多将小规模 RCT 与大规模 OBS 结合的估计器用于平均处理效应（ATE）与条件平均处理效应（CATE）。然而，现有 ATE 估计器要么对 OBS 施加假设，要么未能充分借用其效力；CATE 的研究则比 ATE 更少，现有方法或假设 OBS 无混杂，或依赖混杂函数模型，或以偏差换取更低方差。为此，我们提出一个框架：在不需对 OBS 施加特殊假设的前提下，通过保留基于 RCT 估计的无偏性，同时借用大规模 OBS 的效力以提升精度，从而实现 OBS 与 RCT 的融合。应用该原则，我们构建了 ATE 估计器 AIPW-Fusion（具有闭式权重与置信区间），以及两个 CATE 学习器 DR-Fusion 与 R-Fusion。实验验证了我们的结论。

点评: 在不对观察性数据做强假设的前提下兼顾无偏性与精度，并提供闭式权重与置信区间，对因果推断的实用数据融合方法是一步扎实推进。

7. ReSI：面向抗攻击与韧性 AI 的递归安全改进

作者: Jingnan Zheng, Dongcheng Zhang, Yi Zhang, Ming Zhang, Qiaosheng Zhang 等 | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2610.12233

递归自我改进——AI 系统参与提升自身能力——正从理论设想走向实践，这为安全对齐带来了挑战与机遇。模型通过频繁更新而演进，其安全对齐需持续适配每一个新检查点。同时，随着红队方法不断演化并暴露新漏洞，每个检查点的安全改进既要缓解已知漏洞，又要泛化到尚未暴露的风险。沿用 R²AI 的提法，我们将这两个目标称为对已知威胁的”抗攻击性”与对未预见风险的”韧性”。递归自我改进反过来启发了兼顾二者的路径：安全对齐同样可通过评估与更新的连续轮次推进。为此，我们提出 ReSI，一个通过自动化研究实现该路径的递归安全改进框架。每轮中，ReSI 运用多样化红队方法识别当前目标模型的漏洞，开发训练配方，并在通过能力保持帕累托门的候选中，将安全增益最大的更新提升为下一目标模型。在四个稠密与混合专家模型上，ReSI 在分布内与分布外安全基准上匹配或超越所评估的前沿模型，并在几乎所有安全评估上优于对齐基线，同时基本保持通用能力。特别地，ReSI 将四个模型的 X-Teaming 平均攻击成功率从 86.01% 降至 31.45%，远低于 GPT-5.6-Luna 领先的 56.69%，表明对训练中未见攻击具有更强韧性。这些发现支持递归安全改进作为通往抗攻击与韧性 AI 的实用路径。

点评: 将”递归自我改进”这一能力叙事反转用于安全对齐本身，并以帕累托门约束能力保持，在四个模型上将未见攻击成功率大幅压低，是安全对齐自动化的重要实践。

8. 嵌入中还剩多少音频？音频编码器的反演审计

作者: Marios Glytsos, Brian McFee | 分类: cs.SD, cs.AI 链接: arxiv.org/abs/2610.12250

预训练音频编码器常被复用于训练时未知的下游任务，因此其有用性部分取决于哪些信号属性能在预训练目标下保留。我们通过配对源重建研究这种被保留的信息。使用共享的 Stable Audio Open 潜扩散解码器，我们从监督分类器（VGGish、ConvNeXt）、音频—文本对比模型（CLAP）与波形重建模型（EnCodec）产生的冻结表征中，重建 5 秒、44.1 kHz 立体声音乐。这些目标对保留源细节施加了不同的压力，而其暴露接口在时间与频谱分辨率上差异显著。在百万歌曲数据集（MSD）上评估，我们发现不同编码器家族之间可重建性存在明显差异，而同一编码器内部的比较显示，当暴露更精细的时间或频谱结构时，恢复效果更好。即便是压缩的、面向任务的嵌入，也支持保留可测量的源特定性与高层音乐内容的 reconstruction。

点评: 以”反演重建”作为审计手段来量化音频嵌入中残留的源信息，为编码器表征的信息泄露与复用边界提供了可量化的评估视角。

本内容由 AI 辅助生成，论文信息来源于 arXiv。