智能体黑箱优化、多智能体自监督与多模态世界建模

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 智能体与黑盒优化基准、多智能体递归自我改进、多模态视觉世界建模、对齐泛化预测、机器人基础模型推理、因果推断数据融合、递归安全对齐以及音频编码器信息逆推审计等方向。

1. 更深入地审视智能体式黑盒优化：面向 LLM 智能体的黑盒优化基准测试

作者: Ming Chen, Rong-Xi Tan, Ke Xue, Yu-Jie Zhou, Taiye Lu 等 | 分类: cs.LG, cs.AI, cs.NE 链接: arxiv.org/abs/2610.12183

黑盒优化（BBO）广泛存在于目标评估代价高昂且次数受限的科学与工程问题中。近期的大语言模型（LLM）智能体通过结合任务语义、计算、优化工具与反馈驱动的决策，为 BBO 提供了新路径，并因与数学严谨工具的整合而展现出巨大潜力。然而，现有智能体式 BBO 研究采用不同任务领域与系统配置，导致结果难以比较，各设计选择的作用也难以单独剥离。为此，我们提出 AgenticBBO-Bench——一个跨领域智能体式 BBO 基准，在统一的有限预算评估协议下覆盖合成函数、超参数优化、数据库调优、芯片设计与分子设计。实验中，智能体式 BBO 在全部五个领域均取得高于直接基于 LLM 方法的族平均得分，并在四个领域中优于最佳数值优化器。我们进一步研究了影响智能体性能的三个因素：优化工具、任务信息与先验知识、以及 LLM 在搜索中的角色。结果表明，额外的数值工具并不总能带来性能提升；任务语义普遍有用，而更具体的先验则不太可靠；数值优化器能够有效吸收智能体所建立搜索轨迹带来的收益。最后，我们推出 AgenticBBO-Bench 中的五任务前沿挑战，在 Codex 智能体框架下评估七个 LLM，其中 GPT-6 Astra 与 DeepSeek-V4.1-Flash 位于所评估模型性能与成本的帕累托前沿。代码已开源于 https://github.com/lamda-bbo/agentic-bbo。

点评: 这篇工作填补了智能体式黑盒优化缺乏统一评测的空白，五项跨领域任务加统一预算协议的设计颇具说服力，其对”工具越多越好”这一直觉的反驳尤其值得实践者警醒。

2. 通过多智能体自我监督实现递归自我改进

作者: Hyunin Lee, Jinglue Xu, Jeffrey Seely, Donghyun Lee, Somayeh Sojoudi 等 | 分类: cs.AI 链接: arxiv.org/abs/2610.12176

在开放式研究等不可验证任务上，模型的递归自我改进（RSI）面临监督瓶颈：当模型输出超出即便是人类专家也难以可靠评估的范围时，模型自身（被优化者）便成为唯一可用的优化者与评估者。然而，在如此同质的循环中，单一模型实例难以对自身复杂推理进行批判与改进。为此，我们提出多智能体自我监督（MASS），一种在进化式工作流优化与自生成轨迹上的监督微调之间交替进行的 RSI 方法。基于”多智能体拓扑在复杂推理上表现优异”这一早期发现，MASS 促使单一基座模型迭代地提出、执行并自我评估多智能体工作流。通过受结构约束的进化搜索，模型优化这些类似计算图的编排，为给定任务发现最有效的独立角色与信息路由。使用 Qwen3.6-27B 经过两个 MASS 循环后，模型在四个开放式公开基准上实现了每输出 token 1.2–1.6 倍的性能提升。由于改进后的模型随后成为更好的优化者与评估者，这种交替框架使模型能力得以持续、递归地自举提升。此外，多智能体轨迹在训练上也更高效：在相同 token 预算下，基于其训练的学生模型优于用 1.4 倍训练 token 训练的单智能体学生。这些发现表明，从多智能体轨迹中联合学习编排与受限子智能体执行，可为 RSI 提供有效信号。

点评: 将”编排学习”与”子智能体执行”解耦并纳入递归自举循环，是 RSI 研究从概念走向工程化的重要一步；多智能体轨迹的训练效率优势也为后续工作提供了可复用的经验。

3. WOVEN：将视觉世界建模编织进多模态 LLM

作者: Zheyu Fan, Yue Zhang, Mingkai Deng, Kangrui Wang, Qineng Wang 等 | 分类: cs.CV, cs.CL, cs.LG 链接: arxiv.org/abs/2610.12417

多模态大语言模型（MLLM）在空间、具身、物理与时间推理上表现挣扎。我们假设这些失败反映了一种共同的”视觉转移推理”能力缺陷，并检验该能力能否作为一种共享的训练基元——不同模型可从不同监督来源学习并在不同任务间复用——并给出系统化的训练配方。现有基准虽分别记录了这些缺陷，却无法支持跨场景、动作与推理操作的受控比较。为此，我们提出 WOVEN，一个面向视觉转移推理的训练数据源与基准，按场景、动作与推理类型组织转移监督，使用视频预训练生成模型产生的多样、真实 rollout：涵盖 20 种场景类型、5 种动作类型与 8 种推理类型，共 36,076 个样例。我们首先评估了 38 个前沿 MLLM（如 GPT-5.4 与 Qwen3-VL-235B-A22B），发现存在显著且系统性的缺陷：即便最强模型也远低于人类水平，且失败跨模型家族重现并随规模扩大而持续。随后我们在 WOVEN 上训练多个规模的 MLLM，发现它们学到了一种可广泛迁移的共享能力：每份仅约 2,000 条的训练子集合计在 26 个外部基准中的 22 个上带来最高 27.3 个百分点的提升，且 WOVEN 数据可替代某任务自身 30–50% 的训练数据而保持相当精度。受控比较进一步给出了视觉世界建模的训练配方，并在留出基准上得到前瞻性验证：应依据监督所教授的推理操作来选择监督，而非依据其展示的动作、场景或领域；并偏好更大的视觉状态变化以提升鲁棒性。我们的工作确立了视觉转移推理作为 MLLM 系统性视觉世界模型训练的可复用基础。

点评: “按推理操作而非场景/领域选择监督数据”这一结论若能在更多模态上复现，可能会改变多模态数据配比的通行做法，WOVEN 的数据集与基准也具备较高复用价值。

4. 用价值表征预测对齐泛化

作者: Andy Liu, Mehar Bhatia, Karolina Stanczak, Mona Diab, Vered Shwartz 等 | 分类: cs.CL, cs.AI, cs.LG 链接: arxiv.org/abs/2610.12410

LLM 开发者通过后训练使模型表现出亲社会价值与行为特质，这些特质在对齐目标中被逐一列举。然而，尽管近期后训练进展已使模型在对齐评测上取得高分，仅在狭窄行为集合上训练模型，仍会以出人意料的方式影响其在未见情境与环境中的行为。本文确立了对齐泛化预测这一任务，即预测将模型微调至遵循某一给定价值后，其行为在广泛的留出价值上会如何变化。我们对现代对齐目标中的 66 种价值进行了大规模的泛化效应分析，并在该预测任务上对多种表征技术进行了基准测试。我们发现，基于模型在上下文中应用价值时的激活表征，显著优于基于价值文本描述的方法。具体而言，最佳激活类方法与泛化矩阵的相关性达到 0.45，而基于描述的基线仅为 0.05。随后我们展示了可预测对齐泛化的表征在下游任务中的适用性：用其度量多价值对齐目标中各价值之间的相似度，发现该相似度与模型鲁棒性显著相关。最后，我们给出了存在共享、模型无关价值空间的初步证据，并据此构建了首个基于经验泛化动态的 LLM 价值分类体系。我们的工作表明，研究 LLM 中的价值泛化，并将其应用于更具实证基础的行为设计与训练，具有重要意义。

点评: 把”对齐会泛化到哪里”从经验直觉变成可预测的实证任务，激活表征远胜文本描述的结论对对齐数据配比与安全评估都有直接指导意义。

5. ARC：机器人基础模型的推理配方

作者: Gokul Puthumanaillam, Tao Sun, Elie Aljalbout, Moritz Reuss, Zhaoshuo Li 等 | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2610.12386

当前提升机器人基础模型（RFM）的主流路径依赖更大的模型、更多机器人演示以及昂贵的大规模训练。我们表明存在一种有效且高效的互补路径：恰当的推理配方能显著提升现有最先进 RFM 的零样本任务表现。我们将该配方称为 ARC，它包含三个关键要素：推理轨迹、可扩展的自动标注流水线，以及使预训练 RFM 学会利用这些轨迹进行控制的适配策略。首先，我们发现有效的推理轨迹应扎根于机器人的下一动作并解释其因果结构：为何该动作是恰当的，以及它应产生什么效果。其次，我们证明这些轨迹可从现有演示中自动生成，从而无需采集新的机器人数据即可从 DROID 构建 ARC-Trace-DROID。第三，我们展示了如何让 $π_{0.5}$ 等最先进 VLA 与 Cosmos3-Nano-Policy 等 WAM 学会使用这些轨迹进行控制，并针对各模型的架构与能力定制微调与推理方式。使用 ARC，我们取得了据我们所知在无额外机器人演示、无基础规模训练情况下前所未有的零样本 RFM 性能提升。适配后的模型在 RoboLab-120 与 MolmoSpaces 上树立了新的最优结果，在 RoboLab-Reasoning-50 上提升最高达 50 个百分点。在真实机器人上，ARC 将 $π_{0.5}$ 的任务成功率提升了 82.2 个百分点。项目网站：https://arc-robot-reasoning.github.io/

点评: “不动模型规模、只改推理配方”就能在真实机器人上提升 82 个百分点成功率，这个数字相当惊人；把推理轨迹定义为”解释下一动作的因果结构”也为具身推理数据标注提供了清晰准则。

6. 面向处理效应估计的预测驱动数据融合

作者: Yonghan Jung, Shu Yang | 分类: stat.ML, cs.AI, cs.LG, stat.ME 链接: arxiv.org/abs/2610.12332

随机对照试验（RCT）能在无混杂条件下识别处理效应，但通常规模较小；观察性研究（OBS）规模大，却可能存在混杂。已有许多将小型 RCT 与大样本 OBS 相结合、用于估计平均处理效应（ATE）与条件平均处理效应（CATE）的估计量。然而，现有 ATE 估计量要么对 OBS 施加假设，要么未能充分借用其信息；CATE 的研究则比 ATE 更少，现有 CATE 方法或假设 OBS 无混杂，或依赖混杂函数模型，或以偏差换取方差降低。为此，我们提出一个框架：在不对 OBS 施加特殊假设的前提下，通过保留基于 RCT 估计的无偏性，同时借用大规模 OBS 的力量提升精度，从而融合 OBS 与 RCT。应用该原则，我们构建了具有闭式权重与置信区间的 ATE 估计量 AIPW-Fusion，以及两个 CATE 学习器 DR-Fusion 与 R-Fusion。实验验证了我们的发现。

点评: 在不假设观察数据无混杂的前提下同时获得无偏性与高精度，并给出闭式权重和置信区间，这在因果推断的 RCT-OBS 融合文献中是一个实用且有理论保证的推进。

7. ReSI：面向抗性与韧性 AI 的递归安全改进

作者: Jingnan Zheng, Dongcheng Zhang, Yi Zhang, Ming Zhang, Qiaosheng Zhang 等 | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2610.12233

递归自我改进——即 AI 系统参与提升自身能力——正从理论设想走向实践，这为安全对齐既带来挑战也带来机遇。模型通过频繁更新而演进，其安全对齐需要针对每个新检查点持续适配。与此同时，不断演化的红队方法持续暴露新的漏洞，因此针对每个检查点的安全改进既要缓解已暴露的漏洞，又要泛化到尚未揭示的风险。沿用 R $^2$ AI 的提法，我们将这两个目标称为对已知威胁的抗性（resistance）与对未知风险的韧性（resilience）。递归自我改进反过来启发了同时实现两目标的路径：安全对齐同样可以通过评估与更新的连续轮次推进。为此，我们提出 ReSI，一个通过自动化研究实现该路径的递归安全改进框架。每一轮中，ReSI 应用多样化的红队方法识别当前目标模型的漏洞，开发训练配方，并在通过能力保持帕累托门控的方案中，将安全增益最大的更新提升为下一轮目标模型。在四个稠密与混合专家模型上，ReSI 在分布内与分布外安全基准上达到或超过所评估的前沿模型，并在几乎所有安全评估上优于对齐基线，同时大体保持通用能力。特别地，ReSI 将四个模型的 X-Teaming 平均攻击成功率从 86.01% 降至 31.45%，远低于 GPT-5.6-Luna 领先前沿结果的 56.69%，表明其对训练中未见的攻击具有更强的韧性。这些发现支持将递归安全改进作为通向抗性与韧性 AI 的切实路径。

点评: 把”递归自我改进”这套能力提升逻辑反过来用于安全对齐，并用帕累托门控守住能力不退化，思路对称且工程可行；X-Teaming 攻击成功率的大幅下降是很有力的实证。

8. 嵌入中还剩多少音频？音频编码器的逆推审计

作者: Marios Glytsos, Brian McFee | 分类: cs.SD, cs.AI 链接: arxiv.org/abs/2610.12250

预训练音频编码器常被复用于训练时未知的下游任务，因此其有用性部分取决于哪些信号属性能在预训练目标下存活。我们通过成对源重建来研究这些被保留的信息。使用一个共享的 Stable Audio Open 潜扩散解码器，我们从有监督分类器（VGGish、ConvNeXt）、音频-文本对比模型（CLAP）以及波形重建模型（EnCodec）产生的冻结表征中，重建 5 秒、44.1 kHz 立体声音乐。这些目标对保留源细节施加了不同的压力，而其暴露的接口在时间与频谱分辨率上差异显著。在百万歌曲数据集（MSD）上评估，我们发现不同编码器家族之间在可重建性上存在明显差异，而同一编码器内部的比较显示，当暴露更精细的时间或频谱结构时，恢复效果更好。即便是压缩的、面向任务的嵌入，也支持保留可测量的源特异性与高层音乐内容的 reconstructions。

点评: 以”从嵌入逆推重建音频”来审计编码器保留了多少源信息，方法直观且具隐私与版权含义；“面向任务的压缩嵌入仍能泄露可辨识的音乐内容”这一结论值得音频模型部署方重视。

本内容由 AI 辅助生成，论文信息来源于 arXiv。