RAG 优化、多智能体协同与 LLM 道德决策前沿

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 智能体的道德一致性与多智能体协作、RAG 系统的自动化优化与安全性、视觉推理能力的跨模型迁移、扩散模型的多智能体协同控制，以及分子发现与生成式检索等方向。

1. 压力之下的原则：后训练决定 LLM 是否会依自身道德判断行事

作者: Orion Reblitz-Richardson | 分类: cs.LG, cs.AI, cs.CL 链接: arxiv.org/abs/2610.08670

语言模型正越来越多地充当智能体。一个声称某行为错误却仍然实施该行为的智能体，与一个根本不知道对错的智能体，是两种不同的失败，而仅评估其陈述价值观无法识别前者。我们构建了一个预注册的评测面板，包含 248 个场景，覆盖五类压力。每个场景以两种方式向同一模型提出：一次作为智能体选择该怎么做，一次以第三人称询问哪个选项正确，从而以模型自身的判断作为参照。每个场景都有一个去除压力的孪生版本，且每个模型都设置了一个阳性对照——由其操作者直接命令其执行违规行为——以便区分”确实没有差距”与”测量工具失灵”。在 OLMo-3-7B-Instruct 上，模型在约五分之一的施压场景中采取了它自己判定为错误的行为，频率高于同一场景去除压力时。在四个 instruct 模型中，这一差距取决于后训练配方：OLMo-3 和 Meta 的 Llama-3.1-8B-Instruct 存在该差距；Tulu 3 在整个面板上未显示差距（概率高于约 0.01），在其自身最具压力的场景上也没有；Qwen2.5-7B-Instruct 在整个面板上未显示差距（高于约 0.02），在其自身场景上结果未定（0.083，置信区间 -0.028 至 0.195）。Meta 的配方与 Ai2 的 Tulu 3 从相同的 Llama-3.1 权重出发，只有 Meta 的配方携带了这一差距。在聊天模板之外读取聊天模型会反转其差距符号，且此时没有任何利害关系（OLMo-3 上为 -0.038，对比模板下的 +0.055），这一失真在三种配方中的两种上出现。在两个携带该差距的模型上，行动前先对利害关系进行推理，会使选择回归模型自身的判断，且对照同等长度的非道德任务依然成立，无论有无压力；在 OLMo-3 上，明确指出所涉规范贡献了约三分之一的这一效果。该差距是后训练配方可度量的目标，而非预训练权重的固定属性。

点评: 这篇论文把”知行不一”从模糊的道德讨论变成了可量化的实验指标，并通过同源权重的对照实验证明后训练配方才是关键变量——对做对齐和 agent 安全的人来说，这是一份难得的可操作诊断工具。

2. Agentic AutoRAG：通过推理驱动的智能体优化 RAG 流水线

作者: Lasse B. Strand, Robert Jakob, Kevin O’Sullivan, Markus Kreft | 分类: cs.CL, cs.IR, cs.LG 链接: arxiv.org/abs/2610.08452

检索增强生成（RAG）是将大语言模型（LLM）锚定于外部知识的广泛使用的方法。然而，配置一条流水线是一个昂贵的超参数优化问题，涉及从分块、嵌入模型到重排序与生成的众多相互作用的选项。从贪心搜索到贝叶斯优化的现有优化器，都将每次试验简化为一个聚合分数，并在不建模”为何某配置表现如此”的情况下进行搜索——尽管检索到的文本块本身已经提供了证据，表明每次失败究竟发生在检索阶段还是生成之后。我们提出 Agentic AutoRAG，一个面向多目标 RAG 超参数优化的 LLM 智能体优化器，具备检索与生成的失败归因能力。它提出的配置在语料库的冻结考题上评分：每次试验后，一个诊断器将每个失败问题归因于检索或生成；一个提议器基于模型排名与定价的知识库，选择下一个配置，在准确率与成本之间权衡以描绘帕累托前沿。在三个多跳问答基准上，它达到了高于所有对比基线的 LLM 评判准确率，并在前 10 次试验内就追平或超越了统计基线完整的 30 次试验评判准确率。在真实医疗语料库的成本感知模式下，它达到 77% 的考题准确率中位数，高于最强基线的 71.5%，而每次查询成本约为该基线的 58%；并以约 22% 的成本匹配了那 71.5%。

点评: 把 RAG 调参从”黑盒刷分”变成”归因驱动的智能体搜索”，前 10 次试验追上基线 30 次的成绩，意味着调参预算能省下大量算力——同时其对成本-准确率帕累托前沿的显式追踪，对实际落地很有参考价值。

3. SquidAgent：明智并行，高效协调

作者: Yexiong Lin, Shanshan Ye, Yu Yao, Zhen Fang, Bo Han 等 | 分类: cs.AI, cs.CL, cs.LG 链接: arxiv.org/abs/2610.08647

基于 LLM 的智能体可以解决复杂的多步任务，但顺序执行会带来可观的延迟。原则上，将工作并行化到多个智能体应能带来接近线性的加速。然而，现有的并行多智能体系统往往比单智能体基线还慢。我们将这一落差归因于并行执行引入而串行智能体可避免的两项隐性成本。第一是重新探索成本：并行工作节点重复重建编排器已拥有的上下文（如先前决策）所付出的冗余努力，而这些上下文在串行执行中会被隐式继承。第二是对齐成本：调和独立生成的输出之间不一致所需的开销。由此我们推导出一条有原则的决策准则：某一层只有在关键路径成本加上重新探索与对齐开销低于对应的串行成本时，才应被并行化。虽然该准则天然以墙钟时间表达，但我们观察到 LLM 在被要求估计任务时长时校准很差。为此，我们改以预测输出 token 数来度量成本，并实证发现 LLM 对它的估计远比墙钟时间可靠。基于这一 token 准则，我们提出 SquidAgent。它在单次规划步骤中估计所有 token 预算，让每个工作节点直接从编排器的会话分叉以消除重新探索成本，并以预生成的共享约定块取代事后调和，将对齐转化为有界的预先成本。随后一个确定性调度器逐层应用该准则。实证上，SquidAgent 相比 Claude Code 实现了 2.2 倍的平均吞吐提升和 2.6 倍的平均墙钟加速，相比最强的多智能体基线实现了 2.0 倍的吞吐提升。

点评: 多数多智能体框架都在追求”更多并行”，这篇却先解释了为什么并行常常更慢，并给出可判定的准则——用 token 而非时间做成本估计这个发现，本身就值得其他 agent 系统借鉴。

4. 面向视觉推理的 RL 更新选择性迁移

作者: Suxin Ji, Hungtao Wan, Mingjun Liu, An Zhang | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2610.08659

模型合并提供了一种免训练的方式，将推理能力从语言模型迁移到视觉语言模型（VLM），但基于端点的迁移可能将模型既有的差异与推理后训练期间获得的改变混为一谈。我们转而围绕训练阶段的更新来构建能力迁移，隔离出强化学习（RL）所诱导的参数变化。然而，完整迁移该更新仍非最优：我们发现其各组成部分的跨模型可迁移性差异显著，主导方向比完整更新迁移得更有效。基于这一发现，我们提出 Selective-RL，它隔离出 RL 阶段的更新，保留其矩阵级的主导方向并保持幅度，将其迁移到 VLM 的语言模块中。在三个模型家族和五个视觉推理基准上，Selective-RL 在 15 组比较中有 12 组优于完整更新插值，包括在 Qwen 接收方上取得 8.55 个百分点的 MathVision 提升。匹配对照实验表明，仅靠更新幅度或任意低秩并不能复现这些增益。这些结果凸显了”后训练期间获得了什么”与”什么仍可跨模型迁移”之间的区别，为跨模型能力迁移提供了一个训练阶段的视角。代码见 https://anonymous.4open.science/r/selective-rl。

点评: 把模型合并的粒度从”整体权重”细化到”RL 阶段的主导更新方向”，是对”能力迁移究竟迁移了什么”这一问题的漂亮回答，也为 VLM 借力语言模型推理能力提供了更省算力的路径。

5. 一即全体，全体即一：基于随机最优控制的协同多智能体扩散引导

作者: Riccardo Barbano, Vincent Pauline, Runchang Li, George Webber, Alexander Denker 等 | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2610.08595

深度生成模型常产生由相互作用的组件构成的结构化输出。用单一模型建模这些输出，需要同时学习各组件分布及其相互作用。我们探索一种模块化替代方案：复用独立训练的组件生成器，仅学习如何协调它们以产生连贯的结构化输出。我们的框架——协同多智能体扩散引导（CMDS）——将冻结的预训练扩散模型视为可复用的生成原语，并通过学习到的控制协调它们的反向过程。我们将协调形式化为一个随机最优控制问题，在所期望组合输出属性的装配级奖励与偏离预训练动力学之间取得平衡。学习到的控制摊销了这一优化，使其能在新任务实例间复用。实验表明，CMDS 能恢复已知的目标分布，用同一个训练好的控制满足不同的空间约束，并从退化的混合中恢复出单个源。在多智能体迷宫导航、关节机器人规划以及文本条件人体运动上，CMDS 将冻结的模型转变为协调的多智能体生成器。

点评: 不再从头训练一个大模型，而是让多个冻结的专家扩散模型”协商”出一个连贯结果——这种模块化协调的思路在机器人和运动生成这类多组件场景中很有想象空间，同一条控制可复用也说明它学到了通用协调规律而非单一任务解。

6. RAG-PIBench：面向可信 RAG 系统中提示注入检测的防泄漏基准

作者: Niveen O. Jaffal, Ahmet Yuksel, David Mohaisen | 分类: cs.CR, cs.AI, cs.LG 链接: arxiv.org/abs/2610.08571

检索增强生成（RAG）系统易受嵌入在检索内容中的提示注入攻击。我们提出 RAG-PIBench，一个面向 RAG 风格提示注入检测的基准，包含 4,876 个上下文样本，划分为冻结的训练、验证与受保护的测试集。使用防泄漏的构建流程和严格的评估协议，我们比较了基于关键词、语义参照、TF-IDF 和 Transformer 的检测器。DistilBERT 取得最佳的受保护测试性能（F1 = 0.896，PR-AUC = 0.968），而 TF-IDF SVM 与逻辑回归仍具竞争力。我们的结果证明了防泄漏基准设计与强稀疏基线在 RAG 系统可靠提示注入检测中的价值。

点评: RAG 安全评测的常见陷阱是训练/测试泄漏导致虚高指标，这篇用防泄漏流程证明强稀疏基线依然能打，也为后续研究提供了一个更可信的横向对比标尺。

7. 面向分子发现的信息密集型合成

作者: Kasper K. Jakobsen, Eli N. Weinstein | 分类: stat.ML, cs.LG, physics.chem-ph, q-bio.BM 链接: arxiv.org/abs/2610.08495

机器学习可以通过设计分子和规划实验来加速分子发现。然而，许多科学难题需要具备极稀有性质的分子，在这种稀疏情境下，现有算法相比随机猜测几乎没有增益。我们提出一种方法，利用算法控制的随机合成来高效搜索广阔的分子空间。与其设计、制造并测试单个分子，我们设计并制造复杂混合物，将其作为整体进行测试，再解卷积出分子-活性图谱。我们对合成进行优化，以编码最大信息量。理论上，该方法可将从 $d$ 个候选中找到最优分子所需的实验次数从 $\mathcal{O}(d)$ 降至 $\mathcal{O}(\log d)$ 或 $\mathcal{O}(1)$ 。在模拟中，基于估计的蛋白质适应度景观，它比现有贝叶斯优化方法少用一个数量级的实验即可找到活性分子。

点评: “不要逐个造分子，而是造混合物再解卷积”这个想法，把组合化学的直觉与信息论的最优实验设计接了起来，稀疏目标场景下的理论加速相当诱人。

8. 面向生成式信息检索的语义 ID 空间的系统性研究

作者: Alexia Allal, Hicham Randrianarivo, Sylvain Lamprier | 分类: cs.IR, cs.CL 链接: arxiv.org/abs/2610.08732

生成式信息检索（GIR）已成为一种变革性范式，将文档检索从传统的”检索-排序”流程转变为序列到序列生成，由模型直接预测文档标识符（DocID）。尽管这些 DocID 的语义设计被公认对性能至关重要，一个基本问题仍未得到充分探索：什么样的 DocID 才是好的？当前方法严重依赖计算昂贵的下游评估，阻碍了系统性分析和快速迭代。在本工作中，我们针对定义有效数值 DocID 的性质、度量与权衡展开全面研究。具体而言，我们的贡献有三：第一，我们提出一个统一框架，将乘积量化（PQ）与残差量化（RQ）及其混合变体统一到单一设计空间中，从而系统研究关键 DocID 性质，如层次式与并行式，以及 DocID 长度和码本大小等超参数的影响。第二，我们定义了一套免训练的内在度量，用于量化 DocID 质量并评估结构保真度，而无需完整模型训练的开销。通过在 MS MARCO 300K 与 NQ320K 上的大量实验，我们分析了这些结构性质如何影响检索效果。

点评: 生成式检索的 DocID 设计长期靠试错，这篇用免训练的内在度量替代昂贵的端到端评估，把”什么构成好 DocID”从经验问题变成了可分析的结构问题，能显著加快迭代速度。

本内容由 AI 辅助生成，论文信息来源于 arXiv。