Agent 架构与 LLM 推理优化、安全审计及具身智能前沿

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖智能体系统架构的价值对齐、LLM 无损加速、推理后训练策略、3D 空间推理、网络安全智能体、代码编辑保真度、LLM 审计协议以及 3D 打印几何建模等多个前沿方向。

1. 面向智能体 AI 系统的价值保持架构

作者: Alessandro Pesare, Tommaso Dolci, Katja Hose, Emanuel Sallinger | 分类: cs.AI 链接: arxiv.org/abs/2609.03920v1

智能体 AI 和基于 LLM 的多智能体系统（MAS）的出现为自动化复杂任务带来了前所未有的机遇，同时也引发了关于保护以人为中心的基本价值（如隐私、公平和安全）的严重关切。尽管软件工程传统上关注功能正确性，但 LLM 和 AI 智能体在复杂社会技术系统中的采用加剧了对负责任的软件工程和稳健价值对齐的需求。在 MAS 中，架构设计决策（如协调机制、通信协议和系统拓扑）在塑造系统行为及其产生的结果方面发挥着核心作用。本文认为，架构选择不仅影响 MAS 的功能和性能，还可以促进面向价值的系统行为。因此，作者研究了不同的架构设计如何支持不同的以人为中心的价值，讨论了以下价值保持架构模式：（i）具有联邦拓扑的隐私感知架构，（ii）促进多元化和多样性的分布式架构，以及（iii）用于检测和减轻不公平性的 Guard-Agent 架构。最后，作者介绍了代表性用例，以说明所提架构在现实场景中的应用。通过将架构设计与以人为中心的价值联系起来，这项工作为设计可信 MAS 的统一架构模式和指南奠定了基础。

点评: 将”价值对齐”从模型权重层面提升到系统架构层面，提出了三种可落地的架构模式，为可信多智能体系统的设计提供了全新视角。

2. 通过离散扩散解锁 LLM 的无损加速

作者: Subham Sekhar Sahoo, Lingjie Chen, Khiem Pham, Jonathan Geuter, Chaitanya Dwivedi et al. | 分类: cs.LG 链接: arxiv.org/abs/2609.04010v1

大型语言模型（LLM）的成功很大程度上归功于下一个词元预测（NTP），但其自回归（AR）结构需要缓慢的顺序词元生成。为了克服这一瓶颈，作者引入了 diffusion-augmented LLMs，这是一种新模型类别，它在定义 AR 模型分布的同时，使用扩散从该分布中并行抽取多个词元。作者将这些模型的参数解耦为两组：使用标准 NTP 目标训练的 AR 权重，以及训练用于同时生成多个词元的轻量级扩散权重。扩散权重通过简单的扩散蒸馏阶段学习，该阶段对现有 LLM 训练流程增加的开销可忽略不计。作者还引入了 Ψ-Spec，一个采样器家族，可在固定上下文长度下实现无损加速和推理时扩展。与推测解码不同，该方法不需要单独的草稿模型。与扩散 LLM（d-LLM）不同，它在加速生成的同时不会牺牲底层 AR 模型的质量。由此产生的模型名为 Uno，可以从头训练，也可以通过增强现有开放权重 AR LLM 来构建。在评估的每个批处理大小上，Uno 的吞吐量都高于领先的推测解码方法，并且比基础 AR 模型提供高达 3 倍的加速，包括在设备支持的最大批处理大小下。值得注意的是，作者的 8B Uno 模型在智能体工具使用、编码和长上下文推理的所有评估基准上，均优于领先的开放 d-LLM——26B DiffusionGemma 以及专有的 Mercury 2。

点评: 无需草稿模型的并行解码方案，在保持 AR 模型质量的同时实现最高 3 倍加速，且 8B 模型性能超越 26B 扩散模型，极具实用潜力。

3. 顺序优于联合：论同策略蒸馏与 RLVR 的相互作用

作者: Boyan Li, Bingsen Chen, Chenghao Yang, Ping Nie, Chen Zhao et al. | 分类: cs.CL, cs.AI, cs.LG 链接: arxiv.org/abs/2609.04108v1

带可验证奖励的强化学习（RLVR）和同策略蒸馏（OPD）已成为推理 LLM 后训练的两种主导方法。先前的工作使用 OPD 的密集词元级监督来补充稀疏的 RL 奖励，在单一步骤中融合两种信号：要么作为 RL 优势的加权加性组合，要么作为教师调制的重要性重标定。在本文中，作者证明了一个简单的两阶段方案——OPD-then-RL——在逻辑和数学推理基准上始终优于纯 OPD、纯 RLVR 以及所有此类联合基线。除了实证结果外，作者还通过 pass@k 行为、学习动态和参数更新提供了系统性的理解，得出了一致的解释：OPD 扩展了学生对教师支持解决方案的覆盖范围，而 RL 在该支持范围内进行锐化，而联合优化这两种信号会导致它们相互干扰。为了提供实用的方案，作者发现 OPD 验证分数是从 OPD 切换到 RL 的关键信号，并且 OPD 是比 SFT 更好的 RL 冷启动方法。总之，研究结果确立了 OPD-then-RL 作为结合这两种方法的一种简单而强大的方式，将两种纠缠的信号转变为互补的阶段。

点评: 颠覆了”联合优化优于两阶段”的直觉，通过详尽实验证明 OPD 后接 RL 的顺序范式能有效避免信号干扰，为推理模型后训练提供了清晰的实践指南。

4. GraFT：基于 3D 场景图的免训练多模态大模型空间推理框架

作者: Junqing Du, Fernando Ropero, Erkin Turkoz, Yanfeng Zhang, Lu Liu | 分类: cs.CV, cs.AI, cs.RO 链接: arxiv.org/abs/2609.03892v1

3D 空间推理是理解和在物理世界中行动的基础，但它在当前的多模态大语言模型（MLLM）中仍然不可靠。这些模型在精确几何测量、自我中心视角与客观中心视角之间的转换以及精细外观的落地方面表现不佳。最常见的补救方法是在大规模 curated 空间推理数据集上微调模型，或为 3D 几何附加专用编码器，这通常将解决方案与昂贵的监督和特定骨干网络耦合。作者转而介绍了 GraFT，一个免训练框架，通过紧凑且易于维护的 3D 场景图（3DSG）提供缺失的 3D 结构。基于此 3DSG，GraFT 提供三种空间推理能力：（1）通过符号工具进行确定性几何计算，（2）通过鸟瞰图（BEV）渲染进行客观中心布局，（3）通过任务相关的自我中心帧进行视觉属性落地。在 ScanQA 上，GraFT 在每个指标上都优于同骨干基线，将 CIDEr 提高了 27%。在 VSI-Bench 上，GraFT 将冻结的 MLLM 提升了高达 65%，超越了所有专有和通用开源基线，以及几个著名的微调空间模型。

点评: 放弃重训练或专用编码器的路线，用轻量级 3D 场景图作为外部结构先验，在空间推理基准上取得了惊人提升，为 MLLM 的空间智能短板提供了优雅解。

5. SENTINEL-RL：将拓扑推理从安全运营中心 LLM 智能体中卸载

作者: Uday Vallabhaneni, Cassie L. Cagwin, David J. Wild | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2609.04159v1

大型语言模型（LLM）智能体越来越多地被提议作为自主 SOC 分析师，但两个局限性使其在企业规模下不可靠：有限的上下文窗口无法容纳数千主机的认证图，并且自由形式生成无法保证推荐的遏制操作与其所操作的拓扑结构一致。作者提出了 Sentinel-RL，一种智能体 SOC 架构，将拓扑推理与语义推理解耦：异构图形注意力编码器将实时认证子图总结为固定维度的状态，近端策略优化（PPO）策略将该状态映射到一组受限的调查操作，而 LLM 智能体循环被限制为消费策略的推荐并生成由批评者门控的分析师可读叙述。作者在 LANL 综合多源网络安全事件数据集和印第安纳大学 Quartz HPC 集群上实例化了该系统，报告了四项结果：（i）两阶段 CREATE 摄取模式在单个 32 核节点上于 14.2 分钟内加载了 2400 万条边的认证子图到 Neo4j，比典型的基于 MERGE 的流程快约 24 倍；（ii）滑动窗口警报引擎在 50 次试验中可靠地在 ≤2.5 秒内触发 25 个事件/10 秒的阈值；（iii）PPO 训练在 200 次迭代中收敛到 8.74±0.31 的平均情节回报，在标记的红队事件上保持 0.91 的精度和 0.87 的召回率；（iv）集成遏制循环在中位时间 6.3 秒内完成了完整的检测-调查-推荐-人工批准周期。作者还贡献了可复用的工程模式（热节点死锁解决方案）、可移植的 HPC 部署模式（锚节点共存）以及涵盖误报经济学、可逆性保证、审计合规性和人工批准边界的企业就绪性分析。

点评: 将 LLM 从脆弱的拓扑推理中解放出来，用图神经网络+强化学习承担结构化推理，LLM 仅负责语义叙述，架构分工清晰，系统指标全面扎实。

6. 当模型过度编辑：最小代码编辑保真度研究

作者: Tongyao Zhu, Wei Hern Lim, Min-Yen Kan | 分类: cs.SE, cs.AI, cs.CL 链接: arxiv.org/abs/2609.04061v1

大型语言模型（LLM）越来越多地被用于编辑现有代码，但仅正确性是不够的：有用的修复还应该是最小的、可审查的，并且忠于原始实现。作者研究了过度编辑，即模型在修复 bug 之外倾向于重写代码的现象。作者通过向参考解决方案注入受控的 AST 级损坏来构建评估框架，该框架基于 400 个 BigCodeBench 问题，使每个修复任务都有一个已知的最小补丁。在顶级 LLM 中，即使在像 GPT-5.5 这样的强模型中，过度编辑也很普遍：高 Pass@1 可能与不必要的大规模编辑和增加的认知复杂度共存。保留指令显著减少了这种行为，将平均超额 Levenshtein 距离从 0.195 降至 0.131，额外认知复杂度降低了 26.6%，Pass@1 提高了 2.3 个百分点。然而，这些收益并非仅仅来自更大的推理预算或更大的模型。作者接下来询问是否可以在后训练期间直接学习最小编辑。作者观察到，监督微调会过拟合到已见的损坏模式，而强化学习在域外编辑保真度和性能保持之间提供了最佳权衡。这些结果将编辑保真度定位为代码修复质量的一个独立轴，并表明它可以被测量和学习。

点评: 首次系统化定义和量化了大模型代码编辑中的”过度编辑”问题，证明”改得少”和”改得对”是两种可分离的能力，为代码修复模型的后训练提供了新指标。

7. 骰子滚动法：LLM 品牌推荐重复查询审计的标准化协议

作者: Dmitrij Żatuchin | 分类: cs.IR, cs.CL 链接: arxiv.org/abs/2609.04047v1

背景：研究人员越来越多地使用重复的相同提示来审计 LLM 品牌推荐中的随机变化，然而目前还没有标准化的协议来设置迭代次数、选择稳定性度量或建立可靠性阈值。目标：作者将骰子滚动法形式化为一种可重用的协议，用于对 LLM 品牌推荐进行重复查询审计，该方法基于温度标度核采样生成模型。方法：总响应方差被分解为采样、提示措辞、运行间和模型版本等组成部分。技术栈包括：以迭代为重复测量的负二项混合模型；作为无分布效应量的 Cliff’s delta；依赖保持的自举；基于仿真的功效分析；概化理论分解；以及针对固定快照的漂移诊断。作者重新分析了五项品牌推荐审计研究：约 190,000 个观测值、270+ 个品牌、6 种语言、迭代次数从 5 到 40。结果：D 研究得出了三层迭代指导：探索性（n=5，G=0.58）、证实性（n=10，G=0.74）和严格性（n=15，G=0.81），与效应量和概化目标相关。四个度量族（计数、集合、嵌入、公平性调整的 PASOR）是互补的，这促使人们采用紧凑度量组而非单一指标。在三个独立语料库（Motoki 等人，100 轮；Rozado，24 个模型；llm-stability）上进行的预注册外部验证，在 39 个单元中的 37 个中重现了 D 研究的可靠性预测，没有失败，n=5 的功效值精确到小数点后两位；固定层级不可迁移，支持先试点后解决的解读。结论：该协议为 LLM 品牌推荐的重复查询审计在真实自回归生成的条件下、非高斯结构下提供了统计学原理坚实的基础。

点评: 为”同一个提示问 N 遍”这一常见但缺乏规范的审计实践建立了严谨的统计学协议，给出了明确的迭代次数分层建议，是该领域亟需的方法论基础设施。

8. 挤出丝材形状对 3D 混凝土打印可建造性的影响：几何信息深度学习-FEM 方法

作者: Giacomo Rizzieri, Saif-Ur-Rehman, Jörg F. Unger, Annika Robens-Radermacher | 分类: cs.CE, cs.AI, cs.LG, math.NA 链接: arxiv.org/abs/2609.04028v1

沉积丝材的几何形态会显著影响 3D 混凝土打印（3DCP）结构的结构性能和稳定性。然而，大多数基于有限元（FEM）的可建造性评估方法将打印层表示为简化矩形，可能限制预测精度。本研究提出了一种几何信息建模框架，将基于深度学习的丝材形状预测工具 ShapeGen3DCP 与层激活 FEM 方法相结合，以研究真实丝材几何形状对可建造性的影响。该框架直接从材料和工艺参数生成几何感知数值模型，无需实验丝材表征或计算密集型流体流动模拟。针对实验数据的验证以及对直线墙的参数研究表明，挤出参数和由此产生的丝材几何形状会显著影响可建造性预测。真实的丝材表示对于自由流动沉积尤为重要，而层压策略对几何简化不太敏感。在所研究的表示中，椭圆近似在几何保真度和建模简单性之间提供了有效平衡。当首选矩形表示以启用规则计算网格以加快模拟时，基于体积守恒定义其尺寸比使用最大丝材宽度或层间接触宽度进行标定更能提高预测可靠性。总体而言，所提出的方法证明了将丝材几何纳入 3DCP 模拟的重要性，并为选择高效且准确的几何表示以进行可建造性评估提供了实用指导。

点评: 打破传统 FEM 模拟中将 3D 打印层简化为矩形的惯例，引入深度学习预测真实丝材截面，显著提升可建造性预测精度，并给出了实用的几何简化策略建议。

本内容由 AI 辅助生成，论文信息来源于 arXiv。