大模型推理对齐、具身智能与稀疏奖励下的安全探索

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖大模型训练范式统一理论、具身智能与机器人策略、检索推荐系统、AI 安全评测、以及形式化数学与物理验证等前沿方向。

1. 通过贝叶斯视角统一 ICL、SFT 与 KL 正则化 RL

作者: Junxin Fan | 分类: cs.AI 链接: arxiv.org/abs/2609.05111v1

大语言模型如今在多种范式下进行训练和评估：监督微调（SFT）、少样本上下文学习（ICL）、KL 正则化 RLHF/RLVR、在线策略蒸馏（OPD）以及带搜索和思维链的测试时推理。这些方法通常被视为根本不同，而近期的实证结果——例如少样本提示对 RL 调优推理模型的混合影响——可能令人困惑。本文提出了一种贝叶斯视角，将这些流程置于同一框架下。其核心是一个两步模板：(i) 给定上下文，使用先验/参考模型和效用信号构建输出的（广义）贝叶斯或 Gibbs 后验 q*；(ii) 通过前向 KL 投影将 q* 映射到参数化家族，无论是在权重内（SFT/RL）还是上下文中（ICL）。第一部分将少样本 ICL 和 SFT 形式化为对贝叶斯后验预测的摊销权重投影。第二至第四部分表明，KL 正则化 RLHF/RLVR、奖励加权 SFT、奖励加权 ICL（RW-ICL）和优势加权 SFT（AWSFT）都是对由奖励或优势诱导的后验进行前向 KL 投影的实例。文章厘清了这些等价关系在哪些方面成立（目标函数和一阶更新）以及在哪些方面不成立（学习信号的来源和粒度）。第五部分概述了对现代推理流水线的启示：将 RLHF/RLVR 配方视为“后验设计 + 投影”，解释了为何冷启动或监督预热对于重要性加权 KL 投影在实践中不可或缺，以及 DeepSeek-R1 和 o1 风格推理模型如何将测试时贝叶斯搜索与训练时 KL 摊销相结合。

点评: 一篇极具理论深度的”统一场论”之作，为理解当前各种大模型训练与推理范式提供了优雅的数学框架，有助于厘清近期许多看似矛盾的实证结果。

2. 全局蒸馏，局部适配：用于可扩展升级推荐的推理蒸馏与乘积型测试时训练

作者: Siliang Liu, Mohammad Ghasemi, Sapan Patel, Amin Banitalebi-Dehkordi | 分类: cs.LG 链接: arxiv.org/abs/2609.05363v1

升级推荐旨在识别保留客户购买意图的同时提供升级益处的高质量替代品。大语言模型（LLM）能够推理这类细微差别，但将它们直接应用于数亿产品对在操作上不可行。本文引入了一个两层框架，将 LLM 推理蒸馏到一个高效的非生成式学生模型中，并使其决策边界适应特定产品类型的升级标准。在第一层，检索增强的少样本 LLM 教师生成结构化关系标签和自然语言推理过程。这些推理过程通过对齐和对比目标监督一个紧凑的嵌入对分类器；在推理时，学生模型仅使用两个预计算的 768 维产品嵌入，无需 LLM 调用或文本生成。在固定的 8，352 对人类标注基准上，一个 15.5M 参数的四类推理蒸馏学生模型达到了 0.924 的 AUC（95% CI [0.918， 0.929]），而仅使用标签的学生模型为 0.912。在第二层，产品类型测试时训练（PT-TTT）使用少样本演示来优化冻结学生模型之上的轻量级类别特定适配器。PT-TTT 将 AUC 从 0.924 提高到 0.941，平均精度从 0.920 提高到 0.940。在 100K 对的代理目录上，单台八 GPU 机器上的蒸馏学生模型比直接 LLM 推理快约 5，000 倍，估计成本低 10，000 倍。

点评: 针对电商推荐场景中大模型落地成本痛点，提出的”全局蒸馏+局部适配”两级架构极具工程价值，在保持 LLM 推理能力的同时实现了数量级的效率提升。

3. 用于复杂临床诊断决策支持的结构化辩论-多智能体框架

作者: Chang Xia, Leilei Ouyang, Huimin Wang, Yong Zhao, Kang Li | 分类: cs.CL, cs.AI 链接: arxiv.org/abs/2609.05069v1

大语言模型（LLM）在医疗任务中展现出潜力，但其单轮问答形式并不能反映临床诊断的实际操作方式。因此，它们在复杂的诊断场景中仍然受限。我们开发了辩论-多智能体（DMoA）框架，这是一种新颖的多智能体框架，通过结构化的角色扮演交互来支持迭代诊断推理。基础模型和 DMoA 在 297 个罕见病病例和 1，719 个具有挑战性的病例上进行了评估。在两个数据集上，与 GPT-4o 基线相比，DMoA 将最可能诊断准确率提高了 10.21 个百分点，安全率提高了 11.36 个百分点。消融实验表明，这些提升并非仅仅因为使用了更多模型或更长输出，也反映了结构化工作流程的贡献。进一步分析考察了框架设计、基础模型选择和 token 预算对性能的影响。DMoA 在 4*2 结构、更强的基础模型和更大的 token 预算下表现更好。这些发现证明了 DMoA 在临床任务中的潜力，并建议进一步研究多智能体框架。

点评: 将”多智能体辩论”引入临床诊断，显著提升了复杂病例的诊断准确性和安全性，为 LLM 在严肃医疗场景中的应用提供了新思路。

4. UniMate：一个统一模型驱动多样化骨骼动画

作者: Linzhan Mou, Jiahui Lei, Zhiyang Dou, Chenyue Cai, Chaoyue Song et al. | 分类: cs.CV, cs.GR, cs.LG 链接: arxiv.org/abs/2609.05415v1

自动绑定技术的近期进展使得可制作动画的 3D 资产得以大规模生产，但生成驱动它们的运动仍然是一个瓶颈。现有的学习型动画师受限于拓扑结构：它们依赖于类别特定的模板，或在推理时需要针对每个骨骼进行微调和参考运动。我们提出了 UniMate，一个统一的基座模型，能够根据绑定的 3D 资产和文本提示，为任意骨骼合成关节运动，无需测试时优化或逐骨骼重训练。UniMate 引入了一个拓扑感知的扩散 Transformer，通过三种机制将骨骼拓扑整合到注意力中：(1) 来自成对关节关系和测地距离的图感知注意力偏置；(2) 一种谱旋转位置嵌入，通过图拉普拉斯算子将 RoPE 推广到任意运动树；(3) 一个从静态姿势骨骼进行注意力池化的全局拓扑调节器。我们还策划了 UniML3D 数据集，包含 13，006 个运动序列，涵盖双足、四足、鸟类、海洋、昆虫、蛇形和铰接刚体物体，并进行了统一的规范化处理和文本配对。在该数据集上训练后，UniMate 在质量、泛化和效率方面均优于最先进的基线，并支持零样本跨拓扑迁移、中间帧插入、扩展和文本引导编辑。

点评: 这是数字内容生成领域的一大突破，首次实现了对任意骨骼拓扑的零样本运动生成，极大降低了 3D 动画的生产门槛。

5. TIER：评估 LLM 安全行为威胁隐含性基准

作者: Thu-Hien Trinh-Thi, Hai-Yen Vong, Thanh-Ha Ung-Dung, Tram Ho | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2609.05117v1

当前的 LLM 安全基准在很大程度上依赖二元指标，忽略了模型如何响应具有不同威胁隐含性的有害提示。我们引入了 TIER，一个用于 LLM 行为安全评估的威胁隐含性基准。TIER 涵盖四个风险域和四个威胁级别，从明确的恶意请求到复杂的越狱攻击。响应使用六标签行为量表和两个独立的 LLM 评判者进行评估。对六个开源权重 LLM 的实验表明，安全行为随威胁级别逐渐演变，而不是直接从拒绝转变为服从。情境化提示产生最多样化的行为，而越狱攻击则揭示了最大的鲁棒性差距。此外，具有相似攻击成功率的模型可能表现出截然不同的响应分布，突显了需要行为感知的 LLM 安全评估。

点评: 打破了传统安全评测”非黑即白”的二元框架，引入威胁隐含性梯度，构建了更精细的行为评估体系，对提升 LLM 安全对齐的细粒度研究具有重要参考价值。

6. 一种模式约束语言模型：在不破坏局部学习稳定性的前提下优化机器人策略

作者: Chongwen Dong, Mithun Paul Saint-Germain, Pinjari Asif, Carlo R. daCunha | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2609.05133v1

本文讨论了在分散式系统中，异构复合机器人的导航问题，此时策略推理和局部控制工作在不同的更新层级。在一个 NetLogo-Python 实现中，三个机器人共享运动动力学，但使用不同的 LLM 后端。每个机器人独立地结合一个 LLM 策略代理、一个上置信界（UCB）bandit 和一个 Double Deep Q-Network（Double DQN）控制器；没有中央 LLM 生成团队动作。LLM 推理被限制在轮次级别的策略生成和优化，而非时钟级别的动作选择。机器人通过包含策略、结果和学习反馈的共享轮次摘要进行跨 LLM 通信。UCB 执行优化模式选择，策略条件化的 Double DQN 则根据导航变量、活动策略参数和 LLM 动作先验执行时钟级别的动作选择。四种配置各进行了 30 轮评估。在固定模拟中，完整配置在所有 90 个相关的机器人-轮次记录中均成功达到目标，并实现了最低的中位完成时间（42 tick）和 P90（73.2 tick）；其中位时间比其他配置低 25.0–39.1%。

点评: 提出了一种新颖的”模式约束”式人机协作架构，通过分离不同时间尺度的决策层，有效解决了 LLM 引入对底层强化学习稳定性的干扰问题。

7. 超越共同购买关系：Allegro 平台上互补推荐的演进

作者: Aleksandra Osowska-Kurczab, Klaudia Nazarko, Eliška Kosturová, Lidia Wojciechowska, Michał Bień | 分类: cs.IR, cs.AI, cs.LG 链接: arxiv.org/abs/2609.05063v1

当客户将专业相机加入购物车时，系统应该推荐匹配的镜头、通用的三脚架还是另一台相机机身？互补产品推荐对于构建完整的购物篮至关重要，然而标准模型往往难以区分仅仅是”一起购买”的物品与真正”协同工作”的物品。在本文中，我们介绍了 AlleCompanion：一个部署在 Allegro.com 的生产级检索框架，它将有噪声的行为信号转化为精确的语义兼容性。我们通过结合数据级过滤启发式方法和类别约束的双塔架构，来减轻大规模共同购买流量中固有的噪声。在该框架内，类别适配器在嵌入空间中引导模型，将候选集约束在逻辑上互补的边界内。由于在规模上建模真实的用户行为本身就很难，我们引入了 ComCat，一个多源互补类别映射。ComCat 作为一个转换层，将有噪声流量中的有意义模式提炼为可维护且可控的解决方案，集成了专家规则、人在回路反馈、基于 LLM 的推理和统计挖掘。我们的实验结果表明，将显式的类别级约束与神经架构相结合，能有效过滤共同购买噪声，提供满足真实世界用户需求的推荐。该框架每月服务超过 2000 万活跃用户，在自然发现方面显著提升了归因 GMV，并在赞助位驱动了可观的收入增长。

点评: 来自欧洲最大电商平台之一的生产级系统论文，展示了如何将 LLM 推理、专家规则与神经模型结合，解决推荐系统中”买了≠互补”这一核心难题。

8. AxQM：有限维量子力学库中形式化证明合成的教科书级基准

作者: Weichen Winston Yin, Jacob M. Taylor, Dirk R. Englund, Frank H. L. Koppens | 分类: quant-ph, cs.AI, cs.LO 链接: arxiv.org/abs/2609.05157v1

在证明助手中形式化数学——机器检查每个定义、陈述和证明——树立了新的严格性标准。大语言模型现在能够自主地进行形式化，甚至能达到整本教科书的规模。我们将这种严格性标准引入物理学，因为理论论证带有很少被完全陈述的理想化，任何逻辑缺口都可能对相互依赖的结果产生级联效应。为了评估物理学的自动形式化系统，我们发布了 AxQM，这是一个包含 1，019 个可被内核检查的证明合成任务的数据集，涵盖了 Nielsen 和 Chuang 的教科书《Quantum Computation and Quantum Information》中的 479 个条目。这些任务使用一个自定义的有限维量子力学 Lean 库表述。按任务数量计算，它是物理学中最大的证明合成基准，是此前纪录的四倍。AxQM 源自对该教科书形式化部分近乎完整的表述，因此每个任务都保证有解，但我们将其保密。该基准的评分由 Lean 内核确定性地完成，检查证明是否可编译、其中或其依赖的任何声明中是否包含 sorry，以及是否引入了新的公理。

点评: 将形式化验证的严格性标准带入了物理学，构建了迄今最大规模的物理证明合成基准，为 LLM 在科学推理的可靠性验证方面开辟了全新赛道。

本内容由 AI 辅助生成，论文信息来源于 arXiv。