大模型信念状态、选择性弃权与多智能体系统设计
精选 8 篇 AI/ML 论文，涵盖LG, CL, AI, CV, SE, RO, MA, HC等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 上下文学习机制与推理效率、模型自省与选择性回答、视觉 Transformer 可解释性、代码克隆检测、具身智能工程平台、多智能体系统模型选择以及人机协作中的元认知监控，兼顾理论洞察与工程落地。
1. 大语言模型在上下文中发展出信念状态几何结构
作者: Daniel Balcells, Andrew Jun Lee, Chirag Rastogi, Paul M. Riechers, Adam Shai et al. | 分类: cs.LG, cs.CL 链接: arxiv.org/abs/2609.17376
基于下一 token 预测训练的大语言模型（LLM）展现出卓越的上下文学习（ICL）能力，但支撑 ICL 的内部表征仍缺乏深入理解。本文在受控设定下研究这一问题：向 LLM 输入由隐马尔可夫模型（HMM）生成的数据，并探测其对应的信念状态——即在给定已观测 token 历史条件下，HMM 隐状态的后验分布。研究覆盖六个开源 LLM 与 40 个具有非平凡信念结构的 HMM，发现信念状态可从残差流激活中线性解码，探针 峰值在 0.83–0.99 之间，横跨不同 HMM 与 LLM 组合，且出现在从早期到后期的各层中。为验证功能相关性，作者通过 patch 与 steering 直接干预探针识别出的子空间，下游预测质量与未干预模型相当，而对照组性能显著下降。这些结果从表征层面证明：开源 LLM 的 ICL 近似于在上下文推断出的生成模型上进行最优贝叶斯预测。更广泛地说，该发现将”输入分布结构决定激活几何”的既有结论，从显式训练于 HMM 数据的玩具网络推广到了生产级 LLM。
点评: 把”ICL 等价于隐式贝叶斯推断”从猜想推进到可干预验证的表征证据，是理解 LLM 能力来源的一块关键拼图。
2. SKIP：面向简洁推理的自知识引导逐步偏好学习框架
作者: Qinhong Lin, Yuhao Zhang, Yinglun Feng, Zhongliang Yang, Linna Zhou | 分类: cs.AI 链接: arxiv.org/abs/2609.17019
尽管思维链（CoT）推理已被证明有效，但它常导致”过度思考”，带来计算开销、推理延迟，甚至使大语言模型性能下降。现有简洁推理框架在压缩输出长度的同时，往往显著牺牲准确率。本文提出 SKIP——一个自知识引导的逐步偏好学习框架。SKIP 首先通过轻量微调调整模型输出风格，随后引入精心设计的知识探测机制，引导模型在每一个推理步骤输出答案。基于中间步骤的正确性，作者构建偏好数据，利用 DPO 引导模型走向更高效且正确的推理。实验结果表明，该方法在有效压缩推理长度的同时缓解了微调后的性能下降，并在分布外数据集上展现出强泛化能力。作者还针对框架中各组件参数开展了消融研究。
点评: “边推理边自问是否该收手”的思路直击 CoT 成本痛点，逐步偏好数据构造比整体长度惩罚更精细。
3. LLM 何时应当拒答？面向选择性风险控制的自我提问链
作者: Ali Şenol | 分类: cs.CL, cs.AI 链接: arxiv.org/abs/2609.17516
大语言模型在事实支撑薄弱时仍能生成流畅回答。本文提出”自我提问链”（CoSQ），一种仅靠提示词实现的框架，使回答承诺以对”回答问题所需信息”的显式评估为条件。作者在 TruthfulQA 多项选择验证集（817 题）上，使用十一个开源与托管模型家族，在十七种条件下评估了三种 CoSQ 变体。在最终的平衡选项协议中，阈值 τ=0.90 的 Grounded-CoSQ 将平均无条件错误承诺率从思维链提示下的 13.1% 降至 8.9%，相对降低 32.1%，同时将已作答准确率从 86.9% 提升至 89.7%，且回答了 87.6% 的问题。两项改进在全部十一个模型及所有评估阈值下均成立。Critical-CoSQ 与 Adaptive-CoSQ 提供了相邻的工作点，覆盖率分别为 88.6% 与 86.5%，且均比基线更可靠。在 Natural Questions 短答案上的二次评估提供了收敛的开放形式证据。这些发现表明，当无支撑的承诺比转介或复核代价更高时，自我评估可以支撑显式、可调的回答或拒答决策。
点评: 仅靠提示词就实现可调的风险控制，且跨 11 个模型一致有效，为”何时该说不知道”提供了低成本落地方案。
4. ResLRP：残差抵消在视觉 Transformer 归因不稳定性中的作用
作者: Jim Berend, Reduan Achtibat, Daniel Schäffer, Alexander Binder, Wojciech Samek et al. | 分类: cs.CV, cs.AI, cs.LG 链接: arxiv.org/abs/2609.17152
视觉 Transformer（ViT）已成为大多数现代视觉模型的核心，但获得细粒度、忠实且稳定的输入归因仍然困难。层级相关性传播（LRP）已被适配到 Transformer 注意力机制，但在 ViT 中常产生噪声大、不忠实的解释。本文表明，缺失的关键在于对残差连接的处理：残差路径中的抵消效应导致归因爆炸。此外，作者发现这些抵消在 ViT 中比在语言 Transformer 中显著更强。为此，本文提出残差感知的层级相关性传播（ResLRP），这是 LRP 的一个简单扩展，其传播规则显式考虑残差分支中的抵消，严格保守，并可证明地约束相关性爆炸。因果通道级干预证实，驱动不稳定的是残差抵消本身，而非某种泛化正则效应。在覆盖监督、自监督、对比、层次化及多模态家族的 ViT 架构上，以及在地面真值可控的 FunnyBirds 基准上，ResLRP 在忠实度与定位两方面显著提升归因质量。最大的增益出现在现代视觉语言模型（VLM）上，定位提升 +27–29%，忠实度分数最高提升 3.4 倍。除基准之外，ResLRP 还能在输入空间中定位稀疏自编码器（SAE）特征，其残差放大度量可作为架构级诊断指标，预测归因在何处退化。
点评: 把归因不稳定归因于残差抵消这一具体机制，并给出可证明有界的修正规则，对 VLM 可解释性尤为实用。
5. 基于逐层非对比表示学习的 Type-IV 代码克隆检测
作者: Luciano Marchezan, Kevin Delcourt, Eugene Syriani, Houari Sahraoui | 分类: cs.SE, cs.LG 链接: arxiv.org/abs/2609.17338
软件克隆是指彼此相似或功能等价的代码片段，给维护、重构与缺陷检测带来重大挑战。Type-IV 克隆语义等价但语法可能不同，传统基于 token 或语法的方法尤其难以检测。近期机器学习方法依赖对比学习，需要精心设计负采样，且可能引入偏差。本文提出 LWVIC4Code，一种专为 Type-IV 克隆检测设计的非对比表示学习方法。它建立在方差-不变性-协方差正则化（VICReg）框架与既有逐层 VICReg 训练之上，引入跨层一致性正则与深度相关的层加权，逐层渐进地精炼 Transformer 各层的语义信息，从而产生稳健且具判别力的代码表示。作者在 Python（Kamino）与多语言（GPTCloneBench）数据集上，将 LWVIC4Code 与对比学习基线及零样本大语言模型进行实证比较。结果显示，LWVIC4Code 无需负样本即可达到相当或更优的性能，受益于逐层监督，并能从 Python 有效泛化到其他语言，尤其是 Java 与 C#。这些结果表明，非对比的逐层表示学习是稳健语义代码克隆检测的一个有前景的方向。
点评: 摆脱负采样这一对比学习的”阿喀琉斯之踵”，且能跨语言泛化，对工程实践中的克隆检测很有吸引力。
6. FluxVLA 引擎：面向具身智能的一站式 VLA 工程平台
作者: Yinhao Li, Weixin Mao, Zihan Lan, Jikun Rong, Qirui Hu et al. | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2609.17210
视觉-语言-动作（VLA）模型、世界-动作模型（WAM）与离线强化学习方法正在迅速拓展具身策略的设计空间，但将这些算法转化为可靠机器人系统，仍受制于碎片化的数据格式、训练栈、评测协议、推理运行时与特定具身的接口。本文提出 Engine——一个开放的、配置驱动的平台，将异构的具身策略组件转化为可复现的”从数据到部署”工作流。它并非又提出一个策略模型，而是为数据集、视觉-语言与世界模型、动作头、奖励或优势加权学习、分布式训练、仿真评测、优化推理与机器人操作器统一接口。该引擎进一步集成了组合式双臂仿真、可扩展的自动数据生成，以及模型解耦的人在回路 rollout、接管、纠正收集与奖励标注。为实现敏捷的物理执行，它结合了实时分块（RTC）与加速推理后端、轻量级远程 GPU 服务以及可配置的轨迹后处理。这些能力通过共享且可审计的契约，将离线学习、仿真验证、在线纠正与真机执行连接起来。因此， 瞄准的正是”有前景的具身学习算法”与”可复现评测及可靠部署”之间的工程瓶颈。代码已开源。
点评: 具身智能当前最大的痛点不在算法而在工程碎片化，这类统一契约与标准化接口的平台比又一个新策略更有长期价值。
7. 模型越多，问题越多：设计多智能体系统时如何最佳选择模型池
作者: Sara Vera Marjanović, Jiacheng Xu, Aleksandr Laptev, Grigor Nalbandyan, Erik Arakelyan et al. | 分类: cs.MA, cs.AI 链接: arxiv.org/abs/2609.17306
多智能体系统（MAS）组合多个模型输出以解决复杂推理任务。然而，尽管可用开源模型数量快速增长，关于如何从这一庞大模型池中选出最优候选者的研究仍然有限。本文在具有挑战性的科学基准上，系统评估了 8 种模型选择策略（包括模型规模、准确率与答案多样性），覆盖生成前（路由）与生成后（多数投票、LLM-as-a-judge）两类 MAS 架构。研究发现，理论上的 oracle 潜力与实际性能之间存在显著差距：扩大候选池规模常常使性能下降到低于表现最好的单一基座模型。作者发现，在同一模型家族内进行候选选择，是相对单模型取得最佳相对性能的策略。这些结果表明，向异构 MAS 中随意添加模型会引入系统不稳定性，凸显了模型选择作为多智能体系统关键设计决策的重要性。
点评: “堆模型反而变差”这一反直觉结论值得所有 MAS 构建者警惕，同家族选型优先是一条朴素但有效的经验法则。
8. 超越”ChatGPT 也会犯错”：为 AI 辅助工作中的元认知监控设计干预措施
作者: Manuel A. D. Santos, Paul Thiesse, Steeven Villa, Daniela Fernandes, Albrecht Schmidt et al. | 分类: cs.HC, cs.AI 链接: arxiv.org/abs/2609.17065
AI 辅助对用户提出了元认知要求：用户必须判断自身能力，也要判断系统能力。然而设计者缺乏比较性证据来决定该选择哪些干预、放置在何处，以及如何判断它们是否有效。本文从 11 位专家处征集了 30 种干预措施，并结合既有工作，将其组织为一个设计空间，维度包括时间（干预何时起作用）、层级（判断谁的能力）与来源（由谁提供监控线索）。一项被试间实验（N = 917；12 个规划与组织问题）将逐任务可靠性卡片、对比式回复、暂停点与问题后反思，与基线 LLM 助手进行比较。可靠性卡片与对比式回复降低了估计误差与过度自信，并提升了总体置信度区分度。未发现任务表现提升或条目内平均区分度的增益。作者贡献了一套共享词汇、一个设计空间，以及”被测量的监控与任务表现是可分离的设计目标”这一证据。
点评: 明确指出”让用户更会判断”与”让任务做得更好”是两个独立目标，为 AI 产品中的信任校准设计提供了实证依据。
本内容由 AI 辅助生成，论文信息来源于 arXiv。