大模型语义推理、智能体信用分配与代码漏洞修复

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 语义推理与强化学习后训练、智能体框架自演化、多模态医疗预测、代码安全修复评测、稀疏高斯过程、生成式 AI 策略治理以及离线策略评估等方向。

1. 面向自然语言推理的语义抽象：发现与补偿大语言模型语义知识与推理缺口的方法论框架

作者: David Torres-Moreno, Jorge Hermosillo-Valadez | 分类: cs.CL 链接: arxiv.org/abs/2609.26610

尽管大语言模型（LLM）在许多 NLP 任务上表现优异，但在语义抽象方面仍面临严峻挑战。本研究关注 LLM 如何在自然语言推理（NLI）中运用抽象语义知识——这需要复杂的语言能力来解读隐含意义、上下文概念关系以及词与短语之间的语义联系。为此，我们提出一个方法论框架，用于在更高抽象层级上构建新的语义知识，并将其定义为 NLI 中的语义兼容性与不兼容性。在该框架下，前提与假设之间词汇-语义关系的含义被重新配置，以形成更灵活的语义网络，从而诱导 LLM 产生不同的推理路径。这些新路径呈现出稳定的响应模式，使模型能够就单一答案达成一致。结果表明，我们的方案能够发现并补偿 LLM 在 NLI 中的语义知识缺口，在准确率上取得显著提升，部分模型提升超过 10%，尤其在不蕴含（non-entailment）类别上表现突出。必须强调的是，LLM 需要的是结构化知识而非更多数据来弥合推理缺口。我们的混合方法将注意力引向被忽视的词间关系，使模型能够综合缺失信息。我们认为，未来不在于增大模型规模，而在于构建一个模仿人类思维灵活性的语义脚手架。希望本方案能推动更鲁棒的智能体与可解释推理的发展，引导 AI 走向可靠的语言理解。

点评: 论文提出”语义脚手架”而非”堆数据、堆参数”的路线，用语义兼容/不兼容重构推理路径，在非蕴含类别上提升超 10 个百分点，对 NLI 的表示与评测思路都有启发。

2. PACT：从信用分配到评论家对齐

作者: Jiayan Fu, Hang Xu, Yong Zhang, Zhaokai Luo, Yao Hu 等 | 分类: cs.LG, cs.AI 链接: arxiv.org/abs/2609.26355

强化学习已成为大语言模型（LLM）后训练的核心环节，但 token 级信用（credit）尚缺乏被普遍接受的数学定义，使其与常用训练信号之间的关系模糊不清。我们提出三条正则性条件——完备性、前缀一致性与中立性，并证明它们唯一确定了 token 级信用。这一刻画为解释现有算法中的各类现象提供了统一基础，并指导了改进的 actor-critic 训练流程设计。在该视角下，On-Policy Distillation（OPD）中的理想教师充当隐式评论家，其产生的期望策略梯度与 token 级信用诱导的梯度成正比。响应级 REINFORCE Leave-One-Out（RLOO）信号尽管粒度更粗，却与 token 级信用的期望策略梯度贡献相匹配。我们进一步在有界结果奖励下建立了近似信用稀疏性，并证明广义优势估计（GAE）中的中间评论家误差可能与底层信用相当。这些发现促使我们提出 Policy Aligned Critic Training（PACT），它采用”先 actor 后 critic”的更新顺序，对评论家训练施加重要性采样校正，使评论家与更新后的策略更好对齐。在智能体数学推理任务中，PACT 在四个基准上取得 72.87% 的平均准确率，分别超过 GRPO 和 PPO 8.80 和 13.16 个百分点。在 SWE-bench Verified 上，PACT 通过率达 67.4%，分别超过 PPO、GRPO 和 SAO 2.4、2.0 和 3.8 个百分点。

点评: 给 token 级信用一个公理化定义并由此推导出 PACT，理论上终结了”哪种 RL 信号更对”的模糊争论，工程上在数学推理与 SWE-bench 上都拿到了实打实的提升，值得 RLHF 方向跟进。

3. 生长式骨架而非上下文：从无策略脚手架到可复用专家智能体

作者: Laizhen Li, Jiarui Li, Juanjuan Zhao, Kejiang Ye, Ye Li 等 | 分类: cs.AI, cs.SE 链接: arxiv.org/abs/2609.26760

大语言模型（LLM）智能体常需处理一连串相关任务，但标准骨架（harness）会反复要求模型在每个任务的上下文中重建相同的控制决策。我们研究能否用任务反馈将重复出现的控制逻辑转化为可复用的可执行代码，而把 LLM 调用保留给任务专属的语义推理。我们提出 Growing Harness，一种由失败引导的训练范式，它从一个无策略脚手架出发学习智能体骨架本身——该脚手架暴露固定的模型与工具接口，但不包含任何任务求解控制器。函数级执行轨迹将每次失败定位到一段有界代码面上，优化器联合修复一段失败窗口，而”成功优先”的留出集门控会回滚损害既有能力的修复序列。被接受的编辑累积在同一个共享骨架中，使其控制结构从任务反馈中自然涌现。在 BrowseComp-Plus 与 WebArena-Verified 上，覆盖 4B 至 120B 参数的三款部署模型，Growing Harness 在六种基准-模型组合中的五种取得最高平均成功率，第六种仅落后最佳均值 0.7 个百分点。相对于工具调用型智能体，它将 LLM 调用减少 76.0–91.8%，部署智能体推理成本降低 74.4–98.6%。在 WebArena-Verified 上，其成功率在不同模型规模间保持在 44.7–45.3%，而工具调用型在 4B 模型上跌至 6.7%。消融实验显示，轨迹局部编辑、联合修复与门控回滚各自都能提升最终成功率。这些结果表明，持续的程序生长可以把重复性控制从模型上下文迁移到低成本代码中，从而产出可复用的专家智能体，并使较小的部署模型依然保持有效。

点评: “把控制流写进代码、把语义推理留给模型”的思路，用 76%–91% 的调用削减换来了成功率不降反升，对智能体降本增效极具参考价值，尤其是小模型场景。

4. MMAP：面向纵向阿尔茨海默病预测的多模态缺失感知预训练

作者: Fiona Kekwick, Matthew Baugh, Bernhard Kainz, Paul M. Matthews, Wenjia Bai | 分类: cs.CV, cs.LG 链接: arxiv.org/abs/2609.26617

临床决策高度依赖对疾病进展轨迹的预测，而患者健康状态由多模态医疗数据刻画。AI 在从多模态医疗数据中学习有用表示、预测疾病进展并辅助临床决策方面潜力巨大。然而，预测性 AI 模型的开发受制于医疗数据中常见的模态缺失与表格数据不完整问题。此外，仅靠疾病标签可能只能为高维多模态数据的表示学习提供有限的监督信号。为此，我们提出 MMAP，一种新颖的多模态缺失感知对齐预训练方法，用于从残缺数据中学习图像-表格表示。图像编码器通过高效 sigmoid 对比学习结合生成式重建进行预训练；表格编码器建立在表格基础模型之上；缺失 token 生成器使两个编码器能够接受不完整数据作为输入，从而让模型对模态缺失（无论缺图像还是缺表格数据）具有鲁棒性。我们在两项富有挑战性的阿尔茨海默病纵向临床任务上评估所学多模态表示的临床价值：预测疾病阶段转换与预测淀粉样蛋白状态。所提方法优于强多模态与单模态基线。

点评: 真实临床数据几乎不存在”模态齐全”的理想情况，MMAP 用缺失 token 生成器把不完整输入变成常态而非异常，对纵向队列研究有直接落地意义。

5. 基于 LLM 的代码漏洞修复中的指标失效：一项实证研究与变更感知筛选法

作者: Om Nepal, Sushant Aryal, Oluseyi Olukola, Nick Rahimi | 分类: cs.SE, cs.AI, cs.CR 链接: arxiv.org/abs/2609.26749

大语言模型（LLM）越来越多地被用于自动修复 C/C++ 安全漏洞，而编译率常被当作进展的代理指标：即生成的补丁能否通过编译。我们认为，对于单函数漏洞修复而言，编译率在科学上是不可靠的指标，并用五组受控实验加以论证——实验覆盖 Big-Vul 中 203 个易受攻击函数、三款开源代码 LLM（350M 至 6.7B 参数）以及三种提示策略。编译率（i）对一项能实质改善生成代码的干预几乎不敏感；（ii）主要受评测框架与数据集假象支配而非模型质量，约 64% 的编译失败不能归因于模型，且这一比例在各模型间几乎不变；（iii）在仅改变一个编译器标准标志时，同一批补丁的编译率会变动 1.8 至 2.7 倍，且零回退；（iv）对三个模型的排序与参考相似度指标完全相反；（v）作为优化目标时会奖励”非修复”，因为编译器反馈循环会抬高编译率，同时降低与人工修复的相似度，人工检查还发现新通过编译的输出中存在删除式与占位符式的假修复。自然的备选方案——整函数 CodeBLEU——同样失效：把易受攻击的输入原样复制就能超过所有模型。我们还考察了 diff_F1，一种只对编辑区域打分的变更感知筛选法。它对无操作补丁给出严格零分，对我们观察到的一部分（并非全部）删除式作弊补丁给出接近零分，同时仍能认可真正的部分编辑，因此可作为深入执行级分析之前的廉价筛选。它不是修复质量指标，我们也报告了它的不足之处。我们的发现呼吁对基于 LLM 的漏洞修复采用变更感知、执行落地的评测方式。

点评: 把”编译率”这一被广泛使用的代理指标拆得明明白白——连原样复制输入都能赢过所有模型，对所有做代码 LLM 评测的人都是一记警钟。

6. 稀疏高斯过程回归中的基函数选择

作者: Marnix Van Soom, Ivan De Boi | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2609.26624

稀疏高斯过程通过在输入空间上以固定基 $\{φ_j\}$ 展开核函数，实现 $O(N)$ 推断。给定计算预算 $M \ll N$ ，实践者惯常做法是把基截断为前 $M$ 项。然而，形式化上没有任何东西阻止我们只挑选那些对当前数据真正重要的 $M$ 个基函数。这样可以避免把预算花在没有信号的基函数上，但需要一个对候选基函数排序的准则。我们提出三种源自基函数选择问题信息论视角的准则，每个准则对应选择时刻不同的知识状态：无数据状态、无先验状态，以及介于两者之间的状态。随后我们在六个 UCI 回归基准上、跨三个基族——希尔伯特空间高斯过程（HSGP）、变分傅里叶特征（VFF）与变分诱导球谐函数（VISH）——研究截断与选择策略的表现。我们观察到，无数据准则是安全的默认选择，在 HSGP、VFF 与 VISH 上均能匹配或优于截断，其中对 VISH 收益可观，并优于该基族近期提出的一个选择启发式。数据感知的无先验准则与中间准则则专门为 HSGP 带来相对截断的显著收益，而 HSGP 正是三族中实践中最广泛使用的一族。

点评: 一个简单但被长期忽视的提问——为什么要按顺序取前 M 个基而不是挑最有用的 M 个？三种信息论准则给出了可操作的答案，HSGP 用户可直接受益。

7. 从对齐到访问控制：生成式 AI 策略执行框架

作者: Nathalie Baracaldo | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2609.26682

生成式 AI（GenAI）应用蓬勃发展，用户可以与大型语言模型对话，也可以创建智能体代其执行各种任务。该领域能力演进的速度极快，而安全与防护则退居其次。遗憾的是，安全机制演进缓慢已导致真实事件发生。策略（policy）使应用能够定义期望行为，因此是构建安全合规系统的基石。然而，对不同的实践者而言”策略”含义各异，造成概念混淆与彼此割裂的方案，难以满足合规要求。本文对 GenAI 应用中的策略执行做了一次”好的、坏的和丑的”全景巡览。我们提出一套方法论，系统性地分析与剖析现实中已有的策略定义与执行方法。基于这一有原则的分析，我们给出建议并向社区发出行动呼吁。本文是作者 Nathalie Baracaldo 在 USENIX Security 2026 Enigma 演讲《从对齐到访问控制：GenAI 策略执行的统一视角》的配套扩展。

点评: 把”对齐”与”访问控制”两条长期平行的话语拉到同一框架下，对正在搭建企业级 GenAI 合规体系的团队来说，是一份难得的系统性梳理。

8. 面向离线策略评估的最优序贯标注

作者: Woojin Chae, Ezinne Nwankwo, Haitong Qin, Angela Zhou | 分类: stat.ME, cs.LG, stat.ML 链接: arxiv.org/abs/2609.26707

离线强化学习与离线策略评估（OPE）在部署之前，基于回溯收集的数据评估动态治疗规则。在近期的 AI 应用中，状态与奖励信息以复杂文本或图像形式记录，而 LLM-as-a-judge 等新技术虽可标注，却带有未知偏差；专家标注虽然可得，但成本更高。例如，用廉价但不完美的分类器做安全分类，对比昂贵的专家复核。我们展示了如何通过带缺失奖励的双稳健 OPE，把有限的真实标注预算用在刀刃上，并针对序贯离线策略评估优化方差最优的标注概率——其中目标策略价值由已标注数据估计得到。我们刻画了序贯前向单调标注协议下的最优标注概率，并给出可行的批自适应实现。本工作源于与一家无家可归者服务非营利组织的合作，该组织长期为个人撰写个案记录（casenotes）。我们的方法可用于从个案记录数据中解锁可信推断，并回答新的推断性问题：例如，随时间扩大外展投入如何影响住房申请进展与住房安置改善？在模拟实验以及两个真实数据集——该非营利组织的个案记录与 LMArena 的人类偏好投票——上，我们在标注预算达到全量 40% 及以上时，住房安置的 RMSE 降低 34–65%，住房申请进展的 RMSE 降低 17–68%；在 LMArena 上，每一个预算档位都降低 55–62%。

点评: 把”贵专家标注”与”廉价 LLM 评审”的取舍形式化为方差最优的序贯标注问题，并在真实社会服务数据上验证，是 OPE 与数据标注经济学的一次务实结合。

本内容由 AI 辅助生成，论文信息来源于 arXiv。