大模型强化学习掩码、多模型辩证校准与长时程智能体记忆
精选 8 篇 AI/ML 论文，涵盖LG, AI, CL, CV, RO, eess.SY, stat.ML, math-ph, math.DS, math.PR, math.SP, CR, SD, eess.AS等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 强化学习中的离策略控制、多模型委员会的可校准聚合、组织级智能体的长期记忆、多模态模型的空间引导自蒸馏、具身智能体的自主进化、多模态采样的理论局限、少样本恶意软件检测以及高效音频识别等方向。
1. CARM：面向 LLM 强化学习的取消感知响应掩码
作者: Yafei Zhang, Songshuo Lu, Sicong Liao, Zhi Chen, Yaohua Tang | 分类: cs.LG, cs.AI, cs.CL 链接: arxiv.org/abs/2610.02039
近年来，强化学习（RL）在大语言模型（LLM）后训练中被广泛采用，在数学推理和代码生成方面取得了显著提升。然而在实际系统中，策略更新以及 rollout 引擎与训练引擎之间的差异，会使采样得到的响应变成离策略（off-policy）。序列级掩码通过判断整条响应是否应参与优化来缓解这种不匹配，常用规则是取采样 token 概率比的长度归一化几何平均。但这类带符号的对数比会在不同位置上相互抵消，从而掩盖显著的双向策略漂移。我们提出取消感知响应掩码（CARM），这是一种序列级掩码方法：在平均之前先对每个 token 的对数比取绝对值，防止相反方向的概率变化相互抵消。我们证明，被接受的响应满足一个联合约束：落在规定区间之外的采样 token 比例，以及超出边界的平均对数距离，都被同时限制。在数学推理和代码生成任务上的实验表明，CARM 在 AIME 2024/2025/2026 与 BeyondAIME 上的 mean@16 相比几何平均掩码最多提升 3.13 个百分点，在四个代码基准上的平均 pass@1 相比最强基线提升 2.88 个百分点。这些结果支持 CARM 作为一种有理论依据且有效的 LLM 强化学习响应级离策略控制方法。
点评: 一个看似微小却切中要害的修正——把几何平均改为先取绝对值再平均，避免正负对数比互相掩盖。理论约束与多基准实测提升兼备，对正在做 RL 后训练的团队有直接参考价值。
2. 数招式、称声音：面向持续对抗下可校准多 LLM 委员会的贝叶斯辩证论证
作者: Ionel Eduard Stan, Paolo Napoletano | 分类: cs.AI 链接: arxiv.org/abs/2610.02005
多 LLM 委员会让多个大语言模型就同一问题进行审议，并共同给出答案与置信度估计。随着这类系统越来越多地用于推理任务，其置信度应当表示”答案正确的校准概率”，且在部分智能体持续不可靠时决策仍应保持稳健。现有委员会聚合方法在这两方面都不尽人意：其置信度衡量的是”决断程度”而非”正确性”，且无法识别或折损持续不可靠的智能体。我们提出贝叶斯辩证论证（BDA），把委员会中的”类型化招式”——谁提出、谁质疑、谁让步了哪个答案——视为经典标注者模型的观测，并为每个智能体引入独立可靠性。这一形式化将多智能体审议重新表述为可靠性估计问题，利用审议轨迹在持续对抗行为下推断智能体可靠性。通过按推断出的可靠性对证据加权，BDA 能在候选答案上给出校准的后验概率，并能让持续不可靠的智能体被”反转”而非仅仅被票数压制。在二分类与多分类基准上，BDA 在零额外成本（无需额外 LLM 调用）的委员会聚合方法中取得了最佳校准效果，在持续对抗联盟下提升了稳健性，同时在干净设置下仍具竞争力。
点评: 把”置信度”从决断度重新定义为正确概率，并用标注者模型统一处理可靠性推断与聚合。零额外 LLM 调用这一点尤其实用，适合落地到多模型投票类系统。
3. Mem++：面向长期组织级 LLM 智能体的非破坏性记忆
作者: Ahmad Yehia, Aly O. Abdelkareem, Islam Ahmed, Hesham Omran, Khaled Alashmouny 等 | 分类: cs.CL, cs.AI 链接: arxiv.org/abs/2610.02002
大语言模型（LLM）智能体如今已参与组织工作，在这些场景中，众多作者会在数月内通过多份文档记录决策。由于修订后的决策往往以新文档而非编辑的形式出现，回答问题就需要知道某个时间点究竟哪一版有效。然而，多数记忆系统在写入时就对记录进行压缩：把每份文档蒸馏为事实、笔记或图边，从而在问题被提出之前就限定了可回答的范围。为此，我们提出 Mem++，一种从”写入时蒸馏”转向”读取时选择”的非破坏性记忆框架。Mem++ 完整保存每份文档及其日期与作者，写入时不调用任何生成模型。读取时，它只检索日期早于问题所涉时间点的文档，并融合词法与语义排序。与覆盖旧版本的方案不同，Mem++ 保留历史版本，把取舍交给回答模型。在组织级基准 OrgMemBench 上的评估表明，Mem++ 在两个回答模型上分别超越最强记忆基线 8.0 至 13.1 分。使用 gpt-4.1-mini 时，它取得最佳综合得分，比 RAG 高 2.6 分。此外，Mem++ 在 LoCoMo 上取得最佳 LLM 评判均分，在 LongMemEval-S 上排名第二，仅次于其自身实体图变体。基准评估代码见 https://github.com/AIDAChip-Inc/mem-plus-plus。
点评: “写入不蒸馏、读取再选择”这一反转直击组织记忆的核心痛点——决策版本随时间演进。非破坏性存储配合时间过滤，为长期智能体记忆提供了一条简单但有效的路线。
4. Where-OPD：基于合成场景的空间引导多模态 LLM 在策略自蒸馏
作者: Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris | 分类: cs.CV, cs.AI, cs.CL, cs.LG 链接: arxiv.org/abs/2610.02117
在策略自蒸馏近来成为提升语言模型推理的有效手段：用一个冻结的或 EMA 版本的自身作为教师，并向其提供特权信息来监督学生。然而，其在多模态大语言模型（MLLM）上的应用仍鲜有探索。已有方法利用特权视觉信息（如与问题对应的图像裁剪）来提升细粒度感知，但收益仅限于受益于这种视觉”放大”的任务，且需要人工标注的定位数据或外部教师模型。我们为 MLLM 提出一种不同形式的在策略自蒸馏：向教师提供文本化的、具有空间定位的引导，指出与查询相关的视觉元素。我们使用程序化生成的场景，其物体身份与空间坐标自动可得，从而实现可扩展且无需标注的后训练。教师借助这种空间引导定位并整合来自多个相关图像区域的证据，学生则仅凭图像和问题学习复现该行为。我们的方法在多个模型上持续提升计数、文档与图表理解基准的表现。重要的是，尽管后训练仅使用合成场景，所得提升可迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 与 MME-RealWorld 上平均性能提升 3.23 个百分点。这些结果表明，空间定位的特权信息可通过在策略自蒸馏诱导更广泛的感知能力，实现超越后训练所用任务与数据分布的合成到真实迁移。项目主页：https://github.com/sirkosophia/Where-OPD
点评: 用合成场景的空间坐标作为教师的”特权文本提示”，绕开了人工定位标注和外部教师的依赖。合成到真实的 3.23 点迁移增益是本文最有说服力的证据。
5. 重建、练习、走向真实：面向具身智能体的引导式自我改进
作者: Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye 等 | 分类: cs.RO, cs.AI, eess.SY 链接: arxiv.org/abs/2610.02204
要在多样任务上构建可靠的机器人能力，需要大量人力来开发与维护技能、设计奖励，并将感知与控制集成。我们提出”重建、练习、走向真实”（RPG）框架，可在不更新模型权重的前提下自主改进机器人执行系统。RPG 首先在离线数据集中识别可操作的能力，并在仿真中构建相关的练习任务。练习过程中，RPG 利用执行反馈、仿真器特权状态以及可用数据集视频来诊断失败，据此开发新的可复用符号技能、精炼已有技能并修订系统提示。跨任务评估会测试各个候选改动以及合并后的修订，通过后才保留复用。测试时，一个多模态 LLM 使用最终的系统提示与技能库来协调感知与机器人控制。在 22 个操作任务的留出初始条件下，RPG 将任务成功率从首轮练习后的 28.6% 提升到 15 轮后的 95.0%，优于所有评估基线，包括 ASPIRE（75.5%）与由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。经过统一的标定与硬件适配流程后，冻结系统在全部 30 次实物试验中均成功，涉及三个任务各十次。项目网站：https://rpg-robot.github.io/
点评: 不更新权重、靠技能库与提示的”经验积累”实现自主进化，15 轮练习把成功率从 28.6% 拉到 95%，且实物试验全胜。这种”离线诊断 + 仿真练习 + 真实迁移”的闭环对机器人落地很有启发。
6. Wasserstein 梯度流与前向扩散不足以实现多模态采样
作者: Daniel McBride, Pratik Khandagale, Cristina Garcia-Cardona, Yen Ting Lin | 分类: stat.ML, cs.LG, math-ph, math.DS, math.PR, math.SP 链接: arxiv.org/abs/2610.02081
基于 Wasserstein 梯度流（WGF）与前向扩散过程（FODP）的采样算法大量涌现，且常伴随”以指数速度收敛到目标分布”的理论保证。这些保证常被解读为此类方法能高效采样复杂多模态分布，并有实证结果佐证。本文认为这种解读具有根本性的误导。借助 Jordan-Kinderlehrer-Otto（JKO）格式与 Otto 微积分，我们证明典范的 WGF 采样动力学与过阻尼前向扩散具有相同的密度演化，因此继承了非平衡统计物理中早已熟知的亚稳态与慢混合现象。我们用两个互补工具——谱分析与平均首次通过时间（MFPT）分析——剖析该采样器族，并表明分离良好的多模态会因小谱隙与稀少的跨模态跃迁而诱导指数级长的混合时间。对于本文所研究的常用对数线性退火调度，我们发现引入中间分布并不能消除总输运时间的指数标度。这一局限是结构性的而非实现细节：纯局部、梯度驱动的输运机制在跨越分离良好的模态传输概率质量时，可能需要指数级长的时间。我们认为这代表了标准形式下 WGF 与 FODP 采样方法的根本局限，并由此呼吁未来发展真正非局部的机制以实现高效多模态采样。
点评: 一篇泼冷水的理论文章：指出大批 WGF/前向扩散采样器共享同一密度演化，因而继承指数级慢混合。对有理论追求的采样方法研究者而言，这是一记必要的提醒。
7. 恶意软件检测的混合方法：将少样本模型无关元学习与自编码器相结合
作者: Emmanuela Andam, Yasir Abbas Zaidi, Abdelali Hadir, Emmanuel Grant, Naima Kaabouch | 分类: cs.CR, cs.AI, cs.LG 链接: arxiv.org/abs/2610.01949
勒索软件已成为重大网络安全威胁，其事件频率与影响在关键行业持续上升。这类攻击通常通过钓鱼邮件、恶意下载或利用软件漏洞获取系统访问权限。一旦进入，恶意软件便加密文件并索取赎金（常以加密货币支付）以换取解密密钥。传统检测方法往往难以应对新颖或稀缺样本，使系统暴露于风险之中。为应对这些挑战，本文提出一种混合深度学习框架，将自编码器特征提取器（AFE）与模型无关元学习（MAML）分类器结合，用于少样本恶意软件检测。AFE 生成紧凑的隐特征以降低噪声与维度，MAML 分类器则利用少量标注数据快速适应新威胁。在 Ransomware Dataset 2024 上进行的实验证明了该框架在二分类任务上的有效性。在一至五十样本的设定下，所提模型始终取得高准确率、F1 分数与马修斯相关系数，即使在极端稀缺条件下也保持可靠分类。这些结果凸显了模型在有限数据场景下的稳健性与适应性，展示了将特征提取与元学习结合以增强恶意软件抵御能力的潜力，尤其在医疗、制造与公共基础设施等网络攻击会造成重大运营与财务损失的领域。
点评: 自编码器降维 + MAML 快速适应的组合，针对的正是勒索软件样本稀缺这一现实瓶颈。在 1-shot 到 50-shot 全区间保持稳定，工程落地价值明确。
8. LAST：循环音频频谱图 Transformer
作者: Haider Al-Tahan, Sean O’Brien, Anastasia Razdaibiedina, N. Apurva Ratan Murty | 分类: cs.SD, cs.LG, eess.AS 链接: arxiv.org/abs/2610.01926
加深 Transformer 模型能提升识别性能，但代价可观：每增加一层就需要更多参数，使计算效率低下。我们追问：额外的处理是否可以集中于整合已计算出的特征？循环音频频谱图 Transformer（LAST）先处理所有 token，再复用相同的块，在固定的音频特征上仅对类别 token 进行精炼，从而使后续轮次开销很低。在 AudioSet 上，十轮 LAST 取得 0.345 的平均精度均值，相比十二层顺序 Transformer 相对提升 2.1%，同时参数减少 49.4%、乘加运算减少 42%、实测吞吐提升 9.8%。在分别训练的模型中，把轮数从二增加到十可在仅增加 1.2% 计算量的情况下提升准确率。进一步评估显示，模型对时间掩码及多种音频增强具有更好的稳健性，并在音乐、环境与事件声音的分类任务上具有更好的泛化能力。
点评: 把”加深”换成”循环精炼类别 token”，用近一半参数换来更高精度与吞吐。这种参数复用思路在音频以外的模态同样值得尝试。
本内容由 AI 辅助生成，论文信息来源于 arXiv。