LLM强化学习、多智能体辩论与长时记忆、多模态推理及具身智能
精选 8 篇 AI/ML 论文，涵盖LG, AI, CL, CV, RO, eess.SY, stat.ML, math-ph, math.DS, math.PR, math.SP, CR, SD, eess.AS等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 强化学习与多智能体协作、组织级记忆系统、多模态与具身智能、扩散采样理论、恶意软件检测以及音频理解等方向。
1. CARM：面向 LLM 强化学习的取消感知响应掩码
作者: Yafei Zhang, Songshuo Lu, Sicong Liao, Zhi Chen, Yaohua Tang | 分类: cs.LG, cs.AI, cs.CL 链接: arxiv.org/abs/2610.02039
近年来，强化学习（RL）在大语言模型（LLM）后训练中被迅速采用，在数学推理和代码生成方面带来了显著提升。然而在实际系统中，策略更新以及 rollout 与训练引擎之间的差异会使采样响应偏离策略（off-policy）。序列级掩码通过判断整条响应是否应参与优化来应对这种不匹配。常见的掩码规则使用采样 token 概率比的长度归一化几何平均，其带符号的对数比值会在不同位置之间相互抵消，从而掩盖显著的双向策略漂移。为此，作者提出「取消感知响应掩码」（CARM）：在取平均之前先对每个 token 的对数比值取绝对值，防止方向相反的概率变化相互抵消。作者证明，被接受的响应满足一个联合界，同时约束落在给定区间之外的采样 token 比例及其越界后的平均对数距离。在数学推理和代码生成实验上，CARM 在 AIME 2024/2025/2026 与 BeyondAIME 上的 mean@16 相比几何平均掩码最多提升 3.13 个百分点，并在四个代码基准上的平均 pass@1 相比最强基线提升 2.88 个百分点。这些结果支持 CARM 作为一种有理论依据且有效的序列级 off-policy 控制方法。
点评: 这篇论文指出了一个容易被忽视的细节——对数比值的符号抵消会让掩码”误放行”严重漂移的样本，用取绝对值的方式简单而有效地堵住了这一漏洞，并配有理论界，工程落地价值明确。
2. 数招数，称声音：面向持续对抗下校准多 LLM 议会的贝叶斯辩证论证
作者: Ionel Eduard Stan, Paolo Napoletano | 分类: cs.AI 链接: arxiv.org/abs/2610.02005
多 LLM「议会」让多个大语言模型就某一问题展开审议，并给出答案及置信度估计。随着这类系统越来越多地用于推理，其置信度应当代表校准后的「正确概率」，并且在部分智能体持续不可靠时决策仍应保持稳健。现有议会聚合方法在这两方面均告失败：其置信度估计衡量的是决断程度而非正确性，也无法识别或降权持续不可靠的智能体。作者提出贝叶斯辩证论证（BDA），将议会中带有类型的动作——谁提出、质疑或让出了哪个答案——视为经典标注者模型在「逐智能体可靠度」下的观测。该形式化将多智能体审议重构为可靠度估计问题，利用审议轨迹在持续对抗行为下推断智能体可靠度。通过按推断出的可靠度对证据加权，BDA 既能给出对候选答案的校准后验概率，又能让持续不可靠的智能体被”反转”而非仅仅被票数压倒。在二分类与多分类基准上，BDA 在零额外成本（无需额外 LLM 调用）的议会聚合方法中取得最佳校准，并在持续对抗联盟下提升稳健性，同时在干净场景中保持竞争力。
点评: 把多模型审议形式化为标注者可靠度推断问题是个漂亮的角度转换，尤其”反转不可靠智能体”的思路比简单投票更有原则，且不需要额外推理开销。
3. Mem++：面向长期组织级 LLM 智能体的非破坏性记忆
作者: Ahmad Yehia, Aly O. Abdelkareem, Islam Ahmed, Hesham Omran, Khaled Alashmouny 等 | 分类: cs.CL, cs.AI 链接: arxiv.org/abs/2610.02002
大语言模型（LLM）智能体如今已参与组织工作，其中众多作者会在数月内跨文档记录决策。由于修订后的决策是以新文档而非编辑形式出现的，回答问题就需要知道某一时刻生效的是哪个版本。然而，多数记忆系统在写入时就对记录进行压缩：通过将每份文档蒸馏为事实、笔记或图边，这些方法在任何问题被提出之前就已固定了可回答的范围。为此，作者提出 Mem++，一个将重心从「写入时蒸馏」转向「读取时选择」的非破坏性记忆框架。Mem++ 将每份文档连同其日期与作者完整保存，写入时不调用任何生成模型。读取时，它仅检索日期不晚于问题所询问时点的文档，并融合词法与语义排序。与覆盖旧版本的方案不同，Mem++ 保留旧版本，把选择权交给作答模型。在组织级基准 OrgMemBench 上的评估表明，Mem++ 在两种作答模型上均超越最强记忆系统基线 8.0 至 13.1 分；使用 gpt-4.1-mini 时还取得最佳总体得分，高出 RAG 2.6 分。此外，Mem++ 在 LoCoMo 上取得最佳平均 LLM 评审分，在 LongMemEval-S 上排名第二，仅次于其实体图变体。基准评估代码已开源。
点评: “写入时蒸馏会预先封死可回答范围”这一批评切中要害，而完全不调用生成模型的写入路径既省成本又保留时间维度的可追溯性，对真实组织场景很有吸引力。
4. Where-OPD：以合成场景进行空间引导的 MLLM 同策略自蒸馏
作者: Sophia Sirko-Galouchenko, Monika Wysoczanska, Andrei Bursuc, Nicolas Thome, Spyros Gidaris | 分类: cs.CV, cs.AI, cs.CL, cs.LG 链接: arxiv.org/abs/2610.02117
同策略自蒸馏近来成为提升语言模型推理能力的有效方法：用一个冻结或 EMA 版本的自身作为教师，向学生提供特权信息进行监督。然而，其在多模态大语言模型（MLLM）上的应用仍鲜有探索。已有方法利用特权视觉信息（如与问题对应的图像裁剪）来提升细粒度感知，但其收益局限于受益于此类视觉放大的任务，且依赖人工标注的定位数据或外部教师模型。作者为 MLLM 引入一种不同形式的同策略自蒸馏：为教师提供文本形式的、空间落地的引导，指明与查询相关的视觉元素。他们使用程序化生成的场景，其物体身份与空间坐标自动可得，从而实现可扩展、无需标注的后训练。教师利用该空间引导定位并整合来自多个相关图像区域的证据，学生则学习仅凭图像与问题复现由此产生的行为。该方法在多种模型上持续提升计数、文档与图表理解基准的表现。重要的是，尽管后训练仅使用合成场景，所得提升仍可迁移到真实世界感知基准，在 CVBench、V*、ZoomBench、BLINK、HR-Bench 与 MME-RealWorld 上平均提升 3.23 个百分点。这表明空间落地的特权信息能够通过同策略自蒸馏诱发更广泛的感知能力，实现超越后训练所用任务与数据分布的显著合成到真实迁移。
点评: 用文本化空间引导替代图像裁剪作为特权信息，绕开了对人工定位标注和外部教师模型的依赖，且合成场景训练能迁移到真实基准，训练成本与泛化性的平衡很有说服力。
5. 重建、练习、走向真实：面向具身智能体的引导式自我改进
作者: Yen-Jen Wang, Haozhe Jiang, Shuying Deng, Haoru Xue, Weirui Ye 等 | 分类: cs.RO, cs.AI, eess.SY 链接: arxiv.org/abs/2610.02204
要在多样任务上构建可靠的机器人能力，需要投入大量人力来开发与维护技能、设计奖励并将感知与控制集成。作者提出「重建、练习、走向真实」（RPG）框架，可在不更新模型权重的前提下实现机器人执行系统的自主改进。RPG 从离线数据集中识别操作能力，并在仿真中构建相关练习任务。练习期间，RPG 利用执行反馈、仿真器特权状态以及可用数据集视频来诊断失败，据此开发新的可复用符号技能、精炼已有技能并修订系统提示。跨任务评估会测试各个候选改动与合并后的修订，通过后才予以保留复用。测试时，一个多模态 LLM 使用最终的系统提示与技能库来协调感知与机器人控制。在 22 个操作任务的留出初始状态下，RPG 将任务成功率从首轮练习后的 28.6% 提升到 15 轮后的 95.0%，优于所有评估基线，包括 ASPIRE（75.5%）和由 GPT-6 Astra Pro 驱动的 CaP-Agent0（60.0%）。经过统一的校准与硬件适配流程后，冻结的系统在全部 30 次物理试验中均获成功，三个任务各十次。
点评: 不微调权重、只靠仿真练习与技能库演进来提升真机操作成功率，15 轮从 28.6% 到 95.0% 的曲线非常陡峭，30/30 的物理试验成功率更说明其工程闭环设计成熟。
6. Wasserstein 梯度流与前向扩散不足以实现多模态采样
作者: Daniel McBride, Pratik Khandagale, Cristina Garcia-Cardona, Yen Ting Lin | 分类: stat.ML, cs.LG, math-ph, math.DS, math.PR, math.SP 链接: arxiv.org/abs/2610.02081
基于 Wasserstein 梯度流（WGF）与前向扩散过程（FODP）的采样算法大量涌现，且常伴有向目标分布指数级快速收敛的理论保证。这些保证常被解读为这类方法能高效采样复杂多模态分布的证据，并往往有实证结果支撑。本文认为这种解读从根本上具有误导性。作者借助 Jordan-Kinderlehrer-Otto（JKO）格式与 Otto 微积分证明，经典的 WGF 采样动力学与过阻尼前向扩散具有相同的密度演化，因而继承了非平衡统计物理中早已熟知的亚稳态与慢混合现象。他们用谱分析与平均首次穿越时间（MFPT）分析这两种互补工具研究该采样器族，表明彼此分离良好的多模态会带来与小谱隙和稀有模态间跃迁相关的指数级长混合时间。对于此处研究的常用对数线性退火调度，作者发现引入中间分布并不能消除总输运时间的指数级标度。这一局限是结构性的而非实现层面的：纯局部、梯度驱动的输运机制在跨分离良好的模态搬运概率质量时可能需要指数级长的时间。作者认为这是标准形式下 WGF 与 FODP 采样方法的根本局限，并由此提出未来需要发展本质非局部的机制以实现高效多模态采样。
点评: 这是一篇泼冷水的理论工作，用 JKO 与 Otto 微积分指出多类扩散采样器共享同一密度演化、因而无法逃脱指数级混合时间，对当下”扩散万能”的叙事是必要纠偏。
7. 恶意软件检测的混合方法：融合少样本模型无关元学习与自编码器
作者: Emmanuela Andam, Yasir Abbas Zaidi, Abdelali Hadir, Emmanuel Grant, Naima Kaabouch | 分类: cs.CR, cs.AI, cs.LG 链接: arxiv.org/abs/2610.01949
勒索软件已成为重大网络安全威胁，其在关键行业的事件频率与影响持续上升。此类攻击通常通过钓鱼邮件、恶意下载或利用软件漏洞获取系统访问权限发起。一旦入侵，恶意软件即加密文件并以加密货币索要赎金来换取解密密钥。传统检测方法往往难以应对新颖或稀缺样本，使系统暴露于风险之中。为应对这些挑战，本文提出一种混合深度学习框架，将自编码器特征提取器（AFE）与模型无关元学习（MAML）分类器结合，用于少样本恶意软件检测。AFE 生成紧凑的潜在特征以降低噪声与维度，MAML 分类器则利用少量标注数据快速适应新威胁。在 Ransomware Dataset 2024 上的实验证明了该框架在二分类任务中的有效性。在一到五十样本（1-shot 至 50-shot）的各种设置下，所提模型持续取得高准确率、F1 分数与马修斯相关系数，即使在极端稀缺条件下也保持可靠分类。这些结果凸显了模型在有限数据场景下的稳健性与适应能力，表明将特征提取与元学习相结合可增强对恶意软件的抵御能力，尤其在医疗、制造与公共基础设施等网络攻击会造成重大运营与财务损失的领域。
点评: 自编码器降噪加 MAML 快速适应的组合直指安全领域标注样本稀缺的痛点，在 1-shot 到 50-shot 全区间保持稳定指标，实用导向清晰。
8. LAST：循环音频频谱图 Transformer
作者: Haider Al-Tahan, Sean O’Brien, Anastasia Razdaibiedina, N. Apurva Ratan Murty | 分类: cs.SD, cs.LG, eess.AS 链接: arxiv.org/abs/2610.01926
加深 Transformer 模型能提升识别性能，但代价高昂：每增加一层都需要更多参数，计算效率随之下降。作者提问：能否让额外的处理专注于整合已经算出的特征？循环音频频谱图 Transformer（LAST）首先处理全部 token，然后复用同一批模块，在固定的音频特征上仅对类别 token 进行精炼，从而使后续传递成本低廉。在 AudioSet 上，十次传递的 LAST 取得 0.345 的平均精度均值，以少 49.4% 的参数、少 42% 的乘加运算量以及高 9.8% 的实测吞吐量，超过十二层串行 Transformer 2.1%（相对值）。在不同模型上单独训练时，将传递次数从两次增加到十次可提升准确率，而仅增加 1.2% 的计算量。进一步评估显示其对时间掩蔽及多种音频增强具有更强的稳健性，在音乐、环境音与事件声分类任务上泛化更好。
点评: 用”重复精炼类别 token 而非堆叠新层”来换取深度收益，在参数与算力双减的同时还跑得更快，是音频领域少见的效率与精度双赢设计。
本内容由 AI 辅助生成，论文信息来源于 arXiv。