自蒸馏推理、图对齐纠错与多模态智能体训练

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖推理蒸馏与纠错、法律与代码智能体、多模态对齐与安全、机器人动作分块以及情感识别几何建模等方向。

1. 自蒸馏真的能提升推理能力吗？

作者: Jason Ken Adhinarta, Raina Wu, Ashutosh Sharma, Avinash Balakrishnan, Rameswar Panda 等 | 分类: cs.LG, cs.AI, cs.CL 链接: arxiv.org/abs/2610.18613

自蒸馏是一种新兴方法，它让模型在给定特权信息（如正确答案或环境反馈）的条件下模仿自身的预测。近期方法报告了比强化学习（RL）更好的样本效率和泛化能力，但这些收益是否能推广到分布外评测、以及是否真正来自特权蒸馏，仍不清楚。本文重新审视两种代表性方法——Self-Distillation Policy Optimization（SDPO）和 On-Policy Self-Distillation（OPSD），在代码、科学、工具使用和数学推理任务上进行评估。我们发现其报告收益无法稳定泛化到未见问题上，且很大程度上可由过拟合或迁移已有推理行为来解释，而非有效利用特权信息。此外，自蒸馏梯度与直接优化期望奖励的策略梯度对齐度较弱，令人质疑其是否提供了有效的策略改进方向。我们在 Qwen3 系列（1.7B-14B）和 OLMo-3-7B 上的实验表明，如何有效利用特权信息提升推理仍是一个未解难题。

点评: 这是一篇难得的”泼冷水”式复现研究，直指当前自蒸馏热潮中评测口径与归因不清的问题，对做 RL/蒸馏后训练的研究者有重要参考价值。

2. 超越答案投票：通过采样轨迹间的图对齐实现 LLM 推理的细粒度纠错

作者: Haotian Liu, Yingjian Chen, Xiaohang Xu, Lang Huang, Yusuke Iwasawa 等 | 分类: cs.AI, cs.CL 链接: arxiv.org/abs/2610.18606

大语言模型越来越多地处理需要多步推理的任务，其中中间论断的错误会影响最终答案。自洽性（Self-consistency, SC）通过对采样得到的最终答案投票来改进推理，但投票无法解决中间步骤的分歧。为解决该问题，我们提出 DDRG（Disagreement-Driven Verification Guided by Reasoning Graphs），一个从冻结的推理轨迹库中进行选择性纠错的框架。我们的洞见是：图对齐可以暴露论断级别的不一致并在不扩充采样轨迹库的前提下提供纠错证据。DDRG 构建有来源支撑的论断图，并将局部冲突发送给一个”不看答案”的验证器。当由验证器支持的驳斥能够抵达多数答案的支持路径时，触发一次聚焦式修复；否则 DDRG 返回精确的 SC 投票结果。在五个基准上的实验显示，原生零样本 DDRG 相较直接回答在宏平均准确率上分别提升 8.65 和 15.83 个百分点（Qwen2.5-7B 与 Llama3.1-8B），并超过 CoT、所评估的 GoT 与 GoV 问答适配方法以及 SC。DDRG 在不扩大初始候选库的情况下，将局部验证与选择性纠错连接起来。

点评: 相比”投票取多数”，把分歧定位到论断级并做一次定向修复，思路干净且不增加采样成本，是自洽性推理纠错的一个实用演进方向。

3. Legal-R1：面向基于证据的法律推理的智能体检索

作者: Huaiwen Pang, Jiale Han, Junying Chen, Wenjun Xiao, Benyou Wang | 分类: cs.CL 链接: arxiv.org/abs/2610.18611

法律问答不仅要求答案合理，还要求其建立在法律上有效且可引用的证据之上。标准检索增强生成常依赖一次性语义匹配，当法律证据需要依据效力、适用性和跨异构来源的多样性来筛选时，这一方式并不充分。我们提出 Legal-R1，一个面向基于证据的法律推理的智能体检索框架。Legal-R1 将法律推理分解为多智能体工作流：Lawyer 智能体学习何时检索、查询哪一法律来源、寻找何种证据以及证据何时充分；Legal Assistant 智能体从规范性法律来源和判例中进行效力感知与多样性感知的检索；Judge 智能体基于完整证据轨迹生成最终答案。我们仅对 Lawyer 智能体进行掩码监督微调和轨迹感知强化学习后训练。在多个中文法律基准上的实验表明，Legal-R1 优于通用、法律专用以及检索增强的基线方法。

点评: 只对”检索决策者”做后训练、让检索与裁判分工，是法律 RAG 中兼顾成本与可引用性的合理设计，值得垂直领域智能体借鉴。

4. 重新审视多模态 LLM 中的投影器训练

作者: Fabian Gröger, Naël Ouerghemi, Shuo Wen, Maria Brbić | 分类: cs.CV, cs.AI, cs.CL 链接: arxiv.org/abs/2610.18598

多模态 LLM 的常规训练流程是：先在大规模图文描述数据上训练投影器，使视觉编码器与语言模型对齐，再对完整多模态模型进行联合训练。尽管这一流程被广泛采用，投影器训练阶段的作用仍鲜被理解。我们发现：(i) 仅用 10% 到 20% 的数据训练投影器就已能恢复大部分下游性能增益；(ii) 在不同数据集上训练的投影器可以进行线性插值，且性能基本保持。这些结果表明，投影器训练主要完成的是一种粗略对齐，许多不同的投影器都能同样好地达成。受此启发，我们提出 PORTAL——一种免训练的投影器初始化方法，既不需要成对图文数据，也不需要基于梯度的优化，仅需各模态的汇总统计量。PORTAL 在共享的主子空间上，对视觉与语言特征分布的高斯近似之间计算基于最优传输的映射，从而可以完全跳过投影器训练阶段。在没有任何成对数据的情况下，PORTAL 在六种 LLM 主干、两种视觉编码器和 16 个基准上，与使用 55.8 万图文对训练的标准流程持平；在 7 种（视觉编码器, LLM）组合中有 3 种超越该流程，其余四种平均达到其 98% 的分数。

点评: 用最优传输直接闭式构造投影器、完全跳过对齐训练，若能在更大规模上复现，将显著降低多模态预训练的数据与算力门槛。

5. ChunkAct：面向智能体机器人的动作分块

作者: Bingxin Xu, Wenrui Bao, Xinxin Liu, Jiawei Zhou, Yuzhang Shang 等 | 分类: cs.RO, cs.AI, cs.CL, cs.CV 链接: arxiv.org/abs/2610.18874

智能体机器人将大语言模型（LLM）智能体置于机器人控制回路中，让它在记忆的引导下组合感知、运动与视觉-语言-动作（VLA）工具，从而无需重新训练即可泛化到新任务。但这种通用性以效率为代价：每个原子操作都需要 LLM 基于完整交互历史推理一轮，因此一个回合的开销随原子操作数量增长。我们发现这种推理在很大程度上是冗余的：一旦子目标确定，其原子操作便遵循记忆已规定的例行流程。我们提出 ChunkAct，将动作分块引入智能体机器人。在线阶段，一次调用即启动一串链式原子操作，它们自主执行，仅在失败时才交还控制权；离线阶段，ChunkAct 将记忆编译为这些分块，使测试时执行无需记忆，规划器只留给真正需要推理的决策。因此 LLM 计算量随决策数而非原子操作数增长。在 LIBERO-Pro 上，ChunkAct 相比智能体机器人最优方法任务成功率提升 5.0 个百分点，同时 LLM 调用减少 2.9 倍、输入 token 减少 4.4 倍、输出 token 减少 2.3 倍。

点评: 把”分层记忆”编译成可自主执行的动作分块，切中智能体机器人每步都调用 LLM 的成本痛点，效率与成功率同步提升很有说服力。

6. DPOison-VL：视觉-语言直接偏好优化中的干净偏好投毒

作者: Chengtao Jian, Kai Yang | 分类: cs.CR, cs.AI, cs.CV 链接: arxiv.org/abs/2610.18609

直接偏好优化（DPO）已成为对齐视觉-语言模型（VLM）的广泛采用方法，但多模态偏好数据的安全性仍鲜有探索。现有偏好投毒攻击要么破坏显式监督信号，要么需要可见触发词，因而在人眼审查下容易被发现。我们提出 DPOison-VL，首个针对 VLM-DPO 的”干净”偏好投毒攻击：它仅通过对一小部分训练图像施加不可感知的扰动来操纵模型对齐，同时保持所有提示、回答和偏好标注在语义上完好无损。我们将投毒构造形式化为双层优化，并推导出一个梯度对齐代理，从而高效地将图像扰动导向攻击者指定的偏好。我们进一步提出偏好位移分数用于有原则的投毒样本选择，在固定投毒预算下具有可证明的一阶最优性，并推导出偏好反转的充分条件。在多种攻击任务、不同 VLM 架构与规模以及基线对比上的大量实验表明，DPOison-VL 仅用 2% 的投毒数据即可达到最高 98% 的攻击成功率，并具有跨模型迁移性，同时基本保持干净准确率与通用能力。我们的发现揭示了 VLM-DPO 的一个关键脆弱性：偏好训练数据中不可感知的图像扰动可以悄无声息地改变对齐方向。

点评: 把投毒藏进像素级扰动、连人工审查都看不出异常，这对所有依赖众包/网络数据做 VLM 偏好对齐的团队都是一记必要警钟。

7. PreciseCoder：超越单元测试奖励的忠实且可泛化的调试

作者: Yunkai Zhan, Miaosen Chai, Shangshang Wang, Jike Zhong, Yuqing Yang 等 | 分类: cs.SE, cs.AI, cs.CL 链接: arxiv.org/abs/2610.18755

基于单元测试的强化学习（RL）是代码模型后训练的常见配方，但单元测试只关心最终程序能否通过。我们分析了这种”只看单元测试”的奖励在调试过程中教会了模型什么，发现它在提高通过率的同时，也教会模型改得更多、并在本就正确的代码中幻觉出并不存在的 bug。我们提出 PreciseCoder，一种训练算法，在单元测试奖励之外加入一个针对”经语义验证的局部化编辑”的信号，该信号与更小的编辑幅度和更高的通过率相关。在 4B、9B 和 27B 模型上，PreciseCoder 将平均编辑行数从 7-15 行降到 3 行，同时通过率与仅用单元测试训练相当。仅在单行 bug 上训练的 PreciseCoder 可泛化到仓库级程序修复，以更小的补丁解决更多问题。其精确性还能从弱模型迁移到强模型：给定 9B PreciseCoder 模型的推理轨迹，GPT-5.6 Sol 和 Qwen3.8-Max 等前沿模型在无需额外训练的情况下编辑精确度提升 4.6-12.4 个百分点。对思维轨迹的语言学分析表明，我们的奖励鼓励模型逐行推理、指出有问题的行并形成一致的 bug 假设。

点评: 指出”单元测试奖励会诱导过度编辑与幻觉 bug”这一副作用很有价值，而用可验证的局部化编辑信号替代粗粒度通过率，是代码 RL 奖励设计的重要一步。

8. GeoMER：面向多模态情感识别的欧氏-双曲联合几何框架

作者: Ting Zhu, Huizhi Liang, Boguslaw Obara, Shufei Duan, Varun Ojha | 分类: cs.SD, cs.AI, cs.LG, eess.AS 链接: arxiv.org/abs/2610.18587

多模态情感识别（MER）旨在通过整合语音与文本等多种模态的信息来理解人类情感。心理学研究表明，情感在其语义表征中呈现出潜在的层次化结构关系。然而，大多数 MER 方法依赖欧氏表征，虽能捕捉细粒度跨模态交互，却未显式提供组织层次化情感结构的几何先验。为弥补这一空白，我们提出 GeoMER，一个欧氏-双曲联合建模框架，引入双曲情感核心路由以捕捉更高层、更抽象的情感表征。该框架在两个互补的几何空间中联合建模 token 级跨模态语义交互与潜在情感表征。具体而言，GeoMER 由一个用于多模态表征融合的欧氏多模态融合模块（EuclFusion）和一个在双曲流形上执行几何感知核心分配与聚合的双曲几何核心路由模块（HypGeoRoute）组成，后者用于捕捉更抽象的特征表征。HypGeoRoute 模块对欧氏 token 级建模形成补充。我们在 IEMOCAP 多模态 MER 基准上实验，所提方法取得最佳性能，加权准确率 83.54%、非加权准确率 83.35%，优于包括 MemoCMT 在内的欧氏基线。

点评: 用双曲空间为”情感有层次”这一心理学假设提供几何先验，与欧氏细粒度融合互补，为多模态情感建模提供了有理论依据的新视角。

本内容由 AI 辅助生成，论文信息来源于 arXiv。