KV缓存量化、上下文路由与机器人多模态基准

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 KV Cache 量化与推理加速、检索增强与知识编辑、多模态 Agent 与机器人基准测试、工业级 UI 代码生成、点集对齐的全局最优算法、数据集剪枝理论以及文本到音乐生成等方向。

1. ResidualQuant：面向循环 Transformer 的 2-bit 残差 KV Cache 量化

作者: Heejun Kim, Junyoung Lee, SangLyul Cho, Dongsu Han, Insu Han 等 | 分类: cs.LG 链接: arxiv.org/abs/2610.10381

循环 Transformer 通过多次复用共享的 Transformer 块来提升参数效率，在不增加参数量的情况下增加计算深度。然而，KV cache 的显存占用仍随循环次数线性增长，成为限制 batch size 与推理吞吐的关键瓶颈。KV cache 量化可缓解这一问题，但现有方法在激进低精度下往往出现显著精度下降。我们发现，循环 Transformer 提供了一个独特机会：不同循环之间的 KV 状态高度相似。基于此，我们提出 ResidualQuant，以最后一轮循环的 KV 状态为参考，用低精度残差表示其余各轮循环。该方法进一步结合最小二乘缩放、残差旋转以及按循环的混合精度策略，在实现 INT2 量化的同时保持高效重建。在多个循环 Transformer 模型以及数学推理和代码生成基准上，ResidualQuant 在精度—显存权衡上持续优于当前最先进的基于旋转的 KV 量化方法。特别地，在混合精度设置下，本方法在将理论 KV 存储降低 80.7% 的同时保持接近 BF16 的精度，在相同显存预算下比旋转基线最高提升 13.0% 的准确率。在 RTX 5090 上，减少的 KV 显存流量使固定 batch 解码吞吐最高提升 2.73 倍，而更小的显存占用支持最高 2 倍大的 batch，峰值吞吐最高提升 4.15 倍。

点评: 抓住”循环间 KV 高度相似”这一结构特性做残差量化，把 INT2 从”不可用”推向”接近无损”，是推理系统与模型结构协同设计的典型范例。

2. RECAST：通过自适应证据路由学习”计算”恰当的上下文

作者: Yilun Hao, Krishna Sayana, Isabella Ye, James S Ren, Sukhdeep Sodhi 等 | 分类: cs.AI 链接: arxiv.org/abs/2610.10507

大语言模型正越来越多地被应用于基于长文本、异构信息源的任务。传统 RAG 依赖固定的相似度检索，而 Agent 式变体虽能自适应调整查询与工具使用，本质上仍以检索为中心。然而在许多任务中，解题所需证据并不显式存在于任何单一来源中，而必须通过对多个来源条目的过滤、聚合或计算推导得出。本文提出 RECAST（Routing Evidence through Computation, Access, and Synthesized Tools），一个将证据构造形式化为异构检索与计算操作上序贯决策过程的学习框架，使证据能够被主动”推导”而非仅仅”检索”。一个轻量级 RouterLM 迭代地选择并构造原语操作，或为冻结的 CompilerLM 指定定制操作以翻译为可执行代码。当 RouterLM 判断证据充分后，将接受的证据传给冻结的 AnswerLM 生成最终答案。我们通过监督微调（SFT）与组相对策略优化（GRPO）训练 RouterLM。在六个异构基准族上，RECAST 平均成功率达 75.6%，超过最强的大模型基线 15.9%。此外，训练使 Qwen3.5-9B RouterLM 比免训练的 Gemini 3.5 Flash RouterLM 高出 5.0%。在三个留出基准上，RECAST 平均超过最强基线 15.0%，展现出跨任务与异构源表示的强零样本泛化能力。

点评: 把 RAG 从”检索已有证据”推进到”计算构造证据”，RouterLM + CompilerLM 的解耦设计也让小模型能够编排大模型完成任务。

3. EngramEdit：通过条件记忆实现 LLM 中的解耦知识更新

作者: Hongru Cai, Ran Wei, Wenjie Wang, Chengfa Wu, Ning Song 等 | 分类: cs.CL 链接: arxiv.org/abs/2610.10533

诸如 DeepSeek Engram 之类的条件记忆架构利用输入 n-gram 查找学习到的嵌入，以有限的额外计算扩展大语言模型的容量。除模型扩展外，该架构还展现出将事实知识存储与通用计算解耦的潜力，为在保持 Transformer 主干不变的前提下更新事实知识提供了有前景的路径。实现这一潜力颇具挑战：同一事实的不同表达可能激活不同的 n-gram 嵌入，而更新共享嵌入又可能无意间改变模型对其他事实的预测。我们提出 EngramEdit，通过条件记忆实现解耦知识更新。EngramEdit 首先计算目标记忆表示，使模型在多种表达下都预测更新后的事实；随后跨表达与编辑联合更新共享 n-gram 嵌入以匹配这些目标，并对频繁复用的嵌入施以更强的更新惩罚，从而保护无关知识。实验表明，EngramEdit 能够通过条件记忆实现独立的事实知识更新，编辑成功率近乎完美。修订后的知识可在未见表达和多跳推理中使用，在思维链（CoT）提示下准确率接近最强基线的三倍。即便事实更新不断累积，无关知识与通用能力也基本得以保留。这些发现表明，EngramEdit 将条件记忆转变为可编辑的知识接口，使其作用超越模型扩展，支持解耦式知识更新。

点评: 把”记忆”从只读扩容变成可写接口，为 LLM 持续知识更新提供了一条绕开全参数微调的新路径。

4. RobotWorld：跨任务与跨形态的机器人使用多模态 Agent 基准测试

作者: Zhiqin Yang, Chenxin Li, Xiaomeng Hu, Yibin Liu, Weidong Huang 等 | 分类: cs.RO, cs.LG 链接: arxiv.org/abs/2610.10409

通用 Agent 正越来越多地编写代码、使用工具并完成复杂数字任务，这引出一个问题：这些能力能在多大程度上迁移到物理世界？为探究此问题，我们提出 RobotWorld——一个用于机器人使用的挑战性仿真测试平台：通过机器人接口将指令与观测转化为物理任务执行。其 84 项任务涵盖操作、移动操作、运动、驾驶与空中控制，并设有显式的交互预算与可执行的成功判定。通过结合任务结果与执行轨迹分析，我们识别出哪些能力可迁移，以及哪些差距阻碍可靠完成。此外，我们发现当前 Agent 能够构建复杂的感知与控制工作流，包括图像分割、相机标定、空间估计与基于动力学的计算。然而，这些能力并不能稳定地组合为成功行为：Agent 在到达指令位姿后仍会丢失任务相关物体状态，无法纠正无效动作，恢复过晚，或将未完成任务误判为已完成。这种不均衡的迁移也因模型而异：Astra 在空间与受限接触目标上成功率更高，而 Opus 5.5 在连续平衡与定时交互目标上成功率更高。通过将结果与执行行为关联，RobotWorld 既提供了严格的验证场，也给出了剩余能力差距的实证描述，为训练与设计更可靠的物理世界 Agent 确立了具体目标。

点评: 首次系统性地量化了”数字能力→物理能力”的迁移落差，指出感知与控制流程的”能搭起来”不等于”能跑通”。

5. 从第一性原理出发的数据集剪枝：一种无标签线性规划方法

作者: Rodrigo Schuller, Francisco Ganacim | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2610.10347

数据集剪枝将大规模训练集缩减为具有代表性的子集，同时保持模型性能。现有的基于几何的方法通常假设嵌入空间中相近的点具有相似性质。我们不施加这一假设，而是通过将无偏子集选择重构为方差最小化问题来推导几何选择准则。无偏性保证未加权的子集平均在期望意义上能够恢复全数据集平均，包括固定模型参数下的损失与梯度。具体而言，我们将一族无偏子集选择算法刻画为高维多胞体。在此框架下，最小化期望采样方差是一个线性目标。采样方差之差在刚体运动上取平均后具有闭式成对表达式。由于该多胞体维度很高，直接应用标准线性规划并不现实。我们转而利用这些表达式构造一种高效的顶点游走方法，在保持无偏性的同时优化方差目标的近似，从而得到一种在选择过程中既不需要标签也不需要模型训练的方法。在 CIFAR-10、MNIST 与 CelebA 基准上，本方法在每个评估预算下都达到或超过均匀采样的平均测试准确率，并在多种设置下优于竞争性的几何方法，尤其在小选择预算时表现突出。除数据集剪枝外，同一框架还可通过提升 mini-batch 内的多样性来降低随机梯度方差，且不改变 batch size。

点评: 用无偏性把数据集剪枝变成可推导的线性规划问题，理论干净且无需标签，小预算场景下的优势尤其值得关注。

6. TaoD2C-Bench：超越视觉保真度的工业 UI 代码生成 MLLM 基准

作者: Chengwei Shi, Yunnong Chen, Tingting Zhou, Qiang Lu, Shiyu Yue 等 | 分类: cs.SE, cs.AI 链接: arxiv.org/abs/2610.10374

多模态大语言模型（MLLM）的一个关键挑战是超越视觉识别，走向约束感知的跨模态推理。这需要将视觉线索与其他模态的信息相结合，在领域特定规则下理解元素之间的关系。这一挑战在工业设计到代码（D2C）中尤为突出：D2C 将用户界面（UI）设计转换为代码，要求 MLLM 将设计图像与杂乱的分层元数据联系起来，推断组件与布局的实现需求，并在目标库约束下用代码实现。然而，这些能力在真实工业环境中尚未得到充分评估。为填补这一空白，我们提出 TaoD2C-Bench，一个用于评估 MLLM 在工业应用中生成满足实现需求的 UI 代码能力的基准。TaoD2C 数据集包含来自 17 个商业平台的 2,861 个生产设计，覆盖组件、分组、对齐与位置四大类共 97,652 条专家标注。这些标注区分了必需约束与允许的实现选择。TaoD2C-Bench 定义了三个任务：端到端 UI 代码生成、需求推断与需求实现。对八个 MLLM 的评估显示，模型在生成满足实现需求的 UI 代码方面存在显著差距，且在推断与实现上表现出不同的性能画像。我们进一步表明，MLLM 的视觉重建能力并不必然意味着其能生成满足这些需求的代码。我们发布 TaoD2C 以支持工业 UI 代码生成研究。

点评: 直指”看起来像”与”实现正确”之间的鸿沟，97K 专家标注的工业级数据让 D2C 评测终于有了真实标尺。

7. Rubix：通过分配几何实现全局无对应点集对齐

作者: Subhransu S. Bhattacharjee, Dylan Campbell, Rahul Shome | 分类: cs.CV, cs.CG, cs.LG, cs.RO, math.OC 链接: arxiv.org/abs/2610.10408

Procrustes-Wasserstein 对齐可以在不提供对应关系的情况下联合估计匹配与旋转，但交替最小化可能停在次优解。Rubix 在平方欧氏损失下全局求解等权平面问题。两个中心化 n 点集的每个匹配 σ 定义一个复相关 $z_σ=\sum_i\bar x_i y_{σ(i)}$ 。它们的凸包即排列多边形：支撑顶点给出固定旋转下的最优匹配，而最远顶点给出全局对齐。我们证明了 n≥2 时 n(n−1) 个顶点的紧界，回答了 Rote 的旋转—分配开放问题。在精确算术下，分配查询可在 O(n⁵) 次操作内恢复该多边形。基于分配的界将方法扩展到三维旋转，并在给定平移下通过分支定界实现部分匹配。在带时限的 MPEG-7 形状对上，Rubix 平均 12 毫秒即达到全部数值参考值，在相同精度下比旋转网格快 50 倍。其距离度量在真实 3D 扫描的重力对齐匹配、形状检索与含噪晶体分类上均优于交替最小化。

点评: 既给出了排列多边形的紧界证明（解决了一个开放问题），又在实测中把对齐速度提升 50 倍，理论与工程双赢。

8. MIRA：面向用户意图对齐的文本到音乐意图精炼 Agent

作者: Zekai Liu, Zhilin Wang, Xuzheng He, Yu Cheng, Yang Yang | 分类: cs.SD, cs.AI 链接: arxiv.org/abs/2610.10355

文本到音乐系统生成的音频日益逼真，但评估却难以反映结果是否符合用户意图。单一的全局文本—音频相关性分数可能忽略欠明确提示中的隐含意图，并掩盖在配器、结构、节奏或情绪推进等具体需求上的失败。为弥合这一差距，我们将文本到音乐意图对齐形式化为满足逐请求评分细则（rubric）的问题，该细则由可独立验证的条目组成，涵盖请求的显式需求与隐含音乐意图。逐条打分使评估能够按意图来源与音乐维度进行诊断，而非给出单一不透明的分数。我们据此构建了 MuRA-Bench，一个由音乐专家整理的、基于真实平台请求的基准。我们进一步提出 MIRA（Musical Intent Refinement Agent），一个测试时 Agent：首先将请求意图落地为评分细则，然后在有限预算下针对黑盒生成器搜索提示修订，迭代生成音乐、对照细则验证，并利用该反馈引导轨迹感知的树搜索。在开源与商业后端上的实验表明，MIRA 提升了意图对齐，使开源生成器达到与代表性商业系统（如 Suno 与 Mureka）相当的表现。项目主页：https://mirareview.github.io/。

点评: 把”好听”拆解为可验证的意图清单并交给 Agent 迭代搜索，为生成式音频的评测与可控性同时提供了新思路。

本内容由 AI 辅助生成，论文信息来源于 arXiv。