大模型基础设施工程、层选择性遗忘与长上下文卷积记忆
精选 8 篇 AI/ML 论文，涵盖CL, LG, AI, CV, SD, SE, CY, CR等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 基础设施工程评测、机器遗忘、长上下文推理、多模态视觉 token 剪枝、低资源语音合成、代码异常处理补全、医疗 AI 辅助筛查以及隐私可验证推理等方向。
1. Φ-Bench：大语言模型能工程化支撑自身的底层基础设施吗？
作者: Leilei Ding, Shumin Wang, Yuting Huang, Fanqi Wan, Yinmin Zhang 等 | 分类: cs.CL 链接: arxiv.org/abs/2609.10226
大语言模型（LLM）在推理与代码生成方面展现出卓越能力，这引发了人们对其能否协助开发并优化支撑自身运行的基础设施的期待。然而，现有基准主要聚焦于孤立的 kernel、预定义算子或预先设定的优化目标，无法评估 LLM 在开放式、长周期 LLM 基础设施工程中的能力。为弥补这一空白，本文提出 Φ-Bench——一个系统性评估 LLM 工程化 LLM 基础设施栈能力的基准。该基准源自前沿研究中的优化问题，并基于真实代码仓库构建，广泛覆盖 LLM 基础设施栈，任务复杂度从局部 kernel 级函数补全到长周期实现与端到端系统优化。针对前沿 LLM 的大量实验揭示了它们当前在复杂 LLM 基础设施工程中的能力与局限，为通往未来 AI 基础设施自主优化之路上的挑战提供了洞见。
点评: 当”AI 优化 AI 基础设施”从口号走向可量化评估，Φ-Bench 给出了首个覆盖全栈、开放式长周期任务的标尺，其结果也提醒我们离真正的自主优化还有多远。
2. 只遗忘该遗忘的：面向鲁棒 LLM 的层选择性遗忘
作者: Ravi Ranjan, Olivera Kotevska, Agoritsa Polyzou | 分类: cs.LG, cs.AI 链接: arxiv.org/abs/2609.10439
大语言模型（LLM）可能记忆并复现敏感、受版权保护或其他不受欢迎的训练内容，从而引发隐私、安全与合规方面的担忧。机器遗忘为完全重训练提供了一种实用替代方案，但许多现有方法采用宽泛或固定的参数更新，可能损害模型效用，并在部署环境变化（如训练后量化）下变得脆弱——被遗忘的知识可能部分重新浮现。本文提出 FOM-UL（Forgetting Only What Matters via Unlearning Layers），一种层级别的遗忘框架，通过”遗忘-保留显著性分数”选择 Transformer 层。该分数识别出对遗忘集影响大、对保留集敏感度低的层，使 FOM-UL 能将更新集中在最有效的位置，同时让模型大部分保持不变。这种定向更新策略改善了遗忘-效用权衡，并通过减少细碎弥散更新被低比特舍入抹除的可能性，为量化鲁棒的遗忘提供了实证路径。在 TOFU、KnowUnDo 及 MUSE 风格评估中，FOM-UL 相比 GA、NPO、KLD、SURE、ReLearn 与 LUNAR 等强基线降低了残留记忆，同时将保留集效用维持在接近原始模型的水平。在 8-bit 与 4-bit 训练后量化下，FOM-UL 保持更强的记忆抑制与效用保持能力，对抗提示评估也显示被遗忘内容的恢复率更低。总体而言，FOM-UL 提供了一种高效的遗忘策略，在不宣称形式化擦除保证的前提下，提升了定向遗忘、效用保持与部署鲁棒性。
点评: 量化后遗忘知识”复活”是实际部署中的痛点，FOM-UL 用层选择性更新同时缓解遗忘质量与部署鲁棒性，思路简洁且贴合工程现实。
3. ConvMem：面向长上下文推理的卷积式记忆
作者: Hongming Zhang, Zhaozhen Gu, Fengshuo Bai, Ming Hao, Qingyang Zhang 等 | 分类: cs.AI, cs.CL 链接: arxiv.org/abs/2609.10441
尽管大语言模型（LLM）展现出令人印象深刻的能力，但由于固定上下文长度限制，它们在处理超长上下文时往往力不从心。为此，MemAgent 等顺序式方法通过分段读取文本并迭代更新固定大小的记忆来扩展有效上下文。然而，这种顺序范式延迟高，且需要昂贵的强化学习（RL）训练，可能导致对特定数据集的过拟合。为克服这些局限，本文提出 ConvMem——一个无需训练、高度可并行化的框架，将长上下文推理重构为层次化卷积。受 CNN 启发，ConvMem 将针对特定查询提示的 LLM 视为卷积核，该核对文本片段进行层次化摘要，将推理路径从线性链缩短为对数树。具体而言，ConvMem 引入可配置步长（Configurable Strides）与跳跃连接（Skip Connections）以确保证据的稳健捕获与传播，并采用多核卷积（Multi-Kernel Convolution）将复杂查询分解为解耦的语义通道。该设计不仅缓解误差累积，还实现了文本片段与推理线程的大规模并行化。在 RULER-HotpotQA 与 RULER-2WikiMultiHopQA 上的实验表明，ConvMem 优于免训练基线，并避免了 RL 训练模型在分布外任务上常见的参数化先验过拟合风险。
点评: 用 CNN 的卷积/步长/跳跃连接类比重构长上下文推理，既免训练又可并行，是对”记忆即序列更新”范式的一次有趣反叛。
4. 超越一刀切：MLLM 视觉 token 剪枝的样本自适应策略路由
作者: Haiji Liang, Pengfei Zhou, Zhenglin Wan, Wei Wang, Yang You 等 | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2609.10346
多模态大语言模型（MLLM）每张图像需处理数百乃至数千个视觉 token，带来高昂的推理开销。现有视觉 token 剪枝方法虽能缓解这一负担，却隐含假设单一固定剪枝策略可统一适用于所有输入。本文分析进一步揭示：按基准平均准确率对剪枝方法排序，会掩盖显著的样本级互补性——尽管平均最优策略整体表现最好，但在相当一部分单样本上，其他策略反而更优。为利用这种多样性，本文提出 VIP-Router——一个轻量级视觉剪枝路由器，能在指定剪枝水平下自适应地为每个输入选择预测最合适的剪枝策略。VIP-Router 以低成本视觉与文本特征为条件，识别最合适的候选策略，同时在预测剪枝不利时保留全 token 推理选项。在精心构建的剪枝敏感视觉感知基准套件 VTC-Bench Group A 上，VIP-Router 在所有压缩比下均持续优于最佳固定策略基线，平均准确率相对提升 26.9%，计入实际 token 成本后的平均效用相对提升 22.0%。关键在于，VIP-Router 以即插即用方式运行，不修改底层剪枝算法或模型权重，可训练参数量仅为主干的 0.017%。此外，VIP-Router 在多种 MLLM 主干上均有效，并在未见基准上取得一致增益，凸显了样本自适应路由在视觉 token 剪枝中的潜力。
点评: “平均最优 ≠ 样本最优”的观察一针见血，0.017% 参数量的即插即用路由器换来显著收益，工程性价比极高。
5. 确定性提示实现说话人稳定的低资源希腊语 TTS
作者: Georgios Syllas, Efthymios Georgiou, Kosmas Kritsis, Alexandros Potamianos | 分类: cs.SD, cs.CL, cs.LG 链接: arxiv.org/abs/2609.10022
现代 TTS 系统在高资源语言上已接近人类水平，但在干净语音数据稀缺时性能显著退化。现代希腊语正是典型例子，缺乏支撑最先进合成所需的精选语料。本文提出一套数据整理方案，通过 WhisperX 对齐与过滤将有声书录音转化为 TTS 就绪数据。随后，作者微调 Parler-TTS（880M）——一个基于提示的多语言模型，其预训练编码了可迁移至希腊语的语音先验。在开发过程中，作者发现 LLM 生成的风格提示会在推理时引入说话人漂移；将其替换为确定性提示后问题得以解决，而基于 3.5 小时单说话人数据训练的说话人专属 LoRA 阶段在仅更新约 5% 参数的情况下锚定了身份特征。该系统实现 WER 10.7%（高于 ASR 下限 2.9）、MOS-I 4.00（人类语音为 4.36）以及接近人类的说话人一致性（MOS-C 4.24 对 4.30），表明在有限的精选数据下实现稳健的单说话人希腊语 TTS 是可行的。
点评: “LLM 生成提示导致说话人漂移、确定性提示解决之”是一个可复用的实用经验，为低资源语言的单说话人 TTS 提供了清晰的数据与微调配方。
6. 用 LLM 为代码补装异常处理行为
作者: Linghan Zhong, Jiyang Zhang, Jayanth Srinivasa, Junyi Jessy Li, Milos Gligoric | 分类: cs.SE, cs.CL 链接: arxiv.org/abs/2609.10397
异常相关代码（ERC）包括 throw 语句、守卫这些 throw 语句的条件（if 语句）以及 try/catch 块，是软件系统的重要组成部分，使开发者能够检测并处理偏离预期程序行为的异常状态。然而，在大型代码库中手工编写 ERC 十分繁琐。本文提出一项新任务：为现有代码补装 ERC。即给定（不含 ERC 的）代码与异常行为测试（EBT，例如检查当参数传入 null 时方法是否抛出 InvalidArgumentException），目标是自动生成缺失的 ERC，使给定测试通过。作者设计并实现了 Exception Coder（EXCODER），通过上下文工程帮助大语言模型（LLM）完成该任务。EXCODER 将静态与动态程序分析与 LLM 结合，向 LLM 提供抽取的上下文信息。为评估 EXCODER，作者构建了一个来自 GitHub Java 仓库的基准，系统性地移除了 75 个项目、304 个方法中的 ERC。结果表明，EXCODER 为这一自动代码生成问题提供了有效但尚不完美的解决方案，首次让开发者能够以测试驱动开发的方式实现 ERC。与 Qwen 2.5 Coder 32b 结合时，EXCODER 在开发者编写的测试套件上分别达到 pass@1、5、10 的 85.92%（较基线高 12.56 个百分点）、86.18%（高 12.82 个百分点）与 86.51%（高 13.15 个百分点）。对生成代码的人工检查进一步揭示了 EXCODER 的局限，为未来工作指明了方向。
点评: 把”异常处理补全”明确定义为测试驱动的新任务，并用静态+动态分析增强 LLM 上下文工程，为遗留代码质量改进提供了可落地路径。
7. 急诊科再就诊质量审查筛查：人类决策与人工智能辅助探索
作者: Jonathan A. Handler, Marlene I. Robles-Granda, Jacob E. Mefford, Jeremy S. McGarvey, Gregory S. Podolej 等 | 分类: cs.CY, cs.AI 链接: arxiv.org/abs/2609.10421
背景：急诊科（ED）再就诊通常会被审查以保障质量，但审查范围常受限（例如仅限 48-72 小时内的再就诊），以提高可操作发现的产出率并减少病历审查负担。这些限制可能导致质量改进机会被遗漏。方法：作者开展了一项探索性回顾性研究，随机选取某多医院医疗系统中 1-14 天内再次就诊于同一系统的急诊就诊记录。仅依据每次就诊的主要诊断，评分者（2-3 名临床医生与 GPT-4 大语言模型 [LLM]）评估诊断对的各项特征，其中包括”目标”——即该诊断对是否值得进一步评估。基于评分者回应分析，作者构建了一个利用 LLM 填充知识图谱（“KGA”）的算法，自动筛查潜在值得关注的诊断对并进行初步评估。结果：共纳入 99 对诊断。GPT-4 的回应与临床医生评分者相关性较差，将几乎所有（94%）诊断对评为值得随访（是临床医生的 4.4-13.3 倍）；不过其提示工程较为简单。在临床医生评分者中，再就诊医疗严重程度与目标始终显著相关，而鉴别诊断/并发症复合指标在未调整分析中显著，调整后（效力较低）则不显著。KGA 在至少一名临床医生判定该诊断对值得进一步评估方面达到了 83-100% 的阳性预测值。结论：这些结果可为利用 ChatGPT 等 LLM 改进筛查的后续步骤提供参考。仍需进一步研究以验证这一初步发现，即 KGA 可能在不显著增加审查者工作量的情况下扩展筛查范围并提升产出。
点评: 论文坦诚指出原始 GPT-4 判断与临床医生差异巨大，但基于知识图谱的筛查达到高阳性预测值——这提示”LLM 直接决策”不如”LLM 辅助结构化知识”在医疗场景中务实。
8. Maverick：通过矩阵-向量乘法委托实现实用化的隐私可验证 LLM 推理
作者: Ben Merbaum, Mohammad Amin Raeisi, Wenhao Wang, Charalampos Papamanthou, Katerina Sotiraki 等 | 分类: cs.CR, cs.LG 链接: arxiv.org/abs/2609.10264
开源大语言模型（LLM）正日益接近闭源模型的竞争力，同时具备透明性，并能在不向服务提供商暴露用户输入的情况下运行推理。然而，本地运行大规模模型需要大量计算资源。实践中，用户仍可能求助于第三方提供商，从而引发隐私与正确性担忧。现有解决方案往往带来可观的服务器开销或引入额外信任假设。本文提出 Maverick，一种基于矩阵-向量乘法委托协议的隐私可验证 LLM 推理新方法，而矩阵-向量乘法是 LLM 中的主导运算。Maverick 的核心据作者所知是首个信息论可靠的矩阵-向量乘法委托验证协议，具备透明预处理、高效（批量）验证以及几乎为零的服务器开销。作者将该验证原语与基于 LPN 的伪随机掩码相结合以提供输入隐私。作者实现了矩阵-向量委托原语，并据此构建了 Maverick 的端到端原型，在 Qwen3-4B 上以每秒 token 数衡量吞吐量进行评估。评估覆盖 1-8 线程的客户端配置。在单客户端线程、最多 128 线程的 CPU 服务器下，当隐私掩码在线生成时，Maverick 相比本地推理吞吐量提升最高 17 倍；掩码预计算时为 45 倍；仅需验证时为 44 倍。四客户端线程下，相应增益为 13 倍、18 倍与 17 倍。当服务器计算不再是瓶颈时，含模拟网络延迟的客户端微基准显示加速为 12-20 倍、34-135 倍与 38-157 倍。
点评: 矩阵-向量乘法是 LLM 推理的绝对主运算，Maverick 把委托验证做到信息论可靠且服务器开销近乎为零，为”隐私+可验证”的第三方推理提供了少见的实用化路径。
本内容由 AI 辅助生成，论文信息来源于 arXiv。