大模型个性化、反思考能力与推理拓扑的多元探索

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖端侧 LLM 个性化、逆向推理增强、多语言可读性评估、自动驾驶泊车控制、病理全切片多模态模型、老年认知陪伴交互、网络安全推理拓扑以及多目标工艺表征等方向。

1. 用于高效端侧 LLM 生成式个性化的 LoRA 生成超网络

作者: Sean Augenstein, Li Ding, Jihwan Lee, Keith Rush, Andrey Zhmoginov | 分类: cs.LG 链接: arxiv.org/abs/2609.24979

端侧大语言模型（如运行在手机上的 LLM）非常适合通过个性化来提升表现。移动设备的有限算力限制了模型规模与质量，因此任何可实现的质量提升都极具价值；与此同时，其私人属性（与特定用户的紧密耦合）意味着某一端侧 LLM 往往在时间推移中呈现相似且可预测的使用模式。本文提出一种新的端侧 LLM 个性化方法：训练一个超网络，将用户上下文 token 映射为适合该用户的低秩适配（LoRA）。当训练好的通用产物部署到用户设备后，每位用户即可完全在端侧用该超网络合成个性化 LoRA。该方法融合了上下文学习（ICL）与参数高效微调（PEFT）两类现有 LLM 定制路径的优点，同时规避了各自缺陷。与 ICL 类似（而不同于 PEFT），本方法的端侧阶段在计算上可行，仅需神经网络前向传播；与 PEFT 类似（而不同于 ICL），本方法通过权重（LoRA）修改目标基座 LLM，避免了扩展输入序列所带来的负面影响（如延迟增加）。该方法尤其适配移动设备场景：除上述端侧计算与延迟优势外，它所需额外存储也极少，因为其架构内部部分复用了目标 LLM 自身的权重。我们在多个代表性个性化数据集上展示了 LoRA 生成超网络的优势，并与 ICL、PEFT 等基线进行对比。值得注意的是，我们的个性化实验聚焦于更具挑战性且研究较少的长文本生成任务。

点评: 把”超网络生成 LoRA”搬到端侧，既绕开了 PEFT 的端侧训练开销，又避免了 ICL 的上下文膨胀，是移动端个性化一条很实用的技术路线，长文本生成场景的验证也更贴近真实使用。

2. 构建逆向思维：发展大语言模型的逆向思考能力

作者: Xin Liu, Yunhai Li, Chunfu Jia, Ziliang Chen, Jisen Song | 分类: cs.AI 链接: arxiv.org/abs/2609.24760

面对复杂问题时，人类倾向于针对不同问题尝试多种思路，其思维模式在适应多样场景时展现出显著灵活性。GPT-o1、GPT-o3 与 DeepSeek-R1 采用长链式思维模型，通过增加推理深度来处理复杂问题，但默认仍是前向推理模式。我们对不同规模模型在多个数学问题数据集上的准确率进行了统计分析，发现五类错误原因：解空间覆盖不足、计算错误、未验证假设、忽略约束条件、最大响应长度限制。针对上述问题，我们提出一种逆向推理模式构建方法，旨在增强模型的逆向思维能力与动态适应性。首先，我们构建了一个易—难两阶段数学数据集，用于训练大模型并在不同难度层级上逐步提升其推理能力；该数据集同时包含前向与逆向推理路径。随后采用两阶段监督微调，逐步训练模型的逆向推理能力。此外，我们设计了细粒度奖励机制，利用平滑奖励信号强化模型在推理过程中自主选择思维模式的能力，从而避免奖励劫持。我们还设计了线性衰减平衡采样策略，在训练中维持前向与逆向推理路径样本的平衡，使模型快速稳定收敛。实验结果表明，我们的方法在数学证明等任务上显著提升了推理效率与准确率，为求解复杂问题提供了一种灵活高效的推理范式。

点评: 当前长 CoT 研究几乎一边倒地强化前向推理，本文系统性地把”逆向思维”引入训练与奖励设计，五类错误归因也为后续工作提供了可操作的诊断框架。

3. 用 LLM 评估可读性：推理与少样本提示的作用

作者: Raphaël Thieffry, Matej Martinc | 分类: cs.CL 链接: arxiv.org/abs/2609.24650

可读性评估对于在教育、医疗与信息检索等领域将文本适配目标读者至关重要。然而传统可读性公式难以跨体裁、跨语言泛化，有监督机器学习模型又依赖稀缺的领域标注语料，限制了其适用性——在低资源语言上尤为明显。大语言模型（LLM）提供了一种高度可扩展、多语言且无需任务特定训练的替代方案，但先进提示策略对其性能的影响仍缺乏充分探索。本文对多种开源 LLM 进行系统基准测试，聚焦面向教育框架所需的离散可读性等级预测。除英语外，我们还在低资源语言斯洛文尼亚语上评估该方法，以检验 LLM 在低资源环境下是否依然有效。具体而言，我们考察显式推理的影响，证明思维链（CoT）提示与推理导向模型相较直接回答有显著提升。此外，对少样本上下文学习的探索表明，每个类别仅提供一个标注样例（1-shot）即可相较零样本显著提升预测质量，而继续增加样例则收益递减。通过将这些方法与传统无监督指标及最先进的有监督基线全面比较，我们确立了开箱即用 LLM 作为稳健跨语言可读性评估器的可行性。

点评: 结论务实且可复用——CoT 加 1-shot 就能接近甚至超过有监督基线，对缺乏标注数据的低资源语言教育场景尤其有价值。

4. 从语义决策到可行轨迹：面向窄空间泊车的自演化 LLM 引导最优控制

作者: Zhengbao Yao, Yuanfu Luo, Kehan Xue | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2609.24631

在非凸且狭窄环境中的自动泊车仍具挑战。尽管最优控制方法能显式施加车辆动力学与碰撞约束，但非凸性会损害求解器稳健性并导致失败。大语言模型（LLM）具备强大的语义推理能力，但直接生成稠密轨迹难以保证物理可行性。我们提出 SE-LLM-OCP，一个统一框架：由 LLM 做出高层离散机动决策，最优控制模块则施加底层车辆动力学与碰撞约束。在线阶段，LLM 提出稀疏机动计划，将泊车任务分解为一系列短时域轨迹优化问题，底层求解器随后顺序求解最优控制问题；若求解失败，LLM 会汇总来自求解器与验证阶段的失败证据以指导重新规划。离线阶段，SE-LLM-OCP 由累积的在线失败驱动，从零自动演化出结构化决策知识库。我们在类车模型与差速驱动机器人上进行了仿真验证。实验结果表明，SE-LLM-OCP 能在狭窄场景中实现更安全的自动泊车，并证明同一机动表示可迁移至不同运动学平台。

点评: 让 LLM 只管”做什么机动”、最优控制管”怎么走得动”，这种分层设计既保住了物理可行性，又借助失败驱动的离线知识演化提升了长期鲁棒性。

5. SLICEChat：面向全切片病理语言模型的编码器内渐进式 token 剪枝

作者: Ali Kerem Bozkurt, Baris Cem Bakay, Ibrahim Kulac, Cigdem Gunduz-Demir, Erkut Erdem 等 | 分类: cs.CV, cs.CL 链接: arxiv.org/abs/2609.24894

全切片病理图像（WSI）包含千兆像素级视觉内容，给切片级多模态大语言模型（MLLM）带来严重的可扩展性挑战。现有方法处理数千个 patch token，且通常只在切片编码之后才进行压缩，导致多模态注意力计算代价高昂。我们提出 SLICEChat，一种在混合 Mamba–Transformer 切片编码器内集成渐进式 token 剪枝的切片级 MLLM。Mamba 层支持高效的长程传播，Transformer 层则在序列逐步缩短的过程中保留全局交互。在各阶段之间，语言监督的、区域感知的剪枝在受控保留率调度下移除空间连贯的低效用区域，从而在多模态融合前产生紧凑的切片表示。在 SlideBench VQA 上，SLICEChat 在 TCGA 队列达到 79.84% 准确率、在 BCNB 队列达到 59.09%，优于此前的切片级病理 MLLM，并在 WSI-Bench 上取得最高的整体指标；同时在所评估模型中具备有竞争力的内存占用与推理延迟。这些结果证明了对千兆像素 WSI 进行准确且计算高效的多模态推理的可行性。

点评: 把剪枝前移到编码器内部而非事后压缩，是病理大模型降本的关键一步；Mamba 与 Transformer 的混合结构在保留全局交互的同时显著压缩序列，工程思路值得借鉴。

6. “MeBo 会留下你的一部分”：为老年人设计的关系型语音记忆伴侣

作者: Hasibur Rahman, Mahsa Nasri, Manasi Vaidya, Melika Vafafar, Jessie Chin 等 | 分类: cs.HC, cs.AI 链接: arxiv.org/abs/2609.24706

自传体记忆支撑着晚年生活中的身份认同、幸福感与社会联结，然而现有语音记忆技术大多依赖孤立的提示。我们与 11 位老年人通过参与式设计，设计并构建了 MeBo——一个功能完整的关系型语音记忆伴侣。他们的叙述塑造了四项设计策略，指导了 MeBo 的交互设计与多智能体实现。在一项有 20 位老年人参与的混合方法评估中，参与者认为 MeBo 极其易用（SUS = 87.75）、有趣、善于社交、情感响应良好且值得信赖。与使用前相比，参与者在会话后报告了更高的正向情感与即时社会联结感，以及更低的负向情感。参与者描述了 MeBo 如何跟进他们的故事、回溯早先的记忆、适应其偏好，并使其不断增长的记忆可见且可控。MeBo 的关系型框架也揭示出若干张力：它应当记住什么、谁可以访问交互中产生的记忆，以及当用户或 MeBo 不再存在时这些记忆将何去何从。

点评: SUS 87.75 的高分背后，是”关系型记忆”而非”问答式提示”的设计取向；文中关于记忆归属与逝后处置的伦理张力，值得所有做 AI 陪伴产品的团队认真对待。

7. 推理拓扑很重要：一项关于 LLM 网络安全分析的受控研究

作者: Jiling Zhou, Aisvarya Adeseye, Antti Hakkala, Seppo Virtanen, Jouni Isoaho | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2609.24710

大语言模型（LLM）在网络安全领域日益普及，而准确分析往往需要对复杂异构数据进行多步、依赖上下文的推理。然而现有提示方法通常只关注如何引出推理，而未显式考虑中间推理步骤在结构上如何组织。我们提出”安全推理拓扑”，将推理建模为三种代表性结构：线性、分支与图。为评估其效果，我们在三个网络安全数据集上进行受控实验，覆盖 MITRE ATT&CK 网络流量、网络威胁情报（CTI）与 CVE 漏洞分析。我们评估了包括 Llama 2（7B、13B、70B）、GPT-5.1 与 Mistral Large 3 在内的多个 LLM，在保持任务输入一致的前提下，通过系统级提示控制推理结构。结果表明，推理拓扑对性能影响显著：图式推理取得最高整体准确率，相较少样本提示在各数据集上提升 9.8–12.2 个百分点，分支式则是强有力的中间方案。结果进一步显示，推理拓扑的效应在不同模型家族与规模间保持一致，凸显其作为 LLM 网络安全分析设计要素的重要性。

点评: 把”推理结构”当作可调超参数来研究，是提示工程走向工程化的一个信号；图式推理稳定领先约 10 个百分点，且跨模型规模一致，说明结构红利而非模型红利。

8. JAREX：面向多目标算法工艺表征的采集函数

作者: Xinyang Li, Kevin Stone, Ajit Vikram | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2609.24954

制药工艺表征是质量源于设计（QbD）的核心，因为它界定工艺参数波动如何影响达成产品质量规格的能力，从而支撑已验证可接受范围与稳健生产。然而在实践中，工艺表征仍主要依赖析因实验设计（DOE）方法，这类方法在解析高维空间中的多变量合格/不合格边界时效率低下。尽管贝叶斯优化已变革了工艺优化，面向多目标工艺表征的自适应方法仍然缺失。本文提出 JAREX（联合可接受区域探索），一种用于多目标工艺表征的贝叶斯主动学习采集函数。JAREX 将工艺表征形式化为联合边界学习问题，自适应地选择实验以恢复由多目标同时满足阈值判据所定义的联合合格区域。JAREX 将乐观联合可行性掩码与随机跨立（randomized straddle）的多目标扩展相结合，把采样聚焦于联合失效边缘。我们的基准研究表明，在完整实验预算范围内，JAREX 相较析因 DOE、空间填充设计与逐目标贪心策略能更准确、更节省样本地恢复联合合格区域。在批量实验场景下，它在保持边界识别高精度的同时将迭代式工艺表征实验次数减少一半以上。JAREX 已在开源 obsidian 包中实现，为自适应、数据高效的多目标算法工艺表征提供了模块化框架，支持高维空间中的样本高效范围发现。

点评: 把工艺表征从”析因 DOE”重新表述为”联合边界主动学习”，实验次数减半很有工业吸引力；开源实现也让这套方法更容易被制药与制造团队直接试用。

本内容由 AI 辅助生成，论文信息来源于 arXiv。