LLM 金融预测、DeFi 工作流安全与 RAG 安全评估

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖 LLM 金融预测与安全评测、DeFi 工作流合成、几何建模语义先验、强化学习规划理论、语音大模型推理、KV 缓存系统优化以及后门检测等多个方向。

1. 让另类数据真正发挥作用：面向金融预测的上下文增强 LLM

作者: Jihoon Kwon, Lawrence Liu, Daekyung Park, Sumin Kim, Haverty Jack 等 | 分类: cs.AI 链接: arxiv.org/abs/2609.11607

在预测企业未来财务表现时，另类数据——来自消费者交易、网络流量、预测市场等非传统渠道的数据——能够提供关于企业经营活动和整体市场状况的及时信号。这些信号可能揭示传统公开来源未覆盖的信息，从而为预测企业未来财务表现提供补充。然而，企业级另类数据往往历史覆盖有限、仅与特定预测目标或部分企业相关，且分散在众多异构渠道中，难以灵活纳入传统预测方法。与此同时，大语言模型（LLM）能够理解指令、从上下文示例中学习，并在无需任务特定参数更新的情况下结合异构信息生成预测。受此灵活性启发，本文研究 LLM 能否通过上下文学习将另类数据与其他金融信息整合以预测企业表现。作者提出一个双智能体框架：首先识别每个另类数据渠道可能对哪些企业具有信息价值，然后利用企业与渠道特定的上下文预测营收。研究在四个商业另类数据渠道上进行评估，实验表明在上下文中将另类数据与其他金融信息一并提供，相比单独使用任一来源都能提升 LLM 的预测表现，且优于标准预测基线。这些发现表明，LLM 为整合另类数据与异构金融信息提供了一种灵活且实用的途径。

点评: 将”哪个数据源对哪家公司有用”的筛选问题交给 LLM 自己判断，是上下文学习在金融垂直领域的一个务实落地思路，值得做量化研究的人关注。

2. DeFiFlowBench：自然语言 DeFi 工作流合成的安全可执行性基准与改进

作者: Abhinav Rajeev Kumar, Harshit Arora, Varun Singh, Manikandan Nanjappan | 分类: cs.LG, cs.SE 链接: arxiv.org/abs/2609.11504

一个结构上合法的 DeFi 工作流仍可能授权一笔代价高昂的交易。本文提出 DeFiFlowBench——一个包含 207 条团队编写提示词的基准，用于自然语言 DeFi 工作流合成。该基准衡量图覆盖率、配置完整性和声明的安全谓词，并在本地 EVM 上测试受支持的交易配置。在固定的 5% 价格冲击上限下，直接提示、约束提示和少样本提示在留出配置上分别产生 14–19 次不安全执行。由报价推导出的滑点边界并不能阻止订单本身的价格冲击。作者提出 Koan-Safe，它结合了仅提示的意图解析器、可替换的生成器以及带默认安全参数的结构化修复。在 75 条留出工作流提示上，其混合变体在静态安全代理指标上得分为 0.67，而最佳基线为 0.33。Koan-Safe 在保存的基准输出上未记录到不安全执行。匹配候选消融实验显示，当禁用强制执行时会产生 14–17 次不安全执行。额外测试揭示了默认注入的局限：已有的宽松阈值仍可能授权不安全交易。单独评估的策略上限在 36 例诊断网格上解决了这一失效。这些结果支持显式交易保护与基于执行的评估，同时区分了”声明的安全”与”普遍保证”。

点评: DeFi 智能体是 LLM 落地的高风险场景，本文用可执行的 EVM 测试而非文本相似度来评判安全性，评测思路对智能体安全研究很有借鉴意义。

3. RAG-Safety-Bench：检索增强 LLM 安全性的可靠评估

作者: Adithiyan Rajan Indira Saravanan, Kathleen C. Fraser | 分类: cs.CL, cs.IR 链接: arxiv.org/abs/2609.11758

允许大语言模型（LLM）从一组可信文档中检索信息，可以提高可靠性并减少幻觉。然而，近期工作表明，当被提示生成有害或危险内容时，检索增强生成（RAG）可能对生成响应的整体安全性产生意想不到的副作用。随着越来越多终端用户借助 RAG 将企业文档和知识库引入基于 LLM 的系统，需要更清晰地理解导致这一结果的机制。本文提出 RAG-Safety-Bench，一个衡量 RAG 对 LLM 安全影响的基准。通过消除检索器质量的混杂效应，并将问题清晰划分为四种条件——非 RAG、RAG 配含答案的 oracle 文档、RAG 配与有害请求相关但无具体答案的文档，以及 RAG 配随机安全文档——该基准隔离了不同因素对观察到的安全退化的影响。作者在五个开源 LLM 上报告结果，显示出良性能力与不安全能力之间的反向关系、基线安全护栏并不能带来 RAG 场景下下游安全保证的有力证据，以及支持此前”即使良性文档也可导致检索系统生成不安全内容”这一发现的模型特定证据。

点评: “检索到无害文档也会让模型更不安全”这一结论对企业级 RAG 部署是明确警告，四条件实验设计干净利落，是安全评测工作的良好范例。

4. 面向 B 样条曲面拟合的语言增强语义先验

作者: Yunzhong Lou, Yusheng Luo, Jiahao Li, Yu Song, Xiangdong Zhou | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2609.11708

B 样条与非均匀有理 B 样条（NURBS）曲面构成了当代计算机辅助设计（CAD）系统的数学基础。尽管长期进展显著，传统 CAD 的几何内核在曲面拟合与参数化方面仍严重依赖预设的启发式初始化。同时，建模历史中编码的过程语义与设计意图在几何生成过程中基本被忽略。这种脱节造成了高层设计意图与求解器可执行几何配置之间的鸿沟，往往导致次优且语义不一致的拟合结果。为弥合这一鸿沟，本文提出 LASP——一个语言增强语义先验框架，利用大语言模型（LLM）从过程建模历史中推断结构化、求解器可用的 B 样条先验。LASP 不修改几何内核本身，而是作为现有求解器之上的语义推理层运行。它首先将建模历史转换为捕捉设计意图、几何上下文与功能关系的丰富文本描述，然后使用微调后的 LLM 预测结构化 B 样条先验参数。LASP 通过两阶段训练方案结合局部几何规律与长程上下文依赖，所产生的先验既具可解释性又语义连贯。该方法为传统 B 样条拟合过程提供归纳信号，引导其走向更准确体现预期设计目标、语义一致性更强的解。与传统机器学习方案相比，实验表明语言驱动的推理可以成为几何求解的强大归纳偏置，确立了现代 CAD 系统中语言引导几何优化的新范式。

点评: 把”设计意图”从建模历史里用 LLM 提取成几何求解器能吃的先验参数，是 LLM 赋能传统工业软件的一条清晰路径，思路新颖。

5. 带多步转移前瞻的近最优强化学习

作者: Corentin Pla, Hugo Richard, Marc Abeille, Vianney Perchet | 分类: stat.ML, cs.LG 链接: arxiv.org/abs/2609.11807

本文研究带转移前瞻的强化学习（RL）：智能体在决定行动方案前，可以观察任意长度为 ℓ 的动作序列将会访问哪些状态。尽管前瞻能显著提升可达性能，但已知多步转移前瞻下的最优规划是 NP 难的——不过这一困难性是用任意接近 1 的折扣因子建立的，因此此前尚不清楚该问题是否对任意折扣因子都保持困难，也不清楚是否仍可高效执行近最优规划。本文解决了这两个问题。首先，作者证明对每个固定有理折扣因子（γ∈(0,1)），精确规划仍是 NP 难的。其次，作者为每个固定前瞻深度引入了随机多项式时间近似方案。随后，作者利用乐观主义与方差自适应置信界，将该方法扩展到未知转移与随机奖励的情形。所得算法的累积遗憾主项与经典表格型折扣 RL 在对数因子上相匹配。因此，尽管带转移前瞻的精确规划是 NP 难的，高效的近最优规划与学习仍然可行。

点评: 在”精确规划 NP 难”与”学习可行”之间划出精确边界，理论贡献扎实，也为前瞻式决策系统的算法设计提供了正当性依据。

6. RetroThinker：让语音 LLM 具备回溯思考能力

作者: Yi-Jen Shih, Puyuan Peng, Abdelrahman Mohamed, David Harwath | 分类: eess.AS, cs.AI, cs.CL 链接: arxiv.org/abs/2609.11864

语音大语言模型（SpeechLLM）具有更低的延迟，并能保留级联式自动语音识别（ASR）加文本 LM 架构通常丢失的副语言细节。然而，它们在复杂推理任务上仍落后于纯文本 LLM，而实时语音交互又施加了严格的延迟约束。尽管此前工作采用思维链（CoT）与并发推理来增强推理能力而不引入过高延迟，但固有的精度—延迟权衡依然存在。本文研究流式 SpeechLLM 能否在推理过程中动态修正其推理轨迹。作者提出 RetroThinker，一个多阶段后训练框架，使 Moshi 模型在推理时具备对 CoT 步骤自我验证与前向纠错的能力。RetroThinker 结合了在精选回溯思考数据上的监督微调（SFT）与基于长度的直接偏好优化（DPO），以在推理早期（即用户说话时并发推理）优化回溯行为。在 GSM8K 基准上评估显示，RetroThinker 相比非回溯基线显著改善了精度—延迟权衡，在延迟相当的情况下取得 11% 的绝对精度提升。

点评: 让语音模型”边说边改”自己的推理链，是把文本 LLM 的自我纠错能力迁移到实时语音场景的一次有意思尝试，11% 的精度提升实打实。

7. 构建 py-kvcache：面向 vLLM 的 NVMe SSD 外部 KV 缓存性能刻画

作者: Joseph Kanichai, Tiziano De Matteis, Animesh Trivedi | 分类: cs.DC, cs.LG 链接: arxiv.org/abs/2609.11744

前缀缓存可通过复用先前计算出的键值（KV）状态来降低长上下文 LLM 请求的首 token 时间（TTFT），但对于短前缀或快速 GPU，重新计算可能比从外部缓存加载更快。本文使用合成负载、长上下文基准与生产轨迹，在 GPU、CPU 和 NVMe 三层上刻画 vLLM 中的这一权衡，发现缓存性能不仅取决于设备带宽，还取决于传输粒度、中间内存使用以及传输进入请求调度的时机。这些发现促成了 py-kvcache——一个 vLLM KV Offload 连接器，具备异步直接 I/O、有界共享暂存和调度器感知的预加载，可在请求仍处等待时启动磁盘读取，与计算重叠。在 80k token 时，py-kvcache 从磁盘加载比 LMCache 快 2.0 倍，其中预加载贡献了 1.34 倍。在启用 GPU、CPU 和磁盘缓存的情况下，它比 LMCache 快 1.23 倍，并接近原生 vLLM KV Offload 实现的约 4% 以内。LongBench 和 SCBench 表明这些收益可扩展到不规则前缀链与多轮负载。百炼轨迹回放能在较弱 GPU 上改善 TTFT，但在 H100 上平均请求低于盈亏平衡点，仅 GPU 内存就保留了足够的前缀。因此外部 KV 缓存应被视为依具体配置而定的准入决策。py-kvcache 实现在 https://github.com/atlarge-research/py-kvcache 开源。

点评: 难得地给出”外部 KV 缓存并非总是划算”的诚实结论，并在 H100 上指出盈亏平衡点，对做推理系统容量规划的工程师很有参考价值。

8. SpecGuard：零成本的推理时后门检测

作者: Rui Wen, Ahmed Salem, Andrew Paverd, Mark Russinovich, Zheng Li | 分类: cs.CR, cs.CL 链接: arxiv.org/abs/2609.11799

大语言模型常被微调、共享或从第三方下载，因此部署的模型可能携带隐藏后门：在良性输入上表现正常，但当秘密触发器出现时切换到攻击者控制的行为。虽然后门可在部署前审计，但对频繁更新的模型而言运行时监控仍然重要。挑战在于 LLM 服务对延迟敏感：现有推理时检测器要么依赖关于触发器形式的假设（面对隐蔽攻击可能失效），要么需要额外的模型计算，如输入扰动或额外一次生成。本文提出 SpecGuard——一种推理时后门检测器，以零额外模型计算成本复用推测解码。推测解码通过小型草稿模型提议 token、目标模型验证 token 来加速推理。作者观察到这一验证过程本身已暴露有用信号：当后门被触发时，目标模型向攻击者行为偏移，而干净的草稿模型不会预测这一偏移，导致草稿 token 接受率发生变化。作者形式化了该信号出现的条件，并证明攻击者若要抑制该信号，必须同时削弱后门。在多种后门类型与模型家族上，SpecGuard 能可靠检测触发行为，包括输入级过滤器无法察觉的隐蔽情形，同时避免了现有运行时检测器的额外生成开销。因此，推测解码同时充当了一个免费、常开的后门行为检测信号。

点评: 把推测解码的”草稿接受率”这一副产品转化为后门信号，几乎零成本且无需假设触发器形式，是安全与系统优化交叉的漂亮想法。

本内容由 AI 辅助生成，论文信息来源于 arXiv。