多模态智能体、具身操作与证据溯源检索新进展

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖具身智能与机器人操控的物理基础建模、自动驾驶中的 LLM Agent 全链路测试，以及事实核查中的证据依赖可解释性等核心议题，并囊括了 LLM 生成游戏环境、开源语音基础模型、威胁情报挖掘与检索评估基准等多元方向。

1. PlayTrain：一种用于 LLM 生成可自适应 JavaScript 游戏的高效强化学习框架

作者: Ryan Truong, Lance Ying, Samuel J. Gershman, Kazuki Irie | 分类: cs.LG 链接: arxiv.org/abs/2609.09059v1

尽管许多视频游戏环境（VGE）在推动强化学习（RL）发展方面发挥了关键作用，但开发新型 VGE 或修改现有 VGE 以支持新功能一直是一个需要大量手工编码的费力过程。在此，我们提出 PlayTrain，一个结合大型语言模型（LLM）从极简的人类提示中稳健生成 JavaScript（JS）游戏的能力，以及能在标准 ‘gym’ 环境中运行任何 JS 游戏的高效流水线的 RL 框架。最近的 LLM 不仅特别擅长编写 JS 代码，而且 JS 格式还允许用户轻松游玩生成的 VGE，而 PlayTrain 则使我们能够在完全相同的游戏上训练 RL 智能体。我们展示了 PlayTrain 的多种用例，包括用简单 JS 克隆著名的 Atari 和 ProcGen 游戏，其中 PlayTrain 在单块 GPU 节点上以每秒超过 100 万次智能体决策的速度端到端训练基于像素的智能体；以及创建其修改版本（例如，支持新颖测试集、程序化生成逻辑或游戏动态）。通过 PlayTrain，我们重新构想了 RL 的 VGE 开发：我们只需要一个通过 LLM 生成和修改的 JS 文件。我们讨论了 PlayTrain 解锁的未来 RL 研究方向。

点评: 将 LLM 生成代码的能力与 RL 训练流水线无缝结合，大幅降低了强化学习环境开发的门槛，为快速原型验证和算法研究提供了全新范式。

2. PlannerForge：用于自动驾驶运动规划器场景化测试的 LLM 智能体

作者: Yuan Gao, Sebastian Müller, Mattia Piccinini, Marc Kaufeld, Yuchen Zhang et al. | 分类: cs.AI, cs.CL, cs.RO 链接: arxiv.org/abs/2609.08965v1

确保自动驾驶的安全性是一个关键挑战。基于场景的测试是用于验证自动驾驶系统（ADS）的系统化过程，但它仍然是一个碎片化的模块化流水线，其中场景生成、检索、修改、ADS 执行和结果分析由彼此交互很少的独立工具完成。大型语言模型（LLM）智能体在 ADS 的感知、规划和控制等子系统中显示出潜力。然而，此前没有工作通过统一的 LLM 智能体框架覆盖整个基于场景的 ADS 测试流水线。我们提出 PlannerForge，一个 LLM 智能体框架，它扩展了所有基于场景的测试阶段（从场景生成到 ADS 评估），并增加了两个由 LLM 增强的阶段：ADS 增强和 ADS 基准测试。我们在 5 种提示条件下，使用 10 种现成的 LLM 对所有任务（生成、选择、修改、模块路由、规划器测试和增强）评估了 PlannerForge。每项任务的最佳得分在 0.88 到 1.00 之间，开源 20-35B 后端在大多数任务上与商业 API 相匹配。端到端链接模块保留了 83% / 78% 的种子查询（商业 / 开源）。它在自然语言生成方面优于 Scenario Factory 2.0（193 vs. 144 个可执行程序（共 200 个）），并实现了 92-96% 的请求城市、道路和车辆属性。它在排名第一选择方面优于 BM25（92.0% vs. 67.5%），在物理有效编辑方面优于 From-Words-to-Collisions（≥94% vs. 31%）。在 N=400 时，成本调整将规划器成功率从 50.4% 提升至 70.2%，并将碰撞率从 19.0% 降至 8.4%，且无需领域特定的微调。

点评: 首次将 LLM Agent 贯穿自动驾驶场景测试全流程，并实证了开源模型逼近商业 API 的性能，对降低测试成本和提升安全性评估效率有重要价值。

3. 通过多轮证据消融评估和改进 LLM 中基于证据的事实核查

作者: Xingyu Deng, Mingzi Cao, Nikolaos Aletras, Xi Wang, Mark Stevenson | 分类: cs.CL, cs.AI, cs.IR 链接: arxiv.org/abs/2609.08943v1

自动事实核查系统根据相关文档中的证据来评估声明的真实性。大型语言模型（LLM）凭借其通用推理能力在事实核查中表现出强大的性能。然而，尚不清楚它们是否忠实地利用所提供的证据来达成真实性判断，还是依赖其参数化知识。为了调查这一点，我们引入了 Fact-Ablated Evaluation (FAE)，一种新的评估框架，它迭代地消融引用的证据，以评估 LLM 是否相应地修改其预测。我们的实证结果表明，当前现成的 LLM 作为事实核查系统更多地依赖其参数化知识，而非所提供的证据。为了弥合预测准确性与证据依据之间的差距，我们提出了 REAL（Rigorous Evidence Ablation Learning），一个训练框架，通过为 LLM 作为验证器的模型提供反事实证据监督来促进依赖证据的验证。在跨不同领域的四个事实核查数据集上的实验表明，使用 REAL 训练的模型相比标准微调模型获得了更优越的依赖证据的能力。我们的发现强调，强大的事实核查性能仍然可以与较弱的证据依赖性共存，而 REAL 则鼓励真实性预测与支持性证据的可用性保持更紧密的联系。

点评: 针对 LLM “知其然不知其所以然”的痛点，提出了严谨的评测框架与训练方法，直指事实核查模型对参数记忆的过度依赖问题。

4. TriCCOT：用于星载空间目标检测的三部分卷积共形 Transformer

作者: Adrien Dorise, Marjorie Bellizzi, Julia Cohen, Stéphane May | 分类: cs.CV, cs.AI 链接: arxiv.org/abs/2609.08659v1

对地观测中的星载目标检测受到有限计算资源和缺乏完全校正图像的约束。虽然卷积检测器硬件效率高，但它们通常难以从原始和噪声数据中提取稳健的表示。相反，基于 Transformer 的模型提供了更强的全局推理能力，但由于二次注意力的复杂性和不兼容的操作，它们难以部署在 FPGA 加速器上。我们引入了 TriCCOT，一种用于稳健且可部署的星载目标检测的三部分架构。TriCCOT 结合了卷积区域提议网络、共形预测阶段和 Aper-GATES（我们硬件友好的基于注意力的分类器）。区域提议网络生成候选边界框，随后通过共形预测进行扩充，提供无分布的概略覆盖保证。生成的裁剪图由 Aper-GATES 处理，它通过卷积投影、全局通道统计和硬件友好的门控操作重新构想了自注意力，避免了不适合面向 CNN 加速器的标准 Transformer 操作。在 DIOR 和 VDVRaw 数据集上的实验表明，与 FPGA 兼容架构相比，实现了有竞争力的检测性能和更高的对空间模糊和信号相关噪声的鲁棒性。最后，我们报告了在不修改底层 DPU 架构的情况下，在 Xilinx Versal VCK190 FPGA 上的完整部署，实现了面向星载嵌入式应用的统一 CNN-Transformer 推理。

点评: 针对星载环境算力受限与图像退化的双重挑战，该工作以工程化设计弥合了 CNN 与 Transformer 的部署鸿沟，对边缘 AI 场景极具参考意义。

5. DeCAL：通过接触感知的潜在协同想象实现物理基础的灵巧视觉-语言-动作模型

作者: Yankai Fu, Ning Chen, Junkai Zhao, Heng Zhang, Guocai Yao et al. | 分类: cs.RO, cs.AI 链接: arxiv.org/abs/2609.09119v1

灵巧操作涉及与物理世界的丰富接触和细粒度交互，由于严重的视觉遮挡和复杂的接触动力学，对现有的视觉-语言-动作（VLA）模型构成了重大挑战。虽然最近的工作已将触觉感知纳入机器人操作，但大多数方法仍依赖同质多模态融合，缺乏自适应的触觉整合和物理动力学的显式建模。在这项工作中，我们提出了 DeCAL，一个物理基础的灵巧视觉-语言-动作模型，统一了接触丰富的灵巧操作的理解、想象和动作生成。DeCAL 基于 Mixture-of-Transformers (MoT) 架构，利用专门的专家处理每种能力，同时实现它们之间高效的信息流。为了有效利用触觉信息，我们引入了自适应视觉-触觉融合，通过接触感知门控策略动态调节触觉交互。此外，我们提出了视觉-触觉潜在协同想象来联合建模视觉和触觉动力学，使策略具备隐式的物理世界知识。实验结果表明，DeCAL 在所有任务上持续实现了最先进的性能，平均成功率达到 71%，进度成功率达到 83.4%，同时也展示了对未见场景的强大泛化能力。

点评: 将触觉与视觉在多模态大模型中深度融合，通过显式的动力学想象提升灵巧操作的物理真实性，为 VLA 模型从“看”到“做”提供了新思路。

6. AuK 技术报告：用于语音生成和编辑的开源基础模型

作者: Ziyang Ma, Zhikang Niu, Wenming Tu, Tianrui Wang, Ruiqi Yan et al. | 分类: cs.SD, cs.CL, cs.MM 链接: arxiv.org/abs/2609.08936v1

我们介绍了 AuK，一个通过自然语言指令和音频上下文的通用接口来统一语音生成和编辑的开源基础模型。为支持这一广泛的能力集，我们构建了约 30.3 亿条指令-音频实例和 195 万小时的有效监督，涵盖五个任务族：语音生成、内容编辑、增强和分离、副语言编辑以及声学编辑。AuK 结合了用于语义条件的多模态大语言模型、联合训练于语音、通用音频和音乐的 VAE（用于声学条件），以及一个混合修正流 Transformer（执行双流 MMDiT 块后接统一单流 DiT 块进行生成）。训练从仅生成的热身开始，然后进行联合生成-编辑预训练。随后，我们应用互补的后训练策略：针对开放式编辑的人类反馈偏好优化和针对语音生成的基于奖励的强化学习。为降低推理成本，我们使用一致性初始化和任务路由的解耦 DMD 进一步蒸馏模型。得到的 AuK-Flash 在无分类器引导的情况下执行 4 步推理，并在匹配条件下实现比完整模型 4.5 倍的墙钟加速。实验表明，在零样本和指令控制的语音生成以及通用指令引导编辑方面取得了领先性能，同时在信号级修复任务上保持竞争力。我们发布了源代码和模型权重以支持可复现性和进一步研究。

点评: 以业界罕见的超大指令数据规模补齐了语音生成与编辑之间的鸿沟，并且全链路开源，有望成为语音多模态领域的重要基座。

7. 从 CTI 报告到调查线索：面向证据的检索生成在威胁狩猎中的应用

作者: Akash Prakash, Boubakr Nour, Makan Pourzandi, Chadi Assi, Mourad Debbabi | 分类: cs.CR, cs.AI 链接: arxiv.org/abs/2609.08790v1

威胁狩猎越来越依赖于将非结构化知识（例如，网络威胁情报（CTI）报告）转化为可操作的狩猎线索：简明、可调查的假设，其依据是可观察的工件和攻击者技术。手动生成此类线索是一项繁琐且难以扩展的任务。现有的自动化方法停留在实体层面，忽略防御者的运营环境，并孤立地分析每份报告。为解决这些差距，我们引入了 AHLERT，一个通过以下方式从威胁报告中自动提取相关的、环境感知的狩猎线索的系统：(i) 混合检索器，结合密集向量搜索和在以 MITRE ATT&CK 为种子知识图谱上的多跳遍历；(ii) 一种本体基础的检索增强生成方法，将每条线索限制在防御者自身的资产和控制措施内；以及 (iii) 一个与 LLM 无关的框架，输出结构化的、可直接操作的线索，而非松散的失陷指标。我们在针对知名 APT 的公开 CTI 报告上，跨多种专有和开放权重模型评估了 AHLERT。带有本体基础的混合证据检索在平均 F1 分数上比单一路径的扁平 RAG 基线提高了约 2 倍（从 0.44 到 0.85），并且 AHLERT 相比现成的 LLM 模型达到了最高的有效性分数（约 86.95%）。

点评: 直击安全运营中的痛点，将 RAG 与本体知识结合，使 AI 生成的威胁狩猎线索变得“环境相关”且真正可执行，而非流于形式的报告摘要。

8. Q2D-Web：面向 Agentic RAG 系统检索的大规模基准

作者: Maximilian Schall, Sedigheh Eslami, Markus Krimmel, Antoine Chaffin, Louis Milliken et al. | 分类: cs.IR, cs.CL 链接: arxiv.org/abs/2609.08887v1

在大规模生产型 RAG 中评估第一阶段检索器需要一个基准，该基准将大规模语料库与大量基于真实用户查询及其对话线程的智能体重构搜索查询配对，并为每个查询标记许多相关文档。现有的公开基准均未评估这种场景：大规模集合通常只提供少量评估查询，而具有许多查询的基准通常只包含数百万文档。此外，大多数基准评估人类书写的查询，而 agentic RAG 流水线中的第一阶段检索器服务于机器书写的查询重构，其分布与人类搜索行为不同。为了克服这些评估差距，我们引入了 Q2D-Web (Query2Doc-Web)，一个大规模 agentic 检索基准，包含一个 1.9 亿文档的网络语料库和 7 万个覆盖十种语言的 agentic 搜索查询，这些查询是基于生产系统中的真实用户查询重构而来。Q2D-Web 提供了三组固定的相关性判断：agent 引用、生产排名，以及结合两者信号并添加对未标记池化文档的 LLM 判断以减少假阴性的组合集。我们对包括词法、稠密和晚期交互模型在内的 13 种检索器进行了基准测试，发现它们的相对排序在很大程度上不依赖于判断集的选择，而在不同主题领域、查询语言和查询类型之间存在显著差异。为实现快速评估，我们还研究了子语料库采样作为全语料库评估的近似方法。保留三分之一的语料库（通过汇集检索器运行的倒数排名融合选择）在组合判断下保持了全语料库模型排序，同时仅将绝对 Recall@1000 提高了 3 到 7 个百分点。

点评: 填补了 Agentic RAG 检索评估的空白，其超大规模多语言真实查询集和混合判断标准为下一代生产级检索器提供了关键测试场。

本内容由 AI 辅助生成，论文信息来源于 arXiv。