Agent协同、多任务视频理解与结构因果推断新进展

今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖多轮服务智能体的信用分配、LLM Agent 的工具创造与使用联合优化、大规模网页交互数据合成、多任务视频理解、结构化因果推断、LLM 服务系统仿真以及量子核方法等前沿方向。

1. IAPO：面向多轮服务智能体信用分配的影响感知策略优化

作者: Bo Ren, Yirong Mao, Yi Yang, Wenhui Que | 分类: cs.LG 链接: arxiv.org/abs/2608.24588v1

大型语言模型智能体通过多轮交互来解决长周期任务，相关信息往往随时间逐步展开，而非在初始提示中完全给定。服务型智能体使这一挑战尤为突出：用户可能中途澄清或修改目标，工具响应也会为后续决策提供信息。因此，仅凭最终奖励无法判断哪些动作对任务解决有贡献。现有方法依赖轨迹对比或重采样来细化信用分配。我们提出 IAPO（影响感知策略优化），将每条完整轨迹表示为带类型的影响依赖图，将用户和工具观测作为证据。IAPO 将支持性使用与失败性使用结构转化为路由权重，重新分配同一轨迹级优势。在三个服务智能体基准（τ²-Bench、UserBench、AgentChangeBench）上的实验表明，使用 Qwen3-4B 和 Qwen3-8B 训练的 IAPO 优于多轮强化学习基线。BFCL-v4 Multi-Turn 进一步显示这些增益不损害多轮函数调用性能。

点评: 为多轮交互场景提供了全新的信用分配视角，不再依赖外部对比信号，而是从轨迹内部结构挖掘动作贡献，对服务型 Agent 训练具有重要实践价值。

2. 大语言模型智能体工具创造与使用的联合优化

作者: Zhi Rui Tam, Chieh-Yen Lin, Yun-Nung Chen, Shao-Hua Sun, Hung-yi Lee | 分类: cs.AI, cs.SE 链接: arxiv.org/abs/2608.24571v1

工具增强语言模型受限于人类编写的 API；现有工具创造系统在推理时通过提示冻结的 LLM 来弥补，但编写工具与使用工具的模型彼此割裂，缺乏信号告诉模型其生成的模式可被自身调用。我们提出 SMITH（Schema 引导的多任务迭代工具打磨），一个在单一策略内联合训练工具创造与使用的强化学习框架。每条训练轨迹要么是构建任务，要么是使用任务，三条独立奖励轴分别捕捉模式、代码与结果失败。使用 SMITH 训练的 4B Qwen3 在 13 个程序推理任务上达到 79.8% 的宏平均准确率，超过所有评估方法，并领先未训练的 30B-A3B 工具编写器。

点评: 首次将工具创造与使用纳入同一策略的端到端优化闭环，打破了两者长期割裂的现状，显著提升了小模型在程序推理和复杂任务上的表现。

3. BrowserForge：通过并行浏览器沙箱规模化生成网页交互数据

作者: Fei Tang, Huawen Shen, Zhiqiong Lu, Zhengxi Lu, Pengyuan Lyu et al. | 分类: cs.CL 链接: arxiv.org/abs/2608.24848v1

直接从渲染像素行动的网页智能体避免了读取 HTML 的脆弱性和高 Token 成本，但其训练依赖大规模高质量交互轨迹，如何规模化生产此类数据仍是未解问题。我们提出 BrowserForge，一个通过并行驱动开放互联网上的大量浏览器沙箱来规模化生成网页交互数据的框架。它结合开放网络采集、沙箱集群管理与 Proposer-Solver 双智能体循环，生成 203,238 条轨迹，每条来自不同网站，规模和多样性均超越先前数据集。微调紧凑多模态模型后，在在线 Online-Mind2Web 上成功率从 25.66% 提升至 33.33%。

点评: 将网页 Agent 训练数据规模从数千条一举提升至 20 万条，且全部来自开放网络，覆盖网站数量大幅增长，为像素级网页智能体的规模化训练开辟了新路径。

4. MoTE：面向多任务视频理解的任务专家混合模型

作者: Muhammad Asad Ali, Umar Khan, Nadia Robertini, Didier Stricker | 分类: cs.CV, cs.LG 链接: arxiv.org/abs/2608.24763v1

程序性视频语言模型必须从相同的视觉证据中解决异构任务，包括动作识别、预测和流程预测。密集 Transformer 解码器跨任务共享前馈网络，会导致任务行为纠缠。我们提出 MoTE（任务专家混合），一种将 LLM 前馈网络转化为任务特定专家同时保持多模态骨干共享的解码器架构。每个样本遵循单一样本级任务路线，激活的专家计算与存储的专家数量无关。基于该设计实例化的 VideoLLM-MoTE 在五个 COIN 基准上达到更高的平均 top-1 准确率，且每个样本仅激活约 2B LLM 参数。

点评: 任务级结构化路由为多任务视频理解提供了可解释、计算高效的解码器方案，避免了 token 级稀疏路由与任务目标不对齐的固有问题。

5. 面向人类与机器智能体的文学化编程环境

作者: Adam T. Burke | 分类: cs.SE, cs.AI, cs.PL 链接: arxiv.org/abs/2608.24644v1

本文介绍了一个与语言感知机器智能体协作构建文学化程序的环境。该环境包含可执行程序散文的语法、将名称视为一等对象的解析器、关联散文、名称与可执行工件的内部名称图，以及现有语言和测试工具的绑定机制。它支持代码与其最相关的自然语言和结构化数据上下文共存，更充分地利用 LLM 上下文窗口，同时为 LLM 编码智能体提供更类似于人类程序员 IDE 中符号感知搜索与使用信息的工具集。

点评: 为 LLM 编码智能体补齐了 IDE 级别的符号感知能力，通过名称图将自然语言与代码深度绑定，有望显著提升生成代码的可维护性与准确性。

6. 层级结构因果模型的可扩展通用识别——重新审视 Project STAR

作者: Janis Aiad, Aghiles Drali, Aymen El Ouadrhiri, Anass Ettahiri, Yasser Oufqir et al. | 分类: stat.ML, cs.AI 链接: arxiv.org/abs/2608.24500v1

STAR 实验是评估班级规模对学生成绩影响的标志性层级数据集。为在层级设置中编码班级级干预，我们开发了完整、可扩展、开源的层级结构因果模型管道，弥合符号识别与实际估计的鸿沟。核心创新是改编的抽象语法树，将识别的公式分解为独立的密度、期望与边缘化任务，实现并行可扩展计算。在 STAR 幼儿园数学成绩上的应用表明，忽略层级的平坦基线可恢复关联但无法编码班级级干预，且仅靠符号识别不足以支撑实际层级结构因果推断。

点评: 首次将符号因果识别与数值估计完整打通并开源，在经典教育数据集上验证了层级结构建模的不可替代性，为因果推断工具链的工程化树立了标杆。

7. Simthesizer：面向 LLM 服务系统的智能体驱动仿真框架

作者: Wonung Kim, Hyunmin Choi, Minsu Kim, Jaehong Cho, Yeongwook Kim et al. | 分类: cs.AR, cs.AI 链接: arxiv.org/abs/2608.24650v1

LLM 服务系统的设计空间迅速扩张，系统级仿真成为必要工具。然而现有仿真器的开发速度远跟不上 LLM 服务演进，智能体工作流与分离式服务等新机制已不再适配传统单片仿真管线的假设。我们提出 Borg 框架，实现智能体驱动的仿真器开发。它引入可组合仿真基础设施，将完整服务流程统一表达为动态图。合成智能体将自然语言功能请求转化为仿真器特定约束下的实现，在相同条件下基于 Borg 的扩展相对真实系统的平均吞吐误差仅 2.51%，且仿真速度分别比两个最先进仿真器快 284.96 倍和 23.19 倍。

点评: 将 AI 编码智能体引入系统仿真器开发循环，彻底改变了 LLM 服务系统设计中仿真工具滞后于部署系统的困局，效率与精度双突破。

8. 当相似性由交互驱动：面向状态敏感学习的量子核方法

作者: Hanqiu Peng, Jianlong Lu, Ying Chen | 分类: quant-ph, cs.LG 链接: arxiv.org/abs/2608.24631v1

许多决策系统中的相似性不仅由距离决定，还由变量间的交互驱动。在欺诈与异常检测中，微小的局部扰动可跨越交互敏感决策边界而环境距离几乎不变。我们提出薄板交互模型与基于纠缠 Pauli 字符串特征映射的交互驱动量子核，该特征映射显式编码稀疏高阶块交互。在真实欺诈检测基准上，该核在信用卡欺诈检测上取得最高平均准确率和 F1，在 IEEE-CIS 欺诈检测上排名第二。由于该块因子化核可在经典计算机上精确求值，结果确立了其预测与表征价值而非量子计算加速。

点评: 揭示了量子核性能取决于特征映射几何与底层预测结构的对齐而非希尔伯特空间维度，为量子机器学习在交互敏感场景的应用提供了理论与实证基础。

本内容由 AI 辅助生成，论文信息来源于 arXiv。