多模态临床知识图谱对齐、医疗多智能体通信与机器人视频上下文学习
精选 8 篇 AI/ML 论文，涵盖LG, CL, AI, CV, GR, stat.ML, eess.SP, stat.ME, RO, MA, SD, quant-ph等方向
今天从 arXiv 精选了 8 篇值得关注的 AI/ML 论文，涵盖临床多模态知识图谱、医疗多智能体协作、芯片设计验证自动化、扩散 Transformer 可解释性、多元时间序列图神经网络、机器人视频上下文学习、金融语音助手口音鲁棒性，以及 LLM 引导的量子纠错码发现等方向。
1. 对齐多模态患者证据与生物医学知识图谱的临床 LLM
作者: Jiawen Du, Arshan Ali Khan, Chenhao Zhang, Zachary Plotkin, Li Shen 等 | 分类: cs.LG, cs.CL 链接: arxiv.org/abs/2610.06685
临床问题往往依赖将患者的多模态证据与外部生物医学知识相连接，但现有预测系统很少显式表示这种连接，因而既无法回溯到证据来源，也无法通过删除来测量其贡献。我们提出 MM-KG（多模态知识图谱），将异构的多模态患者观测与生物医学概念表示为同一类型图中的独立层，并通过显式对齐边相连。首先，模态特定的协调器将电子健康记录文本、影像、基因组和生物样本数据转换为映射到 UMLS 概念的带类型观测，再由路由优先的对齐器将其链接到生物医学知识图谱。随后，查询条件检索选取紧凑子图供下游大语言模型或图神经网络使用。我们为 MIMIC-IV 和 ADNI 构建了 MM-KG，并采用 2×2 设计分离患者证据、生物医学知识及其交互作用进行评估。在同时需要两种来源的问题上，任一来源单独使用的表现都远高于随机，而二者结合在 MIMIC 上产生药物控制的 AUROC 交互效应 +0.194，在 ADNI 上为 +0.299。在留出的五候选排序任务中，MM-KG 较 MindMap 提升 +0.131 Hits@1，并在需要查阅患者信息的项目上领先适配版 GraphCare；从检索包中删除承载答案的单一关系会使 Hits@1 回落到无知识基线。最后，查询条件检索以少 6.8 倍的上下文达到 0.731 AUROC，而静态知识图谱上下文在普通结果预测上没有一致增益。因此，知识图谱对临床 LLM 的价值不在于背景上下文，而在于显式连接多模态患者证据与问题所需关系，MM-KG 使这些连接可检索、可追溯、可检验。
点评: 这项工作把“知识图谱如何真正帮助临床 LLM”这一问题做了严谨的因果式拆解——不是当背景提示，而是作为可删除、可测量贡献的显式证据链，实验设计尤其值得借鉴。
2. MedPrune：面向医学 VQA 任务的拓扑高效多模态多智能体通信演化
作者: Jiuheng Wan, Runze Li, Chen Chen, Tingyuan Hu, Daiyang Yu 等 | 分类: cs.CL 链接: arxiv.org/abs/2610.06695
尽管医学多模态大语言模型（Med-MLLM）推动了医学视觉问答（VQA）的发展，但现有受临床工作流启发的多智能体框架因冗余通信拓扑而存在交互模式僵化和计算开销过大的问题。本文提出 MedPrune，一种高效的医学多模态多智能体协作框架，可动态剪枝通信拓扑中的节点和边，以增强推理能力并提升 token 效率。具体而言，我们首先将诊断过程形式化为异质通信图，其中节点表示来自不同科室的专家智能体，边刻画科室内部与科室间的交互。基于该图，我们引入两种稀疏化机制以实现自适应协作演化：（1）异质节点稀疏化，通过强化学习驱动的拓扑优化剔除与当前多模态问题无关的专家智能体；（2）异质边稀疏化，通过联合优化任务性能与拓扑复杂度，仅保留最具诊断显著性的科内和科间连接。在完整集和少样本训练设置下的大量医学 VQA 实验证明，MedPrune 超越多智能体基线，在提升 token 效率的同时具备强对抗鲁棒性。
点评: 把“会诊”这一临床隐喻真正转化为可优化的图结构并做动态剪枝，在医疗场景下兼顾了推理质量与推理成本，思路实用。
3. 回到未来：为芯片设计验证中的智能体系统重新思考 EDA 基础设施
作者: Je Yang, Ivan Lobov, Thomas Karpati | 分类: cs.AI 链接: arxiv.org/abs/2610.06790
现代人工智能前所未有的算力规模依赖于包含数十亿晶体管的复杂片上系统，然而验证这些芯片的工作流却仍停留在手工阶段。尽管大语言模型（LLM）已快速进入电子设计自动化（EDA）领域，但约 74.6% 的现有研究集中于静态寄存器传输级（RTL）代码生成，仿真后验证与交互式波形调试几乎无人触及。我们提出 Back-to-the-Future（BTTF），一个端到端的智能体框架，以弥合这一基础设施空白。BTTF 将海量非结构化仿真转储提炼为规范化的关系型 SQLite 数据库，并配合协作式多智能体编排引擎，将自然语言验证查询转换为模式感知的 SQL，同时将信号异常与带版本的 RTL 仓库关联。在包含 150 条查询的基准上，BTTF 达到 95.33% 的执行准确率，为自主 EDA 验证勾勒出一条切实可行的路径。
点评: 论文指出的“74.6% 研究扎堆 RTL 生成”这一空白很有价值，把仿真日志数据库化再接入多智能体，是 EDA 智能体落地中少见的工程化视角。
4. 学会阅读 Diffusion Transformer 中的上下文 Token
作者: Omer Dahary, Etai Sella, Hadar Averbuch-Elor, Daniel Cohen-Or, Or Patashnik | 分类: cs.CV, cs.AI, cs.GR, cs.LG 链接: arxiv.org/abs/2610.06844
多模态 Diffusion Transformer（MM-DiT）在生成过程中联合处理视觉与文本表示。这些模型通过多模态注意力反复更新文本 token，形成功能尚不明确的动态上下文 token。在本工作中，我们提出一个通过自然语言询问来读取该上下文空间的框架。我们训练一个轻量瓶颈网络，将中间上下文 token 映射到冻结大语言模型（LLM）的输入空间，使 LLM 能直接从这些隐藏表示回答关于正在生成图像的问题。我们的“读取器”揭示，上下文 token 编码了正在浮现场景的丰富全局表示：生成特定的语义（包括提示中未充分指定的属性）在去噪极早期就可获取，而越来越细粒度的细节则随时间逐步可读。值得注意的是，即使 MM-DiT 接收空提示，这些信息仍可解码，表明上下文 token 从演化的视觉表示本身积累了可观的图像特定信息。我们进一步发现，上下文表示越可读的生成样本往往获得更高的人类偏好评分。基于这些观察，我们提出 Contextual Alignment，一种显式强化上下文 token 中视觉语义信息的训练技术，可提升生成质量与分布覆盖。总体而言，我们的结果确立了上下文 token 既是理解 MM-DiT 内部动态的可解释窗口，也是改进生成模型的有效目标。
点评: 用“语言读出”的方式开放式窥探 DiT 内部表示，并进一步把可读性与人类偏好关联、反哺训练，兼顾了解释性与实用价值。
5. 面向多元时间序列的逆交叉谱神经网络
作者: Lorenzo Marinucci, Leonardo Di Nino, Gabriele D’Acunto, Paolo Di Lorenzo, Sergio Barbarossa | 分类: stat.ML, cs.LG, eess.SP, stat.ME 链接: arxiv.org/abs/2610.06630
协方差神经网络及其扩展已成为处理多元数据的有效工具，其图移位算子直接由二阶统计量导出。然而这些架构面向独立同分布观测设计，未能充分刻画多元时间序列中时间依赖与跨变量依赖的联合结构。在本工作中，我们提出逆交叉谱神经网络（iCSNN），这是一类面向平稳多元时间序列的图神经网络，其移位算子为逆交叉谱密度（iCSD）矩阵。这些算子编码变量间频率特定的条件关系，充分利用了谱表示定理给出的分解。借助谱平滑性，我们将频率分组为共享同一 iCSD 算子的频带，形成紧凑参数化，同时保留过程的频率依赖结构。我们进一步提出联合学习过程，同时估计傅里叶域依赖结构与 iCSNN 参数，使 iCSD 算子自适应下游任务。在合成数据上，iCSNN 优于来自不同方法论家族的基线。
点评: 将图移位算子从静态协方差推广到频域逆交叉谱，为多元时间序列建模提供了有统计理论支撑的新算子设计，方向扎实。
6. 面向智能体机器人的递归视频上下文学习
作者: Wenrui Bao, Xinxin Liu, Bingxin Xu, Yuzhang Shang | 分类: cs.RO, cs.AI, cs.CL, cs.MA 链接: arxiv.org/abs/2610.06843
通过文本记忆编排冻结视觉-语言-动作（VLA）策略的 LLM 智能体可在多轮任务中逐步改进，但文本记忆只记录智能体做了什么，而非任务是如何完成的。演示视频能展示过程，却难以塞入智能体的上下文：完整视频会拖慢每一轮，固定关键帧会丢失决定抓取是否成功的关键接触细节，而智能体的需求也在变化——规划时关注任务结构，执行时关注每次接触附近的帧。我们提出递归视频上下文学习（RV-ICL），一种无需训练的方法，将演示转化为智能体可导航的层次结构，而非一次性接收的提示。该层次结构由演示的子事件（如抓取与释放）构建，层级逐级细化，从整个任务的关键帧到阶段、时刻和短片段，并通过只读工具暴露。智能体在规划前读取粗层级，执行中当某步骤需要更多细节时重新进入层次结构，仅加载当前子目标的片段。每个任务一次演示即足够。基于 RPent 构建的 RV-ICL 将 LIBERO-PRO 上的成功率从 92.6% 提升至 96.5%，将 LIBERO-Plus 上的成功率从 86.7% 提升至 95.8%。
点评: 把“看视频学操作”转化为按需检索的层次化视频索引，巧妙解决了长视频进上下文的成本与粒度矛盾，且无需训练即可即插即用。
7. 正视口音鸿沟：语音驱动金融助手中的英式口音鲁棒性
作者: Aadam Haq, Oggi Rudovic, Malcolm Chadwick, Jay Rainey, Shucong Zhang 等 | 分类: cs.SD, cs.AI, cs.CL 链接: arxiv.org/abs/2610.06587
AI 语音助手通常使用自动语音识别（ASR）配合基于 LLM 的推理，然而现有系统在应对苏格兰、爱尔兰和威尔士等地区性英式口音时表现不佳，因为多数 ASR 模型主要基于美式英语语音数据训练。因此，错误会传导至 LLM 阶段，破坏工具调用参数，导致响应错误或缺失，这在金融场景中代价尤高。可部署的 ASR 还必须满足严格的延迟与内存预算，使口音鲁棒的模型选择更加困难。我们提出 CavaBench，首个内部采集的口语金融查询基准，并据此在自报的英式口音群体上评估一系列 ASR 模型及其端到端 ASR-LLM 流水线行为。我们发现 WER 能强预测下游工具调用准确率（r = -0.93），但可能无法反映任务级表现，口音相关失败在不同模型和声学条件下差异显著。这些发现为设计更具包容性和可靠性的语音金融助手提供了指导。
点评: 首个口语金融查询基准加上“WER 高相关但不总反映任务表现”的发现，为语音助手在真实方言分布下的评测敲响了警钟。
8. 大语言模型引导发现权重为五的双变量自行车码
作者: Juan Cruz-Benito | 分类: quant-ph, cs.AI 链接: arxiv.org/abs/2610.06623
在我们此前由大语言模型（LLM）引导的程序演化工作流基础上，我们研究了权重为五的双变量自行车（BB）码与扰动双变量自行车（PBB）码。所得目录包含 1,142 个不同的码提案，其中 1,081 个非基线提案可归因于 LLM 生成的程序。在整个目录中，我们证明了连通的 Calderbank–Shor–Steane（CSS）实现 [[96,4,10]]、[[140,6,10]] 和 [[180,4,14]]。检索后比较还证明了七个导入自 Lin–Pryadko 档案的构造。对于该档案中同样出现的领先参数三元组，我们给出了精确距离证据、显式双变量表示以及已验证的分量约化。与基无关的连通性分析识别出 1,142 个目录条目中有 409 个不连通，并显示具有精确距离证书的类中 73.1% 包含重复的连通分量。代数分析将连通 CSS 类组织为 3 阶、7 阶和 15 阶分圆核分层。最强的精确连通 PBB 参数点为 [[216,4,10]]，由两个不同的分量类达到。在 LLM 引导活动中具有记录正距离的 936 个不同 CSS 提案中，816 个（87.18%）被证明满足 d≥5。作为对比，三个随机搜索对照各自均匀无放回地采样 6,444 个 CSS 码提案，采用与 LLM 引导活动相同的每格与编码维度采样数。在这些对照中，有 4,672–4,785 个提案（72.50–74.26%）满足相同标准。LLM 引导活动具有更高的证明产出率，而随机对照覆盖更多连通类。总体而言，这些结果将 LLM 引导发现扩展到约束更强的码族，并为其最强候选提供了可复现的结构与精确距离说明。
点评: 关键在于它不仅报告“LLM 发现了好码”，还设置了同等预算的随机搜索对照来量化增益，是 LLM 辅助科学发现中难得的严谨对比。
本内容由 AI 辅助生成，论文信息来源于 arXiv。