MMGraphRAG输了，ACM 2026北航DualG-MRAG新作牛了

今天分享北航出品的ACM MM 2026论文–DualG-MRAG它把多模态RAG的细粒度视觉vs检索噪声困境解了。用Macro Graph做全局拓扑路由Micro Graph做局部视觉验证配query-driven GNN和动态规划路径解码。结果在MMQA上EM绝对提升7%query延迟~0.44s比MMGraphRAG快100倍。优化重点现有MM-RAG两大流派各有短板向量匹配范式VisRAG/VLM2Vec/CoRe-MMRAG/ViDoRAG把多模态证据压成静态embedding难捕捉跨模态依赖图增强范式HM-RAG/MMGraphRAG/RAG-Anything细粒度视觉塞统一图导致图爆炸噪声粗粒度实体丢失局部证据拓扑静态query无关三大核心挑战C1细粒度表示vs检索噪声两难C2静态图结构vs动态query不匹配C3异构证据缺乏显式结构融合DualG-MRAG三层架构应对三大挑战Dual-Tier Graph解C1 Query-Driven GNN解C2 Explicit Path Injection解C3。方案细节MacroMicro双层图Macro Reasoning Graph (T_M)- 全局结构骨架全局实体E_M 关系R_M视觉信息frozen VLM生成简洁caption融入文本OpenIE提取基础三元组T_M_raw (e_head, r, e_tail)等价边T_eq实体embedding余弦相似度超阈值τ则连边T_M T_M_raw ∪ T_eqMicro Matching Graph (T_m)- 文档内细粒度验证micro-fact是4元组f (u, r, v, d)u/v头尾节点文本锚点r关系显式编码空间关系/物体属性/局部交互等视觉细节d源文档指针链回原图关键设计视觉细节放关系r里不放节点原图用指针d链回这样细粒度不污染全局结构Cross-Tier Alignment映射函数C(·): E_m - E_M两阶段链接精确字符串匹配ColBERT语义软链接把局部多模态概念锚定到全局拓扑。双分支证据激活Graph-Level Structural Matching图级约束LLM parser生成P(q) (T_cond, T_target, k_v)T_cond带通配符的关系三元组约束T_target目标实体/属性k_v动态视觉预算限制喂MLLM最大图片数防视觉过载在Micro Graph上subgraph matching匹配代价dist(π) Σ(d_n d_r d_n)子图同构NP-hard用近似启发式Top-K dense vector候选 Branch-and-Bound搜索命中T_cond的micro-facts通过C投影到Macro Graph形成激活集S_ext(q)与NER合并产生query mask m_qGNN检索器初始化输入产出图级文档分数s_graph(d)Node-Level Document Boosting节点级辅助防parser失败/图提取不完整的辅助分支用query显式实体在micro-node空间最近邻搜索严格边界匹配节点不扩展m_q只贡献节点级分数s_node(d)Hybrid Fusions_micro(d) max(s_graph(d), s_node(d))Query-driven GNN检索器基于NBFNet架构把检索形式化为query驱动的消息传递。Dynamic State Initialization动态状态初始化h_v^(0) Enc(q) if v∈m_q else 0Enc(·)是all-mpnet-v2编码器反共识信息流只从query相关锚点出发初始化阶段就剪枝MMKG噪声搜索空间vs传统GNN用固定结构节点embeddingquery无关Relational Message Passing关系消息传递L层传播m_uv^(l1) Msg(h_u^(l), g^(l1)(h_r), h_v^(l))Msg(·)用非参数DistMultg^(l1)(·)层特定关系变换让不同推理深度学不同遍历逻辑节点更新sum pooling 线性变换Relevance Scoring and Document Fusion打分与融合P_q(v) MLP(h_v^(L))稀疏矩阵乘法投影到文档空间得文本分t_d和视觉分i_d各自Min-Max归一化视觉分被s_micro(d)调制命中micro约束î*_d α·î_d β·s_micro(d)未命中视觉分乘衰减系数最终排序s_final(d) max(t̂_d, î*_d)文本推理强 OR 视觉证据结构验证通过则排名高显式路径解码不依赖外部启发式搜索如PathRAG直接从GNN前向传递轨迹恢复推理路径。Local Flow Decomposition局部流分解ττ是温度超参低τ集中少数主导推理路径Efficient Path Decoding via DP动态规划路径解码原始KG有环但L层消息传递天然建模为L-hop计算DAG递推跟踪最优前驱Ψ^(l)(v) arg max从最高分目标节点回溯到初始query实体解码只在受限L-hop计算子图上开销可控Topological Evidence Serialization拓扑证据序列化输出推理路径P {(e_0, r_1, e_1, …, e_L)}用C(·)反向映射macro实体回原始多模态源跨文本/图像/表格多源片段序列化为生成prompt中step-by-step推理路径替代传统孤立文档chunk输入实验结果MMQA EM绝对提升7%DualG-MRAG EM 44.20%4B比最强baseline ViDoRAG37.20%绝对提升7%超图增强竞品MMGraphRAG35.50%。延迟比MMGraphRAG快100倍DualG-MRAG ~0.44s vs MMGraphRAG ~40.5s内部延迟Micro-Matching 59.95%/Macro-Reasoning 39.40%亚秒级响应实现深度推理。Macro和Micro缺一不可w/o Macro MMQA R5从61.9%暴跌到21.8%全局拓扑连通性对跨模态多跳路由至关重要w/o Micro WebQA R5降18.2%局部视觉噪声过滤关键。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】