ToM: Leveraging Tree-oriented MapReduce for Long-Context Reasoning in Large Language Models

文章核心内容、创新点总结及关键部分翻译一、主要内容总结该研究针对大型语言模型（LLMs）在长文本推理中因上下文窗口限制导致的性能下降问题，提出了一种基于树结构的MapReduce框架（ToM）。现有主流方案（检索增强生成RAG、分治框架DCF）存在逻辑连贯性不足、长距离依赖捕捉困难等缺陷，ToM通过以下核心步骤实现高效长文本推理：DocTree构建：先通过层级语义解析（HSP）将长文本片段转化为包含标题、关键词、摘要等结构化信息的子树，再通过自底向上聚合（嵌入、聚类、总结）形成层次化的文档树（DocTree），保留文本固有层级关系。递归MapReduce推理：在DocTree上执行自底向上的递归推理，Map阶段从子节点生成包含关键信息、推理过程、答案和置信度的论证；Reduce阶段聚合兄弟节点论证，解决冲突并达成共识，最终形成全局一致的推理结果。实验验证：在LongBench、InfiniteBench等基准测试（文本长度4.9k-192k tokens）中，基于70B+参数LLMs（GPT-4o、Qwen2.5-72B等）的实验表明，ToM在F1值、准确率等指标上显著优于RAG和DCF（如GPT-4o搭配ToM在Inf.QA任务F1达41.17%，Inf.MC准确率85%），平衡了推理效率与效果。二、创新点总结DocTree表示法：提出层级化文档表示结构，通过