Retriever And Chain With LangChain 完整解读

Retriever And Chain With LangChain 完整解读Retriever检索器和 Chain链是LangChain 中 RAGRetrieval-Augmented Generation检索增强生成最核心的两个组件。很多初学者容易把它们混淆Retriever 负责找资料RetrieveChain 负责处理流程Workflow可以把整个过程理解成用户问题 → Retriever 找相关文档 → Chain 组织 Prompt → LLM 回答一、什么是 RetrieverRetriever检索器就是根据用户的问题从知识库中找出最相关的 Document。注意Retriever不会回答问题。它只负责Question │ ▼ Retriever │ ▼ Documents例如你的知识库Document1 Python 是一种高级编程语言。 Document2 LangChain 是开发 LLM 应用的框架。 Document3 FAISS 是向量数据库。用户问LangChain 是什么Retriever 输出[ Document2 ]而不是LangChain 是开发 LLM 应用的框架回答是 LLM 做的不是 Retriever。二、Retriever 的本质Retriever 可以理解成Question ↓ Embedding ↓ Vector Search ↓ Top K Documents例如Question ↓ Embedding ↓ 向量 ↓ FAISS ↓ 最相近3篇文档所以 Retriever 的本质就是Question → Documents可以表示为Retriever Input: Question Output: List[Document]例如docs retriever.invoke( What is LangChain? )返回[ Document( page_contentLangChain is... ), Document( page_contentLangChain provides... ) ]三、Retriever 的来源Retriever 一般来自Vector Store例如FAISS ↓ as_retriever() ↓ Retriever代码retriever vector_store.as_retriever()这里FAISS ↓ Retriever实际上Retriever ↓ 内部调用 ↓ similarity_search()例如retriever.invoke(question)等价于vector_store.similarity_search(question)只是Retriever 更符合 Runnable 接口。四、Retriever 是 RunnableLangChain 新版中Retriever 实现了 Runnable。因此retriever.invoke(question)而不是retriever.get_relevant_documents()旧版docs retriever.get_relevant_documents( question )新版docs retriever.invoke( question )Retriever 可以直接放进 Chainchain retriever | ...五、Retriever 输出什么Retriever 输出List[Document]DocumentDocument( page_content..., metadata{} )例如[ Document( page_contentLangChain..., metadata{page:1} ), Document( page_contentRetriever..., metadata{page:2} ) ]因此Retriever 输出不是string而是List[Document]六、什么是 ChainChain就是多个 Runnable 按顺序组成的数据处理流水线。例如Question ↓ Retriever ↓ Prompt ↓ LLM ↓ Parser ↓ Answer整个就是一个 Chain。七、Chain 的作用Chain 不一定有 Retriever。例如最简单prompt ↓ LLM ↓ Parser代码chain prompt | llm | parser输入Question输出Answer没有 Retriever。八、带 Retriever 的 ChainRAGQuestion ↓ Retriever ↓ Documents ↓ Prompt ↓ LLM ↓ Parser这就是 Retrieval Chain。九、为什么需要 Chain因为LLM 不知道知识库。例如Question ↓ LLMLLM不知道加入 RetrieverQuestion ↓ Retriever ↓ Documents ↓ Prompt ↓ LLMPromptUse the following context... Context: Document1 Document2 Question: ...LLM 才能回答。十、Retriever 与 Chain 的关系Retriever 是 Chain 中的一个节点。例如Retriever ↓ Prompt ↓ LLMRetriever 本身不是完整流程。Chain 才是完整流程。十一、Runnable 的角度理解所有组件都是 RunnableRetriever ↓ Prompt ↓ LLM ↓ Parser因此Runnable ↓ Runnable ↓ Runnable ↓ Runnable可以用|连接。例如chain ( prompt | llm | parser )或者chain ( retriever | ... )十二、Retriever 为什么不能直接接 Prompt因为Retriever 输出List[Document]Prompt 需要{ context: ..., question: ... }两者格式不同。因此需要Retriever ↓ format_docs ↓ String ↓ Prompt例如def format_docs(docs): return \n\n.join( doc.page_content for doc in docs )十三、LangChain 如何自动完成官方提供create_stuff_documents_chain()它内部做了Documents ↓ format_docs() ↓ Prompt ↓ LLM所以不用自己拼接字符串。例如document_chain create_stuff_documents_chain( llm, prompt )输入List[Document]输出Answer十四、Retriever Document Chain官方推荐retrieval_chain create_retrieval_chain( retriever, document_chain )内部流程User Question │ ▼ create_retrieval_chain │ ┌─────────────┴─────────────┐ │ │ ▼ │ Retriever │ │ │ ▼ │ List[Document] │ │ │ └─────────────► Document Chain │ format_docs() │ ▼ Prompt │ ▼ LLM │ ▼ OutputParser │ ▼ Final Answer代码document_chain create_stuff_documents_chain( llm, prompt ) retrieval_chain create_retrieval_chain( retriever, document_chain ) response retrieval_chain.invoke( { input: What is LangChain? } )十五、Retriever 与 Chain 的职责对比组件输入输出是否调用 LLM主要职责RetrieverQuestionList[Document]❌从知识库检索相关文档Document ChainList[Document] QuestionPrompt → Answer✅将文档组织进 Prompt并调用 LLMRetrieval ChainQuestionAnswer✅协调整个 RAG 流程检索 生成Runnable Chain任意输入任意输出视组件而定将多个 Runnable 串联成完整工作流核心总结可以用一句话概括它们之间的关系Retriever负责找输入问题输出相关Document。Document Chain如create_stuff_documents_chain负责读将检索到的文档填充到 Prompt 中并调用 LLM 生成答案。Retrieval Chain如create_retrieval_chain负责协调把 Retriever 和 Document Chain 串联起来形成完整的 RAG 工作流。因此标准的 LangChain RAG 数据流通常可以表示为用户问题 │ ▼ Retriever │ ▼ List[Document] │ ▼ Document Chain (格式化文档 → Prompt → LLM) │ ▼ 最终答案理解了这三个层次Retriever → Document Chain → Retrieval Chain基本就掌握了 LangChain 新版 RAG 框架的整体设计思想。