LangChain学习--Document

作者：袖梨 2026-07-20

在 LangChain 框架中，Document 对象是整个数据检索和 RAG（检索增强生成）流水线的核心基石。无论是从外部加载知识、切分文本，还是将其存入向量数据库，所有的数据传输都必须被标准化封装为 Document 对象。

LangChain学习--Document

1. Document 的核心结构

Document 类的底层基于 Pydantic 的 BaseModel 实现。官方的设计极其精简，在最新版本中主要包含 3 个核心属性：

 复制代码from langchain_core.documents import Documentdoc = Document(
    page_content="这是文档的核心文本内容...",
    metadata={
        "source": "https://example.com",
        "author": "张三",
        "page": 12,
        "category": "AI开发"
    },
    id="doc_001"  # 需 langchain-core >= 0.1.0，支持id
)

查看Document源码的继承关系，可以发现确实继承了Pydantic 的 BaseModel : 具体学习见BaseModel

 复制代码class Document(BaseMedia):
class BaseMedia(Serializable):
class Serializable(BaseModel, ABC):

属性详解：

  1. page_content (str)：必填。存放纯文本内容。这是未来会转化为向量（Embedding）并最终喂给大模型（LLM）的检索核心。
  2. metadata (dict)：选填（默认为空字典）。用于存放任意维度的元数据。在向量检索时，可以基于这些字段进行硬过滤（Metadata Filtering）（例如：只检索 category == "AI开发" 的文档）。
  3. id (str 或 int)：选填。文档的唯一标识。在大规模检索和更新向量数据库（增删改查）时，拥有显式的 id 至关重要，可防止重复插入。

️ Document 本身（作为 Pydantic 对象）不应直接作为聊天消息发送。与 LLM 交互时，应提取其 page_content 字段，组合成纯文本 Prompt 或 Message。

2. Document 在 RAG 完整生命周期中的角色

在典型的 RAG 架构中，Document 充当了“标准通用货币”的角色，连接了以下四个核心步骤：

 复制代码[外部数据源 (PDF/Web/Notion)] 
         │  
         ▼ 1. Document Loaders (加载为 Document 对象列表)
[List[Document]] 
         │  
         ▼ 2. Text Splitters (将大 Document 切分为多个小 Chunk Document)
[List[Chunk Documents]] 
         │  
         ▼ 3. Embeddings & Vector Stores (提取 page_content 转换为向量，连同 metadata 一起持久化)
[向量数据库] 
         │  
         ▼ 4. Retrievers (检索出最相似的 Document 对象，拼入 Prompt)
[大模型 (LLM)]
  • 加载阶段：通过 Document Loaders（如 PyPDFLoader, WebBaseLoader）将网页、PDF等文档 统一解析为 Document。
  • 切分阶段：因为大模型有 Token 限制，Text Splitters（如 RecursiveCharacterTextSplitter）接收一个 Document，将其切碎后返回一组全新的、page_content 更短的 Document 列表，而原有的 metadata 会被自动复制或继承。

3. 常用方法

在实际工程中，你通常需要手动创建、转换或过滤 Document 对象。

技巧 A：手动创建与合并文档

 复制代码from langchain_core.documents import Document# 1. 快速手动创建
doc1 = Document(page_content="人工智能改变世界。", metadata={"source": "news"})
doc2 = Document(page_content="Python 是 AI 开发的首选语言。", metadata={"source": "blog"})# 2. 批量处理：比如通过循环清洗、拼接文本
all_docs = [doc1, doc2] # all_docs: list[Document]
for doc in all_docs:
    doc.metadata = {**doc.metadata, "processed_at": "2026-06-10"} # 字典解包，避免了绕过验证器的风险。# 字典解包
old = {"source": "news", "author": "张三" }
{**old, "processed_at": "..."} # 等价于 {"source": "news", "author": "张三", "processed_at": "..."}
# 字典的键值对：追加/覆盖，特点：返回一个新字典，未修改原字典

技巧 B：将结构化数据（如 JSON/CSV）转化为 Document

当你拥有数据库导出的结构化数据时，可以自由决定哪些字段变为被检索的文本，哪些变为过滤的标签：

 复制代码user_data = [
    {"name": "李四", "review": "这款产品太棒了，体验丝滑。", "rating": 5},
    {"name": "王五", "review": "物流太慢，客服态度一般。", "rating": 2}
]documents = []
for item in user_data:
    # 将核心评论作为检索文本
    content = f"用户评论: {item['review']}"
    # 将姓名和评分作为元数据过滤标签
    meta = {"user": item["name"], "rating": item["rating"]}
    
    documents.append(Document(page_content=content, metadata=meta))

技巧 C：直接利用 Document 与大模型交互

当检索出 Document 后，可以非常方便地将它们串联成大模型看得到的上下文：

 复制代码# 假设从向量库检索出了 2 个相关的 Document
retrieved_docs = [doc1, doc2]# 提取并拼接内容
context = "nn".join([d.page_content for d in retrieved_docs])# 构建最后的 Prompt
prompt = f"请根据以下参考资料回答问题：nn资料：{context}nn问题：AI 的首选语言是什么？"

练习例子：

 复制代码from langchain_core.documents import Document# 访问
document1 = Document(
    page_content="LangChain 是一个用于开发大语言模型应用的框架。",
    metadata={"author": "张三", "page": 10}
)
print(document1)documents = [
    Document(page_content="第一章：Python 基础语法", metadata={"chapter": 1, "title": "Python 入门"}),
    Document(page_content="第二章：Python 数据结构", metadata={"chapter": 2, "title": "Python 入门"}),
    Document(page_content="第三章：Python 函数编程", metadata={"chapter": 3, "title": "Python 入门"}),
]
for doc in documents:
    print(f"{doc.page_content}")# 修改
document3 = Document(
    page_content="原始内容",
    metadata={"source": "test"}
)
document4 = {**document3.metadata, "source": "test11111"}
print(f"document3={document3}")
print(f"document4={document4}")# 序列化，转换成JSON格式
import json
document1_json = document1.to_json()
print(f"转换格式后：n{json.dumps(document1_json, ensure_ascii=False, indent=2)}")
# 转换格式后，{
#   "lc": 1,
#   "type": "constructor",
#   "id": [
#     "langchain",
#     "schema",
#     "document",
#     "Document"
#   ],
#   "kwargs": {
#     "metadata": {
#       "author": "张三",
#       "page": 10
#     },
#     "page_content": "LangChain 是一个用于开发大语言模型应用的框架。",
#     "type": "Document"
#   }
# }

相关文章

精彩推荐