Loading Light/Dark Toggle
返回博客

LangChain + Scrapeless:构建一个带来源引用的研究助手

Ava Wilson
Ava Wilson

Expert in Web Scraping Technologies

13-Nov-2026

摘要:

  • LangChain 和 Scrapeless 可以将文档页面转化为带引用来源的答案。 示例会搜索 Google、读取网页正文、选取摘录,并生成带有来源 ID 的解释。
  • 工作流在最终答案旁边保留收集到的证据。 搜索候选、页面 Markdown 和摘录的偏移信息都会保留以供检查。
  • 显式的来源 URL 控制读取哪些页面。 仍然会运行 Google 搜索,但其候选与提供的文档集合是分别保存的。
  • 引用检查验证的是 ID 和结构,而不是每一条技术论断。 请将重要句子与存储的摘录和原始页面进行比对审阅。

你将构建什么

这个 LangChain Scrapeless 集成会构建一个 Python 研究助手,用来回答:“在 HTTP 缓存中,Cache-Control 和 ETag 是如何协同工作的?”

一个有用的解释需要文档页面内部的细节,以及检查这些细节的方法。搜索摘要可以帮助定位页面,但不会保留缓存规则背后的上下文条件。因此,该助手会读取选定页面,存储它们的 Markdown,并将相关摘录传递给答案生成阶段。

最终运行会写出 answer.md,其中包含解释、对比表、示例、局限性以及原始来源链接。它还会保存 search-results.json、pages.json 和 evidence.json。这些文件共同使你能够检查答案是如何组装出来的。

该工作流是一个固定顺序的 LangChain 工具链。它不会让一个自治代理来选择下一步,也不需要为这小规模文档集使用向量数据库。

Scrapeless 工具如何协同工作

此集成通过 LangChain 的 .invoke() 接口,暴露搜索、收集和答案生成能力。

工具 在研究助手中的职责
ScrapelessDeepSerpGoogleSearchTool 为研究查询检索搜索候选
ScrapelessCrawlerScrapeTool 将选定页面正文收集为 Markdown
ScrapelessChatGPTScraperTool 基于给定问题和摘录生成答案

Google Search API 提供发现结果。Scrapeless Crawl 提供页面内容。ChatGPT Scraper 通过 Python SDK 处理答案阶段。一个 Scrapeless 密钥即可覆盖这些服务调用;本示例不需要单独的模型提供商密钥。

对于需要动态选择工具的代理,LangGraph 和 Scrapeless MCP 集成 提供了另一种架构。

这些是遵循 LangChain tool interface 的可调用工具。研究脚本在它们外层加入了来源选择策略、工件文件和引用检查。这些应用层规则并不是对底层模型的自动保证。

前置条件

使用 Python 3.10 或更高版本、Git、终端,以及一个具有访问权限且在 Google Search、Crawl 和 ChatGPT Scraper 上有可用额度的 Scrapeless API 密钥。

本教程面向 langchain-scrapeless 0.1.4 版本及其固定依赖的 Scrapeless Python SDK 1.3.0。需要检出源码,因为 examples/research.py 是一个仓库示例;仅安装 wheel 并不会在你的工作目录中创建该示例。

注意:下面的服务命令需要你自己的密钥和额度。本文使用的是原始项目保留的示例以及本地包/测试复查;它并不声称进行了新的实时搜索、Crawl 收集或答案生成。本地初始化并不是一次认证或账户访问测试。

通过 Scrapeless API 密钥管理 获取密钥。在扩展问题和来源数量之前,请先查看 Scrapeless 价格。

步骤 1:安装包和研究示例

在隔离环境中安装已发布的包,并使用与之匹配的、经过审查的源代码示例。
官方 LangChain Scrapeless 仓库 包含研究脚本和集成实现。在 macOS 或 Linux 上:

bash Copy
git clone https://github.com/scrapeless-ai/langchain-scrapeless.git
cd langchain-scrapeless
git checkout 77f4724855e69d4dd5e636c1d3d3fe29f631fc96
python3 -m venv .venv
source .venv/bin/activate
python -m pip install "langchain-scrapeless==0.1.4"
python -m pip check

在同一个 shell 中设置密钥。下面的值是占位符,而不是凭证:

bash Copy
export SCRAPELESS_API_KEY="YOUR_SCRAPELESS_API_KEY"

在 Windows PowerShell 上,用 py -3 -m venv .venv 创建环境,用 .\.venv\Scripts\Activate.ps1 激活,并使用 $env:SCRAPELESS_API_KEY = "YOUR_SCRAPELESS_API_KEY"。将多行命令写在一行,或者使用 PowerShell 的续行语法。

检查本地工具初始化:

bash Copy
python examples/research.py check

检查过程会构造三个工具,并报告已安装的 Scrapeless SDK 版本。它不会发出任何服务请求。检查成功表明导入和本地配置正常;后续阶段会实际调用 API。

Step 2: Choose the Question and Source Policy

搜索阶段会保存 Google 候选结果,并为选中要采集的页面分配稳定 ID。

为了进行一次可控的首次运行,提供 MDN 缓存指南及其 Cache-Control 和 ETag 参考文档。HTTP 缓存指南 解释相关的缓存行为;ETag 参考 描述了问题中使用的验证器。

注意:该命令会调用 Google 搜索,需要满足“先决条件”中列出的服务访问要求。这不是离线示例。

bash Copy
python examples/research.py search --output-dir http-cache-research \
  --question "How do Cache-Control and ETag work together in HTTP caching?" \
  --query "HTTP caching Cache-Control ETag" \
  --source-url https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Caching \
  --source-url https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/Cache-Control \
  --source-url https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/ETag

打开 http-cache-research/search-results.json。search_candidates 包含搜索输出;sources 包含所选页面集合。使用显式 URL 时,来源记录会使用 origin: provided。这是一种受控的来源选择方式,而不是声称 Google 自动选择了这些页面。

如果不提供 --source-url,脚本会从已配置的域名中选择符合条件的结果。默认值为 developer.mozilla.org。脚本至少需要两个不同的符合条件 URL,且最多保留三个。当更改文档域名时,需要连同问题、查询和来源 URL 一起更新 --domain。

为每次新的搜索使用一个新的输出目录。脚本会拒绝已经包含 search-results.json 的目录,以防止不小心混合不同的研究问题。
The workflow separates those responsibilities

Step 3: Collect Page Bodies and Build Evidence

采集阶段会读取已保存的 URL,并从其页面主体中提取文本片段。

注意:该命令会调用 Scrapeless Crawl,需要已完成的搜索阶段以及你配置好的 API 访问。

bash Copy
python examples/research.py scrape --output-dir http-cache-research

ScrapelessCrawlerScrapeTool 请求 Markdown 和主体内容。脚本将返回的文档映射回其原始来源 URL,然后将每个页面的状态、文本和元数据写入 pages.json。

接着,它会根据问题中的术语对可读段落进行评分,保留包含相关内容及其上下文的文本片段,并写入 evidence.json。每个摘录都包括其文本以及在已存储页面 Markdown 中的 start/end 字符偏移。脚本要求至少有两个成功读取的页面提供可用证据。

在生成之前检查这些摘录。已抓取的页面仍然可能不适合该问题,而段落匹配也可能错过重要条件。证据文件为你提供了一个在问题演变为一段流利的回答之前发现问题的机会。

Start Scraping with Scrapeless

使用 Scrapeless 强化你的网页抓取和自动化工作流!
立即注册即可获得 $5 免费额度 —— 无需信用卡。

现在就在 Scrapeless Dashboard 领取你的免费额度。

Step 4: Generate an Answer with Source IDs

回答阶段会将已保存的问题和摘录发送给 ChatGPT Scraper,然后在写出之前检查返回的回答。

注意:该命令会启动一个 ChatGPT Scraper 生成任务。它需要已保存的证据和“先决条件”中列出的服务访问;回答的措辞在不同执行之间可能有所差异。

bash Copy
python examples/research.py answer --output-dir http-cache-research

提示词请求四个部分:Answer、Comparison、Example 和 Limitations。它要求模型只使用提供的摘录,将这些摘录视为参考数据而非指令,并使用诸如 [S1] 和 [S2] 这样的来源 ID 引用事实陈述。
该脚本检查已保存证据中是否至少存在两个不同的被引用 ID,要求存在预期的标题,并拒绝模型生成的 URL。然后,它从自己的来源映射中附加原始源链接。在此示例中,额外的网页搜索和购物功能根据 ChatGPT 工具的默认设置被禁用。

这样可以让来源映射保持可检查性。这并不能证明模型遵循了每条指令,或证明每一句话都有依据。下一步仍然是由人类审查重要论断。

第 5 步:从回答追踪到页面

当你可以从答案追踪到已存储的片段和原始页面时,引用才是有用的。

工件 要检查的内容
answer.md 解释、被引用的论断、示例说明、局限性以及原始源链接
search-results.json 问题、查询、允许的域名、搜索候选和已选来源
pages.json 为每个已选 URL 收集到的完整 Markdown 以及收集状态
evidence.json 来源 ID、URL、摘录文本以及在已保存 Markdown 中的偏移量

在 answer.md 中选择一句重要的话,在 evidence.json 中找到它的来源 ID,并阅读完整摘录。使用偏移量在 pages.json 中检查其周围的页面文本,然后在需要确认细节时打开原始 URL。

在缓存场景中,要区分“新鲜度”和“验证”。Cache-Control 指令描述的是缓存策略;ETag 提供的是可用于条件请求的验证器。关于响应可被复用多长时间的陈述,还需要它的存在时间和新鲜度条件。HTTP 缓存标准定义了这些规则。不要把一个简短的生成示例当成通用的服务器配置。

代码仓库中保留的回答展示了输出格式。它的请求/响应序列只是示例材料,而不是从该工作流中捕获的真实 HTTP 交换。

在你自己的 LangChain 应用中使用这些工具

当你想用应用代码替换命令行封装时,可以直接调用这些相同的工具。

下面的示例使用仓库中的研究函数,因此来源过滤、证据检查和引用验证都保留在同一套实现中。将其保存为仓库根目录下的 research_demo.py。

注意:运行此脚本会发起搜索、收集和生成调用。它需要“先决条件”部分中的凭据和额度;它不是一个已捕获的结果或离线夹具。

python Copy
from pathlib import Path

from examples.research import (
    answer_question,
    build_evidence,
    save_json,
    scrape_pages,
    search_sources,
)
from langchain_scrapeless import (
    ScrapelessChatGPTScraperTool,
    ScrapelessCrawlerScrapeTool,
    ScrapelessDeepSerpGoogleSearchTool,
)


def main():
    output = Path("application-research-output")
    output.mkdir(exist_ok=False)
    urls = [
        "https://developer.mozilla.org/en-US/docs/Web/HTTP/Guides/Caching",
        "https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/Cache-Control",
        "https://developer.mozilla.org/en-US/docs/Web/HTTP/Reference/Headers/ETag",
    ]
    search = search_sources(
        ScrapelessDeepSerpGoogleSearchTool(),
        "How do Cache-Control and ETag work together in HTTP caching?",
        "HTTP caching Cache-Control ETag",
        "developer.mozilla.org",
        urls,
    )
    save_json(output / "search-results.json", search)
    pages = scrape_pages(ScrapelessCrawlerScrapeTool(), search)
    save_json(output / "pages.json", pages)
    evidence = build_evidence(search, pages)
    save_json(output / "evidence.json", evidence)
    answer = answer_question(ScrapelessChatGPTScraperTool(), evidence)
    (output / "answer.md").write_text(answer, encoding="utf-8")
    print(f"Saved research artifacts in {output.resolve()}")


if __name__ == "__main__":
    main()

使用 python research_demo.py 来运行它。每个辅助函数都通过 .invoke() 调用相关工具:搜索传入查询和本地化配置,收集传入 URL 和 Markdown 选项,而答案生成则传入证据提示。辅助函数是仓库中的示例代码,因此要么把源码检出与应用放在一起,要么把已审查的函数复制到你自己维护的模块中。

如果是对同一份文档的不同问题,同时修改问题和查询。如果是不同的网站,还要修改允许的域名和 URL。为每一次研究运行保留一个单独的输出目录。

处理不完整的证据

一个不完整的运行应当保留其收集状态,并在给出不被支持的答案之前停止。

如果太少页面提供了相关内容,检查 pages.json 并调整来源选择。不要在继续将答案描述为“基于页面”时,用片段替代缺失的页面正文。如果一个服务任务尚未完成,在开始更多工作之前应检查其已有的任务状态。

在一次运行的各个阶段中使用同一个输出目录。提供的 CLI 使用运行 ID 拒绝来自不同搜索的证据,并使用目录锁防止重叠命令写入同一组工件。这些控制保护的是文件的一致性,而不会评估答案在技术上的正确性。

结论

LangChain Scrapeless 集成为这个研究助手提供了对每个外部步骤可调用的工具。该示例添加了一项明确的来源策略,并把搜索结果、页面正文、摘录和最终答案放在一起。先从缓存问题开始,沿着一条引用一路追踪回其页面,然后再根据你的文档任务调整问题和域名。

准备好构建你的研究助手了吗?

加入我们的社区,与正在构建研究与抽取工作流的开发者建立联系:Discord · Telegram。

从 Scrapeless 开始,使用你的第一次运行来审查答案背后的证据。

常见问题解答

问:这是一个自主的 LangChain 智能体吗?

不是。这个示例以固定顺序调用三个 LangChain 工具。研究脚本控制来源选择和工作顺序。

问:这个示例需要单独的 OpenAI API 密钥吗?

不需要。该示例通过 Scrapeless ChatGPT Scraper 生成答案,并使用 Scrapeless 密钥。其他将这些工具连接到单独托管模型的应用,可能需要该模型提供商的凭据。

问:这个包可以通过 PyPI 安装吗?

可以。本教程安装 langchain-scrapeless==0.1.4。也要保留源码检出,因为研究脚本和辅助函数是仓库中的示例。

问:显式提供的来源 URL 会跳过 Google 搜索吗?

不会。搜索请求仍然会执行,其候选结果会被保存。显式 URL 决定集合集并被标记为提供的来源。

问:助手需要向量嵌入或向量数据库吗?

不需要。这个示例从一个较小的页面集合中,使用问题术语和其周围上下文来选择段落。它没有实现持久的语义搜索索引。

问:有效的引用 ID 能保证答案正确吗?

不能。有效的 ID 只能说明引用指向已知来源。仍需检查被引用的段落是否支持相关论断,以及是否遗漏了重要条件。

问:本地初始化会验证服务访问吗?

不会。检查命令只是在本地构建工具。在线搜索、收集和生成需要有效的凭据、受支持的账户访问以及可用额度。

在Scrapeless,我们仅访问公开可用的数据,并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用,不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证,并免除所有责任。在进行任何抓取活动之前,请咨询您的法律顾问,并审查目标网站的服务条款或获取必要的许可。

最受欢迎的文章

目录