用于大模型训练的代理：构建可追溯的网络数据采集流水线

摘要：

• 代理负责路由采集请求，本身不会让语料自动适合训练。 对来源许可、文本质量和数据集构成都需要单独核查。
• 用“被接受的唯一文档数”而不是“完成的请求数”来衡量效果。 验证页、重复内容和不适合材料会消耗资源，却不会增加有用语料覆盖度。
• 请求的地理位置是获取上下文，而不是语言标签。 在给文档贴语言或区域标签前，先检查实际返回的内容。
• 在整个流水线中保留来源与拒绝证据。 内容哈希应当支持溯源，而不是抹去重复材料的原始出处。

一个语料采集器可以抓回大量 HTML，却只新增很少有用的训练文本。导航页、重复文章、错误文档，以及超出已审批来源计划之外的材料都会增加字节量。

用于 LLM 训练的代理应当放在这一采集系统内部。它们为你现有的客户端提供网络路径。客户端和下游流水线仍然必须识别被请求的来源、抽取目标文本，并判断该文档是否可以进入规划中的数据集。

本指南围绕 Scrapeless Proxies 构建一套可追溯的工作流。它把依赖账号的采集与确定性的处理分开，然后在带标签的示例记录上展示本地去重检查。本文不声称测量了在线代理的成功率，也不声称产出了适合训练的语料。

流水线概览

流水线从已审批的来源计划出发，最终产出带版本的数据集发布。每个阶段都会记录足够的证据，便于下一个阶段解释其输出。

保持这些边界清晰可见。一个页面可以通过内容验证，却仍然不符合预期训练用途的条件。要将这些状态分别存储，避免把采集成功误当成授权决定。

阶段 1：定义来源、语言与预期用途

来源清单描述了采集器可以请求什么，以及数据集打算包含什么。在选择代理配额之前先把它做出来。

记录来源所有者、URL 范围、文档类型、采集时间窗、允许的流量规模、许可证据和预期用途。为个人信息或本项目不需要的内容类别写明排除条款。

数据集文档框架整理了关于数据集动机、构成、采集方式和预期用途的一系列问题。借助这种方法，让来源选择是可复核的，而不是把抓取列表直接当成完整的数据集计划。

独立于代理地理位置来定义语言目标。同一站点可能在一个主机上发布多种语言，为未翻译的文章配上已翻译的导航，或者按会话变化内容。所请求的出口区域只是获取过程中的一个观测点，而不是文档语言的证据。

阶段 2：为每个来源选择代理路由

Scrapeless Proxy Solutions 为你的自有采集客户端提供路由层。根据允许的目标集合需要，选择对应的产品配额和端点。

比较该路由是否可以访问来源、是否保持必要的会话连续性，以及是否返回预期版本。仅凭代理类别本身不能证明这些结果。要在扩展工作负载之前测试真实的账号配置。

按照当前凭据格式使用代理认证和端点配置。保留与分配通道关联的完整用户名，而不是自己虚构其中的“代理类型”片段。网关位置与请求的目标地理区域是两个独立设置。

在围绕采集器的部署决策上，VPS 与代理对比说明了计算托管与网络路由扮演的不同角色。

阶段 3：捕获原始页面和获取上下文

原始捕获记录客户端通过所选路径实际接收到的内容。在提取文本或根据项目保留策略丢弃被拒文档之前，应先进行保存。

以下请求需要 Python、requests、已分配的 Scrapeless 代理端点以及有效的渠道凭据。根据你的账户配置设置完整的代理用户名，在需要时包括已批准的位置或会话选项。TARGET_URL 必须属于许可的源清单。

注意：该代理请求需要真实分配的凭据和已授权的目标。其配置已根据当前代理文档进行检查；这里并未声称进行了实时代理捕获或取得区域性结果。

import json
import os
from datetime import datetime, timezone
from pathlib import Path
from urllib.parse import quote
import requests

target = os.environ["TARGET_URL"]
gateway = os.environ["SCRAPELESS_PROXY_GATEWAY"]
user = quote(os.environ["SCRAPELESS_PROXY_USER"], safe="")
password = quote(os.environ["SCRAPELESS_PROXY_PASSWORD"], safe="")
proxy_url = f"http://{user}:{password}@{gateway}"
response = requests.get(
    target, proxies={"http": proxy_url, "https": proxy_url},
    timeout=60, allow_redirects=True
)
response.raise_for_status()
Path("source.html").write_bytes(response.content)
record = {
    "requested_url": target,
    "final_url": response.url,
    "captured_at": datetime.now(timezone.utc).isoformat(),
    "http_status": response.status_code,
    "body_bytes": len(response.content),
    "content_type": response.headers.get("content-type"),
    "training_use_approved": False
}
Path("capture.json").write_text(json.dumps(record), encoding="utf-8")
print(json.dumps({"saved": "source.html", "body_bytes": len(response.content)}))

该记录刻意不记录代理凭据。训练用途标志在项目评审提供所需证据前保持为 false。已下载的正文字节与可计费的总流量不同，后者可能包括其他传输或服务组件。

在接受捕获前检查页面身份和期望内容。登录页或验证挑战页不应以所请求文章 URL 的名义进入语料库。即使必须移除原始被拒内容，也要保留被拒原因。

阶段 4：在不丢失含义的前提下提取文本

文本提取应隔离已批准文档的内容，同时保留对目标任务重要的结构。模板内容去除是一种特定于来源的转换。

对于普通文章，识别主要内容容器并保留标题和段落。对于代码、表格或数学内容，保留理解材料所需的格式。适用于散文的空白处理策略可能会破坏代码示例。

将提取规则或解析器版本与输出一起记录。保留原始捕获引用，以便对同一输入评估变更后的规则。空提取在检查来源的实际页面及其预期内容之前，仍属未决状态。

通过数据集来源关联源身份和捕获活动。该关系应在后续转换与去重筛选中得以保留。

开始使用 Scrapeless 抓取数据

使用 Scrapeless 提升你的网页抓取和自动化工作流！
立即注册即可获得 5 美元免费额度——无需信用卡。

现在就前往 Scrapeless 控制台领取你的免费额度。

阶段 5：对已接受文本去重并保留谱系

去重在定义好的归一化策略下识别重复内容。它应保留哪些来源提供了相同内容的信息。

从明确范围的文档类型的精确归一化文本哈希开始。更高级的相似性方法需要单独的阈值与评估。避免仅因为共享页面的一部分就删除不同的修订版本或翻译。

训练数据去重研究探讨了重复及其对语言模型训练的影响。其测量结果并不是你语料库的预测；应在你自己的来源组合上评估去重策略。

下面这个可执行检查使用了示例性的散文记录。它演示了精确去重，并在规范记录中保留重复来源 URL。该示例在本地运行，其计数仅描述所展示的样例数据。

import hashlib
import json

# Illustrative prose records; these are not downloaded training documents.
rows = [
    {"url": "https://example.com/a", "text": "Permitted sample prose.",
     "training_use_approved": False},
    {"url": "https://example.com/b", "text": "Permitted  sample prose.",
     "training_use_approved": False},
    {"url": "https://example.com/c", "text": "",
     "training_use_approved": False}
]
unique = {}
duplicates = 0
rejected = 0
for row in rows:
    # This whitespace policy is scoped to the illustrative prose fixtures.
    text = " ".join(row["text"].split())
    if not text:
        rejected += 1
        continue
    digest = hashlib.sha256(text.encode("utf-8")).hexdigest()
    if digest in unique:
        duplicates += 1
        unique[digest]["source_urls"].append(row["url"])
        continue
    unique[digest] = {
        "text": text, "content_hash": digest,
        "source_urls": [row["url"]],
        "training_use_approved": row["training_use_approved"]
    }
print(json.dumps({
    "unique_documents": len(unique), "duplicates": duplicates,
    "rejected": rejected,
    "training_eligible": sum(r["training_use_approved"] for r in unique.values())
}))

这些样例产生了一个唯一文档、一个重复文档、一个拒绝文档，以及零个符合训练资格的文档。被保留的文本记录不会仅因其内容检查通过就自动获得训练资格。在生产流水线中，应为每个来源保留单独的权限记录，而不是在重复来源之间自动合并权限。

阶段 6：衡量语言覆盖度和有效产出

有效产出衡量的是经过流水线的接受与筛选决策后剩余的内容。按来源、语言、文档类型和获取路径进行比较。

将声明语言、检测语言和请求地域分开记录。审查篇幅较短或混合语言的文档，而不是将每一次检测结果都视为确定无疑。语料库可能在文档数量上达标，却低估了其目标语言之一的比例。

在衡量 token 产出时，使用与模型和数据集流程相同的分词器。基于空白的词数统计或字符数统计是不同的度量，应使用独立的名称。记录分词器及其版本，并提供可复现的发布清单。

在比较不同路由之前，先明确定义每个分母。不要把已下载正文字节与发票上的带宽数值当作必然测量相同流量而直接比较。

第 7 阶段：制定预算并发布语料库

语料库预算应包括对合格保留材料的获取、存储、处理和审查成本。如果来源产生的大多是被拒绝或重复的文档，较低的路由价格价值有限。

对一个小规模、已批准的采集时间窗口使用测量得到的工作负载值。将花费金额与保留下来的有用材料数量分开统计。避免在预测中插入一个通用的目标成功率或假定的每页字节数。

为已发布的来源清单、抽取规则、去重策略、语言决策和使用‑审查证据进行版本管理。即使删除记录也要保留溯源信息，这样下一次发布才能解释组成发生了怎样的变化。

负责任地处理训练数据

公共可访问性是一种采集观察结果，并不是证明文档已被批准可用于你预期训练用途的依据。你的来源审查必须解决权限以及项目适用的各项要求。

检查条款、权限证据以及 机器人排除协议。尽量减少不必要的个人信息，尊重来源排除项，并在构建大规模采集任务之前定义好保留和删除流程。

将不适合或未解决的材料排除在训练发布之外。代理无法替代这些治理决策。当允许用途不明确时，应与负责的来源所有者或合格审查人员一起解决。

结论

当代理为已批准的采集提供合适路由时，它们对 LLM 训练是有用的。训练数据流水线决定生成的文档是否有意义、是否唯一，以及是否符合预期数据集的资格标准。

从来源清单开始，保留获取证据，并在内容和用途审查后衡量产出。当这些记录表明工作流确实增加了有用的语料覆盖时，再扩大路由范围。

准备好构建可追溯的采集流水线了吗？

使用 Scrapeless 规划一个边界清晰的来源采集，然后将观测到的产出与当前定价进行比较。在 Telegram 上分享有关流水线设计的问题。

常见问题

问：代理会让网页自动适合用来训练 LLM 吗？

代理提供的是网络路由；它们并不建立文档质量或训练使用权限。这些决策属于语料流水线和来源审查的职责。

问：请求的代理国家能否确定文档语言？

请求的国家并不能确定文档语言。需要检查返回的内容，并将地理位置、声明语言和已审核语言作为彼此独立的观测结果保留。

问：采集器应如何处理验证挑战或拒绝访问页面？

采集器应拒绝或隔离这些不合适的响应，并记录获取原因。不要把其中的文本当作成功的训练文档。

问：当抽取选择器发生变化时应该怎么做？

重新检查来源，并基于已保存的抓取结果更新抽取规则。保留解析器版本和最终页面标识，这样才能诊断空输出的原因。

问：语料试点应使用多大并发度？

使用有边界的试点和保守的每主机并发上限，例如本示例策略中的 3 个工作线程。来源权限、采集规则和度量到的运行情况共同决定扩展。

问：这个采集流水线需要一个 AI 代理吗？

抓取、抽取、去重和发布决策都可以作为确定性软件运行。AI 代理是围绕该流水线的可选消费者或受监督助手。

问：已完成请求数量能否用来估算训练标记产出？

已完成请求数量本身无法估算有用的训练标记数。应在文档通过接受、去重和用途资格检查之后，使用预期的分词器来衡量标记数量。