Agent Browser / 动态网站数据

收集页面加载后出现的内容

渲染JavaScript页面,导航交互元素,并在相关内容准备好后提取可见的公共数据。

  • 定义内容准备情况和范围
  • 渲染页面并导航所需的视图
  • 提取记录并验证完整性

CDP

连接您的浏览器框架

会议

将任务保留在一个上下文中

JavaScript

与渲染的页面交互

证据

验证结果状态

谁使用动态网站数据

渲染JavaScript页面,导航交互元素,并在相关内容准备好后提取可见的公共数据。

01

数据工程师

定义业务问题并审查收集的证据。

02

研究团队

使用可重复的过程来比较重要的观察结果。

03

数据产品构建者

将可靠的输入连接到产品或研究工作流程。

04

整合业主

将源输出映射到现有应用程序并验证必填字段。

05

工作流程操作员

监视异常、维护收集上下文并检查不完整的运行。

为什么此工作流程会大规模中断

围绕影响可用业务成果的故障模式进行设计。

问题 01

上下文丢失

固定睡眠可以捕获空壳或半加载列表。等待有意义的内容条件并跟踪不完整的运行。

保留可比较的观察结果
问题 02

运行结束但没有可用结果

操作可以在未完成预期任务的情况下执行。在将运行视为成功之前验证可见结果。

验证实际结果
问题 03

下一组无法验证结果

保留源上下文和可审查的证据以及结果。定义在生产收集之前由谁处理不完整的记录。

让交接可追踪

您的工作流程可以使用的数据

保持收集层和规范化业务记录的明确定义。

source_url
保留源或目的地参考以进行追踪。
render_state
指定应用程序级别检查的结果;区分失败和有效的空数据。
records
由您的应用程序提取和验证的记录。
collected_at
相关时间戳或日期;如果适用,保留源时区。

规范化记录 · 示例

{
  "source_url": "https://example.com/public-source",
  "render_state": "verified_in_sample",
  "records": [
    {
      "title": "Example public item"
    }
  ],
  "collected_at": "2026-10-08T08:00:00Z"
}

建议的下游记录,而不是字面的 Scrapeless API 响应。字段提取和标准化属于您的应用程序。

您的自动化或代理框架控制的远程浏览器会话。

实践中的例子。从公共目录中收集产品名称,该目录在过滤后加载项目。

阅读官方产品参考

此工作流程如何运行

从批准的输入到经过验证的结果的集中顺序。

  1. 01

    定义内容准备情况和范围

    首先:目标页面、准备条件和提取选择器。定义收集前的最小可用结果。

  2. 02

    渲染页面并导航所需的视图

    您的自动化或代理框架控制的远程浏览器会话。分别记录失败和部分结果。

  3. 03

    提取记录并验证完整性

    验证任务完成情况、异常率和每个可用结果的运行时间。保留进入下一阶段的记录证据。

专为您的团队工作方式而打造

产品能力支持工作流程;您的申请定义了成功的含义。

  • Playwright · Puppeteer

    连接您使用的工具

    Agent Browser 公开了 Playwright 和 Puppeteer 等框架的浏览器连接。您现有的工作流程决定浏览器的功能。

  • 任务→会话→结果

    控制会话

    设置会话生存期和相关网络上下文。围绕浏览器的生命周期和任务的状态设计恢复。

  • 观察→行动→检查

    处理渲染页面

    使用您的框架等待内容、与 UI 交互并检查 DOM。验证有意义的状态,而不是依赖固定的延迟。

  • 运行日志·页面状态

    保留有用的证据

    在需要时启用受支持的会话记录,并通过代码捕获特定于应用程序的证据。将保留策略应用于录制的内容。

规划工作流程的成本

估计代表性任务的浏览器运行时间和代理流量。在设置生产预算之前检查当前帐户条款。

飞行员

验证一个工作流程

运行具有代表性的源示例并检查可用结果和异常情况。在扩展之前就接受标准达成一致。

免费试用

生产

衡量实际消费

验证任务完成情况、异常率和每个可用结果的运行时间。

查看定价

规模

确定下一阶段的范围

带上您的工作负载组合、操作窗口和观察到的消耗,讨论适合您要求的设置。

这些是工作负载阶段,而不是命名的订阅计划。当前费率和账户限额适用。

选择如何运行工作流程

使用您自己的代表性工作负载来比较职责和操作工作量。

工作流程责任

配Agent Browser

自管理堆栈

手动流程

执行

托管浏览器执行

您的团队负责运行和维护执行层。

操作员重复每个收集或浏览步骤。

业务规则

任务规划、选择器、批准规则、提取逻辑和结果验证。

在您的应用程序中实现。

由研究者或操作者应用。

验收

在工作流程中保留结果和内容检查。

构建验证和异常处理。

检查捕获的证据。

成本规划

衡量产品消耗加上下游加工。

衡量基础设施和维护工作。

考虑每项已完成任务所花费的时间。

将其连接到您已经运行的堆栈

让业务逻辑和分析靠近使用结果的系统。

  • Playwright

    跨浏览器自动化

  • Puppeteer

    浏览器控制和脚本

  • 您的代理框架

    自定义代理集成

任务规划、选择器、批准规则、提取逻辑和结果验证。 打开产品文档了解当前设置和支持的选项。

探索更多 Agent Browser 工作流程

使用相同产品的相关工作流程,每个工作流程都有自己的输入和验收标准。

团队在构建之前提出的问题

确定第一次运行的范围并设定明确的期望。

我们需要什么才能开始?

目标页面、准备条件和提取选择器。从代表性样品开始,并在增加体积之前就验收标准达成一致。

Agent Browser提供什么?

您的自动化或代理框架控制的远程浏览器会话。观察到的页面状态、提取的内容以及自动化捕获的证据。

哪些部分是我们自己建造的?

任务规划、选择器、批准规则、提取逻辑和结果验证。

是什么让这个工作流程产生误导?

固定睡眠可以捕获空壳或半加载列表。等待有意义的内容条件并跟踪不完整的运行。

我们应该围绕哪些界限进行规划?

您的代码定义提取字段、分页限制和验证。呈现的页面不保证完整的数据。

我们应该如何评价一名飞行员?

验证任务完成情况、异常率和每个可用结果的运行时间。在决定是否扩展之前,请查看已接受记录和例外情况的样本。

让 Agent Browser 为您的团队工作

带上您的来源、预期的浏览器运行情况和接受标准。从有针对性的试点开始,然后扩大证据。