什么是 PerimeterX?
Scrapeless Agent Browser 为在授权自动化工作流中导航和检查动态网站提供云浏览器会话。
PerimeterX 这个名称指的是什么?
PerimeterX 是一家与机器人检测和应用防护相关的安全公司名称,包括历史上称为 PerimeterX Bot Defender 的产品。HUMAN 和 PerimeterX 于 27-Jul-2022 宣布合并。你可能仍会在集成、较早的技术资料或现有部署标识符中遇到 PerimeterX 这个名称。
这次 HUMAN 和 PerimeterX 合并 解释了组织层面的关系。产品标签一直在持续变化,因此,旧的 PerimeterX 引用不应被视为对当前 HUMAN 产品组合的完整描述。在运行部署时,请核对当前合同和实施文档。
对于开发者而言,有用的问题通常是运维层面的:究竟是哪一个系统做出了中断此请求的决定?挑战页面可以暗示存在安全集成,但仅凭页面截图并不能确定确切的产品版本、启用的策略或单个决定的原因。这些细节需要实施证据或对网站所有者日志的访问权限。
摘要
- PerimeterX 属于 HUMAN 的公司发展历史的一部分。 较旧的名称和标识符仍然可能出现在活动中的集成里。
- 机器人管理在上下文中评估自动化活动。 浏览器行为和网络观测可以对决策产生影响。
- 一次挑战不会揭示其全部成因。 网站的配置和安全遥测决定了对信号的解释。
- 即便是授权的自动化仍然需要对内容进行验证。 打开一个页面或完成一个浏览器操作并不能证明预期数据已经到达。
机器人防护要解决的是什么问题?
机器人防护帮助应用所有者区分可接受的自动化活动与威胁应用运行或业务规则的活动。自动化请求可以是有用的,例如被允许的监控作业;也可以是有害的,例如凭证滥用。同一种 HTTP 方法在这两种情况下都可能出现。
这个 OWASP 自动化威胁分类 描述了依赖于如何使用应用功能的滥用场景。这解释了为什么语法上有效的请求仍然可能会遭到额外审查。系统可能在评估请求之间的关系、正在尝试的动作,或关于会话的其他证据。
账户访问、结账和公共浏览会带来不同的后果。所有者可能允许监控工具读取公开信息,同时对认证或库存操作施加更严格的检查。避免将每一项限制都解读为对自动化的一般性禁令。相关策略的范围可能小于整个网站。
机器人防御集成如何融入网站?
机器人防御集成将观测与可以影响应用响应的执行点结合起来。具体架构取决于部署。在概念层面,客户端组件可以观测浏览器执行,而服务端或边缘组件则评估请求并应用所选动作。
浏览器执行提供了与原始 HTTP 请求不同的视角。浏览器可以运行应用脚本、维护 cookie,并产生页面事件。网络基础设施可以在页面完全渲染之前观测连接和请求。应将这些视为互补视角,而不是假设某个 JavaScript 属性决定了所有结果。
挑战是对不确定性或策略条件的一种可能响应。其他动作包括允许请求、阻止请求或收集更多证据。不要推断未看到挑战的访问者从未被评估。同样,看到挑战的访问者也不一定已被确认为恶意。
与产品相关的传感器、请求字段、阈值和响应路径,应以部署本身的文档为准。对不熟悉的 cookie 或脚本名称进行角色猜测,可能得出看似合理却不正确的诊断。在赋予其安全含义之前,请先描述浏览器实际收到了什么。
PerimeterX、WAF 和 CAPTCHA 是不同的概念
PerimeterX 是一个供应商名称,WAF 是一种应用防护类别,而 CAPTCHA 是用于验证的交互。这些概念可以同时出现在一个网站中,但并不会因此而相互等同。
| 术语 | 实际含义 | 它并不能说明的内容 |
|---|---|---|
| PerimeterX | 与机器人防御相关的历史公司和集成名称 | 某个特定网站的当前配置 |
| 机器人管理 | 对自动化流量进行分类和策略控制 | 所有自动化客户端都被禁止 |
| WAF | 对 Web 应用流量进行检查与策略执行 | 每一次阻断都由浏览器指纹导致 |
| CAPTCHA | 访问工作流中的验证交互 | 每一个底层安全组件的身份 |
带品牌的中间页是有用的证据,但它的出现并不能告诉你是哪一个早期信号导致了这一决策。应用在收到安全结果后,也可以自行生成拒绝消息。在事件记录中,应将可见响应与推断出的产品相区分,并对这种推断保持保留。
你应该如何调查一个挑战?
通过保留允许的工作流并识别实际响应首次偏离预期页面的位置来调查一次挑战。首先收集最终 URL、响应正文、截图和导航序列。这些观察结果为网站所有者提供了可与安全日志进行关联的具体依据。
The HTTP 响应模型 区分状态和呈现。一次成功的导航事件并不能证明该呈现中包含了所请求的应用程序内容。验证屏幕可以作为页面被正确加载,但对你的数据任务来说仍然是不可用的。
- 检查任务的权限。 确认您的协议所涵盖的页面和操作。能够手动浏览的账户并不会自动授权所有自动化操作。
- 识别预期内容。 公共条目页面应包含预期的条目标识和相关字段。挑战标题属于不同的响应类别。
- 检查导航路径。 记录浏览器是否到达了预期的主机名和路由。重定向到登录页或同意页可能在不存在机器人防御失败的情况下解释该结果。
- 检查浏览器健康状况。 损坏的脚本、不可用的依赖项以及不完整的页面渲染可能会阻止正常的应用程序流程。调查这些故障,但不要将它们视为安全结论的证据。
- 升级并附上精简的证据包。 向站点所有者提供时间窗口、受影响的路由、可用的请求标识符以及经过脱敏处理的响应证据。请求获得一个已批准的集成方案或一个范围严格受限的策略调整。
不要在公共问题中粘贴会话 Cookie、Bearer 凭证或完整的账户导出内容。一张已脱敏的截图和一个请求标识符通常就足以开始对话。如果需要更多证据,让工作人员通过适当的渠道进行请求。
Agent Browser 的适用场景
Agent Browser 适用于需要可控浏览器来渲染应用程序内容并保留页面交互序列的工作流程。 Scrapeless Agent 浏览器文档 描述浏览器服务,而 Agent Browser 产品概览 解释其自动化界面。
浏览器服务并不意味着你被允许进入受限区域,也无法保证每一项第三方策略都会接受某个会话。请根据你被允许使用的来源和计划执行的操作来评估该服务。对于只读的公共数据任务,成功应当意味着预期的公开内容已被返回,并通过了你的验证检查。
将产品选择与任务紧密关联。如果工作流程需要点击按钮并随后进行动态更新,则浏览器检查是相关的。如果所有者提供了结构化的源数据,那么该源数据可能会提供更清晰的契约。比较当前情况 无抓取定价 以及你的实际任务所需的浏览器运行时和验证工作。
相关讨论内容 网页工作流程中的反机器人机制 提供了额外的背景信息。在核对当前文档中的 API 和产品设置之前,将旧帖子中的实现示例视为历史资料。
网站所有者如何减少不必要的阻碍?
网站所有者通过同时评估安全结果和合法用户结果来减少不必要的阻碍。一个能够阻止不想要的操作却也打断被允许的集成的策略,需要在相关的路由或身份边界上进行调整。
从观察和有限的逐步上线开始。比较挑战完成情况、支持事件、受影响的路由以及已知的许可客户端。不要仅以请求量减少作为唯一的成功衡量标准:更少的请求既可能意味着滥用减少,也可能意味着合法活动的流失。在报告中保留这种区分。
对于业务合作伙伴,请记录已批准的路径和运营限制。经过身份验证的集成、单独的 API,或由所有者管理的例外,比对特定浏览器信号的未记录依赖更易于维护。将任何例外限定在预期的身份和路由范围内,而不是对整个共享网络进行广泛信任。
结论
PerimeterX 仍然是理解现有机器人防御集成的一个有用术语,但当前的产品归属和部署行为需要以当前证据为依据。诊断实际页面,将安全层与应用程序状态区分开来,并与所有者合作确定一条被允许的访问路径。对于自动化工作流来说,经过验证的响应才是有用的结果。
构建一个可验证的工作流程
选择适用于你被允许使用的数据源的 Scrapeless 服务,然后根据你的应用程序所需的字段检查返回的内容。
今天注册即可获得 5 美元免费额度 — 无需信用卡.
领取您的 $5 额度 →常见问题解答
问:PerimeterX 与 HUMAN Security 有关联吗?
PerimeterX 和 HUMAN 于 2022 年宣布合并。较早的集成名称可能仍然可见,因此请使用当前的 HUMAN 文档和您的部署记录来识别相关的产品和配置。
问:挑战是否能证明访问者是机器人?
挑战并不能证明访问者就是机器人。它是一种执行或验证操作,可能反映不确定性、风险,或已配置的应用策略。
问:更换 IP 地址能解决所有挑战吗?
更换 IP 地址无法解决所有挑战,因为浏览器执行、会话状态以及应用策略也会影响访问。应先诊断响应,再决定是否进行技术性更改。
问:Agent Browser 能保证被受保护站点接受吗?
Agent Browser 无法保证被所有受保护站点接受。请在数据源允许的访问条件下使用,并将返回页面与任务的内容要求进行核对。