反机器人：它是什么以及如何绕过？

Alex Johnson

Senior Web Scraping Engineer

10-Feb-2025

在自动化与安全之战中，反机器人机制已成为网络的守门人，阻止不需要的机器人，但同时也常常阻碍合法的數據收集。

从登录页面到电子商务网站，这些防御措施——尤其是验证码——对于网络爬虫和自动化工具来说可能是一个令人沮丧的障碍。有没有什么方法可以绕过它们？

本文深入探讨了反机器人系统的世界，探索它们如何检测自动化，并揭示了在不越过法律或道德界限的情况下绕过限制的道德策略。

让我们开始阅读吧！

为什么会有反机器人检测？

好吧，让我们先来一次旅行。想象一下，你经营一家商店，顾客可以自由浏览，但每隔几分钟，就会有一个蒙面人物冲进来，抢走你所有的商品，然后消失。你现在怎么想？

这就是网站对机器人的感受！反机器人检测的存在是为了将真实用户与自动化脚本区分开来，防止凭据填充、内容盗窃和恶意网络抓取。

从验证码到浏览器指纹识别，这些数字门卫不知疲倦地工作以阻止不良机器人——但有时，它们也会让只想获取数据的善良开发者也陷入困境。

那么，有没有一种方法可以在不违反规则的情况下智胜它们呢？我们可以找到更多。

常用的反机器人机制

头部验证: 头部验证分析传入的HTTP头部，并检查是否阻止它们。
IP封锁: 基于IP地址限制访问。
速率限制: 限制来自单个IP的请求。
浏览器指纹识别: 分析浏览器属性和行为。
TLS指纹识别: TLS指纹识别通过分析握手参数并阻止具有意外值的请求来检测机器人。
蜜罐: 诱捕机器人的隐形陷阱。
验证码挑战: 为人类设计易于解决但对机器人难以解决的挑战。

验证码：一种关键的反机器人机制

什么是验证码？

验证码（CAPTCHA），即全自动公共图灵测试以区分计算机和人类，是一种安全机制，旨在区分真实用户和自动化机器人。通过提出对人类来说容易但对机器来说困难的挑战，验证码有助于防止垃圾邮件、凭据填充和自动化网络抓取等恶意活动。

验证码类型：

基于文本的验证码: 用户必须识别并输入扭曲或模糊的文本，这对机器人来说难以解释。
基于图像的验证码: 用户识别图像中的物体，例如交通灯或店面，这需要大多数机器人无法具备的视觉识别能力。
reCAPTCHA: 谷歌的先进验证码系统，包括多种形式——简单的复选框验证（“我不是机器人”）、图像选择挑战和无需显式交互即可分析用户行为的隐形验证码。
hCAPTCHA: reCAPTCHA 的注重隐私的替代方案，旨在最大限度地减少数据跟踪，同时仍然提供有效的机器人保护。

验证码的工作原理：

验证码运行在挑战-响应机制上，用户必须完成一项任务以证明自己是人类。系统会评估响应和行为，例如鼠标移动、打字速度或交互模式，以确定真实性。

现代验证码系统利用机器学习根据不断发展的机器人能力调整其难度级别。它们分析行为数据，采用基于风险的评估，甚至整合生物特征线索以提高准确性和安全性，使机器人越来越难以绕过这些防御措施。

绕过反机器人的最佳实践

为什么选择Scrapeless？

Scrapeless 拥有强大的验证码求解器，能够无缝浏览受验证码保护的网站，并确保不间断的数据提取。

价格实惠: Scrapeless 提供经济高效的验证码求解解决方案，而不会影响效率。
稳定性和可靠性: Scrapeless 拥有良好的业绩记录，在高工作负载下始终如一地解决验证码，确保自动化顺利进行。
高成功率: 再也没有验证码障碍——Scrapeless 在绕过验证码挑战方面的成功率达到 99.99%。
可扩展性: 在 Scrapeless 强大的基础设施支持下，轻松处理数千个受验证码保护的请求。

Scrapeless 昂贵吗？

Scrapeless 提供可靠且可扩展的网络抓取平台，价格具有竞争力（与Zenrows 和Apify 相比），确保为其用户提供极高的价值：

验证码求解器: 每 1k 个 URL 0.8 美元起
抓取浏览器: 每小时 0.09 美元起
抓取API: 每 1k 个 URL 0.8 美元起
网页解锁器: 每 1k 个 URL 0.2 美元起
代理: 每 GB 2.8 美元起

加入我们的社区，享受免费试用和更多折扣！

绕过反机器人检测：Scrapeless 验证码求解器指南

步骤 1. 登录Scrapeless。
步骤 2. 进入“验证码求解器”界面。单击 reCAPTCHA 解锁服务并选择您需要使用的 reCAPTCHA 类型：普通版或企业版。

步骤 3. 在左侧的操作框中配置所需的相关信息：reCAPTCHA 版本、页面 URL、站点密钥、操作、代理等。

步骤 4. 配置完成后，您可以在右侧的代码框中获取相关的代码反馈。您只需要复制它并将其集成到您的程序中。这里我们以抓取scrapeless.com为例。让我们解锁 v2 reCAPTCHA，使用 Premium 代理并将其配置为“新加坡”，并将页面操作设置为“抓取”。以下是我的代码反馈：

Python Copy

import time

import requests


def sendRequest():
    url = "https://api.scrapeless.com/api/v1/createTask"
    token = "xxx"
    headers = {"x-api-token": token}
    input = {
        "version": "v2",
        "pageURL": "https://www.scrapeless.com/en",
        "siteKey": "6Le-wvkSAAAAAPBMRTvw0Q4Muexq9bi0DJwx_mJ-",
        "pageAction": "scraping",
        "invisible": False,
    }
    payload = {
        "actor": "captcha.recaptcha",
        "input": input
    }

    # Create task
    result = requests.post(url, json=payload, headers=headers).json()
    taskId = result.get("taskId")
    if not taskId:
        print("Failed to create task:", result)
        return
    print(f"Created a task: {taskId}")

    # Poll for result
    for i in range(10):
        time.sleep(1)
        url = "https://api.scrapeless.com/api/v1/getTaskResult/" + taskId
        resp = requests.get(url, headers=headers)
        result = resp.json()
        if resp.status_code != 200:
            print("task failed:", resp.text)
            return
        if result.get("success"):
            return result["solution"]["token"]


data = sendRequest()
print(data)

actor: 当前任务的执行者
state: 当前任务的状态
success: 任务是否成功
taskId: 如果任务创建成功，您将获得一个 taskId。然后你需要使用这个 taskId 来查询结果
solution: 如果任务成功，您将收到解决方案
message: 如果任务失败，请检查此错误消息