Cloudflare Turnstile保護ページをScrapelessで処理する

TL;DR:

• Cloudflare Turnstile とインタースティシャル チャレンジ ページは異なる面です。 フォーム ウィジェットは、すでにアクセス可能なページに表示できます。
• Scrapeless Web Unlocker は、Turnstile および Cloudflare チャレンジの処理をサポートする文書です。 あなたのアプリケーションは、そのステップの後の操作に責任を持ち続けます。
• 成功した HTTP リクエストは、ターゲット コンテンツが使用可能であることを証明しません。 あなたのタスクに対する成功を定義するページ要素やビジネスの状態が必要です。
• HTML の取得は、保護されたフォームが正常に送信されたことを証明しません。 コンテンツへのアクセス、ウィジェットの完了、およびアプリケーションの受理を別々の結果として扱います。
• 無料で開始。 ワークロードを拡大する前に、Scrapeless アカウントの利用可能なクレジットで承認されたターゲットを評価します。

はじめに: パースする前にページの状態を確認する

スクレイパーは HTML を受け取り、まだ使用可能なタスク データを持っていない場合があります。ドキュメントはチャレンジ画面、ログインページ、または期待されるタイトルを持っているが要求された情報を含まないアプリケーション応答である場合があります。

Turnstile は別の区別を加えます。ページは通常のコンテンツを表示できる一方で、ウィジェットが特定のフォームアクションを保護しています。そのウィジェットの存在はページ全体がブロックされていることを意味せず、ページを取得することは保護されたアクションが受け入れられたことを証明しません。

このチュートリアルは、サポートされている Cloudflare 保護コンテンツのための文書化された Scrapeless Web Unlocker のパスを使用する方法と、返された内容を検証する方法を説明します。認証された例は、あなたのアカウントと承認されたターゲットを必要とする統合テンプレートであり、完了した Turnstile 解決の主張ではありません。

Turnstile とチャレンジ ページは異なるチェックを必要とします

Turnstile は埋め込み型の検証メカニズムであり、インタースティシャル チャレンジ ページは要求されたリソースへのアクセスを中断します。二つを区別することで、コレクターが誤った成功条件を適用するのを防ぎます。

Cloudflare は、インタースティシャル チャレンジに対する応答信号を公開しています：チャレンジページ応答ヘッダーは cf-mitigated: challenge を使用します。その信号を、利用可能な場合には元のターゲットの応答に適用します。管理されたサービスは独自のエンベロープやヘッダーを返すことがあります；APIの応答がすべての元のターゲットヘッダーを公開するとは限りません。

HTML マーカーは支持する証拠を提供できますが、普遍的な分類器ではありません。技術的な記事は、ブロックされていなくてもチャレンジスクリプトに言及することがあります。逆に、ページは認識可能なチャレンジマーカーを含んでいなくても、目的のコンテンツの読み込みに失敗することがあります。

Scrapeless Web Unlocker が処理するもの

Scrapeless Web Unlocker は、Turnstile および Cloudflare チャレンジの処理に関する自動支援を文書化しています。サポートされているチャレンジ挙動は、以降の操作はアプリケーションの責任が残ることも明記しています。

Web Unlocker アクセスサービスは、以下の例で使用される唯一の製品です。その JavaScript レンダリング設定は、スクリプトの実行が必要なページに対してブラウザでレンダリングされた結果を要求します。この記事は、無関係な API 製品の間で切り替えたり、別のトークン解決エンドポイントが存在することを想定したりすることはありません。

クリーンなコンテンツ応答は、読み取り専用の抽出タスクにとって有用な結果です。保護されたフォームを含むワークフローには、追加のアプリケーション固有の確認が必要です。トークンの出現やウィジェットの消失を、送信が成功したことの十分な証拠として扱わないでください。

前提条件とターゲット特有の成功契約

Python、Requests、アクティブな Scrapeless API キー、およびアクセスする権限のあるターゲットが必要です。依存関係を python -m pip install requests でインストールし、ランタイム環境で SCRAPELESS_API_KEY を設定します。

TARGET_URL を承認されたページに設定します。EXPECTED_TEXT をその意図されたコンテンツからの特徴的なフレーズとして定義します。そのターゲットによって使用される正確なインタースティシャル マーカーを知っている場合は、CHALLENGE_MARKERS をカンマ区切りのリストに設定します。リストはターゲット固有に保ち、曖昧なマッチをレビューしてください。
認証されたリクエストと実際のターンスタイルの結果は、この例の前提条件として残ります。ターゲットが解決された、すべてのCloudflare構成がサポートされている、またはコードが保護されたフォームを完了するという主張は行われません。

実行前に、成功と見なされるものを決定してください。公開リファレンスページの場合、それは特定の見出しとコンテンツセクションかもしれません。製品ページの場合、有効な識別子と解析可能な価格である可能性があります。ページとエラーメッセージの両方に表示される可能性のある一般的なフレーズは避けてください。

ステップ1: ウェブアンロックを通じてレンダリングされたコンテンツをリクエストする

以下のリクエストは、文書化されたウェブアンロッカーアクターとJavaScriptレンダリング構成を使用しています。これをfetch_protected_page.pyとして保存してください。

注: このスクリプトには、あなたのScrapeless APIキーと承認されたターゲットが必要です。認証された呼び出しとチャレンジの結果はこの環境で確認されていません。ターゲットで実行し、抽出結果に依存する前に戻されたボディを検査してください。

import hashlib
import json
import os
from pathlib import Path

import requests

url = os.environ["TARGET_URL"]
expected = os.environ["EXPECTED_TEXT"].casefold()
markers = [part.strip().casefold()
           for part in os.environ.get("CHALLENGE_MARKERS", "").split(",")
           if part.strip()]
response = requests.post(
    "https://api.scrapeless.com/api/v2/unlocker/request",
    headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"]},
    json={
        "actor": "unlocker.webunlocker",
        "input": {
            "url": url,
            "method": "GET",
            "redirect": False,
            "jsRender": {
                "enabled": True,
                "waitUntil": "domcontentloaded",
                "response": {"type": "html"},
            },
        },
        "proxy": {"country": "ANY"},
    },
    timeout=120,
)
response.raise_for_status()
body = response.text
Path("page-response.txt").write_text(body)
content_type = response.headers.get("content-type", "").lower()
if "text/html" not in content_type:
    outcome = "inspect_service_response"
elif any(marker in body.casefold() for marker in markers):
    outcome = "review_challenge_marker"
elif expected not in body.casefold():
    outcome = "expected_content_missing"
else:
    outcome = "content_candidate"
record = {
    "requested_url": url,
    "service_http_status": response.status_code,
    "content_type": content_type,
    "response_sha256": hashlib.sha256(response.content).hexdigest(),
    "outcome": outcome,
}
Path("page-observation.json").write_text(json.dumps(record, indent=2))
print(json.dumps(record))
if outcome != "content_candidate":
    raise SystemExit(1)

設定は、Web Unlockerリクエスト契約およびJavaScriptレンダリング構成から取得されます。クライアントの待機は設定されたタイムアウトであり、パフォーマンスに関する主張ではありません。

この例では、非HTMLレスポンスを検査するためのものとして扱います。未知のレスポンスエンベロープにネストされたHTMLフィールドを推測することはありません。実際にアカウントに戻された結果を確認した後にのみパーサーを適応してください。

Scrapelessでスクレイピング開始

Scrapelessでウェブスクレイピングと自動化のワークフローを強化しましょう！
今日サインアップして**$5の無料クレジット**をゲット — クレジットカードは不要。

Scrapelessダッシュボードで今すぐ無料クレジットを請求してください。

ステップ2: コンテンツの検証、輸送だけではなく

コンテンツの検証は、リクエストのステータスとは独立してページの意図する情報をテストすべきです。HTTPステータスモデルは、プロトコルレベルでの応答を説明します。あなたの抽出基準がタスクを満たすかどうかを確立します。

スクリプトはcontent_candidateを報告します、解決されたチャレンジではありません。その名前は意図的です: フレーズチェックは初期フィルターに過ぎません。意図されたコンテンツ領域を解析し、必要なフィールドを確認し、一致するフレーズを含むエラーページを拒否してください。

設定されたチャレンジマーカーが表示された場合、保存されたレスポンスを検査してください。一致は実際のインタースティシャルまたは誤検知である可能性があります。Cloudflareに言及するすべてのページを自動的に削除するのではなく、その違いを保持してください。

成功した抽出記録のためには、ターゲットURL、キャプチャ時間、使用された検証ルール、および受け入れられたフィールドを保持してください。通常のログに完全なクッキー、リクエスト資格情報、またはウィジェットトークンを保持することは避けてください。

ステップ3: 保護されたアクションをページ取得から分離する

ページ取得ワークフローは、タスクが明示的に必要とし、さらなるアクションを許可しない限り、受け入れられたコンテンツで停止すべきです。公開ページを読み取ることと、保護されたアカウントフォームを完了することは、異なる成功条件を持っています。

自身のフォームをテストする際、送信後にアプリケーションの応答を確認してください。クライアントサイドのウィジェットの完了は中間イベントです。サイトのサーバーサイドの検証とビジネスロジックが、アクションが受け入れられるかどうかを決定します。

このWebアンロックの例は、無関係なセッション間でウィジェットトークンを転送したり、サイト所有者の秘密を提供したり、アプリケーション固有の送信呼び出しを発明したりしません。ページを読み込んだ後にブラウザのインタラクションが必要な場合は、サポートされている製品インターフェースを使用して、そのワークフローを別に設計および検証してください。

ページアクセスと継続するブラウザセッションの違いについての背景として、Cloudflareチャレンジワークフローが関連するコンテキストを提供します。古い例からコードを採用する前に、現在の製品インターフェースを確認してください。

実際に観察した状態を診断する

有用な診断記録は、観察されていない原因を主張することなく、失敗した条件を特定します。期待されるテキストが欠けていることは、インタースティシャル、変更されたページ、リダイレクト、またはパーサーの仮定の結果である可能性があります。

テストは小規模にし、自動的にターゲットスコープを拡張することを避けてください。ホストごとの開始上限は3ワーカーであり、これは保守的なアプリケーション設定です。より厳しいターゲットまたはアカウントの制限が優先されます。

アクセスポリシーは、コンテンツが技術的に到達可能である場合でも関連性があります。 ロボット排除プロトコルはクローラーの指示を示します。これは、承認や収集データのすべての許可された使用を置き換えるものではありません。

ワークフローを展開する前に、実際のターゲットで受け入れられるコンテンツを測定し、サービスの使用をScrapeless価格と比較してください。単一のページまたはデモ環境に基づいてユニバーサル解決率を公開しないでください。

結論：アプリケーション層で成功を定義する

Cloudflareで保護されたページを扱うには、サポートされたアクセスパスと意図されたコンテンツが実際に利用可能であることを確認する必要があります。ターンスタイルウィジェット、インタースティシャルチャレンジ、およびアプリケーションの提出は、そのチェックにおいて明確に区別される状態であるべきです。

文書化されたWebアンロッカーリクエストを出発点として使用し、承認されたターゲットに対して実行し、結果を検査してから下流の抽出を有効にしてください。受付記録は、HTTPリクエストが完了したという事実だけでなく、取得された情報を説明する必要があります。

ウェブデータパイプラインの構築準備はできましたか？

Discord と Telegram のウェブデータ収集に取り組む開発者に参加してください。

Scrapelessアカウントを作成し、ワークフローを自分の承認されたデータソースに適応させてください。

FAQ

Q: Scrapeless Web UnlockerはCloudflare Turnstileを処理できますか？

Web Unlockerは、TurnstileおよびCloudflareチャレンジの処理に関する文書化された支援を提供します。適用性と最終結果は、あなたの承認されたターゲットで検証する必要があります。その後の操作は、あなたのアプリケーションの責任となります。

Q: HTTP 200レスポンスはTurnstileが解決されたことを意味しますか？

いいえ。レスポンスには中間ページまたはタスクに関連しないコンテンツが含まれている可能性があります。返された状態と必要なコンテンツを確認してください。

Q: Turnstileウィジェットのあるすべてのページは読み取りをブロックしますか？

いいえ。埋め込まれたウィジェットは特定のアクションを保護しつつ、ページの他の部分は表示されることがあります。チェックを実行しているタスクに一致させてください。

Q: この例に別のブラウザプロキシを追加する必要がありますか？

ローカルブラウザは起動されません。Web Unlockerリクエストの文書化されたプロキシオプションを使用し、ターゲットでの結果のアクセス動作を検証してください。

Q: ターゲットがHTMLを変更した場合はどうなりますか？

期待されるコンテンツルールと下流で使用されるセレクタを再確認してください。チャレンジ処理サービスは、あなたのアプリケーションが有効と見なすページフィールドを定義しません。

Q: AIエージェントなしで実行できますか？

はい。Pythonリクエストとコンテンツチェックは決定論的であり、言語モデルを必要としません。

Q: チャレンジ処理は保護されたデータを収集する許可ですか？

いいえ。承認されたアクセス範囲内でのみワークフローを使用し、実行を許可されているデータ利用を確認し、関連するサイトの利用規約および適用要件を確認してください。

Q: この例は保護されたフォームを提出できますか？

いいえ。この例はコンテンツを取得して検査します。フォームのワークフローには、別途実装され、検証されたアプリケーションの動作が必要です。