क्लाउडफ्लेयर को पायथन (प्ले राइट + स्क्रेपलेस) के साथ कैसे हल करें

संक्षेप:

• क्लाउडफ्लेयर ब्राउज़र को अंकित करता है, आगंतुक को नहीं। यह फिंगरप्रिंट स्थिरता, व्यवहारिक संकेतों और निकास आईपी को पढ़ता है, फिर एक ऐसे ब्राउज़र के लिए cf_clearance कुकी सेट करता है जिस पर इसे भरोसा है - इसे पायथन में हल करने का मतलब है एक भरोसेमंद ब्राउज़र होना, न कि एक पहेली का उत्तर देना।
• एक स्थानीय पायथन ब्राउज़र इस स्कोरिंग में तीन अक्षों पर विफल रहता है: navigator.webdriver संकेत, एक हेडलेस-डिफ़ॉल्ट फिंगरप्रिंट, और एक डेटा सेंटर निकास आईपी। इन तीनों को हाथ से पैच करना एक रखरखाव टेडमिल है।
• स्क्रेपलेस स्क्रेपिंग ब्राउज़र रेंडर के दौरान चुनौती को हटा देता है - असली आत्म-विकसित क्रोमियम, प्रति-सत्र एक सुसंगत फिंगरप्रिंट, और 195+ देशों में आवासीय निकास, एक वेब्सॉकेट एंडपॉइंट के जरिए पहुँचता है।
• आपका पायथन मानक प्ले राइट बने रहता है। chromium.connect_over_cdp() के साथ कनेक्ट करें, चुनौती के बाद की सामग्री का इंतज़ार करें, और पृष्ठ पढ़ें - एकमात्र परिवर्तन कनेक्शन यूआरएल है।
• सत्यापित लाइव: एक पायथन प्ले राइट सत्र ने क्लाउडफ्लेयर चुनौती पृष्ठ को पार किया, सफलता के संकेत आपने क्लाउडफ्लेयर चुनौती को बायपास कर लिया! :D पढ़ा, और एक cf_clearance कुकी प्राप्त की।
• शुरुआत करने के लिए स्वतंत्र। नए स्क्रेपलेस खाते में मुफ्त स्क्रेपिंग ब्राउज़र रनटाइम शामिल है - app.scrapeless.com पर साइन अप करें।

प्रस्तावना: पायथन में क्लाउडफ्लेयर को हल करना एक ब्राउज़र समस्या है

क्लाउडफ्लेयर चुनौती एक छवि CAPTCHA नहीं है जिसे आप डिकोड करते हैं। यह पृष्ठ को लोड करने वाले ब्राउज़र का ग्रेडिंग करती है - चाहे फिंगरप्रिंट आंतरिक रूप से सुसंगत हो, चाहे इंटरैक्शन संकेत मानव दिखें, और चाहे निकास आईपी की स्वच्छ प्रतिष्ठा हो। जब स्कोर पास होता है, क्लाउडफ्लेयर एक cf_clearance कुकी सेट करता है और असली पृष्ठ लोड होता है। जब ऐसा नहीं होता है, तो आपको सामग्री के बजाय एक अंतर स्थान मिलता है।

यह पायथन कार्य को पुनः परिभाषित करता है। कोई उत्तर प्रस्तुत करने के लिए नहीं है - कार्य एक ऐसा ब्राउज़र पेश करना है जिस पर क्लाउडफ्लेयर पहले से भरोसा करता है। एक स्थानीय हेडलेस क्रोमियम जो पायथन से संचालित होता है ऐसा नहीं कर सकता: यह navigator.webdriver प्रॉपर्टी के माध्यम से स्वचालन की घोषणा करता है, हेडलेस-डिफ़ॉल्ट फ़ॉन्ट और कैनवस व्यवहार भेजता है, और एक आईपी से बाहर निकलता है जो प्रतिष्ठा सेवाएँ पहले से जानती हैं। आप उनमें से प्रत्येक को पैच कर सकते हैं और फिर जब क्रोमियम और डिटेक्टर्स बढ़ते हैं तो पैच करते रह सकते हैं। यह मार्ग छोटा मार्ग अपनाता है: मानक प्ले राइट से स्क्रेपलेस स्क्रेपिंग ब्राउज़र को संचालित करना, ताकि फिंगरप्रिंट, व्यवहार, और निकास आईपी सर्वर-साइड संभाले जाएं और चुनौती सामान्य रेंडर के दौरान हल हो जाए।

क्लाउडफ्लेयर वास्तव में क्या चेक करता है

क्लाउडफ्लेयर का अपना दस्तावेज़ीकरण एक सत्यापन चरण का वर्णन करता है जो आगंतुक को बाधित किए बिना चलता है। व्यवहार में यह तीन चीजों का मूल्यांकन करता है और एक cf_clearance कुकी प्रदान करता है - एक मानक HTTP कुकी - जब वे पास होते हैं:

एक सुसंगत, विश्वसनीय ब्राउज़र किसी भी एकल बचाव से अधिक महत्वपूर्ण है - यही कारण है कि तीनों को सर्वर-साइड स्थानांतरित करना छल से अधिक टिकाऊ है।

स्क्रेपलेस स्क्रेपिंग ब्राउज़र क्यों

स्क्रेपलेस स्क्रेपिंग ब्राउज़र एक अनुकूलन योग्य, एंटी-डिटेक्शन क्लाउड ब्राउज़र है जो वेब क्रॉलर और एआई एजेंटों के लिए डिज़ाइन किया गया है। विशेष रूप से क्लाउडफ्लेयर के लिए, इसमें शामिल हैं:

• असली आत्म-विकसित क्रोमियम जो चुनौती जावास्क्रिप्ट को ठीक उसी तरह चलाता है जैसे क्रोम, इसलिए यह रुकने के बजाय हल करता है।
• एक सुसंगत प्रति-सत्र फिंगरप्रिंट - कोई navigator.webdriver संकेत नहीं, कोई हेडलेस डिफ़ॉल्ट लीक नहीं।
• 195+ देशों में आवासीय निकास - क्लाउडफ्लेयर निकास आईपी को स्कोर करता है, और एक आवासीय क्षेत्र साफ़ पढ़ता है जबकि डेटा सेंटर आईपी नहीं करता।
• सत्र की निरंतरता ताकि cf_clearance अनुदान को उसी सत्र में अनुरोधों के बीच पुन: उपयोग किया जा सके।
• एक कनेक्शन सतह - हर विकल्प एक ही वेब्सॉकेट एंडपॉइंट पर एक प्रश्न पैरामीटर है।

app.scrapeless.com पर मुफ्त योजना पर अपना एपीआई कुंजी प्राप्त करें।

पूर्वापेक्षाएँ

• पायथन 3.10 या नए संस्करण
• पायथन के लिए प्ले राइट (pip install playwright)
• एक स्क्रेपलेस खाता और एपीआई कुंजी - app.scrapeless.com पर साइन अप करें
  पूर्ण कनेक्शन विवरण स्क्रैपिंग ब्राउज़र दस्तावेज़ीकरण में उपलब्ध हैं।

स्थापित करें

आप एक दूरस्थ ब्राउज़र से कनेक्ट करते हैं, इसलिए आपको इस प्रवाह के लिए स्थानीय क्रोमियम को playwright install करने की आवश्यकता नहीं है।

pip install playwright
export SCRAPELESS_API_KEY=your_api_token_here   # मुफ्त कुंजी https://app.scrapeless.com पर

कनेक्ट करें और चुनौती को साफ करें

अंत बिंदु बनाएं, chromium.connect_over_cdp() के साथ कनेक्ट करें, नेविगेट करें, और चुनौती के बाद की सामग्री के अटैच होने की प्रतीक्षा करें। चुनौती को रेंडर के दौरान हल किया जाता है - कोई अलग हल कॉल नहीं है।

import json
import os
from urllib.parse import urlencode
from playwright.sync_api import sync_playwright

params = {"token": os.environ["SCRAPELESS_API_KEY"], "sessionTTL": "180", "proxyCountry": "US"}
endpoint = f"wss://browser.scrapeless.com/api/v2/browser?{urlencode(params)}"
TARGET = "https://www.scrapingcourse.com/cloudflare-challenge"

with sync_playwright() as p:
    browser = p.chromium.connect_over_cdp(endpoint)
    page = browser.new_page()
    page.goto(TARGET, wait_until="domcontentloaded", timeout=90000)

    # क्लाउड ब्राउज़र रेंडर के दौरान Cloudflare को साफ करता है; असली सामग्री के लिए प्रतीक्षा करें।
    page.wait_for_selector("#challenge-title", timeout=90000)
    print("साफ किया गया:", page.inner_text("#challenge-title"))

    cookies = page.context.cookies()
    print("cf_clearance:", any(c["name"] == "cf_clearance" for c in cookies))
    browser.close()

इस स्क्रिप्ट का एक लाइव रन साफ किया गया: आपने Cloudflare की चुनौती को पार कर लिया! :D और cf_clearance: True प्रिंट किया — स्टैंडर्ड प्लेयराइट फॉर पायथन, क्लाउड ब्राउज़र के माध्यम से।

मुफ्त योजना पर अपनी API कुंजी प्राप्त करें: app.scrapeless.com

पास की पुष्टि करें और क्लियरेंस को Carry करें

विश्वसनीय संकेत वास्तविक सामग्री का अटैच होना है - एक बार जब चुनौती के बाद का तत्व मौजूद होता है, तो पृष्ठ साफ हो गया। Cloudflare पासिंग सत्र पर एक cf_clearance कुकी भी सेट करता है, जिसे आप उसी सत्र में अन्य अनुरोधों में क्लियरेंस ले जाने के लिए पढ़ सकते हैं।

cookies = page.context.cookies()
clearance = next((c for c in cookies if c["name"] == "cf_clearance"), None)
print("cf_clearance उपस्थित:", clearance is not None)
if clearance:
    print("डोमेन:", clearance["domain"])

विश्वसनीय साफ़ करने के लिए क्षेत्र को पिन करें

Cloudflare निकासी आईपी की जांच करता है, इसलिए proxyCountry को एक निवासीय क्षेत्र में पिन करें। इसे किसी भी ISO देश कोड में बदलें।

params = {
    "token": os.environ["SCRAPELESS_API_KEY"],
    "sessionTTL": "180",
    "proxyCountry": "US",   # या "DE", "JP", "ANY"
}

जहां स्थानीय पायथन ब्राउज़र रुकते हैं

एक स्थानीय प्लेयराइट या अनुरोध-आधारित स्क्रैपर ठीक है जब तक क्लाउडफ्लेयर ब्राउज़र को स्कोर करना शुरू नहीं करता। फिर, हेडलेस फिंगरप्रिंट, webdriver फ्लैग, और डाटासेंटर आईपी प्रत्येक एक अलग जांच में विफल हो जाते हैं, और इंटरस्टिशियल सामग्री को बदल देता है। ये फिंगरप्रिंट, व्यवहार, और आईपी समस्याएं हैं - तीन क्लाउड ब्राउज़र सर्वर-साइड संभालता है। Scrapeless से कनेक्ट करना उन्हें प्रबंधित सत्र को सौंपता है जबकि आपका प्लेयराइट कोड मानक रहता है।

आपको क्या वापस मिलता है

सत्र किसी भी प्लेयराइट फॉर पायथन सत्र की तरह व्यवहार करता है — page.goto, page.wait_for_selector, page.content(), और कुकीज़ सभी काम करते हैं। क्लाउड ब्राउज़र के माध्यम से Cloudflare को साफ़ करने से कुछ ईमानदार अवलोकन:

• navigator.webdriver अनुपस्थित है, इसलिए पहली जांच जो Cloudflare चलाता है, वह असली क्रोम की तरह पढ़ती है।
• निकासी आईपी proxyCountry से मेल खाता है - निवासीय क्षेत्र डाटासेंटर आईपी की तुलना में अधिक विश्वसनीयता से साफ करता है।
• cf_clearance पासिंग के बाद मौजूद है - अनुवर्ती अनुरोधों के बीच ग्रांट ले जाने के लिए उसी सत्र का पुन: उपयोग करें।
• जिद्दी पृष्ठों के लिए सत्र को गर्म करें - सुरक्षित पृष्ठ से पहले उसी सत्र में साइट के होमपेज को लोड करें, ताकि व्यवहारिक सतह सामान्य दौरे की तरह दिखे।

निष्कर्ष: Cloudflare को साफ़ करें, अपने पायथन को बनाए रखें

Cloudflare का समाधान करना Python में एक चुनौती को डिकोड करने के बारे में नहीं है - यह एक ऐसा ब्राउज़र प्रस्तुत करने के बारे में है जिसे Cloudflare भरोसा करता है। Scrapeless Scraping Browser तीन चीजों को सर्वर-साइड पर संभालता है (फिंगरप्रिंट, व्यवहार, निकासी आईपी), इसलिए आपका Playwright for Python कोड केवल अपने कनेक्शन यूआरएल को बदलता है। proxyCountry को एक आवासीय क्षेत्र में पिन करें, पोस्ट-चैलेंज सामग्री की प्रतीक्षा करें, और पास की पुष्टि करने के लिए cf_clearance पढ़ें। किसी अन्य Python लाइब्रेरी के साथ उसी क्लाउड ब्राउज़र को चलाने के लिए, Scrapling प्रोडक्शन-स्क्रेपर गाइड देखें, और Scrapeless मूल्य निर्धारण पृष्ठ पर योजनाओं की तुलना करें।

क्या आप Cloudflare-Clearing पाइपलाइन बनाने के लिए तैयार हैं?

हमारे समुदाय में शामिल हों, एक मुफ्त योजना का दावा करें और Cloudflare-सुरक्षित साइटों को स्क्रैप कर रहे डेवलपर्स के साथ जुड़ें: Discord · Telegram।

मुफ्त Scraping Browser रनटाइम के लिए app.scrapeless.com पर साइन अप करें और Playwright for Python को उस क्लाउड ब्राउज़र पर पॉइंट करें जो रेंडर के दौरान Cloudflare को साफ करता है।

सामान्य प्रश्न

प्रश्न: क्या मुझे एक अलग CAPTCHA-समाधान सेवा की आवश्यकता है?
नहीं, एक पास करने वाले ब्राउज़र पर। Cloudflare ज्यादातर फिंगरप्रिंट, व्यवहार और आईपी को बैकग्राउंड में स्कोर करता है और एक cf_clearance कुकी जारी करता है। क्लाउड ब्राउज़र को सामान्य रेंडर के दौरान उस स्कोरिंग को पास करने के लिए बनाया गया है, इसलिए कोई अलग पहेली कदम स्थापित करने की आवश्यकता नहीं है।

प्रश्न: क्या मुझे एक प्रॉक्सी की आवश्यकता है?
नहीं। आवासीय निकास बिल्ट-इन है - proxyCountry को एक क्षेत्र या ANY पर सेट करें। Cloudflare निकासी आईपी को स्कोर करता है, इसलिए एक आवासीय क्षेत्र अधिक विश्वसनीयता से साफ करता है बनिस्बत एक डेटा सेंटर पते के।

प्रश्न: कुछ पृष्ठों पर चुनौती अभी भी दिखाई देती है - क्या मदद करता है?
proxyCountry को एक आवासीय क्षेत्र पर पिन करें और एक ही सत्र में सुरक्षित पृष्ठ से पहले साइट के होमपेज को पहले लोड करके सत्र को गर्म करें, ताकि व्यवहारिक सतह एक सामान्य दौरे की तरह पढ़े।

प्रश्न: क्या मेरा मौजूदा Playwright कोड संगत है?
हाँ। Scraping Browser CDP से बात करता है, इसलिए chromium.connect_over_cdp() बिना बदले काम करता है - आपको केवल कनेक्शन यूआरएल बदलना है।

प्रश्न: क्या Cloudflare को साफ करना कानूनी है?
सार्वजनिक रूप से उपलब्ध डेटा तक पहुंच आमतौर पर अनुमेय है, लेकिन नियम क्षेत्राधिकार और साइट के अनुसार भिन्न होते हैं। लक्ष्य की सेवा की शर्तों की समीक्षा करें, रोबोट निर्देशों का सम्मान करें, और संवेदनशील किसी भी विषय के लिए वकील से परामर्श करें।