Python अनुरोधों के साथ प्रॉक्सी का उपयोग कैसे करें: वेब स्क्रैपिंग के लिए 10 समाधान

import requests

proxies = {
    'http': 'http://your_http_proxy:port',
    'https': 'http://your_https_proxy:port',
}

try:
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    print(f"आपका IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"अनुरोध विफल: {e}")

import requests

proxies = {
    'http': 'http://your_username:your_password@your_http_proxy:port',
    'https': 'http://your_username:your_password@your_https_proxy:port',
}

try:
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    print(f"आपका IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"अनुरोध विफल: {e}")

import os
import requests

os.environ['HTTP_PROXY'] = 'http://your_http_proxy:port'
os.environ['HTTPS_PROXY'] = 'http://your_https_proxy:port'

try:
    response = requests.get('http://httpbin.org/ip', timeout=10)
    print(f"आपका IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"अनुरोध विफल: {e}")

# पर्यावरण परिवर्तनीयों को साफ करना (वैकल्पिक)
del os.environ['HTTP_PROXY']
del os.environ['HTTPS_PROXY']

import requests

session = requests.Session()
session.proxies = {
    'http': 'http://your_http_proxy:port',
    'https': 'http://your_https_proxy:port',
}

try:
    response = session.get('http://httpbin.org/ip', timeout=10)
    print(f"आपका IP: {response.json()['origin']}")
    response = session.get('http://httpbin.org/headers', timeout=10)
    print(f"हेडर: {response.json()['headers']}")
except requests.exceptions.RequestException as e:
    print(f"अनुरोध विफल: {e}")

import requests
import random

proxy_pool = [
    {'http': 'http://proxy1.example.com:8080', 'https': 'http://proxy1.example.com:8080'},
    {'http': 'http://proxy2.example.com:8080', 'https': 'http://proxy2.example.com:8080'},
    {'http': 'http://proxy3.example.com:8080', 'https': 'http://proxy3.example.com:8080'},
]

def get_random_proxy():
    return random.choice(proxy_pool)

url = 'http://httpbin.org/ip'

for _ in range(5): # घुमते हुए प्रॉक्सियों के साथ 5 अनुरोध करें
    current_proxy = get_random_proxy()
    print(f"प्रॉक्सी का उपयोग कर रहे हैं: {current_proxy['http']}")
    try:
        response = requests.get(url, proxies=current_proxy, timeout=10)
        print(f"आपका IP: {response.json()['origin']}")
    except requests.exceptions.RequestException as e:
        print(f"प्रॉक्सी {current_proxy['http']} के साथ अनुरोध विफल: {e}")

pip install requests[socks]

import requests

proxies = {
    'http': 'socks5://your_socks_proxy:port',
    'https': 'socks5://your_socks_proxy:port',
}

try:
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    print(f"आपका IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"अनुरोध विफल: {e}")

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

class CustomProxyAdapter(HTTPAdapter):
    def __init__(self, proxy_list, *args, **kwargs):
        self.proxy_list = proxy_list
        super().__init__(*args, **kwargs)

    def send(self, request, **kwargs):
        proxy = random.choice(self.proxy_list) # कस्टम प्रॉक्सी चयन लॉजिक
        request.url = request.url.replace('http://', f'http://{proxy}/')
        request.url = request.url.replace('https://', f'https://{proxy}/')
        return super().send(request, **kwargs)

proxy_pool_for_adapter = [
    'proxy1.example.com:8080',
    'proxy2.example.com:8080',
]

session = requests.Session()
# सभी HTTP/HTTPS अनुरोधों के लिए कस्टम एडेप्टर लगाएँ
session.mount('http://', CustomProxyAdapter(proxy_pool_for_adapter))
session.mount('https://', CustomProxyAdapter(proxy_pool_for_adapter))

try:
    response = session.get('http://httpbin.org/ip', timeout=10)
    print(f"आपका IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"अनुरोध विफल: {e}")

import requests

proxies_to_test = [
    {'http': 'http://good_proxy:8080', 'https': 'http://good_proxy:8080'},
    {'http': 'http://bad_proxy:8080', 'https': 'http://bad_proxy:8080'}, # एक बुरे प्रॉक्सी को अनुकरण करना
]

working_proxies = []

for proxy in proxies_to_test:
    try:

response = requests.get('http://httpbin.org/ip', proxies=proxy, timeout=5)
        if response.status_code == 200:
            print(f"प्रॉक्सी {proxy['http']} काम कर रही है। आईपी: {response.json()['origin']}")
            working_proxies.append(proxy)
        else:
            print(f"प्रॉक्सी {proxy['http']} ने स्थिति कोड {response.status_code} लौटाया")
    except requests.exceptions.RequestException as e:
        print(f"प्रॉक्सी {proxy['http']} विफल रहा: {e}")

print(f"काम कर रही प्रॉक्सी: {working_proxies}")

अपने प्रॉक्सी पूल के स्वास्थ्य की नियमित रूप से जांच करना सुनिश्चित करता है कि आपके अनुरोध हमेशा विश्वसनीय कनेक्शन के माध्यम से रूट किए जाते हैं, डाउनटाइम को न्यूनतम करते हैं और डेटा अधिग्रहण दरों में सुधार करते हैं। यह पेशेवर वेब स्क्रैपिंग का एक महत्वपूर्ण पहलू है [3]।

### समाधान 9: प्रॉक्सी मैनेजर या सेवा का उपयोग करना (उदाहरण: Scrapeless)

विशाल या जटिल वेब स्क्रैपिंग परियोजनाओं के लिए, मैन्युअल रूप से प्रॉक्सी प्रबंधित करना बोझिल हो सकता है। समर्पित प्रॉक्सी मैनेजर्स या सेवाओं का प्रदर्शन प्रॉक्सी रोटेशन, स्वास्थ्य जांच और प्रमाणन की जटिलताओं को अव्यक्त करता है, जिससे आप डेटा निष्कर्षण पर ध्यान केंद्रित कर सकते हैं। Scrapeless, उदाहरण के लिए, एक मजबूत आवासीय प्रॉक्सी नेटवर्क प्रदान करता है जो स्वचालित रूप से इन सभी पहलुओं का प्रबंधन करता है। उपलब्ध समाधानों के अधिक व्यापक अवलोकन के लिए, आप हमारी गाइड [वेब स्क्रैपिंग उपकरण](https://www.scrapeless.com/blog/web-scraping-tools) को भी सहायक पा सकते हैं।

Scrapeless के साथ, आप आमतौर पर उनके API के साथ एकीकृत करते हैं, और वे पर्दे के पीछे प्रॉक्सी बुनियादी ढांचे का प्रबंधन करते हैं। यह आपके कोड को सरल बनाता है और विशेष रूप से चुनौतीपूर्ण लक्ष्यों के खिलाफ आपके अनुरोधों की सफलता दर में काफी सुधार करता है। उदाहरण के लिए, Python Requests के साथ Scrapeless के आवासीय प्रॉक्सी का उपयोग करते समय, आपके अनुरोध उनके अंत बिंदु के माध्यम से भेजे जाएंगे, और वे आपके लिए प्रॉक्सी चयन और रोटेशन का प्रबंधन करेंगे।

```python
import requests

# अपने वास्तविक Scrapeless API अंत बिंदु और API कुंजी के साथ बदलें
SCRAPELESS_API_ENDPOINT = 'https://api.scrapeless.com/scrape'
SCRAPELESS_API_KEY = 'YOUR_SCRAPELESS_API_KEY'

url_to_scrape = 'https://www.example.com'

headers = {
    'X-Scrapeless-Api-Key': SCRAPELESS_API_KEY,
    'Content-Type': 'application/json'
}

payload = {
    'url': url_to_scrape,
    'proxy_type': 'residential', # आवासीय प्रॉक्सी निर्दिष्ट करें
    # आवश्यकता अनुसार अन्य Scrapeless पैरामीटर जोड़ें, उदाहरण के लिए, भू-लक्षित
}

try:
    response = requests.post(SCRAPELESS_API_ENDPOINT, headers=headers, json=payload, timeout=30)
    if response.status_code == 200:
        print("स्क्रैपिंग सफल!")
        # प्रतिक्रिया.json() या response.text को आवश्यकता अनुसार प्रोसेस करें
        print(response.json())
    else:
        print(f"स्क्रैपिंग स्थिति कोड के साथ विफल: {response.status_code}")
        print(response.text)
except requests.exceptions.RequestException as e:
    print(f"Scrapeless API के लिए अनुरोध विफल रहा: {e}")

# यह एक वैचारिक उदाहरण है। requests-toolbelt के साथ वास्तविक कार्यान्वयन भिन्न हो सकता है।
# from requests_toolbelt import sessions

# session = sessions.BaseUrlSession(base_url='http://httpbin.org/')
# session.proxies = {
#     'http': 'http://proxy1.example.com:8080',
#     'https': 'http://proxy2.example.com:8080',
# }

# try:
#     response = session.get('ip')
#     print(f"आपका आईपी: {response.json()['origin']}")
# except requests.exceptions.RequestException as e:
#     print(f"अनुरोध विफल रहा: {e}")

ई-कॉमर्स व्यवसाय को दुनिया भर के विभिन्न ऑनलाइन स्टोर में प्रतिस्पर्धी कीमतों की निगरानी करने की आवश्यकता होती है। इसके लिए विभिन्न भौगोलिक क्षेत्रों से उत्पाद पृष्ठों को स्क्रैप करना आवश्यक है, जिसमें अक्सर भौगोलिक सीमाएं होती हैं। भू-लक्षित क्षमताओं के साथ आवासीय प्रॉक्सी का उपयोग करके, व्यवसाय विशेष देशों से अनुरोधों का अनुकरण कर सकता है, जिससे सटीक मूल्य डेटा संग्रह सुनिश्चित होता है। प्रॉक्सी रोटेशन यहाँ आवश्यक है ताकि एकल आईपी पते से अनुरोध पैटर्न की निगरानी करने वाले एंटी-बॉट सिस्टम द्वारा पहचान से बचा जा सके। Scrapeless जैसे मजबूत प्रॉक्सी समाधान, जो इसके व्यापक आवासीय IP पूल के साथ आता है, इस कार्य के लिए आदर्श होगा, जिससे व्यवसाय बिना किसी रुकावट के प्रतिस्पर्धात्मक जानकारी एकत्र कर सके। विशिष्ट स्क्रैपिंग कार्यों में गहराई से जाने के लिए, [Amazon उत्पाद डेटा स्क्रैप करने के तरीके](https://www.scrapeless.com/blog/how-to-scrape-amazon-product-data) के बारे में जानें।

### केस स्टडी 2: रियल एस्टेट मार्केट विश्लेषण

एक रियल एस्टेट एनालिटिक्स फर्म को कई स्थानीय रियल एस्टेट पोर्टल से संपत्ति लिस्टिंग एकत्र करनी है। ये पोर्टल अक्सर दर सीमाएँ होती हैं और एक ही स्रोत से बहुत अधिक अनुरोध भेजने वाले आईपी को ब्लॉक कर सकते हैं। स्वचालित रोटेशन के साथ प्रॉक्सी पूल लागू करने से यह सुनिश्चित होता है कि फर्म लगातार डेटा एकत्र कर सके बिना ब्लॉक हुए। इसके अलावा, यदि कुछ पोर्टल में CAPTCHA चुनौतियाँ हैं, तो CAPTCHA हल करने की क्षमताओं को एकीकृत करने वाली प्रॉक्सी सेवा (जो अक्सर उन्नत प्रॉक्सी API में पाई जाती है) अत्यधिक फायदेमंद होगी, डेटा संग्रह प्रक्रिया को सरल बनाते हुए।

### केस स्टडी 3: भावना विश्लेषण के लिए सोशल मीडिया डेटा संग्रह

जिन शोधकर्ताओं ने सार्वजनिक सोशल मीडिया पोस्ट पर भावना विश्लेषण करने का कार्य किया है, उन्हें उन प्लेटफार्मों से डेटा के बड़े वॉल्यूम को एकत्र करना आवश्यक है, जो स्वचालित एक्सेस का पता लगाने और ब्लॉक करने में काफी आक्रामक होते हैं। इस परिदृश्य में मोबाइल प्रॉक्सियों का उपयोग विशेष रूप से प्रभावी होता है, क्योंकि सोशल मीडिया प्लेटफार्म मोबाइल ट्रैफ़िक के लिए अत्यधिक अनुकूलित होते हैं और आम तौर पर मोबाइल आईपी को अधिक भरोसा करते हैं। मोबाइल प्रॉक्सियों और पायथन अनुरोधों में सत्र प्रबंधन को जोड़ने से शोधकर्ता लॉगिन स्थिति बनाए रख सकते हैं और सुरक्षा अलर्ट को सक्रिय किए बिना विस्तारित समय तक डेटा एकत्र कर सकते हैं।

## Scrapeless को अपने प्रॉक्सी आवश्यकताओं के लिए क्यों चुनें?

जब वेब स्क्रैपिंग के लिए विश्वसनीय और प्रभावी प्रॉक्सी समाधानों की बात आती है, तो Scrapeless विशेष रूप से उच्च-गुणवत्ता वाले आवासीय प्रॉक्सी पर ध्यान केंद्रित करने के साथ खड़ा होता है। जैसा कि चर्चा की गई, आवासीय प्रॉक्सी उन कार्यों के लिए सर्वोपरि हैं जिनके लिए उच्च गुमनामी और उन्नत एंटी-बॉट उपायों को दरकिनार करने की क्षमता की आवश्यकता होती है। Scrapeless वास्तविक आवासीय आईपी पतों के एक विशाल नेटवर्क को पहुंच प्रदान करता है, जिससे आपके स्क्रैपिंग गतिविधियाँ वैध प्रतीत होती हैं और इन्हें पहचानने या ब्लॉक किए जाने की संभावना कम होती है।

**Scrapeless के मुख्य लाभ:**

- **व्यापक आवासीय IP पूल**: Precision geo-targeting और उच्च गुमनामी की अनुमति देता है, जिससे लाखों वास्तविक आवासीय आईपी का विश्व स्तर पर पहुंच मिलती है।
- **स्वचालित प्रॉक्सी रोटेशन**: Scrapeless प्रॉक्सी रोटेशन और प्रबंधन की जटिलताओं को संभालता है, जिससे आप डेटा निष्कर्षण पर ध्यान केंद्रित कर सकते हैं बजाय अवसंरचना पर।
- **उच्च सफलता दर**: यह सबसे उन्नत एंटी-बॉट सिस्टम को दरकिनार करने के लिए डिज़ाइन किया गया है, जिससे आपके स्क्रैपिंग अनुरोधों की सफलता की दर अधिक होती है।
- **स्केलेबिलिटी**: अपनी गतिविधियों को आसानी से बढ़ाएं बिना एक बड़े प्रॉक्सी अवसंरचना का प्रबंधन किए।
- **मूल्य के लिए लागत-कुशल**: जबकि आवासीय प्रॉक्सी एक निवेश हैं, Scrapeless उच्च-गुणवत्ता और विश्वसनीय प्रॉक्सियों के साथ प्रतियोगी बढ़त प्रदान करता है, जो आपको समय और संसाधन बचाने में मदद करता है।

Scrapeless को अपने पायथन अनुरोधों के कार्यप्रवाह में शामिल करके, आप अपने वेब स्क्रैपिंग परियोजनाओं की मजबूती और प्रभावशीलता में उल्लेखनीय रूप से सुधार कर सकते हैं, आवश्यक डेटा तक निरंतर पहुंच सुनिश्चित कर सकते हैं।

## निष्कर्ष

पायथन अनुरोधों के साथ प्रॉक्सियों के उपयोग में निपुणता वेब स्क्रैपिंग या डेटा निष्कर्षण में शामिल किसी के लिए एक अनिवार्य कौशल है। मूल शब्दकोश कॉन्फ़िगरेशन से लेकर उन्नत सत्र प्रबंधन और प्रॉक्सी रोटेशन तक, इस गाइड में वर्णित समाधान वेब की जटिलताओं का सामना करने के लिए एक व्यापक टूलकिट प्रदान करते हैं। विभिन्न प्रॉक्सी प्रकारों—आवासीय, डाटासेंटर, और मोबाइल—के सूक्ष्मताओं को समझकर और मजबूत त्रुटि हैंडलिंग को लागू करके, आप अपनी स्क्रैपिंग संचालन की दक्षता, विश्वसनीयता, और गोपनीयता को महत्वपूर्ण रूप से बढ़ा सकते हैं। उन लोगों के लिए जो एक सरल और अत्यधिक प्रभावी समाधान की तलाश कर रहे हैं, Scrapeless जैसे समर्पित प्रॉक्सी सेवा का लाभ उठाने से उन्नत एंटी-बॉट उपायों को दरकिनार करने और मूल्यवान डेटा तक निरंतर पहुंच सुनिश्चित करने में अपार लाभ होता है। इन तकनीकों को अपनाएं ताकि आपकी वेब स्क्रैपिंग चुनौतियों को सफल डेटा अधिग्रहण प्रयासों में बदल सकें।
<div class="text-sm text-gray-500"> login_scrapeless.json </div>
          <div class="text-sm text-gray-500" style="margin-left: 6px">
            • 37 KB
          </div>
        </div>
      </div>
      <img src="https://app.scrapeless.com/assets/logo.svg" class="w-10 h-10" style="border: none; margin: 0"
        alt="Scrapeless" />
    </div>
  </a>

## अक्सर पूछे जाने वाले सवाल (FAQ)

### प्रश्न 1: पायथन रिक्वेस्ट के साथ प्रॉक्सी का उपयोग करने का मुख्य लाभ क्या है?

उत्तर 1: मुख्य लाभ आईपी प्रतिबंधों को बायपास करना, भू-प्रतिबंधित सामग्री तक पहुंचना और वेब स्क्रैपिंग के दौरान गुमनामी बनाए रखना है। प्रॉक्सी आपके अनुरोधों को विभिन्न आईपी पते के माध्यम से रूट करती हैं, जिससे वेबसाइटों के लिए आपके स्वचालित गतिविधियों का पता लगाना और उन्हें ब्लॉक करना कठिन हो जाता है।

### प्रश्न 2: आवासीय और डाटा केंद्र प्रॉक्सी में क्या अंतर है?

उत्तर 2: आवासीय प्रॉक्सी असली आईपी पते का उपयोग करती हैं जो इंटरनेट सेवा प्रदाताओं (ISP) द्वारा घरेलू उपयोगकर्ताओं को सौंपे जाते हैं, जिससे वे अत्यधिक वैध और पहचान में कम बलिदान होते हैं। डाटा केंद्र प्रॉक्सी कृत्रिम रूप से निर्मित आईपी हैं जो डाटा केंद्रों में होस्ट की जाती हैं, जो तेज और सस्ती होती हैं लेकिन परिष्कृत एंटी-बॉट सिस्टम द्वारा आसानी से पता की जा सकती हैं।

### प्रश्न 3: मैं पायथन रिक्वेस्ट में प्रॉक्सी प्रमाणीकरण को कैसे संभाल सकता हूं?

उत्तर 3: आप प्रॉक्सी प्रमाणीकरण को प्रॉक्सी यूआरएल में अपने यूज़रनेम और पासवर्ड को सीधे एम्बेड करके संभाल सकते हैं, जैसे `http://username:password@host:port`, जब आप पायथन रिक्वेस्ट में अपने प्रॉक्सी डिक्शनरी को परिभाषित कर रहे हों।

### प्रश्न 4: वेब स्क्रैपिंग के लिए प्रॉक्सी रोटेशन क्यों महत्वपूर्ण है?

उत्तर 4: प्रॉक्सी रोटेशन बड़े पैमाने पर वेब स्क्रैपिंग के लिए महत्वपूर्ण है ताकि आईपी प्रतिबंध और दर सीमाओं से बचा जा सके। विभिन्न आईपी पतों के पूल के माध्यम से साइकिल चलाकर, आपके अनुरोध विभिन्न स्रोतों से आते हुए दिखाई देते हैं, जिससे मानव व्यवहार की नकल होती है और पहचान जाने और ब्लॉक किए जाने की संभावना कम होती है।

### प्रश्न 5: क्या मैं पायथन रिक्वेस्ट के साथ SOCKS प्रॉक्सी का उपयोग कर सकता हूं?

उत्तर 5: हां, आप पायथन रिक्वेस्ट के साथ SOCKS प्रॉक्सी का उपयोग कर सकते हैं, लेकिन आपको पहले `requests[socks]` एक्स्टेंशन स्थापित करना होगा (`pip install requests[socks]`)। स्थापना के बाद, आप अपने प्रॉक्सी यूआरएल में SOCKS प्रोटोकॉल (जैसे, `socks5://`) को निर्दिष्ट कर सकते हैं।

## संदर्भ

[1] <a href="https://www.researchandmarkets.com/report/global-residential-proxy-server-market?srsltid=AfmBOop4yk7MwBnwaiY9TzPRLcv9AWqqqtxUowor5T5js4sMwLJnltsD" rel="nofollow">**ResearchAndMarkets: वैश्विक आवासीय प्रॉक्सी सर्वर बाजार**</a>

[2] <a href="https://www.zenrows.com/blog/python-requests-proxy" rel="nofollow">**ZenRows: पायथन रिक्वेस्ट में प्रॉक्सी कैसे सेट करें**</a>

[3] <a href="https://scrapfly.io/blog/posts/introduction-to-proxies-in-web-scraping" rel="nofollow">**Scrapfly: वेब स्क्रैपिंग के लिए प्रॉक्सियों का उपयोग करने के लिए संपूर्ण गाइड**</a>