वेब स्क्रैपिंग के लिए रैंडम आईपी कैसे उत्पन्न करें

परिचय
रैण्डम आईपी उत्पन्न करना वेब स्क्रैपिंग के लिए आवश्यक है। आईपी रोटेशन के बिना, आपके अनुरोधों को ब्लॉक होने का जोखिम होता है। यह गाइड Python में रैण्डम आईपी उत्पन्न करने के 10 व्यावहारिक तरीकों का पता लगाती है। एक आसान और अधिक विश्वसनीय दृष्टिकोण के लिए, Scrapeless का उपयोग करने पर विचार करें, जो आईपी रोटेशन को स्वचालित करता है।

1. आईपी की एक स्थिर सूची का उपयोग करना

निष्कर्ष: एक पूर्व-निर्धारित सूची सरल रैण्डम चयन की अनुमति देती है।

चरण:

1. आईपी की एक सूची बनायें (ips = ["192.168.1.1", "192.168.1.2"])।
2. चयन के लिए random.choice() का उपयोग करें।

import random

ips = ["192.168.1.1", "192.168.1.2", "192.168.1.3"]
random_ip = random.choice(ips)
print(random_ip)

अनुप्रयोग: नियंत्रित आईपी सेट के साथ छोटे स्क्रैपिंग कार्य।

2. रैण्डम आईपी जनरेशन का उपयोग करना

निष्कर्ष: उच्च विविधता के लिए प्रोग्रामेटिकली आईपी उत्पन्न करें।

चरण:

import random

def random_ip():
    return ".".join(str(random.randint(1, 254)) for _ in range(4))

print(random_ip())

अनुप्रयोग: परीक्षण या अस्थायी स्क्रैपिंग कार्यों के लिए जहाँ आईपी का प्रतिष्ठा महत्वपूर्ण नहीं है।

3. मुफ्त सार्वजनिक प्रॉक्सी का रोटेशन

निष्कर्ष: मुफ्त प्रॉक्सी तात्कालिक रैण्डम आईपी प्रदान करती हैं।

चरण:

1. सार्वजनिक स्रोतों से एक प्रॉक्सी सूची प्राप्त करें।
2. अनुरोधों के लिए रैण्डम रूप से एक प्रॉक्सी चुनें।

import requests, random

proxies = ["http://111.111.111.111:8080", "http://222.222.222.222:8080"]
proxy = random.choice(proxies)
response = requests.get("https://example.com", proxies={"http": proxy, "https": proxy})

अनुप्रयोग: कम बजट के साथ छोटे पैमाने पर स्क्रैपिंग।

4. प्रॉक्सी रोटेशन सेवाओं का उपयोग करना

निष्कर्ष: भुगतान करने वाले प्रदाता विश्वसनीय रैण्डम आईपी प्रदान करते हैं।

चरण:

1. Luminati, ScraperAPI या Scrapeless जैसी सेवाओं के लिए साइन अप करें।
2. अपने API की के साथ उनके एंडपॉइंट्स का उपयोग करें।

import requests

api_url = "https://proxyprovider.com?api_key=YOUR_KEY&url=https://example.com"
response = requests.get(api_url)
print(response.text)

अनुप्रयोग: मैनुअल आईपी प्रबंधन के बिना बड़े पैमाने पर वेब स्क्रैपिंग।

5. टोर के साथ रैण्डम आईपी उत्पन्न करना

निष्कर्ष: टोर गुमनाम रैण्डम आईपी प्रदान करता है।

चरण:

1. टोर और stem लाइब्रेरी इंस्टॉल करें।
2. SOCKS प्रॉक्सी के माध्यम से कनेक्ट करें (127.0.0.1:9050)।

proxies = {"http": "socks5h://127.0.0.1:9050", "https": "socks5h://127.0.0.1:9050"}
response = requests.get("https://example.com", proxies=proxies)

अनुप्रयोग: गुमनाम स्क्रैपिंग और क्षेत्रीय प्रतिबंधों को बायपास करना।

6. सeleniium में रैण्डम आईपी

निष्कर्ष: सeleniium ब्राउज़र प्रॉक्सी के माध्यम से आईपी को रोटेट करने का समर्थन करता है।

चरण:

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import random

ips = ["111.111.111.111:8080", "222.222.222.222:8080"]
chrome_options = Options()
chrome_options.add_argument(f'--proxy-server={random.choice(ips)}')
driver = webdriver.Chrome(options=chrome_options)
driver.get("https://example.com")

अनुप्रयोग: कई ब्राउज़र सत्रों के साथ स्वचालन कार्य।

7. HTTPX के साथ Async आईपी रोटेशन

निष्कर्ष: असिंक्रोनस अनुरोध रैण्डम आईपी के साथ उच्च समवर्तीता का समर्थन करते हैं।

import httpx, asyncio, random

ips = ["111.111.111.111:8080", "222.222.222.222:8080"]

async def fetch(url):
    proxy = random.choice(ips)
    async with httpx.AsyncClient(proxies={"http": proxy, "https": proxy}) as client:
        r = await client.get(url)
        print(r.status_code)

asyncio.run(fetch("https://example.com"))

अनुप्रयोग: उच्च गति वेब स्क्रैपिंग।

8. Scrapy में आईपी रोटेशन

निष्कर्ष: Scrapy मिडलवेयर स्वचालित रूप से रैण्डम आईपी असाइन कर सकता है।

चरण:

1. HttpProxyMiddleware को सक्षम करें।
2. settings.py में प्रॉक्सी की एक सूची परिभाषित करें।

DOWNLOADER_MIDDLEWARES = {'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1}
PROXY_LIST = ['http://111.111.111.111:8080', 'http://222.222.222.222:8080']

अनुप्रयोग: बड़ी स्पाइडर परियोजनाओं के लिए जो कई रैण्डम आईपी की आवश्यकता होती है।

9. आईपी प्रबंधन के लिए Scrapeless का उपयोग करना

निष्कर्ष: Scrapeless सभी अनुरोधों के लिए रैण्डम आईपी असाइनमेंट को स्वचालित करता है।

लाभ:

• मैनुअल आईपी प्रबंधन को समाप्त करता है
• समवर्तीता को प्रभावी ढंग से संभालता है
• ब्लॉक के जोखिम को कम करता है

अनुप्रयोग: न्यूनतम सेटअप के साथ पेशेवर स्क्रैपिंग के लिए उपयुक्त।

10. पर्यावरण चर के साथ गतिशील आईपी

निष्कर्ष: पर्यावरण चर कॉन्फ़िगर करने योग्य रैण्डम आईपी की अनुमति देते हैं।

import os, random
from dotenv import load_dotenv

load_dotenv()
ips = os.getenv("IPS").split(",")
random_ip = random.choice(ips)
print(random_ip)

अनुप्रयोग: विभिन्न स्क्रैपिंग कार्यों के लिए लचीला पाइपलाइन सेटअप।

तुलना सारांश

मुख्य बातें

• यादृच्छिक आईपी अवरोधन को कम करते हैं और स्क्रैपिंग की विश्वसनीयता में सुधार करते हैं।
• पाइथन विभिन्न दृष्टिकोणों का समर्थन करता है, मैनुअल से लेकर स्वचालित तक।
• स्क्रैपलेस एक आसान, विश्वसनीय और स्केलेबल समाधान प्रदान करता है।

सामान्य प्रश्न

प्रश्न 1: यादृच्छिक आईपी क्यों उत्पन्न करें?
अवरोधों से बचने और लगातार स्क्रैपिंग प्रदर्शन सुनिश्चित करने के लिए।

प्रश्न 2: क्या मैं मुफ्त आईपी सूचियों का उपयोग कर सकता हूँ?
हां, लेकिन स्थिरता सीमित है। बड़े प्रोजेक्ट्स के लिए भुगतान किए गए समाधानों की सिफारिश की जाती है।

प्रश्न 3: क्या स्क्रैपलेस को कोडिंग की आवश्यकता है?
न्यूनतम कोडिंग की आवश्यकता है; यह पाइथन स्क्रिप्ट के साथ सहजता से एकीकृत होता है।

प्रश्न 4: क्या मैं सेलेनियम में आईपी को घुमा सकता हूँ?
हां, ब्राउज़र विकल्पों में एक यादृच्छिक प्रॉक्सी सौंपें।

प्रश्न 5: आईपी कितनी बार घुमाने चाहिए?
यह अनुरोध मात्रा और लक्ष्य साइट के प्रतिबंधों पर निर्भर करता है।

अनुशंसित समाधान

बिना किसी झंझट के अनुभव के लिए, स्क्रैपलेस का प्रयास करें ताकि स्वचालित रूप से यादृच्छिक आईपी उत्पन्न और घुमाए जा सकें।

संदर्भ

• अनुरोधों का उन्नत उपयोग
• स्क्रैपी आधिकारिक दस्तावेज़
• HTTPX असिंक्रोनस दस्तावेज़
• टोर स्टेम पुस्तकालय