वेब स्क्रैपिंग विद पायथन: एक शुरुआती की गाइड

पायथन के साथ वेब स्क्रैपिंग का क्या अर्थ है

वेब स्क्रैपिंग विद पाइथन का मतलब एक वेब संसाधन को प्राप्त करना और लौटाए गए सामग्री को संरचित डेटा में बदलना है। एक छोटा स्क्रैपर एक HTML पृष्ठ को पढ़ सकता है और उसकी शीर्षक निकाल सकता है। एक उत्पादन संग्रहकर्ता JavaScript को रेंडर कर सकता है, अनुमति प्राप्त पृष्ठांकन का पालन कर सकता है, रिकॉर्ड को मान्य कर सकता है, उत्पत्ति को स्टोर कर सकता है, और स्रोत संरचना में बदलावों की निगरानी कर सकता है।

Python एक सामान्य विकल्प है क्योंकि इसमें परिपक्व HTTP, पार्सिंग, ब्राउज़र, डेटा और भंडारण पुस्तकालय हैं। यह भाषा केवल एक परत है। एक विश्वसनीय स्क्रैपर के लिए एक स्पष्ट लक्ष्य स्कीमा, एक स्रोत नीति, स्थिर पृष्ठ विशेषताओं से मेल खाने वाले चयनकर्ता और जांच चाहिए जो वास्तविक डेटा को त्रुटि पृष्ठों या खाली खोलों से अलग करती हैं।

सार्वजनिक सामग्री और एक संकीर्ण लक्ष्य के साथ शुरू करें। "एक अनुमति दी गई पृष्ठ से शीर्षक और कैनोनिकल URL एकत्र करें" "साइट को पूरी तरह से स्क्रैप करें" की तुलना में सत्यापित करना आसान है। संकीर्ण संस्करण यांत्रिकी को उजागर करता है बिना असीमित क्रॉलिंग को प्रोत्साहित किए।

चार-चरणीय स्क्रैपिंग मॉडल

इन चरणों को एक अदृश्य फ़ंक्शन में समेकित न करें जबकि आप सीख रहे हैं। स्थिति, सामग्री प्रकार, अंतिम URL, और एक छोटा प्रतिक्रिया पूर्वावलोकन प्रिंट करें पहले पार्सिंग के। पार्सिंग के बाद, आउटपुट लिखने से पहले चयनित तत्वों का निरीक्षण करें। चरण सीमाएँ यह स्पष्ट बनाती हैं कि क्या कोई शीर्षक नेटवर्क पहुंच, जavasक्रिप्ट रेंडरिंग, एक चयनकर्ता परिवर्तन, या डेटा सफाई से गायब हुआ।

I'm sorry, but it seems like the text you want translated is incomplete. Please provide the full text you'd like translated, and I'll be happy to assist you! Python urllib.request दस्तावेज़ीकरण मानक-कालिका अनुरोध इंटरफेस को कवर करता है। तृतीय-पक्ष अनुरोधों की दस्तावेज़ीकरण एक अधिक एर्गोनोमिक HTTP API प्रदान करता है जिसमें सत्र, हेडर, डिकोडिंग, प्रॉक्सी और टाइमआउट शामिल हैं।

एक चलाने योग्य पहला स्क्रैपर

यह उदाहरण केवल Python के मानक पुस्तकालय और example.com पर स्थिर प्रदर्शन पृष्ठ का उपयोग करता है। यह पृष्ठ को लाता है, प्रतिक्रिया प्रकार की जांच करता है, पहले शीर्षक को पार्स करता है, और एक JSON रिकॉर्ड प्रिंट करता है। कोड में कोई क्रेडेंशियल्स नहीं है और न ही साइट-विशिष्ट पहुंच का कोई समाधान है।

import json
from html.parser import HTMLParser
from urllib.request import Request, urlopen


class FirstHeadingParser(HTMLParser):
    def __init__(self):
        super().__init__()
        self.in_h1 = False
        self.heading_parts = []

    def handle_starttag(self, tag, attrs):
        if tag == "h1" and not self.heading_parts:
            self.in_h1 = True

    def handle_endtag(self, tag):
        if tag == "h1":
            self.in_h1 = False

    def handle_data(self, data):
        if self.in_h1:
            self.heading_parts.append(data.strip())


url = "https://example.com/"
request = Request(url, headers={"User-Agent": "LearningScraper/1.0"})

with urlopen(request, timeout=15) as response:
    content_type = response.headers.get_content_type()
    html_text = response.read().decode(response.headers.get_content_charset() or "utf-8")

if content_type != "text/html":
    raise ValueError(f"Expected HTML, received {content_type}")

parser = FirstHeadingParser()
parser.feed(html_text)
record = {"url": url, "heading": " ".join(parser.heading_parts)}
print(json.dumps(record, indent=2))

# Example Domain स्क्रिप्ट एक वर्णनात्मक उपयोगकर्ता एजेंट, एक टाइमआउट, एक सामग्री-प्रकार जांच और स्पष्ट डिकोडिंग का उपयोग करती है। ये विवरण छोटे हैं, लेकिन वे आदतें स्थापित करते हैं जो महत्वपूर्ण होती हैं जब लक्ष्य कम पूर्वानुमानित हो जाता है।

प्रयोजन के लिए Requests और Beautiful Soup

Requests और Beautiful Soup एक ही कार्यप्रवाह को छोटा करते हैं। Requests प्रतिक्रिया प्राप्त करता है; Beautiful Soup HTML को पार्स करता है और CSS-शैली चयन का समर्थन करता है। आधिकारिक ब्यूटीफुल सूप दस्तावेज़ पार्सर चयन, टैग खोज, CSS चयनकर्ताओं, और वृक्ष नेविगेशन को समझाता है।

import requests
from bs4 import BeautifulSoup

url = "https://example.com/"
response = requests.get(
    url,
    headers={"User-Agent": "LearningScraper/1.0"},
    timeout=15,
)
response.raise_for_status()

soup = BeautifulSoup(response.text, "html.parser")
heading = soup.select_one("h1")

if heading is None:
    raise ValueError("The page did not contain an h1 element")

print({"url": response.url, "heading": heading.get_text(" ", strip=True)})

एक वर्चुअल वातावरण में निर्भरताएँ स्थापित करें जिसमें python -m pip install requests beautifulsoup4. एक वास्तविक प्रोजेक्ट में वर्शन पिन करें ताकि एक ताजा वातावरण समान निर्भरता सेट को हल करे। जब स्क्रैपर विकसित होता है, तो अनुरोध और पार्सिंग कोड को अलग रखें।

वास्तविक चयनक चुनना

एक चयनक उतना ही विशिष्ट होना चाहिए जितना कि क्षेत्र की आवश्यकता है और और नहीं। छह नested वर्गों की श्रृंखला को तोड़ना आसान है। एक बार div चयनक बहुत व्यापक है। एक अधिकृत स्रोत से एक छोटा HTML फिक्स्चर स्टोर करें और परीक्षण करें कि आवश्यक क्षेत्र वर्तमान रहे जबकि वैकल्पिक क्षेत्र शून्य हो सकते हैं।

कभी नहीं मानें कि पहला मेल खाता तत्व सही है। लेबल, माता-पिता का संदर्भ, इकाइयाँ, और कैननिकल URLs की जाँच करें। यदि एक मूल्य बिक्री, लिस्ट मूल्य, या किस्त का प्रतिनिधित्व कर सकता है, तो स्कीमा को इस भेदन को बनाए रखना चाहिए न कि हर मूल्य को एक क्षेत्र में मजबूर करना चाहिए।

स्थिर HTML बनाम गतिशील पृष्ठ

Requests और urllib सर्वर प्रतिक्रिया प्राप्त करते हैं लेकिन पृष्ठ जावास्क्रिप्ट को नहीं चलाते। यदि ब्राउज़र डेटा दिखाता है जो कि अनुपस्थित है response.text, पृष्ठ लोड के बाद उस सामग्री को प्राप्त या निर्माण कर सकता है। प्रारंभिक स्रोत और रेंडर की गई दस्तावेज़ को देखकर अंतर की पुष्टि करें।

एक गतिशील पृष्ठ हमेशा ब्राउज़र स्वचालन की आवश्यकता नहीं होती है। पृष्ठ एक सार्वजनिक JSON एंडपॉइंट को कॉल कर सकता है जो कि साइट दस्तावेज़ या ब्राउज़र के लिए प्रकट करता है। जब सीधे उपयोग की अनुमति है और स्थिर है, तो संरचित डेटा को मान्य करना आसान हो सकता है। जब सामग्री संवाद, क्लाइंट रेंडरिंग, या दृश्य स्थिति पर निर्भर होती है, तो एक ब्राउज़र का उपयोग करें और एक महत्वपूर्ण तत्व की प्रतीक्षा करें न कि क्षीण विलंब का।

Scrapeless Scraping Browser जावास्क्रिप्ट रेंडरिंग और इंटरैक्शन के लिए एक प्रबंधित ब्राउज़र सत्र प्रदान करता है। एक Python एप्लिकेशन एक समर्थित ब्राउज़र ढाँचे या Scrapeless एकीकरण के माध्यम से जुड़ सकता है, रेंडर की गई सामग्री एकत्र कर सकता है, और फिर इसके सामान्य पार्सिंग और वैलिडेशन स्टेजेज का पुनः उपयोग कर सकता है।

रिकॉर्ड साफ़ करना और संग्रहित करना

निकाले गए स्ट्रिंग्स को सामान्यीकरण की आवश्यकता होती है। चारों ओर के whitespace को हटाएं, अर्थपूर्ण आंतरिक स्थानों को बनाए रखें, संख्याओं को उनकी मुद्रा या इकाई के साथ पार्स करें, और रूपांतरण से जब जानकारी खोने की संभावना हो, तो कच्चे स्रोत मान को बनाए रखें। अनुपस्थित वैकल्पिक क्षेत्रों का प्रतिनिधित्व एक शून्य के रूप में करें न कि एक आविष्कृत शून्य या खाली दावा।

एक रिकॉर्ड को प्रामाणिकता ले जाना चाहिए: स्रोत URL, यदि उपलब्ध हो तो कैननिकल URL, क्षेत्र मान, और समय या स्रोत संस्करण जो कि डेटासेट के लिए प्रासंगिक है। एक छोटे प्रोजेक्ट के लिए, JSON लाइन्स सुविधाजनक होते हैं क्योंकि प्रत्येक पंक्ति एक स्वतंत्र वस्तु होती है। CSV सपाट रिकॉर्ड के लिए काम करता है। SQLite प्रकार, अनुक्रमणिका, अद्वितीयता बाधाएँ, और क्वेरी जोड़ता है बिना किसी सर्वर की आवश्यकता के।

संग्रहण से पहले मान्य करें। आवश्यक क्षेत्रों को उपस्थित होना चाहिए, URLs को पूर्ण होना चाहिए, अनुक्रमणांकित मानों को स्कीमा से मेल खाना चाहिए, और संख्यात्मक रेंजों को उचित होना चाहिए। स्थिर स्रोत पहचानकर्ता से डुप्लिकेट करें, न कि एक प्रदर्शन शीर्षक जो बदल सकता है।

ज़िम्मेदार और बनाए रखने योग्य स्क्रैपिंग

ज़िम्मेदार स्क्रैपिंग अनुमति और दायरे से शुरू होती है। साइट की शर्तें, रोबोट निर्देश, लागू कानून, कॉपीराइट, गोपनीयता बाध्यताएँ, और कोई आधिकारिक API की समीक्षा करें। केवल सार्वजनिक क्षेत्रों को एकत्र करें जो घोषित उद्देश्य के लिए आवश्यक हैं। बिना अधिकृत किए निजी, गोपनीय, प्रतिबंधित, या प्रमाणित सामग्री तक पहुँच प्राप्त न करें।

कार्यभार को सीमित करें। उपयुक्त स्थानों पर अपरिवर्तित पृष्ठों को कैश करें, अनावश्यक पुनरावृत्त अनुरोधों से बचें, और समवर्तीता को संयत रखें। संदर्भ की अनुमति मिलने पर ग्राहक की पहचान करें। एकत्रित व्यक्तिगत डेटा की रक्षा करें और इसे एकत्र करने से पहले संग्रहण और हटाने की नियमों को निर्धारित करें।

बनाए रखने की क्षमता प्रेक्षणीय अनुबंधों से आती है। अंतिम URL, स्थिति, सामग्री प्रकार, चयनक की गणना, और मान्यता विफलताओं को बिना रहस्य संग्रहित किए लॉग करें। प्रतिनिधि HTML के लिए परीक्षण जोड़ें। जब एक चयनक बदलता है, तो नए पृष्ठ का निरीक्षण करें और संशोधन नियम को जानबूझकर अपडेट करें, न कि विफलता को खाली आउटपुट के साथ छिपाकर।

स्क्रिप्ट से उत्पादन पाइपलाइन तक

एक उत्पादन स्क्रैपर शेड्यूलिंग, अधिग्रहण, पार्सिंग, मान्यता, संग्रहण, और मॉनिटरिंग को अलग करता है। प्रत्येक चरण में एक स्पष्ट इनपुट और आउटपुट होता है। यह फिर एक स्थिर अनुरोध को ब्राउज़र रेंडर के साथ प्रतिस्थापित करना संभव बनाता है बिना क्षेत्र मान्यता को फिर से लेखन किए, या स्टोरेज को बदलने के बिना चयनक को छूए।

1. schema और अनुमत स्रोत दायरे को परिभाषित करें।
2. एक प्रतिनिधि प्रतिक्रिया को कैद करें और सत्यापित करें कि यह प्रयोज्य पृष्ठ है।
3. चयनक और क्षेत्र स्तर की मान्यता लिखें।
4. सिर्फ तभी सीमित पृष्ठांकन जोड़ें जब एक पृष्ठ काम करता है।
5. प्रत्येक रिकॉर्ड के साथ प्रामाणिकता और स्थिर पहचानकर्ताओं को स्टोर करें।
6. लापता क्षेत्रों, चयनक की गिनती, प्रतिक्रिया प्रकारों, और स्रोत परिवर्तनों की निगरानी करें।
7. जैसे-जैसे वर्कफ़्लो का पैमाना बढ़ता है, पहुँच नीति और डेटा संरक्षित करने की समीक्षा करें।

सीखने के दौरान नमूनों को छोटा रखें। एक स्क्रैपर जो दस सही, ट्रेस करने योग्य रिकॉर्ड उत्पन्न करता है, हजारों गैर-मान्य स्ट्रिंग्स इकट्ठा करने वाले एक पर आधारित होने से बेहतर है।

निष्कर्ष

Python के साथ वेब स्क्रैपिंग प्रेक्षणीय चरणों का एक अनुक्रम है: अनुरोध, पार्स करें, चुनें, मान्यता दें, और संग्रहित करें। एक अनुमति प्राप्त स्थिर पृष्ठ से शुरू करें, स्थिर चयनक का उपयोग करें, प्रामाणिकता बनाए रखें, और आप जो रिकॉर्ड उत्पन्न करते हैं उसे परीक्षण करें। ब्राउज़र को तब ही जोड़ें जब सामग्री को रेंडरिंग या इंटरैक्शन की आवश्यकता हो, और पहुँच, गोपनीयता, कार्यभार, और रखरखाव की सीमाएँ स्पष्ट रखें जैसे कि प्रोजेक्ट बढ़ता है।

संदर्भ

• स्क्रैपलेस स्क्रैपिंग ब्राउज़र गेटिंग-स्टार्टेड दस्तावेज़ीकरण
• स्क्रैपलेस स्क्रैपिंग ब्राउज़र उत्पाद अवलोकन
• स्क्रैपलेस पायथन वेब-स्क्रैपिंग ट्यूटोरियल
• गिटहब पर स्क्रैपलेस ओपन-सोर्स प्रोजेक्ट्स