Google SERP API रॉ HTML: rawUrl प्राप्त करें और सत्यापित करें
Senior Web Scraping Engineer
सारांश (TL;DR):
- metadata.rawUrl संग्रहीत Google SERP HTML की ओर इशारा करता है। पूर्ण JSON प्रतिक्रिया आने के बाद उस URL को फ़ेच करें।
- HTML प्राप्ति एक दूसरी HTTP रिक्वेस्ट है। सर्च प्रतिक्रिया उस डाउनलोड किए गए डॉक्यूमेंट को सीधे उस फ़ील्ड के भीतर एंबेड नहीं करती।
- डॉक्यूमेंट जाँच सीमाओं के साथ प्रमाण देती हैं। स्थिति, मीडिया टाइप, बाइट काउंट और संरचना समस्याओं का पता लगाने में मदद करते हैं, लेकिन यह सिद्ध नहीं करते कि हर फीचर पूर्ण है।
- मूल बाइट्स और एक चेकसम रखें। एक स्थानीय कॉपी दूरस्थ स्टोरेज लिंक की उपलब्धता से स्वतंत्र जांचने योग्य बनी रहती है।
परिचय: पार्स किए गए परिणाम के पीछे पेज सुरक्षित रखें
स्ट्रक्चर्ड सर्च डेटा विश्लेषण के लिए सुविधाजनक है, लेकिन केवल एक JSON फ़ील्ड उस पेज के बारे में सब कुछ नहीं दिखा सकती जिससे इसे निकाला गया है। संग्रहीत HTML डॉक्यूमेंट आपको एक और निरीक्षण सतह देता है, जब किसी परिणाम को समझाने की ज़रूरत हो।
Scrapeless Google Search API संरचित परिणामों के साथ metadata.rawUrl लौटा सकता है। यह Google SERP API raw HTML ट्यूटोरियल उस डॉक्यूमेंट को प्राप्त करता है और जो डाउनलोड हुआ है उसे जाँचता है। लक्ष्य एक ऑडिट करने योग्य स्थानीय आर्टिफ़ैक्ट है, न कि यह दावा कि सेव किया हुआ मार्कअप किसी लाइव ब्राउज़र पेज की हर इंटरैक्शन को दोहराता है।
Google Search क्विकस्टार्ट प्रतिक्रिया metadata के अंतर्गत उस फ़ील्ड को दिखाती है। व्यापक actor request मॉडल पहले सर्च डेटा देता है; HTML डाउनलोड बाद में आता है।
rawUrl क्या दर्शाता है
rawUrl मान प्रतिक्रिया से संबद्ध संग्रहीत पेज डॉक्यूमेंट के लिए एक URL है। यह किसी ऑर्गेनिक सर्च परिणाम के अंतिम गंतव्य URL नहीं है।
तीन पतों को वैचारिक रूप से अलग रखें: वह API endpoint जिसने सर्च स्वीकार की, संग्रहीत SERP HTML का पता, और परिणाम लिंक जो किसी पब्लिशर के पेज तक ले जा सकता है। SERP डॉक्यूमेंट डाउनलोड करने से हर लिंक्ड लेख, उत्पाद या बिज़नेस पेज प्राप्त नहीं होता।
क्वेरी या किसी टास्क ID से स्टोरेज पाथ न बनाएँ। पूर्ण प्रतिक्रिया से सटीक URL पढ़ें। स्टोरेज लोकेशन एक आउटपुट मान है, और डॉक्यूमेंटेशन उदाहरण से कॉपी किया गया पता आपके स्वयं के अनुरोध के लिए सबूत नहीं है।
किसी rawUrl की अनुपस्थिति को अपने वर्कफ़्लो में एक स्पष्ट “HTML उपलब्ध नहीं” स्थिति बनना चाहिए। इसे नए निर्मित Google सर्च URL से प्रतिस्थापित नहीं करना चाहिए, क्योंकि वह एक अलग निरीक्षण शुरू कर देगा।
JSON प्राप्त करें, फिर HTML डाउनलोड करें
HTML-फ़ेचिंग प्रोग्राम को मेटाडेटा पढ़ने से पहले सर्च टास्क का पूरा होना ज़रूरी है। यदि सर्च HTTP 201 लौटाती है, तो पूर्ण ऑब्जेक्ट प्राप्त करने के लिए task result workflow का उपयोग करें।
नीचे दिया गया स्क्रिप्ट उस ऑब्जेक्ट को serp.json के रूप में सेव मानता है। इसकी अन्य आवश्यकताएँ Python और Requests हैं, जिन्हें python -m pip install requests के साथ इंस्टॉल किया जाता है। इसे fetch_serp_html.py के रूप में सेव करें और सेव की गई प्रतिक्रिया के बगल में python fetch_serp_html.py चलाएँ।
देखा गया स्टोरेज URL api.scrapeless.com पर HTTPS का उपयोग करता है और /storage/ के अंतर्गत है। प्रोग्राम डाउनलोड को उसी देखे गए होस्ट और पाथ संरचना तक सीमित रखता है, कोई रीडायरेक्ट फ़ॉलो नहीं करता, और स्टोरेज को कोई API-key हेडर नहीं भेजता। स्टोरेज होस्ट में भविष्य का बदलाव बिना प्रतिबंध फ़ेच के बजाय नियम की समीक्षा ट्रिगर करना चाहिए।
URL जाँच को सबस्ट्रिंग्स के बजाय अवयवों की जाँच करनी चाहिए। URI सिंटैक्स विनिर्देश उस जाँच में उपयोग की जाने वाली scheme, authority, path, और अन्य अवयव परिभाषित करता है।
python
import hashlib
import json
from html.parser import HTMLParser
from pathlib import Path
from urllib.parse import urlsplit
import requests
class DocumentShape(HTMLParser):
def __init__(self):
super().__init__()
self.opened = set()
self.closed = set()
def handle_starttag(self, tag, attrs):
self.opened.add(tag)
def handle_endtag(self, tag):
self.closed.add(tag)
data = json.loads(Path("serp.json").read_text(encoding="utf-8"))
metadata = data.get("metadata")
raw_url = metadata.get("rawUrl") if isinstance(metadata, dict) else None
if not isinstance(raw_url, str) or not raw_url:
raise ValueError("metadata.rawUrl is absent")
parts = urlsplit(raw_url)
if (parts.scheme != "https" or parts.hostname != "api.scrapeless.com"
or parts.port not in (None, 443) or parts.username or parts.password
or not parts.path.startswith("/storage/")):
raise ValueError("Storage URL needs review before downloading")
# The storage fetch uses no API-key header and follows no redirects.
with requests.get(raw_url, timeout=(10, 60), stream=True, allow_redirects=False) as response:
response.raise_for_status()
if response.status_code != 200:
raise ValueError(f"Unexpected storage status: {response.status_code}")
media_type = response.headers.get("Content-Type", "").split(";")[0].lower()
if media_type not in ("text/html", "application/xhtml+xml"):
raise ValueError(f"Unexpected media type: {media_type}")
chunks = []
size = 0
for chunk in response.iter_content(65536):
size += len(chunk)
if size > 10 * 1024 * 1024:
raise ValueError("HTML exceeds this example's local size limit")
chunks.append(chunk)
html_bytes = b"".join(chunks)
if not html_bytes:
raise ValueError("Empty HTML body")
Path("serp.html").write_bytes(html_bytes)
shape = DocumentShape()
shape.feed(html_bytes.decode("utf-8", errors="replace"))
report = {
"bytes": len(html_bytes),
"sha256": hashlib.sha256(html_bytes).hexdigest(),
"has_html": "html" in shape.opened,
"has_body": "body" in shape.opened,
"has_closing_html": "html" in shape.closed,
"source_url": raw_url,
}
Path("serp-html-check.json").write_text(json.dumps(report, indent=2), encoding="utf-8")
print(json.dumps({key: value for key, value in report.items() if key != "source_url"}))
स्थानीय दस मेबिबाइट सीमा एक उदाहरण क्लाइंट सुरक्षा उपाय है, API का अधिकतम HTML आकार नहीं। बड़ा डॉक्यूमेंट आपके अपेक्षित वर्कलोड की समीक्षा करने और स्थानीय नीति को जानबूझकर समायोजित करने का कारण है। प्रोग्राम बाइट्स सिर्फ सफल सीमित डाउनलोड के बाद ही लिखता है।
Scrapeless के साथ स्क्रैपिंग शुरू करें
Scrapeless के साथ अपने वेब स्क्रैपिंग और ऑटोमेशन वर्कफ़्लो को शक्तिशाली बनाएं।
आज ही साइन अप करें और पाएँ $5 का मुफ़्त क्रेडिट — कोई क्रेडिट कार्ड आवश्यक नहीं।अपना मुफ़्त क्रेडिट अभी Scrapeless Dashboard में क्लेम करें।
कई स्तरों पर डाउनलोड की जाँच करें
एक उपयोगी HTML जाँच ट्रांसपोर्ट सफलता, डॉक्यूमेंट प्रकार, पेलोड आकार, संरचना, और मूल सर्च के साथ अनुरूपता को रिकॉर्ड करती है। कोई एकल जाँच इन सभी को सिद्ध नहीं करती।
इस ट्यूटोरियल में उपयोग की गई बेसलाइन coffee प्रतिक्रिया ने HTTP 200 और Content-Type: text/html के साथ दूसरी रिक्वेस्ट को जन्म दिया। डाउनलोड में 1,938,204 बाइट्स शामिल थे और उसमें शुरुआती html और body एलिमेंट्स के साथ एक क्लोज़िंग html एलिमेंट था। ये एक संग्रहीत दस्तावेज़ से किए गए अवलोकन हैं, बाद की प्रतिक्रियाओं के लिए न्यूनतम आकार की आवश्यकताएँ नहीं।
| Check | यह क्या स्थापित करता है | यह क्या स्थापित नहीं करता |
|---|---|---|
| HTTP status | स्टोरेज रिक्वेस्ट अपेक्षा के अनुसार पूरी हुई | दस्तावेज़ में इच्छित परिणाम मौजूद हैं |
| Media type | सर्वर ने रिप्रेजेंटेशन को HTML के रूप में पहचाना | हर सर्च फ़ीचर मौजूद है |
| Nonempty bytes | एक बॉडी डाउनलोड हुई | बॉडी सही पेज है |
| Document elements | बेसिक मार्कअप संरचना मौजूद है | सिमेंटिक पूर्णता या रेंडरिंग फिडेलिटी |
| Checksum | बाद के बाइट्स को सेव कॉपी से तुलना की जा सकती है | पेज पर प्रत्येक कथन की प्रामाणिकता |
| Query and result inspection | दस्तावेज़ चयनित प्रतिक्रिया विवरणों से मेल खाता है | सभी संभावित सर्च मॉड्यूल्स की पूर्णता |
रेस्पॉन्स हेडर और कंटेंट रिप्रेजेंटेशंस का अर्थ HTTP representation semantics द्वारा परिभाषित है। कंटेंट-टाइप चेक को एक संकेत की तरह लें, दस्तावेज़ पढ़ने के विकल्प के रूप में नहीं।
Python का HTMLParser interface मार्कअप इवेंट्स को पहचानता है। यह न तो ब्राउज़र रेंडरर है और न ही एक पूर्ण कॉनफ़ॉर्मेंस वेलिडेटर। रिपोर्ट में बूलियन संरचना फ़ील्ड इसलिए मामूली जाँच के रूप में ही रहते हैं।
जाँचें कि HTML सर्च से मेल खाता है या नहीं
संगतता जाँचों को संग्रहीत दस्तावेज़ की तुलना रिक्वेस्ट और चुने गए लौटे हुए रिकॉर्ड्स से करनी चाहिए। पेज पर दिखाई गई क्वेरी और JSON में मौजूद शीर्षकों या लिंक्स के छोटे सैंपल से शुरुआत करें।
टेक्स्ट एंटिटी-एन्कोडेड हो सकता है, एलिमेंट्स में बाँटा हुआ हो सकता है, या एम्बेडेड डेटा में अलग तरह से प्रस्तुत हो सकता है। रॉ सबस्ट्रिंग मिस दस्तावेज़ की जाँच करने का कारण है, यह तुरंत यह साबित नहीं करता कि कोई परिणाम अनुपस्थित है। अगर आप फ़ाइल को लोकली रेंडर करते हैं, तो बाहरी एसेट्स और स्क्रिप्ट्स उपलब्ध न भी हो सकती हैं या वे वर्तमान संसाधन माँग सकती हैं, इसलिए रेंडरिंग मूल रिट्रीवल से अलग हो सकती है।
किसी विशिष्ट प्रश्न का उत्तर देने के लिए संग्रहीत दस्तावेज़ का उपयोग करें। उदाहरण के लिए, यह निर्धारित करें कि कोई शीर्षक मार्कअप में दिखाई देता है या नहीं, कोई अप्रत्याशित लिंक फ़ॉर्म मौजूद है या नहीं, या दस्तावेज़ वास्तव में सर्च पेज है या नहीं। इन अवलोकनों को इस दावे में न बदलें कि हर डायनेमिक विस्तार या छिपा मॉड्यूल कैप्चर कर लिया गया था।
मिसिंग या उपयोग न हो सकने वाले HTML की जाँच-पड़ताल करें
HTML समस्या को उसी स्टेप पर वर्गीकृत किया जाना चाहिए जहाँ वह घटित होती है। जब स्टोरेज फ़ेच विफल हो जाए तब भी पूर्ण सर्च JSON को सुरक्षित रखें।
| Symptom | Check |
|---|---|
metadata अनुपस्थित है |
पुष्टि करें कि आपने पूर्ण सर्च ऑब्जेक्ट सेव किया |
rawUrl गायब है या खाली है |
उस प्रतिक्रिया के लिए HTML को अनुपलब्ध के रूप में दर्ज करें |
| URL को स्क्रिप्ट ने अस्वीकार कर दिया | वास्तविक स्टोरेज ओरिजिन की तुलना स्वीकृत ओरिजिन से करें |
| Non-200 स्टोरेज प्रतिक्रिया | स्टेटस और रिक्वेस्ट कॉनटेक्स्ट सुरक्षित रखें; इसे दस्तावेज़ का लेबल न दें |
| अप्रत्याशित मीडिया टाइप | इसे HTML मानने से पहले प्रतिक्रिया की जाँच करें |
| साइज लिमिट तक पहुँचा | स्थानीय सीमा और अपेक्षित दस्तावेज़ आकार की समीक्षा करें |
| स्ट्रक्चर चेक विफल | बाइट्स का निरीक्षण करें; केवल वैध पार्सिंग पर्याप्त नहीं |
| क्वेरी या परिणाम असंगतता | उसी रिक्वेस्ट से सेव JSON और HTML की तुलना करें |
किसी रिमोट स्टोरेज पते के लिए स्थायी रिटेंशन अवधि मान कर न चलें। अगर आपकी प्रक्रिया को आर्काइव की ज़रूरत है तो दस्तावेज़ को उपलब्ध रहते हुए डाउनलोड करें। JSON, HTML, चेकसम, और कलेक्शन कॉनटेक्स्ट को साथ में स्टोर करें ताकि दूसरा इंजीनियर इनका पारस्परिक संबंध समझ सके।
निष्कर्ष: वास्तव में जो डाउनलोड हुआ है उसे सुरक्षित रखें
रॉ HTML वर्कफ़्लो के दो अलग-अलग ऑपरेशन हैं: पूर्ण सर्च JSON प्राप्त करना, फिर उसके संग्रहीत HTML URL को डाउनलोड करना। दस्तावेज़ को सेव करें और ऐसी जाँचें दर्ज करें जो ठीक-ठीक बताती हों कि क्या अवलोकित किया गया।
मूल क्वेरी को नियंत्रित करने के लिए Google Search API parameters का उपयोग करें, और सर्च वर्कलोड की योजना बनाते समय वर्तमान कीमतें देखें। अपनी रिपोर्टिंग में HTML उपलब्धता को ऑर्गैनिक-रिज़ल्ट उपलब्धता से अलग रखें।
अपना सर्च डेटा वर्कफ़्लो बनाएं
हमारे समुदाय में सर्च डेटा के साथ काम करने वाले डेवलपर्स से जुड़ें: Discord · Telegram.
एक Scrapeless खाता बनाएँ और बड़ी कलेक्शन शेड्यूल करने से पहले इस ट्यूटोरियल को छोटे क्वेरी सेट पर लागू करें।
FAQ
प्रश्न: क्या rawUrl में HTML टेक्स्ट होता है?
नहीं। इसमें एक URL होता है। दूसरा HTTP अनुरोध दस्तावेज़ डाउनलोड करता है।
प्रश्न: क्या rawUrl किसी ऑर्गैनिक परिणाम का अंतिम गंतव्य होता है?
नहीं। यह प्रतिक्रिया से संबद्ध संग्रहीत SERP दस्तावेज़ की ओर इशारा करता है, न कि उस SERP पर सूचीबद्ध हर वेबसाइट की ओर।
प्रश्न: क्या एक समापन html टैग यह साबित करता है कि पूरा SERP पूर्ण है?
नहीं। यह एक संरचनात्मक संकेत है। सामग्री-संगतता और डायनेमिक‑फ़ीचर की पूर्णता के लिए अतिरिक्त जाँच की आवश्यकता होती है।
प्रश्न: क्या स्टोरेज अनुरोध में API कुंजी शामिल होनी चाहिए?
देखे गए स्टोरेज डाउनलोड बिना ऑथेंटिकेशन हेडर के सफल रहा। यह उदाहरण कुंजी को केवल API अनुरोध तक सीमित रखता है और उसे स्टोरेज या परिणाम वाली वेबसाइटों तक अग्रेषित नहीं करता।
प्रश्न: क्या संग्रहीत HTML लिंक एक स्थायी अभिलेख है?
ऐसी प्रतिधारण गारंटी न मानें जो स्थापित नहीं की गई है। जब दस्तावेज़ बाद में आवश्यक हो, तो एक स्थानीय प्रति और चेकसम रखें।
प्रश्न: क्या सहेजा गया HTML गंतव्य‑पृष्ठ सत्यापन की जगह ले सकता है?
नहीं। SERP HTML खोज पृष्ठ को दर्ज करता है। लिंक किए गए पृष्ठ की सामग्री का सत्यापन एक अलग कार्य है।
स्क्रैपलेस में, हम केवल सार्वजनिक रूप से उपलब्ध डेटा का उपयोग करते हैं, जबकि लागू कानूनों, विनियमों और वेबसाइट गोपनीयता नीतियों का सख्ती से अनुपालन करते हैं। इस ब्लॉग में सामग्री केवल प्रदर्शन उद्देश्यों के लिए है और इसमें कोई अवैध या उल्लंघन करने वाली गतिविधियों को शामिल नहीं किया गया है। हम इस ब्लॉग या तृतीय-पक्ष लिंक से जानकारी के उपयोग के लिए सभी देयता को कोई गारंटी नहीं देते हैं और सभी देयता का खुलासा करते हैं। किसी भी स्क्रैपिंग गतिविधियों में संलग्न होने से पहले, अपने कानूनी सलाहकार से परामर्श करें और लक्ष्य वेबसाइट की सेवा की शर्तों की समीक्षा करें या आवश्यक अनुमतियाँ प्राप्त करें।



