सामग्री और बाजार अनुसंधान के लिए Google SERP स्निपेट्स
Senior Web Scraping Engineer
TL;DR:
- Google SERP स्निपेट्स टॉपिक डिस्कवरी में मदद कर सकते हैं। शीर्षक, स्निपेट्स और लौटाई गई पोज़िशन को एक टेबल में मिलाएँ जिसे विश्लेषक देख सकें।
- स्निपेट एक सर्च अंश है, पूरा सोर्स पेज नहीं। महत्वपूर्ण दावों को गंतव्य सामग्री के साथ जाँचें।
- फील्ड कवरेज उपलब्धता को मापती है। गैर-खाली स्निपेट प्रासंगिकता, सटीकता या तथ्यात्मक समर्थन साबित नहीं करती।
- हर टॉपिक लेबल के पीछे सोर्स रिकॉर्ड को सुरक्षित रखें। रॉ JSON रखें और स्वचालित लेबल्स को केवल उम्मीदवार मानें।
परिचय: सर्च अंशों को रिसर्च प्रश्नों में बदलें
सर्च शीर्षक और स्निपेट्स दिखाते हैं कि किसी क्वेरी को लौटाए गए परिणामों में कैसे पेश किया गया है। वे किसी कंटेंट टीम को जाँचने योग्य थीम, आम प्रोडक्ट भाषा, या ऐसे प्रश्न पहचानने में मदद कर सकते हैं जिन्हें गहराई से पढ़ने की ज़रूरत है।
यह ट्यूटोरियल organic_results का उपयोग करता है, जो Scrapeless Google Search API से है, ताकि एक टॉपिक-डिस्कवरी CSV बनाया जा सके। हर पंक्ति में लौटाया गया शीर्षक, स्निपेट, पोज़िशन और लिंक रहता है, साथ में एक पारदर्शी उम्मीदवार-टॉपिक लेबल। आउटपुट एक रिसर्च कतार है, न कि मार्केट-साइज़ का अनुमान या ऐसे पेजों का तथ्यात्मक संश्लेषण जिन्हें अभी पढ़ा नहीं गया है।
Google Search response उदाहरण फील्ड्स उपलब्ध कराता है, और actor request workflow कलेक्शन को समझाता है। यहाँ का काम एक सेव्ड रिस्पॉन्स से शुरू होता है ताकि विश्लेषण को उसी क्वेरी को दोबारा इकट्ठा किए बिना दोहराया जा सके।
SERP स्निपेट आपको क्या बता सकता है
एक स्निपेट दिखा सकता है कि कोई पेज किसी क्वेरी के लिए प्रासंगिक क्यों दिखता है, लेकिन यह ज़रूरी नहीं कि वह एक तय विवरण या पूरे पेज की दलील को दोहराए। इसकी उपयोगिता उस रिसर्च प्रश्न पर निर्भर करती है जो आप पूछते हैं।
Google की search-result snippets की व्याख्या बताती है कि स्निपेट्स कैसे पेज सामग्री से बनाए जा सकते हैं और क्वेरी के साथ बदल सकते हैं। इसलिए किसी स्निपेट को उसी क्वेरी और रिस्पॉन्स से जोड़े रखना चाहिए जिसमें उसे देखा गया था।
कंटेंट रिसर्च के लिए, तैयारी से जुड़े शब्दों का एक क्लस्टर किसी जाँचने योग्य टॉपिक का सुझाव दे सकता है। मार्केट रिसर्च के लिए, बार-बार आने वाली डिलीवरी या सब्सक्रिप्शन भाषा किसी ऐसे कस्टमर प्रस्ताव का संकेत दे सकती है जिसे जाँचना लायक हो। कोई भी अवलोकन यह नहीं बताता कि कितने लोग प्रोडक्ट चाहते हैं या किसी पेज का दावा सही है या नहीं।
लौटाई गई पोज़िशन सर्च संदर्भ जोड़ती है। यह क्लिक-थ्रू रेट, सर्च वॉल्यूम, राजस्व या मांग नहीं देती। इन मापों को तब तक टेबल से बाहर रखें जब तक वे किसी अलग, उपयुक्त रूप से स्रोत किए गए डेटासेट से न आएँ।
एक टॉपिक-डिस्कवरी टेबल डिज़ाइन करें
एक उपयोगी रिसर्च टेबल अवलोकित टेक्स्ट को सुरक्षित रखती है और जो भी अतिरिक्त व्याख्या जोड़ी जाए उसे स्पष्ट रखती है। यह सुनिश्चित करें कि किसी समीक्षक द्वारा निरीक्षण से पहले आप मूल स्निपेट को किसी जनरेट किए गए सारांश से न बदलें।
| Column | Purpose |
|---|---|
row_index |
सेव्ड ऐरे में रिकॉर्ड को खोजें |
returned_position |
API की पोज़िशन वैल्यू को सुरक्षित रखें |
title |
लौटाया गया परिणाम शीर्षक सुरक्षित रखें |
snippet |
लौटाया गया अंश सुरक्षित रखें |
returned_link |
बाद की समीक्षा के लिए एक गंतव्य उम्मीदवार बनाए रखें |
topic_candidates |
इस स्क्रिप्ट द्वारा जोड़े गए लेबल्स स्टोर करें |
snippet_present |
रिकॉर्ड करें कि गैर-खाली टेक्स्ट उपलब्ध था या नहीं |
source_file |
पंक्ति को उसके सेव्ड JSON तक ट्रेस करें |
एक मल्टी-क्वेरी स्टडी के लिए, इस स्कीमा को एक रन पहचानकर्ता और सटीक इनपुट फील्ड्स के साथ बढ़ाएँ। किसी रिकॉर्ड को उसके सोर्स रिस्पॉन्स के साथ संबंध के ज़रिए q, रिक्वेस्ट किया गया लोकेल, और कलेक्शन समय बनाए रखना चाहिए। जब कई क्वेरीज़ की फ़ाइलें मिलाई जाती हैं तो केवल फ़ाइलनाम पर निर्भर न रहें।
यह तरीका data provenance के उद्देश्य का पालन करता है: सोर्स सामग्री और उससे निकली वैल्यूज़ के बीच संबंध को सुरक्षित रखना। टॉपिक लेबल को उस टेक्स्ट तक ऑडिटेबल होना चाहिए जिसने उसे उत्पन्न किया।
सेव्ड रिस्पॉन्स से CSV बनाएं
निम्न प्रोग्राम शीर्षक और स्निपेट्स में शब्द ढूँढकर सरल उम्मीदवार लेबल्स असाइन करता है। नियम कोड में स्पष्ट हैं, और वर्गीकृत न किए गए पंक्तियाँ भी आउटपुट में बनी रहती हैं।
पूर्वापेक्षाएँ Python और एक पूर्ण Google Search प्रतिक्रिया हैं जो serp.json के रूप में सहेजी गई है। API प्रतिक्रिया ऑब्जेक्ट को ही सहेजें, कोई कस्टम रैपर नहीं। Google Search क्विकस्टार्ट का उपयोग करके प्रतिक्रिया बनाएँ, फिर प्रोग्राम को snippet_topics.py के रूप में सहेजें और उसी डायरेक्टरी में python snippet_topics.py चलाएँ।
नमूना नियम कॉफी की तैयारी, पोषण और ख़रीद से संबंधित हैं। वे एक उदाहरणात्मक टैक्सोनॉमी हैं, न कि कोई प्रशिक्षित क्लासीफ़ायर या मान्यताप्राप्त मार्केट सेगमेंटेशन। प्रोग्राम किसी रिकॉर्ड को एक से अधिक संभावित टॉपिक असाइन कर सकता है।
python
import csv
import json
from pathlib import Path
def sheet_text(value):
text = value if isinstance(value, str) else ""
if text.lstrip().startswith(("=", "+", "-", "@")):
return "'" + text
return text
data = json.loads(Path("serp.json").read_text(encoding="utf-8"))
if not isinstance(data, dict) or not isinstance(data.get("organic_results"), list):
raise ValueError("Expected an organic_results array")
rows = data["organic_results"]
rules = {
"preparation": ("brew", "roast", "espresso"),
"nutrition": ("nutrition", "caffeine", "calorie"),
"buying": ("shop", "buy", "delivery"),
}
fields = ["row_index", "returned_position", "title", "snippet", "returned_link", "topic_candidates", "snippet_present", "source_file"]
present = 0
with Path("topic-discovery.csv").open("w", newline="", encoding="utf-8") as handle:
writer = csv.DictWriter(handle, fieldnames=fields)
writer.writeheader()
for index, row in enumerate(rows, start=1):
if not isinstance(row, dict):
raise ValueError(f"Invalid item at row {index}")
title, snippet = row.get("title"), row.get("snippet")
has_snippet = isinstance(snippet, str) and bool(snippet.strip())
present += int(has_snippet)
text = " ".join(x for x in (title, snippet) if isinstance(x, str)).casefold()
topics = [name for name, terms in rules.items() if any(term in text for term in terms)]
writer.writerow({
"row_index": index,
"returned_position": row["position"] if type(row.get("position")) is int else "",
"title": sheet_text(title), "snippet": sheet_text(snippet),
"returned_link": sheet_text(row.get("link")),
"topic_candidates": ";".join(topics) or "unclassified",
"snippet_present": has_snippet, "source_file": "serp.json",
})
print(json.dumps({"returned_rows": len(rows), "rows_with_nonempty_snippet": present,
"snippet_coverage": present / len(rows) if rows else None}))
Python का CSV writer कॉमा और लाइन ब्रेक के लिए कोटिंग संभालता है। sheet_text फ़ंक्शन उस टेक्स्ट को भी प्रीफ़िक्स कर देता है जो स्प्रेडशीट फ़ॉर्मूला मार्कर से शुरू होता है, जिससे वे मान टेक्स्ट के रूप में जाँचना अधिक सुरक्षित हो जाता है। अपरिवर्तित मूल सामग्री serp.json में बनी रहती है।
स्क्रिप्ट अपने वास्तविक इनपुट के लिए फ़ील्ड कवरेज रिपोर्ट करती है। जब कोई लौटाई गई पंक्तियाँ नहीं होतीं तो यह अनुपात को null छोड़ देती है, क्योंकि उस गणना के लिए कोई प्रेक्षित हर (denominator) मौजूद नहीं होता। यह मान्य पंक्तियों और बिना स्निपेट वाली शून्य-कवरेज कलेक्शन से अलग है।
Scrapeless के साथ स्क्रैपिंग शुरू करें
Scrapeless के साथ अपने वेब स्क्रैपिंग और ऑटोमेशन वर्कफ़्लो को पावर दें!
आज ही साइन अप करें और $5 का मुफ़्त क्रेडिट पाएँ — कोई क्रेडिट कार्ड आवश्यक नहीं।अपना मुफ़्त क्रेडिट अभी Scrapeless Dashboard में क्लेम करें।
सही हर (Denominator) के साथ स्निपेट कवरेज मापें
स्निपेट कवरेज वह संख्या है जिसमें लौटाए गए ऑर्गेनिक रिकॉर्ड्स में गैर-खाली स्निपेट शामिल है, इसे जाँचे गए लौटाए गए ऑर्गेनिक रिकॉर्ड्स की संख्या से विभाजित किया जाता है। यह एक फ़ील्ड-उपलब्धता माप है।
कलेक्शनों के बीच कवरेज की तुलना करने से पहले, उपयोगी मान के लिए नियम तय करें। यह स्क्रिप्ट ऐसे स्ट्रिंग की आवश्यकता रखती है जिसमें केवल व्हाइटस्पेस के अलावा कुछ और हो। केवल snippet कुंजी के अस्तित्व की गिनती करने से खाली और null मान शामिल हो जाएँगे जिन्हें टेक्स्ट-विश्लेषण चरण उपयोग नहीं कर सकता।
रिक्वेस्ट की उपलब्धता को अलग रखें। यदि कुछ सर्च रिक्वेस्ट विफल हो जाती हैं, तो उनकी गुम पंक्तियाँ केवल लौटाए गए रिकॉर्ड्स से बने हर में प्रदर्शित नहीं होतीं। कोई डेटा सेट लौटाई गई पंक्तियों में उच्च स्निपेट कवरेज रख सकता है और फिर भी कई नियोजित सर्च गुम हो सकती हैं।
सटीकता को भी अलग रखें। एक अच्छी तरह से गठित स्निपेट कट-ऑफ़ हो सकती है, संदर्भ से बाहर हो सकती है, इच्छित शोध प्रश्न से असंबंधित हो सकती है, या वर्तमान में सुलभ पेज द्वारा समर्थित न हो सकती है। कवरेज इन प्रश्नों का उत्तर नहीं देता।
यह ट्यूटोरियल किसी समग्र ऐतिहासिक कवरेज प्रतिशत का पुन: उपयोग नहीं करता। प्रोग्राम दिए गए वास्तविक JSON से यह मीट्रिक गणना करता है, ताकि कोई पाठक अंश (numerator) और हर (denominator) दोनों को पुन: उत्पन्न कर सके।
संभावित टॉपिकों को रिव्यू क्यू में बदलें
संभावित लेबल तब उपयोगी बनते हैं जब कोई समीक्षक उन्हें जाँचने के लिए विशिष्ट प्रश्नों में बदल देता है। भरोसा करने से पहले शीर्षक और स्निपेट को साथ में पढ़ना शुरू करें, फिर गंतव्य की जाँच करें।
उदाहरण के लिए, nutrition नियम से मेल खाने वाला कोई रिकॉर्ड ऐसी क्यू में जा सकता है जो चुनी हुई क्वेरी के लिए परिणामों में कौन से पोषण संबंधी प्रश्न दिखाई देते हैं, यह पूछती है। वह लेबल किसी स्वास्थ्य निष्कर्ष की अनुमति नहीं देता। सामग्री टीम को कोई ठोस सलाह बनाने से पहले योग्य प्राथमिक सामग्री से परामर्श करना चाहिए।
buying से मेल खाने वाला कोई रिकॉर्ड जाँचने योग्य वाणिज्यिक शब्दावली का संकेत दे सकता है। किसी मार्केट पैटर्न का वर्णन करने से पहले पेज और ऑफ़र को सत्यापित करें। संबंधित क्वेरियों में बार-बार दिखाई देने वाला एक ही रिटेलर पूरी मार्केट का प्रतिनिधित्व किए बिना तालिका पर हावी हो सकता है।
अनक्लासिफ़ाइड पंक्तियों को मैनुअल समीक्षा के लिए सुरक्षित रखें। उनकी भाषा गुम श्रेणियाँ प्रकट कर सकती है, या वे आपके शोध उद्देश्य से असंबंधित हो सकते हैं। उन्हें चुपचाप हटा देने से स्वचालित टैक्सोनॉमी जितनी है उससे अधिक पूर्ण दिखाई देगी।
प्रत्येक समीक्षा किए गए उम्मीदवार के लिए, investigate, exclude या insufficient evidence जैसी कोई निर्णय प्रविष्ट करें। लौटाए गए लिंक से अलग reviewed final URL जोड़ें। यह अंतर तब मायने रखता है जब मूल लिंक Google का मध्यवर्ती पेज हो या गंतव्य बदल जाए।
सैंपलिंग और व्याख्या की गलतियों से बचें
सर्च-आधारित तालिका चुनी हुई क्वेरियों और कलेक्शन सेटिंग्स का प्रतिनिधित्व करती है। यह किसी मार्केट का यादृच्छिक सैंपल नहीं है और न ही प्रासंगिक वेबसाइटों के पूर्ण सेट का।
निष्कर्ष निकालने से पहले क्वेरी सूची परिभाषित करें। ऐसे वेरिएंट शामिल करें जो अलग-अलग आशयों (intents) की जाँच करते हैं, और देश और भाषा इनपुट को स्पष्ट रखें। यदि एक क्वेरी वाणिज्यिक है और दूसरी सूचना-केंद्रित (informational), तो उनकी टॉपिक गिनतियों की तुलना ऐसे न करें मानो उनका आशय समान हो।
दोहराई गई स्निपेट थीम की गिनती को बढ़ा सकती हैं। तय करें कि विश्लेषण आवृत्तियों, लौटाए गए भिन्न लिंक, या सत्यापित पृष्ठों की गिनती करता है। आप जो भी परिभाषा चुनें, कच्ची पंक्तियों को ज्यों‑का‑त्यों बनाए रखें, और किसी भी चार्ट या सारांश के पास समेकन नियम को समझाएँ।
खोज के लिए छोटे उद्धरणों का उपयोग करें और अंतिम शोध प्रक्रिया में निरीक्षण किए गए स्रोतों पर वापस लिंक करें। मूल विश्लेषण के विकल्प के रूप में तृतीय‑पक्ष पाठ के बड़े संग्रहों को दोबारा प्रकाशित करने से बचें। संग्रह की आवृत्ति और संरक्षण को वास्तविक शोध आवश्यकता और वर्तमान मूल्य निर्धारण के अनुरूप रखें।
निष्कर्ष: खोज को प्रमाण से अलग रखें
Google SERP स्निपेट्स व्यावहारिक प्रारंभिक बिंदु प्रदान करते हैं, जब हर लेबल अपने स्रोत रिकॉर्ड से जुड़ा रहता है। एक पारदर्शी CSV से विषयों की समीक्षा करना, गायब फ़ील्ड का निरीक्षण करना, और यह तय करना आसान हो जाता है कि किन पृष्ठों को गहराई से पढ़ने लायक है।
Scrapeless Google Search API से शुरू करें, JSON को सुरक्षित रखें, और पहले आउटपुट को एक समीक्षा योग्य प्रश्न सूची बनने दें। मज़बूत निष्कर्षों को स्रोत निरीक्षण और स्पष्ट रूप से परिभाषित नमूने के बाद आना चाहिए।
अपना सर्च डेटा वर्कफ़्लो बनाएं
हमारे समुदाय में उन डेवलपरों से जुड़ें जो सर्च डेटा के साथ काम कर रहे हैं: Discord · Telegram。
एक Scrapeless खाता बनाएँ और बड़ी संग्रहण अनुसूची करने से पहले इस ट्यूटोरियल को एक छोटे क्वेरी सेट पर लागू करें।
FAQ
प्रश्न: क्या स्निपेट स्रोत पेज पढ़ने की जगह ले सकता है?
नहीं। स्निपेट खोज परिणाम से जुड़ा एक उद्धरण है। महत्वपूर्ण दावों को गंतव्य सामग्री के आधार पर सत्यापित करें।
प्रश्न: क्या स्निपेट कवरेज सटीकता मापता है?
नहीं। यह मापता है कि चुना गया स्निपेट फ़ील्ड परिभाषित गैर‑खाली‑मान नियम के अंतर्गत उपलब्ध था या नहीं।
प्रश्न: जिन रिकॉर्ड्स में स्निपेट नहीं हैं, उनका क्या होता है?
प्रोग्राम उन्हें रखता है, स्निपेट की उपलब्धता को चिह्नित करता है, और अब भी शीर्षक से संभावित विषयों की पहचान कर सकता है। उस गायब संदर्भ को ध्यान में रखते हुए उन पंक्तियों की समीक्षा करें।
प्रश्न: क्या टॉपिक लेबल API प्रतिक्रिया फ़ील्ड हैं?
नहीं। topic_candidates उदाहरण स्क्रिप्ट द्वारा जोड़ा जाता है। दृश्य शब्द नियम बताते हैं कि प्रत्येक संभावित लेबल कैसे सौंपा जाता है।
प्रश्न: क्या लौटाई गई स्थिति बाज़ार मांग को मापती है?
नहीं। स्थिति खोज अवलोकन का वर्णन करती है। मांग के लिए अलग साक्ष्य और उस प्रश्न के अनुरूप विधि की आवश्यकता होती है।
प्रश्न: क्या विश्लेषण के लिए LLM या कोई अन्य API कॉल आवश्यक है?
नहीं। प्रोग्राम Python की मानक लाइब्रेरी का उपयोग करते हुए सहेजी गई JSON प्रतिक्रिया का स्थानीय रूप से विश्लेषण करता है।
स्क्रैपलेस में, हम केवल सार्वजनिक रूप से उपलब्ध डेटा का उपयोग करते हैं, जबकि लागू कानूनों, विनियमों और वेबसाइट गोपनीयता नीतियों का सख्ती से अनुपालन करते हैं। इस ब्लॉग में सामग्री केवल प्रदर्शन उद्देश्यों के लिए है और इसमें कोई अवैध या उल्लंघन करने वाली गतिविधियों को शामिल नहीं किया गया है। हम इस ब्लॉग या तृतीय-पक्ष लिंक से जानकारी के उपयोग के लिए सभी देयता को कोई गारंटी नहीं देते हैं और सभी देयता का खुलासा करते हैं। किसी भी स्क्रैपिंग गतिविधियों में संलग्न होने से पहले, अपने कानूनी सलाहकार से परामर्श करें और लक्ष्य वेबसाइट की सेवा की शर्तों की समीक्षा करें या आवश्यक अनुमतियाँ प्राप्त करें।



