Python का उपयोग करके सार्वजनिक Google मानचित्र डेटा और समीक्षाएं कैसे स्क्रैप करें

Google Maps में लाखों व्यवसाय सूचीबद्ध हैं, और इस बहुमूल्य डेटा तक पहुँचने से उपभोक्ता व्यवहार, बाजार के रुझान और प्रतिस्पर्धी विश्लेषण में अंतर्दृष्टि मिल सकती है। Google Maps डेटा और समीक्षाओं को स्क्रैप करके, डेवलपर्स, मार्केटर और डेटा विश्लेषक अपने काम करने के तरीके को बदल सकते हैं, जिससे वे कुशलतापूर्वक स्थान-आधारित जानकारी निकाल सकते हैं।

इस गाइड में, हम आपको Python का उपयोग करके Google Maps को स्क्रैप करने की प्रक्रिया के बारे में बताएँगे, जिसमें पर्यावरण को स्थापित करने से लेकर डेटा निकालने और समीक्षाओं को एकत्रित करने तक सब कुछ शामिल है।

Google Maps डेटा को समझना

Google Maps बड़ी मात्रा में डेटा प्रदान करता है जो विभिन्न उपयोग के मामलों जैसे व्यावसायिक विश्लेषण, बाजार अनुसंधान और प्रतिस्पर्धी खुफिया जानकारी के लिए बहुत महत्व रखता है। Google Maps डेटा को प्रभावी ढंग से स्क्रैप करने के लिए, उपलब्ध डेटा, इसकी संरचना और निष्कर्षण के सर्वोत्तम तरीकों को समझना आवश्यक है। आइए Google Maps द्वारा पेश किए जाने वाले विभिन्न प्रकार के डेटा और उन्हें कुशलतापूर्वक कैसे निकाला जाए, पर एक करीब से नज़र डालते हैं।

Google Maps डेटा प्रकार

जब आप Google Maps क्रॉल करते हैं, तो सबसे आम डेटा प्रकार जो आपको मिलेगा वह है:

• व्यापारी जानकारी: Google Maps पर प्रत्येक स्थान या व्यवसाय में विस्तृत जानकारी होती है, जिसमें उसका नाम, पता, संपर्क जानकारी और वेबसाइट शामिल है। यह डेटा आमतौर पर व्यापारी प्रोफ़ाइल में प्रदर्शित होता है और विभिन्न उद्योगों में व्यवसायों के बारे में प्रमुख जानकारी एकत्र करने के लिए स्क्रैप किया जा सकता है।
• रेटिंग और समीक्षाएं: Google Maps पर सबसे मूल्यवान डेटा बिंदुओं में से एक व्यापारी से संबंधित रेटिंग और समीक्षाएं हैं। इसमें औसत स्टार रेटिंग, व्यक्तिगत समीक्षाएं, समीक्षक नाम, समीक्षा तिथियां और कभी-कभी समीक्षक चित्र शामिल हैं। समीक्षाएं ग्राहक संतुष्टि और भावना में मूल्यवान अंतर्दृष्टि प्रदान कर सकती हैं।
• स्थान निर्देशांक: Google Maps पर प्रत्येक स्थान भौगोलिक निर्देशांकों (अक्षांश और देशांतर) से जुड़ा होता है, जो मानचित्रण, भू-स्थान या स्थान-आधारित विश्लेषण के लिए उपयोगी है।
• व्यावसायिक घंटे: Google Maps अधिकांश व्यवसायों के लिए व्यावसायिक घंटे प्रदान करता है, जिसमें खुलने और बंद होने का समय शामिल है, जो सप्ताहांत या छुट्टियों पर भिन्न हो सकता है।
• फ़ोटो और मीडिया: कई व्यवसाय अपनी Google Maps प्रोफ़ाइल पर फ़ोटो अपलोड करते हैं। इन छवियों को व्यवसाय के बारे में अतिरिक्त पृष्ठभूमि जानकारी प्रदान करने के लिए स्क्रैप किया जा सकता है, जैसे कि स्टोर लेआउट, भोजन (रेस्तरां के लिए), या उत्पाद प्रदर्शन।
• श्रेणियाँ और टैग: Google Maps पर व्यवसायों को श्रेणियों (जैसे रेस्तरां, जिम या होटल) और कभी-कभी कीवर्ड के साथ लेबल किया जाता है ताकि उपयोगकर्ताओं को उनकी आवश्यकताओं के आधार पर व्यवसायों को फ़िल्टर करने और खोजने में मदद मिल सके।

Python का उपयोग करके Google Maps डेटा और समीक्षाएं कैसे स्क्रैप करें

Google Maps डेटा को कुशलतापूर्वक स्क्रैप करने के कम से कम तीन तरीके हैं:

विधि 1: स्क्रैपलेस Google Maps API का उपयोग करें (अनुशंसित)

स्क्रैपलेस Google Maps खोज परिणामों से निकाली गई सभी प्रासंगिक जानकारी वाले एक अच्छी तरह से संरचित JSON प्रदान करता है। यह अतिरिक्त व्यापक डेटा जैसे समीक्षाएं, फ़ोटो और नेविगेशन मार्ग भी प्रदान करता है। इस API का उपयोग करके, आप अपना खुद का Google Maps स्क्रैपर बनाने की आवश्यकता के बिना Google Maps डेटा निकाल सकते हैं, जिससे महत्वपूर्ण समय और प्रयास की बचत होती है।

स्क्रैप किए गए JSON आउटपुट का उदाहरण:

विधि 2: Google के स्थान API का उपयोग करें

एक अन्य तरीका Google स्थान API का उपयोग करना है, लेकिन सबसे पहले, आपको एक Google क्लाउड प्रोजेक्ट सेट अप करने और API कुंजी प्राप्त करने के लिए सेटअप निर्देशों का पालन करने की आवश्यकता है। एक बार कॉन्फ़िगर हो जाने पर, आप HTTP POST अनुरोध या Python SDK का उपयोग करके खोज कर सकते हैं।

कमियाँ:

• API कुंजी प्राप्त करने के लिए प्रारंभिक सेटअप जटिल है।
• आप उतना डेटा निकाल नहीं पा सकते जितना सीधा स्क्रैपिंग, खासकर जब समीक्षाओं या कुछ मीडिया सामग्री की बात आती है।

विधि 3: अपना खुद का DIY Google Maps स्क्रैपर बनाएँ

Google Maps अपने डेटा को गतिशील रूप से लोड करता है, जिससे JavaScript-रेंडर किए गए पृष्ठों को ठीक से स्क्रैप करने के लिए Puppeteer जैसे टूल का उपयोग करना आवश्यक हो जाता है। आप हेडलेस ब्राउज़र चलाने और प्रासंगिक Google Maps डेटा निकालने के लिए Selenium, Pyppeteer या Playwright Python पैकेज का लाभ उठा सकते हैं।

कमियाँ:

• अपना खुद का Google Maps स्क्रैपिंग टूल बनाना समय लेने वाला है।
• आपको IP ब्लॉकिंग, कई प्रॉक्सी सेट करने और अनुरोध सीमाओं के प्रबंधन जैसी चुनौतियों का सामना करना पड़ सकता है।

Python के साथ Google मानचित्र डेटा स्क्रैप करना [त्वरित और आसान]

निम्नलिखित भाग में, हम Python और Scrapeless को मिलाकर Google मानचित्र डेटा को स्क्रैप करने के तरीके पर विस्तार से बताएंगे।

चरण 1: हम जिन उपकरणों का उपयोग करेंगे

आइए जानें कि स्क्रैपलेस API का उपयोग करके Google मानचित्र जानकारी को कैसे स्क्रैप किया जाए। आमतौर पर, आप Google मानचित्र डेटा को स्क्रैप करने के लिए अपने स्वयं के DIY समाधान बनाने के लिए BeautifulSoup, Selenium, Puppeteer या Requests जैसे पुस्तकालयों का उपयोग कर सकते हैं।

लेकिन अब, आप आराम से बैठ सकते हैं। हम आपके लिए इन थकाऊ कार्यों को संभालेंगे। स्क्रैपलेस के साथ, आपको वेब स्क्रैपिंग के दौरान उत्पन्न होने वाले विभिन्न मुद्दों के बारे में चिंता करने की आवश्यकता नहीं है। हम आपको कवर कर रहे हैं, और आपको बस कोड चलाने की आवश्यकता है।

स्क्रैपलेस का उपयोग करके आसानी से Google मानचित्र डेटा स्क्रैप करें, और हमें जटिलताओं को संभालने दें। चाहे आप Google मानचित्र समीक्षाएँ, स्थान या अन्य मूल्यवान जानकारी को स्क्रैप करना चाह रहे हों, स्क्रैपलेस आपका गो-टू समाधान है। मैन्युअल स्क्रैपिंग की परेशानी को अलविदा कहें और कुशल डेटा निष्कर्षण को नमस्ते कहें।

चरण 2: सेटअप और तैयारी

• स्क्रैपलेस पर मुफ्त में साइन अप करने के बाद, आपके पास खोज करने के लिए मुफ्त $5 हैं।
• API कुंजी प्रबंधन पर जाएँ। फिर अपनी विशिष्ट API कुंजी उत्पन्न करने के लिए बनाएँ पर क्लिक करें। एक बार बन जाने के बाद, बस इसे कॉपी करने के लिए API कुंजी पर क्लिक करें।

चरण 3: स्क्रैपलेस अनुरोध कोड लिखें।

मान लीजिए कि हम कॉफी कीवर्ड के आधार पर न्यूयॉर्क में स्थानों को खोजना चाहते हैं। इस API को ll पैरामीटर की आवश्यकता होती है, जो किसी निश्चित क्षेत्र का अक्षांश और देशांतर है। हम अक्षांश और देशांतर प्राप्त करने के लिए एक मुफ्त टूल का उपयोग कर सकते हैं।

इस लिंक पर जाएँ, हमें बस शहर का नाम या क्षेत्र दर्ज करने की आवश्यकता है, यह प्रासंगिक देशांतर और अक्षांश लौटाएगा। हम एक पूर्ण ll पैरामीटर बनाने के लिए इन नंबरों को अल्पविराम से अलग करते हैं।

न्यूयॉर्क को उदाहरण के तौर पर लें:

• अक्षांश: 40.712776
• देशांतर: -74.005974

इसलिए ll मान @40.712776,-74.005974 है

एक बार हमारे पास ll मान हो जाने के बाद, हम स्क्रैपलेस API का पूर्ण Python कोड बना सकते हैं:

import json
import requests

class Payload:
    def __init__(self, actor, input_data):
        self.actor = actor
        self.input = input_data

def send_request():
    host = "api.scrapeless.com"
    url = f"https://{host}/api/v1/scraper/request"
    token = "your_token"

    headers = {
        "x-api-token": token
    }

    input_data = {
        "engine": "google_maps",
        "q": "coffee",
        "type": "search",
        "ll": "@40.712776,-74.005974.14z",
    }

    payload = Payload("scraper.google.maps", input_data)

    json_payload = json.dumps(payload.__dict__)

    response = requests.post(url, headers=headers, data=json_payload)

    if response.status_code != 200:
        print("Error:", response.status_code, response.text)
        return

    print("body", response.text)


if __name__ == "__main__":
    send_request()

पैरामीटर विवरण:

• your_token को स्क्रैपलेस वेबसाइट से प्राप्त API कुंजी से बदलें।
• q पैरामीटर का उपयोग किसी भी कीवर्ड के साथ किया जा सकता है जिसकी आप खोज करना चाहते हैं।
• ll पैरामीटर उस स्थान के अक्षांश और देशांतर को निर्दिष्ट करता है जिसकी आप खोज करना चाहते हैं।
• खोज परिणाम result['local_results'] या result['place_results'] में पाए जा सकते हैं।

स्थान परिणामों और स्थानीय परिणामों में अंतर

स्क्रैपलेस API दो प्रकार की खोजों का समर्थन करता है। डिफ़ॉल्ट रूप से, प्रकार खोज पर सेट किया गया है, जो local_results में परिणामों की एक सरणी देता है। दूसरा प्रकार स्थान है, जहाँ आप प्रकार को स्थान पर सेट करते हैं और किसी विशिष्ट स्थान या व्यवसाय के लिए विस्तृत जानकारी प्रदान करने के लिए डेटा पैरामीटर का उपयोग करते हैं। इस प्रकार की खोज place_results लौटाती है।

अधिक व्यापक रूप से, local_results एक सूची है जो तब प्रदान की जाती है जब खोज का दायरा व्यापक होता है, जबकि place_results एक विशिष्ट स्थान के लिए विस्तृत जानकारी प्रदान करता है जब क्वेरी बहुत विशिष्ट होती है, या जब आप किसी विशेष स्थान के लिए परिणाम प्राप्त करने के लिए type=place के साथ place_id या डेटा का उपयोग करते हैं।

इन मापदंडों का उपयोग करने के तरीके के बारे में विस्तृत निर्देशों के लिए, कृपया हमारे आधिकारिक स्क्रैपलेस API प्रलेखन देखें

हमें इस स्क्रैपलेस Google मानचित्र API से बहुत सारे डेटा मिल सकते हैं, जैसे:

• शीर्षक
• GPS निर्देशांक
• समीक्षा सारांश
• औसत रेटिंग
• मूल्य
• प्रकार
• पता
• व्यावसायिक घंटों की जानकारी
• फ़ोन
• वेबसाइट
• सेवा विकल्प
• और इसी तरह।

Google Maps पर सभी टिप्पणियों को कैसे पेज करें?

हमारे द्वारा स्क्रैप किए गए परिणामों को पेज करने के अलावा, Google Maps आमतौर पर प्रति पृष्ठ 20 परिणाम डिफ़ॉल्ट रूप से लौटाता है, पहले पृष्ठ के लिए प्रारंभ पैरामीटर 0 पर सेट होता है। यदि आप दूसरे पृष्ठ के लिए डेटा पुनः प्राप्त करना चाहते हैं, तो बस प्रारंभ पैरामीटर के मान को 20 से बढ़ाएँ।

 input_data = {
        "engine": "google_maps",
        "q": "coffee",
        "type": "search",
        "ll": "@40.712776,-74.005974.14z",
        "start": "20",
    }

हम अधिकतम 100 (पृष्ठ 6) की अनुशंसा करते हैं, जो Google मानचित्र वेब ऐप के समान व्यवहार है; इस सीमा से ऊपर, परिणाम डुप्लिकेट हो सकते हैं या खो सकते हैं।

Google मानचित्र परिणामों को CSV में कैसे निर्यात करें?

यदि आपको Google मानचित्र परिणामों से डेटा की आवश्यकता है, तो आप निम्न कोड जोड़ सकते हैं। यह कोड उदाहरण आपको दिखाता है कि सभी local_results को CSV में कैसे संग्रहीत किया जाए। इस उदाहरण में, हमने शीर्षक, पता, फ़ोन और वेबसाइट सहेजी है।

result = response.json()
local_results = result['local_results']

with open('maps-results.csv', 'w', newline='') as csvfile:
    csv_writer = csv.writer(csvfile)

    # Write the headers
    csv_writer.writerow(["Title", "Address", "Phone Number", "Website"])

    # Write the data
    for result in local_results:
        csv_writer.writerow(
            [result["title"], result["address"], result["phone"], result["website"] if "website" in result else ""])

print('Done writing to CSV file.')

Google मानचित्र समीक्षाएँ कैसे स्क्रैप करें

स्क्रैपलेस विशिष्ट स्थानों से समीक्षाओं के बारे में विस्तृत जानकारी प्राप्त करने के लिए एक समीक्षा API भी प्रदान करता है। इस सुविधा का उपयोग करने के लिए, आपको place_id या data_id प्राप्त करने की आवश्यकता है।

बस input_data में मापदंडों को संशोधित करके, आप अपने द्वारा प्रदान किए गए मापदंडों के अनुरूप API परिणाम प्राप्त कर सकते हैं। यह दृष्टिकोण आपको स्क्रैपलेस API की शक्ति का उपयोग करके Google मानचित्र टिप्पणियों और समीक्षाओं को कुशलतापूर्वक स्क्रैप करने की अनुमति देता है।

input_data = {
    "engine": "google_maps_reviews",
    "data_id": "0x89c259af336b3341:0xa4969e07ce3108de",
}

नोट: data_id या place_id पैरामीटर local_results या place_results परिणामों में वापस आ जाएगा।

परिणामों में समीक्षा लिंक, रेटिंग, उपयोगकर्ता विवरण, सारांश और पसंद शामिल होंगे। आप उच्च से निम्न तक रेटिंग के अनुसार क्रमबद्ध करने के लिए पैरामीटर sort_by का उपयोग कर सकते हैं।

समीक्षाओं को कैसे पेज करें

सभी समीक्षाओं के डेटा को प्राप्त करने के लिए समीक्षा API प्रतिक्रिया में उपलब्ध मानों को कैसे पेज करें? नीचे देखें।

1. उपरोक्त समीक्षा API प्रतिक्रिया में next_page_token प्राप्त करें:

2. अनुरोध शुरू करने के लिए अनुरोध पैरामीटर को इकट्ठा करें, और हम आपको समीक्षाओं का अगला पृष्ठ वापस कर देंगे:

input_data = {
    "engine": "google_maps_reviews",
    "data_id": "0x89c259af336b3341:0xa4969e07ce3108de",
    "next_page_token": "CAESY0NBRVFDQnBFUTJwRlNVRlNTWEJEWjI5QlVEZGZURUZMUVU5ZlgxOWZSV2hEU21OSVRrMXBiR0Z4ZG1wNWNqRjJhMEZCUVVGQlIyZHVPVEpSWTBOaGQxWm5abmRuV1VGRFNVRQ=="
}

स्क्रैपलेस आपके लिए और कौन सा डेटा क्रॉल कर सकता है

स्क्रैपलेस आपके लिए क्रॉल करने के लिए कई परिदृश्य प्रदान करता है, जिसमें ऊपर दिखाए गए स्थानीय और स्थान परिणाम शामिल हैं। इसके अलावा, हम कई API जैसे योगदानकर्ता, निर्देश API, फ़ोटो API आदि भी प्रदान करते हैं। विभिन्न API के लिए, आपको केवल विभिन्न पैरामीटर बनाने की आवश्यकता है:

यहाँ, निर्देश API क्रॉल करने का उपयोग एक उदाहरण के रूप में किया जाता है। आपको केवल उपरोक्त कोड में input_data में पैरामीटर बदलने की आवश्यकता है। परिणामों में दूरी, समय, प्रत्येक यात्रा की विस्तृत जानकारी आदि शामिल होंगे।

input_data = {
    "engine": "google_maps_directions",
    "start_addr": "Austin-Bergstrom International Airport",
    "end_addr": "5540 N Lamar Blvd, Austin, TX 78756, USA",
}

इसके अलावा, आप यात्रा मोड का चयन करने के लिए पैरामीटर travel_mode का उपयोग कर सकते हैं:

उपरोक्त Google मानचित्र डेटा और स्थान समीक्षाएँ क्रॉल करने का तरीका है। मुझे आशा है कि यह आपकी मदद करेगा।

निष्कर्ष

Google मानचित्र डेटा और समीक्षाओं को स्क्रैप करना एक बहुत ही प्रभावी उपकरण हो सकता है। हालाँकि, सही उपकरणों के बिना, यह एक तकनीकी चुनौती हो सकती है, जिसमें अक्सर CAPTCHA, IP ब्लॉकिंग और जटिल डेटा निष्कर्षण जैसे मुद्दे होते हैं।

स्क्रैपलेस के साथ, आप सामान्य स्क्रैपिंग बाधाओं को दरकिनार कर सकते हैं और सभी प्रकार की जानकारी प्राप्त कर सकते हैं।

अभी साइन अप करें और 100,000 मुफ्त अनुरोध प्राप्त करें, और Discord समुदाय में शामिल होकर मुफ्त क्रेडिट प्राप्त करें।

अतिरिक्त संसाधन

यदि आप अन्य Google जानकारी स्क्रैपिंग में भी रुचि रखते हैं, तो आप निम्नलिखित विस्तृत लेख पढ़ सकते हैं:

Google स्कॉलर परिणाम कैसे स्क्रैप करें
Google जॉब परिणाम कैसे स्क्रैप करें
Python के साथ Google फ़्लाइट्स डेटा कैसे स्क्रैप करें
Google ट्रेंड डेटा कैसे स्क्रैप करें - आसान गाइड और मुफ्त परीक्षण