Loading Light/Dark Toggle
CRAWL

बड़े पैमाने पर स्मार्ट वेब क्रॉलिंग

वेबसाइटों के लिंक फ़ॉलो करें, URL को बैच में प्रोसेस करें और अपने वर्कफ़्लो के लिए ज़रूरी आउटपुट फ़ॉर्मैट चुनें।

वेब डेटा का इस्तेमाल AI प्रशिक्षण, बाज़ार विश्लेषण और व्यावसायिक निर्णयों में करें।

  • रिकर्सिव वेबसाइट क्रॉलिंग
  • बैच में URL प्रोसेसिंग
  • बिल्ट-इन CAPTCHA समाधान
  • कई आउटपुट फ़ॉर्मैट
example.com

लिंक किए गए पेजों से उपयोगी कॉन्टेंट तक

लिंक किए गए पेज खोजें
पेजों का कॉन्टेंट बैच में निकालें
getting-started.md
guides.md
reference.md
अपने आउटपुट फ़ॉर्मैट चुनें

उदाहरण के लिए चित्रण · कोई लाइव डेटा संग्रह नहीं चल रहा है

ई-कॉमर्स इंटेलिजेंस, मूल्य निगरानी और ब्रैंड विश्लेषण टीमों का भरोसा

आपके पास मौजूद URL से शुरुआत करें

क्या सभी पेज पहले से पता हैं? एक बैच भेजें। और पेज खोजने हैं? क्रॉल शुरू करें और लिंक फ़ॉलो करें।

Node.js · @scrapeless-ai/sdk

npm install @scrapeless-ai/sdk

एक पेज। आपकी ज़रूरत का कॉन्टेंट।

URL दें और फ़ॉर्मैट चुनें। पेज के लिए मुख्य कॉन्टेंट का एक्सट्रैक्शन और नेविगेशन टाइमआउट कॉन्फ़िगर करें।

एक पेज की गाइड पढ़ें

आपकी URL सूची। एक बैच।

एक ही SDK कॉल में ज्ञात URL की सूची भेजें। पूरे बैच पर समान एक्सट्रैक्शन सेटिंग लागू करें।

बैच प्रोसेसिंग की गाइड पढ़ें

एक शुरुआती बिंदु। और भी पेज खोजें।

शुरुआती URL से लिंक किए गए पेजों को फ़ॉलो करें। पेजों की सीमा तय करें, फ़ॉर्मैट चुनें और साइट का कॉन्टेंट इकट्ठा करें।

वेबसाइट क्रॉलिंग की गाइड पढ़ें

एक्सेस लेयर पहले से शामिल है

लिंक फ़ॉलो करें और दायरा नियंत्रित करें

क्रॉल का दायराexample.com/docs/
/docs/introductionदायरे के भीतर
/docs/quickstartदायरे के भीतर
/docs/referenceदायरे के भीतर
/blog/latestपदानुक्रम से बाहर
limit: 100allowBackwardLinks: false

वेबसाइट क्रॉलिंग, आपकी तय की हुई सीमाओं में।

शुरुआती URL चुनें और पेजों की अधिकतम संख्या तय करें। डिफ़ॉल्ट रूप से, केवल उस URL के पदानुक्रम के भीतर के लिंक फ़ॉलो किए जाते हैं; उससे बाहर जाने के लिए बैकवर्ड लिंक सक्षम करें।

क्रॉल कॉन्फ़िगरेशन देखें

अपने वर्कफ़्लो के लिए सही फ़ॉर्मैट चुनें

source/example.com

A guide to better web data

Make web content useful for your application.

Read the docs
{
  "metadata": {
    "title": "A guide to better web data",
    "description": "Make web content useful for your application."
  },
  "markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
  "html": "<!doctype html>\n<html lang=\"en\">\n<head>\n  <title>A guide to better web data</title>\n  <meta name=\"description\"\n        content=\"Make web content useful for your application.\">\n</head>\n<body>\n  <main>\n    <h1>A guide to better web data</h1>\n    <p>Make web content useful for your application.</p>\n    <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n  </main>\n</body>\n</html>",
  "links": [
    "https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
  ]
}

अलग-अलग आउटपुट देखना चाहते हैं? फ़ॉर्मैट बदलकर प्रीव्यू देखें कि वही वेबपेज Markdown, HTML, JSON और अन्य फ़ॉर्मैट में कैसा दिखता है।

कम समन्वय, ज़्यादा निर्माण

लक्ष्य से परिणाम तक तीन आसान चरणों में पहुँचें। जॉब सबमिट करने और पोलिंग का काम SDK संभालता है।

01

पेज पर जाएँ

एक पेज, URL सूची या वेबसाइट चुनें। आउटपुट फ़ॉर्मैट और ब्राउज़र विकल्प तय करें।

02

जॉब चलने दें

API एसिंक्रोनस रूप से काम करता है। SDK आपके लिए जॉब सबमिट करने और पोलिंग का काम संभालता है।

03

परिणाम इस्तेमाल करें

लौटाए गए डेटा को पढ़ें। वेबसाइट क्रॉलिंग में, आगे की प्रोसेसिंग से पहले हर पेज की स्थिति और त्रुटियाँ जाँचें।

वेब कॉन्टेंट को काम में लाएँ

इन वर्कफ़्लो से शुरुआत करें, फिर Crawl इस्तेमाल करने के और तरीके खोजें।

और स्रोत। और वर्कफ़्लो। अपना अगला उपयोग खोजें।

और जानें

आपकी बढ़ती ज़रूरतों के अनुरूप उपयोग-आधारित मूल्य निर्धारण

मासिक प्रीपेड उपयोग – बेस रेट: $0.09/घंटा – नीचे दिए गए सब्सक्रिप्शन टियर के अनुसार छूट के साथ।
Crawl

अक्सर पूछे जाने वाले प्रश्नों

मुझे कौन-सा मोड इस्तेमाल करना चाहिए?

एक URL के लिए सिंगल-पेज स्क्रैपिंग, ज्ञात सूची के लिए बैच स्क्रैपिंग और लिंक किए गए पेज खोजने के लिए वेबसाइट क्रॉलिंग इस्तेमाल करें।

क्या मुझे पोलिंग लूप बनाना होगा?

SDK इस्तेमाल करते समय इसकी ज़रूरत नहीं है। SDK पोलिंग संभालता है और जॉब पूरा होने पर डेटा लौटाता है। API को सीधे कॉल करते समय, जॉब शुरू करें और उसके पूरा होने तक स्थिति जाँचते रहें।

क्या मैं केवल मुख्य कॉन्टेंट चुन सकता हूँ?

हाँ। अपने पसंदीदा आउटपुट फ़ॉर्मैट और टाइमआउट के साथ onlyMainContent कॉन्फ़िगर करें।

क्या क्रॉल हर लिंक को फ़ॉलो करेगा?

डिफ़ॉल्ट रूप से, क्रॉलिंग शुरुआती URL के पदानुक्रम के भीतर रहती है। उस पदानुक्रम से बाहर के लिंक शामिल करने के लिए allowBackwardLinks कॉन्फ़िगर करें और पेजों की अधिकतम संख्या तय करने के लिए limit इस्तेमाल करें।

क्या जॉब पूरा होने का मतलब है कि सभी पेज सफल रहे?

नहीं। क्रॉल का हर पेज पूरा हो सकता है या विफल हो सकता है और उसकी अपनी त्रुटि हो सकती है। इस्तेमाल करने से पहले हर परिणाम जाँचें।

Crawl की बिलिंग कैसे होती है?

Crawl की बिलिंग ब्राउज़र रनटाइम और प्रॉक्सी ट्रैफ़िक को मिलाकर होती है, जिसकी शुरुआत $0.09 प्रति घंटे और अतिरिक्त $1.80 प्रति GB से होती है। बड़े पेज और लंबे सेशन से खपत बढ़ सकती है।

मुझे Agent Browser कब इस्तेमाल करना चाहिए?

जब किसी जटिल ऑटोमेशन वर्कफ़्लो को Puppeteer या Playwright से सीधे नियंत्रित करना हो, तब Agent Browser इस्तेमाल करें। Crawl एक उच्च-स्तरीय एक्सट्रैक्शन इंटरफ़ेस देता है।

Crawl से वेबसाइटों को डेटा में बदलें

एक पेज, URL के बैच या पूरी वेबसाइट से शुरुआत करें।

Crawl — वेबसाइटों को उपयोगी डेटा में बदलें | Scrapeless