बड़े पैमाने पर स्मार्ट वेब क्रॉलिंग
वेबसाइटों के लिंक फ़ॉलो करें, URL को बैच में प्रोसेस करें और अपने वर्कफ़्लो के लिए ज़रूरी आउटपुट फ़ॉर्मैट चुनें।
वेब डेटा का इस्तेमाल AI प्रशिक्षण, बाज़ार विश्लेषण और व्यावसायिक निर्णयों में करें।
लिंक किए गए पेजों से उपयोगी कॉन्टेंट तक
उदाहरण के लिए चित्रण · कोई लाइव डेटा संग्रह नहीं चल रहा है
आपके पास मौजूद URL से शुरुआत करें
क्या सभी पेज पहले से पता हैं? एक बैच भेजें। और पेज खोजने हैं? क्रॉल शुरू करें और लिंक फ़ॉलो करें।
Node.js · @scrapeless-ai/sdk
import { ScrapingCrawl } from "@scrapeless-ai/sdk";
const client = new ScrapingCrawl({
apiKey: "YOUR_API_KEY",
});
const result = await client.scrapeUrl(
"https://example.com",
{
formats: ["markdown", "html", "links"],
onlyMainContent: true,
timeout: 15000,
}
);
console.log(result);npm install @scrapeless-ai/sdk
एक पेज। आपकी ज़रूरत का कॉन्टेंट।
URL दें और फ़ॉर्मैट चुनें। पेज के लिए मुख्य कॉन्टेंट का एक्सट्रैक्शन और नेविगेशन टाइमआउट कॉन्फ़िगर करें।
आपकी URL सूची। एक बैच।
एक ही SDK कॉल में ज्ञात URL की सूची भेजें। पूरे बैच पर समान एक्सट्रैक्शन सेटिंग लागू करें।
एक शुरुआती बिंदु। और भी पेज खोजें।
शुरुआती URL से लिंक किए गए पेजों को फ़ॉलो करें। पेजों की सीमा तय करें, फ़ॉर्मैट चुनें और साइट का कॉन्टेंट इकट्ठा करें।
एक्सेस लेयर पहले से शामिल है
लिंक फ़ॉलो करें और दायरा नियंत्रित करें
वेबसाइट क्रॉलिंग, आपकी तय की हुई सीमाओं में।
शुरुआती URL चुनें और पेजों की अधिकतम संख्या तय करें। डिफ़ॉल्ट रूप से, केवल उस URL के पदानुक्रम के भीतर के लिंक फ़ॉलो किए जाते हैं; उससे बाहर जाने के लिए बैकवर्ड लिंक सक्षम करें।
अपने वर्कफ़्लो के लिए सही फ़ॉर्मैट चुनें
A guide to better web data
Make web content useful for your application.
{
"metadata": {
"title": "A guide to better web data",
"description": "Make web content useful for your application."
},
"markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
"html": "<!doctype html>\n<html lang=\"en\">\n<head>\n <title>A guide to better web data</title>\n <meta name=\"description\"\n content=\"Make web content useful for your application.\">\n</head>\n<body>\n <main>\n <h1>A guide to better web data</h1>\n <p>Make web content useful for your application.</p>\n <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n </main>\n</body>\n</html>",
"links": [
"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
]
}अलग-अलग आउटपुट देखना चाहते हैं? फ़ॉर्मैट बदलकर प्रीव्यू देखें कि वही वेबपेज Markdown, HTML, JSON और अन्य फ़ॉर्मैट में कैसा दिखता है।
कम समन्वय, ज़्यादा निर्माण
लक्ष्य से परिणाम तक तीन आसान चरणों में पहुँचें। जॉब सबमिट करने और पोलिंग का काम SDK संभालता है।
पेज पर जाएँ
एक पेज, URL सूची या वेबसाइट चुनें। आउटपुट फ़ॉर्मैट और ब्राउज़र विकल्प तय करें।
जॉब चलने दें
API एसिंक्रोनस रूप से काम करता है। SDK आपके लिए जॉब सबमिट करने और पोलिंग का काम संभालता है।
परिणाम इस्तेमाल करें
लौटाए गए डेटा को पढ़ें। वेबसाइट क्रॉलिंग में, आगे की प्रोसेसिंग से पहले हर पेज की स्थिति और त्रुटियाँ जाँचें।
वेब कॉन्टेंट को काम में लाएँ
इन वर्कफ़्लो से शुरुआत करें, फिर Crawl इस्तेमाल करने के और तरीके खोजें।
AI प्रशिक्षण डेटा और कॉर्पस
AI मॉडल प्रशिक्षण के लिए वेब कॉन्टेंट इकट्ठा करें और उसे संरचित करें।
RAG के लिए ज्ञान डेटा
रिट्रीवल-ऑगमेंटेड जनरेशन के लिए वेब कॉन्टेंट तैयार करें।
एंटरप्राइज़ नॉलेज बेस
वेब कॉन्टेंट को दोबारा इस्तेमाल किए जा सकने वाले एंटरप्राइज़ ज्ञान के रूप में व्यवस्थित करें।
और स्रोत। और वर्कफ़्लो। अपना अगला उपयोग खोजें।
और जानेंआपकी बढ़ती ज़रूरतों के अनुरूप उपयोग-आधारित मूल्य निर्धारण
अक्सर पूछे जाने वाले प्रश्नों
मुझे कौन-सा मोड इस्तेमाल करना चाहिए?
क्या मुझे पोलिंग लूप बनाना होगा?
क्या मैं केवल मुख्य कॉन्टेंट चुन सकता हूँ?
क्या क्रॉल हर लिंक को फ़ॉलो करेगा?
क्या जॉब पूरा होने का मतलब है कि सभी पेज सफल रहे?
Crawl की बिलिंग कैसे होती है?
मुझे Agent Browser कब इस्तेमाल करना चाहिए?
Crawl से वेबसाइटों को डेटा में बदलें
एक पेज, URL के बैच या पूरी वेबसाइट से शुरुआत करें।
