क्रॉल समाधान

वेबसाइटों को स्रोत से जुड़े ज्ञान में बदलें

प्रशिक्षण कॉर्पस, RAG, दस्तावेज़ खोज और नियमित साइट शोध के लिए निर्धारित दायरे में वेबसाइट की सामग्री एकत्र करें।

CRAWLवर्कफ़्लो का उदाहरण
वर्कफ़्लो पूर्वावलोकन

वर्कफ़्लो क्रॉल करें

स्वीकृत वेबसाइट का दायरा
/guides/overview
/guides/getting-started
/reference/resources
Scoped collectionYour workflowSource context

उदाहरणात्मक उदाहरण · कोई लाइव संग्रह नहीं चल रहा है

  • साइट से प्रारंभ करें

    किसी डोमेन या चयनित दस्तावेज़ पथों के आसपास संग्रह व्यवस्थित करें।

  • प्रयोग करने योग्य प्रारूप रखें

    समर्थित आउटपुट चुनें जो आपके डाउनस्ट्रीम प्रोसेसिंग से मेल खाते हों।

  • ट्रेस करने योग्य डेटासेट बनाएं

    फ़िल्टरिंग, इंडेक्सिंग और रिफ्रेश के माध्यम से पेज की पहचान बनाए रखें।

प्रत्येक क्रॉल टीम के लिए एक समाधान

उस काम से शुरुआत करें जिसे आपकी टीम को पूरा करना है, फिर संग्रह या निष्पादन परत को परिभाषित करें।

वह वर्कफ़्लो चुनें जिसकी आपकी टीम को आवश्यकता है

प्रशिक्षण कॉर्पस, RAG, दस्तावेज़ खोज और नियमित साइट शोध के लिए निर्धारित दायरे में वेबसाइट की सामग्री एकत्र करें।

एआई प्रशिक्षण डेटा

स्वीकृत साइटों को स्रोत-लिंक्ड सामग्री में क्रॉल करें जिसे आपकी पाइपलाइन फ़िल्टर कर सकती है, डुप्लिकेट कर सकती है और मॉडल प्रशिक्षण के लिए तैयार कर सकती है।

आरएजी ज्ञान डेटा

चयनित वेबसाइटों को सामग्री में क्रॉल करें, आपकी पुनर्प्राप्ति पाइपलाइन ट्रेस करने योग्य उद्धरणों के साथ खंडित, एम्बेड और ताज़ा कर सकती है।

उद्यम ज्ञानकोष

कंपनी के दायरे वाले दस्तावेज़ और सार्वजनिक संसाधन एकत्र करें, फिर अपनी टीम की सूचना आवश्यकताओं के अनुरूप सामग्री की समीक्षा करें और उसे व्यवस्थित करें।

सामग्री स्थानांतरण एवं साइट कैप्चर

माइग्रेशन मैपिंग और पोस्ट-माइग्रेशन जांच के लिए पृष्ठ सामग्री, लिंक और मेटाडेटा कैप्चर करने के लिए अनुमोदित साइट अनुभागों को क्रॉल करें।

संपूर्ण-साइट परिवर्तन निगरानी

परिवर्धन, निष्कासन और सार्थक पृष्ठ परिवर्तनों का पता लगाने के लिए स्कोप्ड क्रॉल को दोहराएं और सामान्यीकृत सामग्री स्नैपशॉट की तुलना करें।

दस्तावेज़ीकरण अनुक्रमण

चयनित दस्तावेज़ पथों को क्रॉल करें और नेविगेशन-जागरूक खोज और खोज योग्य तकनीकी संदर्भों के लिए पृष्ठ संदर्भ को संरक्षित करें।

मार्केट इंटेलिजेंस कॉर्पोरा

विश्लेषकों को आवर्ती शोध के लिए स्रोत-लिंक्ड सामग्री का एक तुलनीय निकाय देने के लिए अनुमोदित कंपनी और उद्योग साइटों को क्रॉल करें।

मल्टीमॉडल प्रशिक्षण डेटा

मल्टीमॉडल अनुसंधान और मूल्यांकन के लिए ट्रेस करने योग्य विज़ुअल-टेक्स्ट रिकॉर्ड बनाने के लिए पृष्ठ सामग्री के साथ-साथ स्क्रीनशॉट एकत्र करें।

क्रॉल विनिर्देशों और मूल्य निर्धारण की आवश्यकता है?

एकीकृत करने से पहले वर्तमान सेटअप, समर्थित विकल्पों और खाता शर्तों की समीक्षा करें।

Crawl देखें

व्यावसायिक प्रश्न से कार्रवाई तक

इनपुट, उत्पाद क्षमता और प्रयोग करने योग्य परिणाम के बीच एक स्पष्ट अनुबंध को परिभाषित करें।

  1. 01

    स्रोत और दायरा चुनें

    एक निर्णय और उसका समर्थन करने वाले स्रोतों या कार्यों से शुरुआत करें।

  2. 02

    जुड़े हुए पृष्ठ एकत्रित करें

    मार्कडाउन, HTML, लिंक और स्क्रीनशॉट जैसे समर्थित सामग्री प्रारूपों के साथ पुनरावर्ती वेबसाइट संग्रह।

  3. 03

    सामग्री को सामान्यीकृत करें

    स्रोत अनुमतियाँ, दायरा, सामग्री फ़िल्टरिंग, संस्करण, अनुक्रमण और डाउनस्ट्रीम मॉडल का उपयोग।

  4. 04

    डेटासेट बनाएं या ताज़ा करें

    इन-स्कोप कवरेज, डुप्लिकेट दर और दस्तावेज़ गुणवत्ता बरकरार रखी गई।

भरोसेमंद क्रॉल वर्कफ़्लोज़ के लिए निर्मित

पहली बार से ही संग्रह के संदर्भ और परिणाम की गुणवत्ता को डिज़ाइन का हिस्सा बनाएं।

  • बीज → दायरा → पृष्ठ

    एक निर्धारित दायरे में एकत्रित करें

    चयनित वेबसाइट क्षेत्रों के लिए पुनरावर्ती संग्रह का उपयोग करें। एक छोटे दायरे से शुरुआत करें और क्रॉल का विस्तार करने से पहले खोजे गए पृष्ठों की समीक्षा करें।

  • मार्कडाउन · एचटीएमएल · लिंक

    उपयोगी आउटपुट स्वरूप चुनें

    क्रॉल मार्कडाउन, HTML, लिंक और स्क्रीनशॉट सहित सामग्री प्रारूपों का समर्थन करता है। अपने उपभोक्ता एप्लिकेशन के लिए आवश्यक प्रारूपों का चयन करें।

  • पृष्ठ → ​​दस्तावेज़ → स्रोत

    स्रोत की पहचान रखें

    प्रत्येक बनाए गए दस्तावेज़ को उसके URL के साथ संबद्ध करें और संदर्भ कैप्चर करें। फिर आपकी पाइपलाइन संस्करण और स्रोत-लिंक्ड उद्धरण बनाए रख सकती है।

  • फ़िल्टर → डुप्लिकेट → प्रकाशित करें

    डाउनस्ट्रीम सामग्री तैयार करें

    अनुक्रमणिका या प्रशिक्षण से पहले अपना स्वयं का डिडुप्लीकेशन, सामग्री फ़िल्टर और गुणवत्ता जांच लागू करें। एक पृष्ठ एकत्रित करना डेटासेट तैयार करने की शुरुआत है।

अक्सर पूछे जाने वाले प्रश्न

स्पष्ट स्वामित्व और मापने योग्य स्वीकृति मानदंडों के साथ पहले वर्कफ़्लो की योजना बनाएं।

हमें किस वर्कफ़्लो से शुरुआत करनी चाहिए?

टीम अवलोकन के नीचे केंद्रित उपयोग के मामलों में से एक चुनें। इसके इनपुट, स्वामी और स्वीकृति मानदंड को परिभाषित करें, फिर एक छोटा प्रतिनिधि नमूना चलाएँ।

क्रॉल क्या संभालता है?

मार्कडाउन, HTML, लिंक और स्क्रीनशॉट जैसे समर्थित सामग्री प्रारूपों के साथ पुनरावर्ती वेबसाइट संग्रह।

हमारे आवेदन में क्या रहता है?

स्रोत अनुमतियाँ, दायरा, सामग्री फ़िल्टरिंग, संस्करण, अनुक्रमण और डाउनस्ट्रीम मॉडल का उपयोग।

हम लागत और पैमाने की योजना कैसे बनाते हैं?

क्रॉल दस्तावेज़ ब्राउज़र रनटाइम और प्रॉक्सी ट्रैफ़िक को लागत ड्राइवर के रूप में वर्णित करता है। दायरा, प्रतिपादन आवश्यकताएं और आउटपुट प्रारूप खपत को प्रभावित करते हैं।

क्रॉल को अपनी टीम के लिए काम पर लगाएं

अपने स्रोत, अपेक्षित क्रॉल कार्य और स्वीकृति मानदंड लाएँ। एक केंद्रित पायलट के साथ शुरुआत करें, फिर साक्ष्य पर विस्तार करें।