वेबसाइटों को स्रोत से जुड़े ज्ञान में बदलें
प्रशिक्षण कॉर्पस, RAG, दस्तावेज़ खोज और नियमित साइट शोध के लिए निर्धारित दायरे में वेबसाइट की सामग्री एकत्र करें।
वर्कफ़्लो क्रॉल करें
स्वीकृत वेबसाइट का दायराउदाहरणात्मक उदाहरण · कोई लाइव संग्रह नहीं चल रहा है
साइट से प्रारंभ करें
किसी डोमेन या चयनित दस्तावेज़ पथों के आसपास संग्रह व्यवस्थित करें।
प्रयोग करने योग्य प्रारूप रखें
समर्थित आउटपुट चुनें जो आपके डाउनस्ट्रीम प्रोसेसिंग से मेल खाते हों।
ट्रेस करने योग्य डेटासेट बनाएं
फ़िल्टरिंग, इंडेक्सिंग और रिफ्रेश के माध्यम से पेज की पहचान बनाए रखें।
प्रत्येक क्रॉल टीम के लिए एक समाधान
उस काम से शुरुआत करें जिसे आपकी टीम को पूरा करना है, फिर संग्रह या निष्पादन परत को परिभाषित करें।
मॉडल विकास के लिए एक ट्रेस करने योग्य वेब कॉर्पस बनाएं
स्वीकृत साइटों को स्रोत-लिंक्ड सामग्री में क्रॉल करें जिसे आपकी पाइपलाइन फ़िल्टर कर सकती है, डुप्लिकेट कर सकती है और मॉडल प्रशिक्षण के लिए तैयार कर सकती है।
- 01
इनपुट
स्वीकृत डोमेन, क्रॉल स्कोप और सामग्री पुन: उपयोग मानदंड
- 02
प्रक्रिया
पृष्ठ-स्तरीय उत्पत्ति के साथ सामग्री एकत्र करें
- 03
नतीजा
डेटासेट रिलीज़ से पहले फ़िल्टर करें और डीडुप्लिकेट करें
वह वर्कफ़्लो चुनें जिसकी आपकी टीम को आवश्यकता है
प्रशिक्षण कॉर्पस, RAG, दस्तावेज़ खोज और नियमित साइट शोध के लिए निर्धारित दायरे में वेबसाइट की सामग्री एकत्र करें।
एआई प्रशिक्षण डेटा
स्वीकृत साइटों को स्रोत-लिंक्ड सामग्री में क्रॉल करें जिसे आपकी पाइपलाइन फ़िल्टर कर सकती है, डुप्लिकेट कर सकती है और मॉडल प्रशिक्षण के लिए तैयार कर सकती है।
आरएजी ज्ञान डेटा
चयनित वेबसाइटों को सामग्री में क्रॉल करें, आपकी पुनर्प्राप्ति पाइपलाइन ट्रेस करने योग्य उद्धरणों के साथ खंडित, एम्बेड और ताज़ा कर सकती है।
उद्यम ज्ञानकोष
कंपनी के दायरे वाले दस्तावेज़ और सार्वजनिक संसाधन एकत्र करें, फिर अपनी टीम की सूचना आवश्यकताओं के अनुरूप सामग्री की समीक्षा करें और उसे व्यवस्थित करें।
सामग्री स्थानांतरण एवं साइट कैप्चर
माइग्रेशन मैपिंग और पोस्ट-माइग्रेशन जांच के लिए पृष्ठ सामग्री, लिंक और मेटाडेटा कैप्चर करने के लिए अनुमोदित साइट अनुभागों को क्रॉल करें।
संपूर्ण-साइट परिवर्तन निगरानी
परिवर्धन, निष्कासन और सार्थक पृष्ठ परिवर्तनों का पता लगाने के लिए स्कोप्ड क्रॉल को दोहराएं और सामान्यीकृत सामग्री स्नैपशॉट की तुलना करें।
दस्तावेज़ीकरण अनुक्रमण
चयनित दस्तावेज़ पथों को क्रॉल करें और नेविगेशन-जागरूक खोज और खोज योग्य तकनीकी संदर्भों के लिए पृष्ठ संदर्भ को संरक्षित करें।
मार्केट इंटेलिजेंस कॉर्पोरा
विश्लेषकों को आवर्ती शोध के लिए स्रोत-लिंक्ड सामग्री का एक तुलनीय निकाय देने के लिए अनुमोदित कंपनी और उद्योग साइटों को क्रॉल करें।
मल्टीमॉडल प्रशिक्षण डेटा
मल्टीमॉडल अनुसंधान और मूल्यांकन के लिए ट्रेस करने योग्य विज़ुअल-टेक्स्ट रिकॉर्ड बनाने के लिए पृष्ठ सामग्री के साथ-साथ स्क्रीनशॉट एकत्र करें।
क्रॉल विनिर्देशों और मूल्य निर्धारण की आवश्यकता है?
एकीकृत करने से पहले वर्तमान सेटअप, समर्थित विकल्पों और खाता शर्तों की समीक्षा करें।
व्यावसायिक प्रश्न से कार्रवाई तक
इनपुट, उत्पाद क्षमता और प्रयोग करने योग्य परिणाम के बीच एक स्पष्ट अनुबंध को परिभाषित करें।
- 01
स्रोत और दायरा चुनें
एक निर्णय और उसका समर्थन करने वाले स्रोतों या कार्यों से शुरुआत करें।
- 02
जुड़े हुए पृष्ठ एकत्रित करें
मार्कडाउन, HTML, लिंक और स्क्रीनशॉट जैसे समर्थित सामग्री प्रारूपों के साथ पुनरावर्ती वेबसाइट संग्रह।
- 03
सामग्री को सामान्यीकृत करें
स्रोत अनुमतियाँ, दायरा, सामग्री फ़िल्टरिंग, संस्करण, अनुक्रमण और डाउनस्ट्रीम मॉडल का उपयोग।
- 04
डेटासेट बनाएं या ताज़ा करें
इन-स्कोप कवरेज, डुप्लिकेट दर और दस्तावेज़ गुणवत्ता बरकरार रखी गई।
भरोसेमंद क्रॉल वर्कफ़्लोज़ के लिए निर्मित
पहली बार से ही संग्रह के संदर्भ और परिणाम की गुणवत्ता को डिज़ाइन का हिस्सा बनाएं।
- बीज → दायरा → पृष्ठ
एक निर्धारित दायरे में एकत्रित करें
चयनित वेबसाइट क्षेत्रों के लिए पुनरावर्ती संग्रह का उपयोग करें। एक छोटे दायरे से शुरुआत करें और क्रॉल का विस्तार करने से पहले खोजे गए पृष्ठों की समीक्षा करें।
- मार्कडाउन · एचटीएमएल · लिंक
उपयोगी आउटपुट स्वरूप चुनें
क्रॉल मार्कडाउन, HTML, लिंक और स्क्रीनशॉट सहित सामग्री प्रारूपों का समर्थन करता है। अपने उपभोक्ता एप्लिकेशन के लिए आवश्यक प्रारूपों का चयन करें।
- पृष्ठ → दस्तावेज़ → स्रोत
स्रोत की पहचान रखें
प्रत्येक बनाए गए दस्तावेज़ को उसके URL के साथ संबद्ध करें और संदर्भ कैप्चर करें। फिर आपकी पाइपलाइन संस्करण और स्रोत-लिंक्ड उद्धरण बनाए रख सकती है।
- फ़िल्टर → डुप्लिकेट → प्रकाशित करें
डाउनस्ट्रीम सामग्री तैयार करें
अनुक्रमणिका या प्रशिक्षण से पहले अपना स्वयं का डिडुप्लीकेशन, सामग्री फ़िल्टर और गुणवत्ता जांच लागू करें। एक पृष्ठ एकत्रित करना डेटासेट तैयार करने की शुरुआत है।