वेब क्रॉलर क्या है?

सॉफ़्टवेयर को वेब क्रॉलर क्या बनाता है

एक क्रॉलर प्रणालीबद्ध रूप से संसाधनों का दौरा करता है और अक्सर उस प्रक्रिया के दौरान अतिरिक्त संसाधनों की खोज करता है। एक उपकरण जो एक प्रदान किए गए वेबपृष्ठ को लाता है वह क्रॉल का एक हिस्सा कर सकता है, लेकिन पुनरावर्ती खोज और अनुसूची एक क्रॉलिंग कार्यप्रवाह को एक अलग डाउनलोड से अलग करती है।

वह वेब क्रॉलर की परिभाषा मूल भूमिका का वर्णन करती है। एक क्रॉलर बाद में प्रसंस्करण के लिए दस्तावेज़ एकत्र कर सकता है, लिंक रिकॉर्ड कर सकता है, या पृष्ठ सामग्री को अगली चरण में भेज सकता है। यह शब्द किसी विशेष वाणिज्यिक उत्पाद या विशिष्ट पैमाने को संदर्भित नहीं करता है।

“स्पाइडर” और “बॉट” क्रॉलर्स के लिए भी उपयोग होते हैं, हालाँकि बॉट एक व्यापक श्रेणी का ऑटोमेटेड सॉफ़्टवेयर है। कुछ बॉट्स फ़ॉर्म भरते हैं या निश्चित अंत बिंदु की निगरानी करते हैं बिना वेब खोज किए। एक प्रणाली के जिम्मेदारियों पर चर्चा करते समय वास्तविक व्यवहार का नाम दें।

वह क्रॉलिंग आर्किटेक्चर डाउनलोड की गई सामग्री के बाद के उपयोग से खोज और अनुसूची को अलग करता है। वह अलगाव यह समझाने में उपयोगी है कि एक क्रॉलर बिना स्क्रेपर को आवश्यक व्यावसायिक क्षेत्रों को निकालने के बिना एक इन्वेंटरी क्यों उत्पन्न कर सकता है।

सर्च क्रॉलर्स और सर्च इंडेक्सेस

सर्च क्रॉलर्स उन संसाधनों को एकत्र करते हैं जिनका प्रणाली भविष्य में अपने सामग्री को सूचीबद्ध और रैंक कर सकती है। क्रॉलिंग, इंडेक्सिंग और रैंकिंग अलग-अलग परिचालन हैं, भले ही एक सेवा उन सभी को कर रही हो।

एक क्रॉलर एक URL खोज सकता है और अपनी वर्तमान नीति के तहत इसे लाने का निर्णय नहीं ले सकता है। एक लाए गए दस्तावेज़ तब सूचीबद्ध करने के लिए अनुपयुक्त हो सकता है या किसी अन्य संसाधन को कॉपी कर सकता है। यह सर्च परिणामों में उपस्थित होना बाद के निर्णयों पर निर्भर करता है, न कि केवल इस तथ्य पर कि इसे देखा गया था।

साइट मालिकों के लिए, इसका मतलब है कि एक क्रॉलर से सर्वर लॉग प्रविष्टि एक अनुरोध का प्रमाण है, न कि इस बात का प्रमाण कि पृष्ठ ने सर्च इंडेक्स में प्रवेश किया है। उसके बाद की स्थिति का मूल्यांकन करने के लिए प्रासंगिक सर्च प्लेटफ़ॉर्म के निरीक्षण उपकरणों का उपयोग करें, न कि केवल एक यात्रा से इसकी व्याख्या करें।

इसी तरह, एक निजी इन्वेंटरी क्रॉलर सर्च-इंजन कवरेज प्रमाण प्रदान नहीं करता है। यह एक सहमत सीमा के भीतर टूटे हुए लिंक या गायब संसाधनों की पहचान करने में मदद कर सकता है, लेकिन इसके खोज नियम और कार्यान्वयन वातावरण किसी अन्य ऑपरेटर के क्रॉलर से भिन्न होते हैं।

सवाल को सटीक रखें: क्या URL खोजा गया, लाया गया, निरीक्षित, सूचीबद्ध किया गया, या किसी प्रश्न के लिए दिखाया गया? प्रत्येक सवाल का अलग सबूत होता है। उन्हें एकल “क्रॉल सफलता” लेबल के तहत संयोजित करना उस चरण को छिपाता है जिसे ध्यान की आवश्यकता होती है।

केंद्रित, साइट, और वृद्धिशील क्रॉलर

क्रॉलर श्रेणियाँ उद्देश्य और संग्रह नीति को वर्णित करती हैं न कि सख्त सार्वभौमिक उत्पाद श्रेणियों को। एक केंद्रित क्रॉलर उन संसाधनों को प्राथमिकता देता है जो एक विषय से संबंधित होते हैं; एक साइट क्रॉलर एक सहमत साइट सीमा के भीतर रहता है; एक वृद्धिशील क्रॉलर एक पुनःप्राप्त नीति के अंतर्गत ज्ञात संसाधनों का पुनः दौरा करता है।

ये पैटर्न एक-दूसरे को ओवरलैप कर सकते हैं। एक प्रलेखन कॉर्पस संग्रहकर्ता एक साइट के भीतर रह सकता है, चयनित अनुभागों को प्राथमिकता दे सकता है, और बाद में ज्ञात संसाधनों को अपडेट कर सकता है। उन आवश्यकताओं के आधार पर नियंत्रण चुनें बजाय कि यह मान लें कि एक श्रेणी का नाम प्रत्येक आवश्यकता को कवर करता है।

एक अद्यतन नीति को उद्देश्य को प्रतिबिंबित करना चाहिए। अक्सर बदलते संसाधन और स्थिर संदर्भ पृष्ठों को अलग-अलग उपचार की आवश्यकता हो सकती है। नीति एक परियोजना विकल्प है और इसे उपयोगकर्ताओं को आवश्यक जानकारी के द्वारा सही ठहराया जाना चाहिए।

क्रॉलर और स्क्रैपर की अलग-अलग जिम्मेदारियां हैं

एक क्रॉलर तय करता है कि कौन-से संसाधनों पर जाना है, जबकि एक स्क्रैपर उन संसाधनों से चयनित जानकारी को निकालता है। भूमिकाओं को अलग करने से इन्वेंटरी और डेटा अनुबंध दोनों की जांच करना आसान हो जाता है।

एक अनुमत समाचार संग्रह के लिए, खोज एक स्वीकृत अनुभाग से लेखों के URL पहचान सकती है। निष्कर्षण तब प्रत्येक लेख के शीर्षक और मुख्य सामग्री को पढ़ सकता है। क्रॉलर की सफलता इच्छित दस्तावेज़ों तक पहुँचने में है; स्क्रेपर की सफलता आवश्यक क्षेत्रों को सही अर्थ के साथ प्राप्त करने में है।

The समाचार खोज और निष्कर्षण कार्यप्रवाह यह विभाजन को दर्शाता है। एक पृष्ठ तक पहुंचा जा सकता है जबकि एक निष्कर्षण नियम अभी भी विफल होता है, इसलिए नौकरी को दोनों चरणों के लिए परिणामों को बनाए रखना चाहिए।

कुछ प्रबंधित उपकरण चरणों को मिलाते हैं और प्रत्येक दौरे की गई URL के लिए पठनीय सामग्री या संरचित आउटपुट लौटाते हैं। यह सुविधा भेद को समाप्त नहीं करती। प्रति-पृष्ठ परिणामों की समीक्षा करें और यह तय करें कि कार्य के लिए कौन सा डेटा स्वीकार्य है।

स्क्रेपलेस क्रॉल पृष्ठ संग्रह विवरणात्मक पुनरावृत्त संग्रह और आउटपुट विकल्प। अपने स्वयं के कार्यप्रवाह में कवरेज की परिभाषा और व्यावसायिक क्षेत्रों की वैधता को बनाए रखें, भले ही खोज और वसूली एक प्रबंधित सेवा द्वारा प्रदान की जाए।

HTTP इंजन और ब्राउज़र रेंडरिंग

एक HTTP क्रॉलर प्रतिक्रिया सामग्री प्राप्त करता है, जबकि एक ब्राउज़र-समर्थित क्रॉलर पृष्ठ स्क्रिप्टों को निष्पादित कर सकता है और परिणामी दस्तावेज़ का निरीक्षण कर सकता है। सही निष्पादन परत इस पर निर्भर करती है कि आवश्यक लिंक या जानकारी कहाँ प्रकट होती है।

एक स्थैतिक प्रलेखन पृष्ठ प्रारंभिक प्रतिक्रिया में इसकी पर्यटन को उजागर कर सकता है। एक क्लाइंट-रेन्डर्ड कैटलॉग केवल तब उत्पाद लिंक जोड़ सकता है जब जावा स्क्रिप्ट चले। एक HTTP-केवल सूची इस प्रकार उस व्यक्ति के लिए लिंक छोड सकती है जो पृष्ठ को ब्राउज़ कर रहा हो।

Rendering एक जानबूझकर किया गया चयन होना चाहिए। यह अतिरिक्त नेटवर्क कार्य और एक निश्चित ब्राउज़र वातावरण की आवश्यकता हो सकती है। ब्राउज़र निष्पादन को प्रत्येक संसाधन पर लागू करने से पहले पुष्टि करें कि क्या कार्य की आवश्यकता है।

स्क्रेपलेस एजेंट ब्राउज़र डायनेमिक वर्कफ़्लोज़ के लिए एक क्लाउड ब्राउज़र परत प्रदान करता है। एक ब्राउज़र को अभी भी एक तत्परता स्थिति और दायरा नियमों की आवश्यकता होती है; स्क्रिप्ट्स चलाने से यह सुनिश्चित नहीं होता है कि हर प्रासंगिक लिंक प्रकट हुआ है या कि हर खोजी गई संसाधन की अनुमति है।

तुलना बिना स्क्रैप की कीमतें संग्रह पैटर्न के खिलाफ। एक उपयोगी मूल्यांकन पूछता है कि कितनी निष्पादन एक निरीक्षण योग्य सूची उत्पन्न करता है, जिसमें अस्वीकृत पृष्ठ और ज्ञात गैप शामिल हैं, न कि केवल अनुरोधों की गिनती करना।

कवरेज, अनाथ पृष्ठ, और क्रॉल ट्रैप्स

क्रॉलर कवरेज वह भाग है जो एक परिभाषित संसाधन सेट का है जिसे क्रॉलर सफलतापूर्वक निरीक्षण करता है। संदर्भ सेट या स्पष्ट दायरे के बिना, "पूर्ण क्रॉल" का थोड़ा परिचालन अनुप्रयोग होता है।

लिंक-फॉलोइंग खोज एक अनाथ पृष्ठ को चूक सकती है जिस पर किसी भी विजिट की गई संसाधन के लिंक नहीं होते हैं। एक साइटमैप या एक मालिकाना सीएमएस निर्यात अतिरिक्त उम्मीदवार प्रदान कर सकता है, लेकिन प्रत्येक सूची में अपनी खुद की चूक या पुरानी प्रविष्टियाँ हो सकती हैं। जब पूर्णता महत्वपूर्ण होती है तो उन स्रोतों की तुलना करें।

एक क्रॉलर बहुत सारे कम-मूल्य वाले उम्मीदवारों को भी खोज सकता है। कैलेंडर और फ़िल्टर एक बड़े या असीमित यूआरएल स्थान का निर्माण कर सकते हैं। अलग-अलग स्ट्रिंग्स की सूची अनिवार्य रूप से उपयोगी पृष्ठों की अलग-अलग सूची नहीं होती है।

परिभाषित करें अर्थपूर्ण URL समकक्षता और बहिष्कार। जब जानकारी बदलती है जिसे कार्य की आवश्यकता होती है, तो रूपांतरों को अलग रखें। सभी प्रश्न स्ट्रिंग्स को स्वचालित रूप से एकीकृत करने से बचें, क्योंकि कुछ प्रश्न अलग सामग्री की पहचान करते हैं।

समाप्ति के कारण की रिपोर्ट: योग्य कार्य समाप्त, पृष्ठ बजट, समय बजट, या कोई अन्य सहमति की शर्त। लंबित और बाहर किए गए उम्मीदवारों को स्पष्ट रखें। सूची को अधिक विश्वसनीय माना जाता है जब ऑपरेटर यह बता सकता है कि कोई संसाधन अनुपस्थित क्यों था, बजाय केवल पूरा किए गए कार्य लेबल की ओर इशारा करने के।

एक क्रॉलर का जिम्मेदारी से संचालन

जिम्मेदार क्रॉलर संचालन एक अधिकृत दायरे, उचित साइट लोड और एक पहचान के साथ शुरू होता है जिसे स्रोत मालिक के साथ समन्वयित किया जा सकता है। ये नियंत्रण पहले से ही डिज़ाइन में होने चाहिए पहले कि मात्रा बढ़े।

It रोबोट्स बहिष्करण प्रोटोकॉल ग्राहकों को भाग लेने वाले क्लाइंट्स को क्रॉल प्राथमिकताओं का संचार करता है। यह प्राधिकरण प्रदान नहीं करता या सामग्री के कानूनी पुनर्व्यवहार का निपटारा नहीं करता है। लागू शर्तों और डेटा बाध्यताओं की समीक्षा अलग से करें।

कार्यकर्ताओं और नेटवर्क निकासों के बीच कुल होस्ट लोड का प्रबंधन करें। एक क्रॉलर की समवर्ती सेटिंग्स को एक समझौते या एक उचित संचालन नीति को दर्शाना चाहिए, न कि अधिकतम बुनियादी ढांचे की क्षमता। अप्रत्याशित स्रोत व्यवहार के लिए एक प्रभावी रोक नियंत्रण बनाए रखें।

केवल आवश्यक आउटपुट एकत्र करें। एक स्वामित्व-साइट लिंक ऑडिट में पूरी पृष्ठ की सामग्री को बनाए रखने की आवश्यकता नहीं हो सकती है। एक अनुमत दस्तावेज़ निगम को मुख्य सामग्री और स्रोत साक्ष्य की आवश्यकता हो सकती है जबकि असंबंधित व्यक्तिगत जानकारी को बाहर रखा जा सकता है।

चालू कार्यों के लिए एक मालिक назнач करें। मालिक को यह जानना चाहिए कि किन परिवर्तनों के लिए एक नया समीक्षा आवश्यक है, कैसे अस्वीकृत पृष्ठों की जांच की जाती है, और कैसे संग्रह निर्णय दर्ज किए जाते हैं। उस मालिकाना हक के बिना अवसंरचना तब भी चलती रह सकती है जब मौलिक दायरा अब सटीक नहीं होता।

एक निश्चित परिणाम के लिए एक क्रॉलर का चयन करना

एक क्रॉलर चुनें जो आपके कार्य के लिए इन्वेंटरी और सबूत प्रदान कर सके। अनुमोदित बीज स्रोतों, स्कोप नियंत्रण, और साइट की आवश्यक रेंडरिंग व्यवहार के साथ शुरू करें।

अपने रीडायरेक्ट, URL डुप्लीकेशन, क्वेरी पैरामीटर और व्यक्तिगत पृष्ठ विफलताओं के उपचार की जांच करें। पुष्टि करें कि क्या यह उपकरण बाहरी संसाधनों को शामिल नहीं करता है और कार्य की पूर्ति को प्रति-पृष्ठ सफलता से अलग करता है। एक सुसज्जित सारांश गणना आवश्यक जानकारी को छिपा सकती है जो कवरेज को मान्य करने के लिए आवश्यक है।

एक व्याख्यात्मक दस्तावेज़ माइग्रेशन के लिए, इच्छित परिणाम साइट के CMS और साइटमैप के साथ समन्वयित एक सूची हो सकता है। एक विषय सारांश के लिए, परिणाम प्रासंगिक दस्तावेज़ हो सकते हैं जिनमें स्रोत विशेषण और ज्ञात अपवाद होते हैं। वही क्रॉलर दोनों का समर्थन कर सकता है केवल यदि उसकी कॉन्फ़िगरेशन प्रासंगिक भिन्नताओं को बनाए रखती है।

एक सीमित नमूने से शुरू करें, परिणामों का निरीक्षण करें, और नियंत्रणों को समझने के बाद सहमति वाले दायरे का विस्तार करें। खोज और डाउनस्ट्रीम व्याख्या को इतनी अलग रखें कि इनमें से किसी को भी स्रोत सूची खोए बिना बदल दिया जा सके।

निष्कर्ष

एक वेब क्रॉलर प्रणालीगत रूप से नीतियों के तहत संसाधनों को खोजता और भ्रमण करता है। इसका मूल्य इस पर निर्भर करता है कि क्या परिणामस्वरूप सूची उपयोगी, सीमित और कार्य के लिए स्पष्ट है।

कवरेज क्या है, यह परिभाषित करें, आवश्यक निष्पादन स्तर चुनें, और शामिल या अस्वीकार किए गए संसाधनों के लिए कारण बनाए रखें। ये निर्णय एक क्रॉलर को विश्वसनीय ऑडिट और डेटा कार्यप्रवाहों का समर्थन करने देते हैं बिना यह संकेत दिए कि हर भ्रमण किया गया पृष्ठ अनुक्रमित था या हर वेबसाइट पृष्ठ मिला था।

संदर्भ

• स्क्रेपलेस क्रॉल पृष्ठ संग्रह
• गतिशील संसाधनों के लिए एजेंट ब्राउज़र निष्पादन
• समाचार खोज और निष्कर्षण कार्यप्रवाह