एक वेब क्रॉलर काम कैसे करता है?

बीज और यूआरएल सीमा

एक क्रॉलर बीज URLs और एक सीमांकन के साथ शुरू होता है जो उम्मीदवार संसाधनों को रखता है। बीज एक स्वीकृत सूची, एक साइटमैप, या चयनित सार्वजनिक पृष्ठों से आ सकते हैं। सीमांकन उस कार्य का प्रतिनिधित्व करता है जो अभी पूरा नहीं हुआ है, अक्सर खोज स्रोत और प्राथमिकता जैसी जानकारी के साथ।

एक शेड्यूलर क्रॉल के उद्देश्य के अनुसार एक उम्मीदवार का चयन करता है। एक साइट इन्वेंटरी व्यापक अन्वेषण को प्राथमिकता दे सकती है, जबकि एक केंद्रित संग्रह शायद किसी विशेष पृष्ठ प्रकार से मेल खाने वाले लिंक को प्राथमिकता देता है। कोई भी रणनीति यह सुनिश्चित नहीं करती कि प्रत्येक प्रासंगिक पृष्ठ पाया जाएगा।

The वेब क्रॉलिंग आर्किटेक्चर सीमा को डाउनलोडिंग और लिंक प्रोसेसिंग से अलग करता है। यह अलगाव एक नौकरी के रिकॉर्ड को लंबित कार्य को बनाए रखने में मदद करता है जब कई कार्यकर्ताओं द्वारा फेचिंग की जाती है।

बीज वंश का पता रखें। साइट मालिक द्वारा प्रदान किया गया एक यूआरएल एक फुटर में पाए गए एक से अलग खोज आधार रखता है। उस संसाधन को संग्रहित करें जिसने एक उम्मीदवार को पेश किया जब उस संबंध से कवरेज को समझाने में मदद मिले। एक सीमित ऑडिट के लिए, सीमारेखा को यह भी बनाए रखना चाहिए कि एक उम्मीदवार को क्यों बाहर रखा गया था, बजाय इसके कि हर अपरिचित पते को चुपचाप खारिज किया जाए।

रिसोर्स को लाने से पहले दायरे की जांचें

एक क्रॉलर उम्मीदवार यूआरएल को दायरे और पहुँच नियमों के खिलाफ़ जाँच करता है इससे पहले कि वह एक फ़ेच शेड्यूल करे। सामान्य दायरा आयामों में होस्ट, पथ प्रीफ़िक्स, संसाधन प्रकार, और प्रश्न पैटर्न शामिल होते हैं। ये परियोजना निर्णय हैं और इन्हें लिखित रूप में रखा जाना चाहिए इससे पहले कि क्रॉल बढ़े।

आवश्यकता है कि आप पाठ को इंग्लिश से हिंदी में अनुवाद करें। नियम: 1. केवल अनुवादित पाठ को आउटपुट करें - कोई स्पष्टीकरण, कोई अतिरिक्त रैपिंग कोड फेंस नहीं। 2. मार्कडाउन/एचटीएमएल संरचना (शीर्षक, सूचियाँ, लिंक, तालिकाएँ) को बिल्कुल बनाए रखें। 3. किसी भी प्लेसहोल्डर टोकन जैसे @@CODEBLOCK_0@@ या @@INLINECODE_0@@ को EXACTLY वैसा ही रखें; कभी भी अनुवाद न करें, न ही पुनर्व्यवस्थित करें, न ही मर्ज करें, न ही फिर से प्रारूपित करें। 4. कोई ``` कोड फेंस न जोड़ें या न हटाएँ, और सामान्य पाठ को कोड ब्लॉक में रैप न करें। संबंधित लिंक को पृष्ठ के लागू बेस यूआरएल का उपयोग करके हल करें। द URI संदर्भ समाधान मानक यह समझाता है कि संदर्भ कैसे एक निरंतर पता बनता है। हल किए गए यूआरएल की तुलना क्षेत्र के नियमों से करें; एक सापेक्ष-सा लिंक अभी भी इरादे वाले क्षेत्र के बाहर हल हो सकता है।

रेडिरेक्ट्स और प्रारंभिक उम्मीदवारों का मूल्यांकन करें। एक स्वीकृत URL एक अन्य होस्ट या प्रतिबंधित पथ की ओर ले जा सकता है। अंतिम गंतव्य को प्रारंभिक पते से अनुमोदन विरासत में लेने के बजाय वही दायरा समीक्षा प्राप्त करनी चाहिए।

रोबोट नियमों की जांच करें कि क्रॉलर की पहचान क्या है। रोबोट्स एक्सक्लूजन प्रोटोकॉल कानून फ़ाइल के लिए रास्ता मेलखाने और प्रबंधन को परिभाषित करता है। साइट प्राथमिकताओं को संविदात्मक और कानूनी प्रतिबंधों के साथ बनाए रखें। एक तकनीकी अनुमति निर्णय यह स्थापित नहीं करता है कि सामग्री का हर संभव डाउनस्ट्रीम उपयोग अनुमत है।

एक स्वामित्व वाली प्रलेखन ऑडिट के लिए, केवल प्रलेखन होस्ट और सहमति वाले अनुभागों को एकत्रित करना प्रत्येक जुड़े गंतव्य को अनुमति देने की तुलना में सत्यापन के लिए आसान है।

निष्कर्षण, पृष्ठ पहचान, और वैकल्पिक रेंडरिंग

फेचिंग उस प्रतिनिधित्व को प्राप्त करता है जिसकी आवश्यकता होती है ताकि एक संसाधन की जांच की जा सके और आगे के लिंक खोजे जा सकें। एक क्रॉलर HTTP क्लाइंट का उपयोग कर सकता है उपयुक्त पृष्ठों के लिए और जब लिंक JavaScript पर निर्भर करते हैं तो ब्राउज़र कार्यान्वयन।

पहले निर्धारित करें कि क्या आया। प्रतिक्रिया स्थिति, अंतिम URL, और एक उपयुक्त पृष्ठ वर्गीकरण रिकॉर्ड करें। प्रमाणीकरण के लिए एक रीडायरेक्ट या एक चुनौती प्रतिक्रिया एक क्रॉलर को मान्य परिवहन डेटा और कोई उपयोगी खोज इनपुट छोड़ सकती है। केवल यह कारण नहीं है कि बाइट्स लौटाए गए थे, उस संसाधन को सफलतापूर्वक निरीक्षित के रूप में न गिनें।

जब प्रारंभिक_markup से खोज लिंक अनुपस्थित होते हैं, तो रेंडरिंग का एक उद्देश्य होता है। हर संसाधन को ब्राउज़र की आवश्यकता है, ये मानने से पहले पृष्ठ का निरीक्षण करें। ब्राउज़र निष्पादन नेटवर्क कार्य जोड़ सकता है और उस स्थिति को पेश कर सकता है जो एक साधारण दस्तावेज़ फ़ेच नहीं लाता।

डायनैमिक वर्कफ़्लोज़ के लिए, स्क्रैपलेस एजेंट ब्राउज़र ब्राउज़र-आधारित संग्रह द्वारा उपयोग की जाने वाली निष्पादन परत प्रदान करता है। स्क्रेपलेस वेबसाइट क्रॉल कॉन्फ़िगरेशन प्रबंधित क्रॉल सतह का वर्णन करता है। उनकी पूर्णता के दावे पर भरोसा करने से पहले उनके दायरे के नियंत्रण और परिणाम सेमांटिक्स की पुष्टि करें।

एक प्रदर्शित पृष्ठ को अभी भी उस कार्य द्वारा आवश्यक लिंक या सामग्री से संबंधित एक तत्परता निर्णय की आवश्यकता होती है। क्रॉलर को यह जानना चाहिए कि क्या उसने इच्छित दस्तावेज़, एक स्पष्ट खाली स्थिति, या एक अप्रासंगिक प्रतिक्रिया का निरीक्षण किया है।

लिंक डिस्कवरी और URL डीडुप्लिकेशन

लिंक डिस्कवरी निरीक्षित संसाधन से उम्मीदवार संदर्भ निकालती है, और डिडुप्लिकेशन यह तय करता है कि कौन से उम्मीदवार पहले से ज्ञात कार्य का प्रतिनिधित्व करते हैं। एक क्रॉलेर को दोनों यूआरएल-स्तर और, कुछ परियोजनाओं में, सामग्री-स्तर के तर्क की आवश्यकता होती है।

साधारण HTTP फ़ेच आइडेंटिटी से फ़्रैगमेंट हटा दें जब उचित हो, क्योंकि एक फ़्रैगमेंट एक स्थिति या क्लाइंट-साइड व्याख्या की पहचान करता है न कि एक अलग सर्वर अनुरोध। क्वेरी पैरामीटर्स के प्रति सतर्क रहें। कुछ पैरामीटर केवल श्रेय को ट्रैक करते हैं, जबकि अन्य उत्पाद संस्करण या श्रेणी की सामग्री को बदलते हैं। एक नियम जो सभी क्वेरीज़ को मिटा देता है, विभिन्न संसाधनों को संकुचित कर सकता है।

मूल और अंतिम पते को एक सामान्यीकृत शेड्यूलिंग कुंजी के साथ बनाए रखें। यह आपको गलत समकक्ष नियम को संशोधित करने की अनुमति देता है बिना खोज के मार्ग को खोए।

सामग्री डुप्लिकेट एक अलग मुद्दा हैं। कई यूआरएल समान दस्तावेज़ परोस सकते हैं, और एक यूआरएल के दो फेच क्षेत्र या सत्र के आधार पर भिन्न हो सकते हैं। रिकॉर्ड को मर्ज करने से पहले तय करें कि कौन-से भेद कार्य के लिए महत्वपूर्ण हैं। एक सामग्री हैश समान बाइट्स का पता लगा सकता है, लेकिन समान बाइट्स डुप्लिकेट जानकारी की एकमात्र परिभाषा नहीं हैं।

यह वेबसाइट यूआरएल खोजने के तरीके दिखाते हैं कि क्यों इन्वेंट्रीज़ अक्सर कई इनपुट की आवश्यकता होती है। लिंक और साइटमैप साइट के विभिन्न दृष्टिकोणों का वर्णन करते हैं, और दोनों प्रासंगिक संसाधनों को छोड़ सकते हैं।

होस्ट लोड शेड्यूलिंग और क्रॉल ट्रैप को नियंत्रित करना

एक क्रॉलर शेड्यूलर कुल होस्ट लोड को नियंत्रित करता है और उपयोगी सीमाओं के बिना खोज को विस्तार से रोकता है। प्रति-होस्ट सीमाएं श्रमिकों और नेटवर्क निकास पर लागू होनी चाहिए, क्योंकि गंतव्य संयुक्त संग्रह कार्यभार का अनुभव करता है।

स्वीकृत अनुरोध गति, एक पृष्ठ बजट, और नौकरी के लिए एक समय बजट सेट करें। ये परिचालन बाधाएं हैं, सार्वभौमिक सुरक्षित मान नहीं। एक छोटा सार्वजनिक साइट और एक सहमति उपक्रम डेटा फ़ीड के बहुत अलग सीमाएं हो सकती हैं। चुनी गई सीमाओं के स्रोत का दस्तावेज़ करें।

क्रॉल ट्रैप अक्सर यूआरएल स्पेस से उत्पन्न होते हैं जो नए संयोजनों को उत्पन्न करना जारी रख सकते हैं। कैलेंडर नेविगेशन, सॉर्टिंग विकल्प, और फैसेटेड फ़िल्टर सामान्य उदाहरण हैं। एक क्रॉलर अंतहीन रूप से विभिन्न पते देख सकता है जो अपने उद्देश्य के लिए थोड़ी जानकारी जोड़ते हैं।

पृष्ठ के अर्थ से जुड़े नियमों का उपयोग करें। एक कैटलॉग इन्वेंट्री के लिए, मानक उत्पाद विवरण पथ सहायक हो सकते हैं जबकि फ़िल्टर पैरामीटर के मनमाने संयोजन दायरे से बाहर हैं। यदि उस अंतर को विश्वससनीय तरीके से अनुमानित नहीं किया जा सकता है, तो स्रोत के स्वामी को स्वीकृत इन्वेंट्री प्रदान करना चाहिए या खोज को और सीमित करना चाहिए।

रोकने के कारण को संग्रहित करें। एक पृष्ठ बजट तक पहुंचना पात्र फ्रंटियर को समाप्त करने से भिन्न है। ऑपरेटरों को देख पाने में सक्षम होना चाहिए कि क्या क्रॉल डिज़ाइन से रुक गया, इसकी अनुरोधित सीमा पूरी की, या फिर भी लंबित कार्य था।

क्रॉल परिणाम, चेकपॉइंट और कवरेज़

क्रॉल परिणामों को बताना चाहिए कि क्या खोजा गया, दौरा किया गया, बाहर किया गया, और स्वीकार किया गया। एक एकल “पूर्ण” लेबल यह नहीं बताता कि क्या इच्छित इन्वेंट्री कवर की गई थी।

उम्मीदवारों और संसाधनों के लिए स्थिति का रिकॉर्ड रखें। एक उम्मीदवार दायरे से बाहर, नीति द्वारा मना किया गया, लंबित, फेच किया गया, या सामग्री निरीक्षण के बाद अस्वीकृत हो सकता है। राज्य संक्रमणों को समझने योग्य बनाए रखें। यदि एक ऑपरेटर चेकपॉइंट से किसी काम को फिर से शुरू करता है, तो उस रिकॉर्ड को समाप्त संसाधनों को उन लोगों से अलग करना चाहिए जो अभी भी एक निर्णय की प्रतीक्षा कर रहे हैं।

कवरेज हमेशा एक परिभाषा के सापेक्ष होता है। एक क्रॉल स्वीकृत बीज सूची, एक पथ नियम के तहत पहुंच योग्य लिंक, या एक साइटमैप में घोषित संसाधनों को कवर कर सकता है। यह केवल अपनी कतार के अंत तक पहुंचने के द्वारा यह साबित नहीं कर सकता कि कोई अनाथ पृष्ठ मौजूद नहीं है।

पूर्णता के मामले में देखी गई इन्वेंट्री की तुलना किसी अन्य उपयुक्त स्रोत से करें। एक स्वामित्व सीएमएस निर्यात उन पृष्ठों का खुलासा कर सकता है जिनके पास कोई आगमन लिंक नहीं है। एक साइटमैप उन घोषित पृष्ठों की पहचान कर सकता है जिन्हें क्रॉल ने चूक दिया। भिन्नताओं को स्रोत की जांच करके हल करें, बिना व्याख्या के बिना गिनतियों को मर्ज करके नहीं।

चयनित निष्पादन स्तर के लिए बजट बनाएं वर्तमान स्क्रैपलेस मूल्य निर्धारण।प्रदर्शित खोज और स्थिर फेचिंग की अलग-अलग संसाधन आवश्यकताएँ होती हैं, इसलिए परिभाषित कवरेज परिणाम के खिलाफ लागत की तुलना करें।

एक स्पष्ट दस्तावेज़ीकरण क्रॉल

एक स्वामित्व दस्तावेज़ीकरण क्रॉल हर नियंत्रण को दृश्य बना सकता है। यह योजना उदाहरण एक सहमति दस्तावेज़ीकरण अनुभाग और साइट मालिक द्वारा प्रदान किया गया साइटमैप से शुरू होती है। यह एक मापी गई लाइव क्रॉल का प्रतिनिधित्व नहीं करता।

फ्रंटियर उन बीजों को उनके खोज स्रोतों के साथ प्राप्त करता है। दायरा जांचें कि कार्य स्वीकृत होस्ट और पथ पर बना रहे। प्रत्येक फेच किया गया पृष्ठ वर्गीकृत किया जाता है, उसके लिंक को हल किया जाता है, और पात्र उम्मीदवार फ्रंटियर में यूआरएल समानता नीति के तहत प्रवेश करते हैं।

क्रॉलर रीडायरेक्ट्स का रिकॉर्ड रखता है और खाता मार्गों को बाहर करता है। यह वास्तविक रूप से उस पर निर्भर करने वाले नेविगेशन के लिए ही ब्राउज़र रेंडरिंग का उपयोग करता है। एक अलग ऑडिट चरण शीर्षकों, आंतरिक लिंक, और माइग्रेशन कार्य के लिए आवश्यक अन्य संपत्तियों की जांच करता है।

जब पात्र फ्रंटियर समाप्त हो जाता है, तो ऑपरेटर द्वारा विज़िट की गई इन्वेंट्री की तुलना साइटमैप और सीएमएस सूची के साथ की जाती है। कमी वाले संसाधनों के लिए विशेष कारण होते हैं: अनलिंक्ड पृष्ठ, दायरे से बाहर का पथ, अस्वीकृत प्रतिक्रिया, या अनुपलब्ध स्रोत। अंतिम रिपोर्ट तब कवरेज का वर्णन कर सकती है जिसे मालिक सत्यापित कर सकता है।

यह कार्यप्रवाह क्रॉलर को खोजने और पुनः प्राप्त करने की जिम्मेदारी छोड़ देता है, जबकि ऑडिट व्याख्या का मालिक है। इन जिम्मेदारियों को अलग रखना एक अन्य अधिकृत विश्लेषण के लिए समान इन्वेंट्री का पुनः उपयोग करना आसान बनाता है।

निष्कर्ष

एक वेब क्रॉलर कार्यक्रमित शेड्यूलिंग, फेचिंग, लिंक खोज, और डेडुप्लिकेशन के नियंत्रणित चक्र के माध्यम से कार्य करता है। इसके दायरा नियम और रोकने की शर्तें यह निर्धारित करती हैं कि वह चक्र क्या दावा कर सकता है कि यह कवर किया गया है।

स्पष्ट बीजों और सहमत इन्वेंट्री परिभाषा के साथ शुरू करें। उम्मीदवार निर्णयों, अंतिम गंतव्यों, और अस्वीकृति कारणों को परिणामों में रखें। एक क्रॉल उपयोगी है जब इसकी कवरेज की व्याख्या की जा सके और उसकी शुरुआत के उद्देश्य के खिलाफ जांच की जा सके।

संदर्भ

• स्क्रैपलेस वेबसाइट क्रॉल कॉन्फ़िगरेशन
• गतिशील पृष्ठों के लिए एजेंट ब्राउज़र निष्पादन
• वेबसाइट URL खोज विधियाँ