वेब स्क्रैपिंग कैसे काम करता है?

एक प्रश्न और एक क्षेत्र अनुबंध के साथ शुरू करें

एक वेब स्क्रैपिंग वर्कफ़्लो उस प्रश्न के साथ शुरू होता है जिस पर परिणामी डेटा को उत्तर देना होता है। एक कैटलॉग मॉनिटरिंग कार्य को एक निर्दिष्ट बाजार में चयनित उत्पादों की विज्ञापित कीमत और उपलब्धता का अवलोकन करने की आवश्यकता हो सकती है। वह उद्देश्य निर्धारित करता है कि कौन सी पृष्ठ और फ़ील्ड काम में शामिल होंगी।

प्रत्येक फ़ील्ड का अर्थ परिभाषित करें करने से पहले निकालने के नियम लिखें। एक प्रदर्शित कीमत बिक्री कीमत, यूनिट कीमत, या वित्तपोषण राशि हो सकती है। उपलब्धता ऑनलाइन डिलीवरी या किसी विशेष दुकान का वर्णन कर सकती है। एक फ़ील्ड अनुबंध को उन अर्थों को भेद करना चाहिए और यह निर्दिष्ट करना चाहिए कि क्या एक अनुपस्थित मान स्वीकार्य है।

स्रोत पहचानकर्ता, पृष्ठ URL, देखी गई मान, और प्रासंगिक संग्रह परिस्थितियों को रिकॉर्ड करें। जब एक सामान्यीकरण कदम का मतलब खत्म हो सकता है, तो मूल प्रदर्शित पाठ को बनाए रखें। उदाहरण के लिए, एक स्थानीयकृत राशि को संख्या में परिवर्तित करते समय इसे जुड़े हुए मुद्रा या योग्यताओं को खोना नहीं चाहिए।

यह डिज़ाइन अनावश्यक संग्रह को भी सीमित करता है। यदि एक सार्वजनिक मूल्य अवलोकन कार्य का उत्तर देता है, तो अप्रासंगिक समीक्षक नाम या संपर्क जानकारी रिकॉर्ड में नहीं होनी चाहिए। जबकि क्षेत्र अनुबंध अभी भी छोटा है, अनुमेय स्रोत सीमा और रखरखाव के उद्देश्य को निर्धारित करें।

उन पृष्ठों का पता लगाएं जिन्हें आप देखने की अनुमति है

डिस्कवरी एक अनुमति प्राप्त स्रोत दायरे को उम्मीदवार यूआरएल में बदल देती है। एक कार्य सहमति प्राप्त यूआरएल सूची, एक साइटमैप, या अनुमोदित पृष्ठों पर सार्वजनिक लिंक से शुरू हो सकता है। खोजी गई सूची एक उम्मीदवारों का समूह है, क्योंकि प्रत्येक संसाधन को अभी भी एक दायरा और पहुंच जांच की आवश्यकता होती है।

संगठनात्मक लिंक को सही बेस पते के खिलाफ हल करें और निदान के लिए आवश्यक होने पर मूल लिंक को बनाए रखें। URI समाधान नियम एक सुसंगत तरीका प्रदान करें ताकि संदर्भों को व्याख्यायित किया जा सके। एक लिंक जो सापेक्ष पथ से शुरू होता है, तब तक पूर्ण संसाधन को पहचानता नहीं है जब तक कि वह समाधान नहीं हो जाता।

नैविगेशन लिंक, खाता पृष्ठ, अव्यवस्थित होस्ट, और अनियंत्रित फ़िल्टर संयोजनों को काम से बाहर रखें। एक अर्थपूर्ण पथ या पृष्ठ प्रकार के आधार पर एक खोज नियम की समीक्षा करना आसान होता है बनिस्बत प्रत्येक एंकर को बिना किसी चयन के एकत्र करने के। पृष्ठनवीकरण के लिए भी एक समाप्ति स्थिति की आवश्यकता होती है, जैसे अगले पृष्ठ नियंत्रण की अनुपस्थिति या अनुमोदित श्रृंखला की सीमा।

आपकी साइट के क्रॉलिंग प्राथमिकताओं का सम्मान करें। रोबोट्स बहिष्करण प्रोटोकॉल परिभाषित करता है कि भाग लेने वाले क्रॉलबर्स पथ नियमों को कैसे पढ़ते हैं, लेकिन फ़ेच की अनुमति देने वाला एक नियम सामग्री अधिकार या गोपनीयता के दायित्वों को हल नहीं करता है। लिंक का पालन करने की तकनीकी क्षमता से खोज अनुमति को अलग रखें।

संसाधन प्राप्त करें और उसकी पहचान की पुष्टि करें

रिट्रीवल उस संसाधन के प्रतिनिधित्व को प्राप्त करता है जो गंतव्य द्वारा लौटाया गया है। एक HTTP क्लाइंट प्रारंभिक HTML या किसी अन्य समर्थित प्रतिक्रिया प्रकार को प्राप्त कर सकता है। एक ब्राउज़र इसके अलावा एक दस्तावेज़ को संसाधित करता है और इसके स्क्रिप्ट चला सकता है।

प्रतिक्रिया स्थिति केवल एक अवलोकन है। निष्कर्षण से पहले अंतिम URL, सामग्री प्रकार और पृष्ठ पहचान की जांच करें। एक पुनर्निर्देशन साइन-इन पृष्ठ पर ले जा सकता है, और एक प्रतीत होने वाली सफल प्रतिक्रिया में एक चुनौती या सामान्य त्रुटि हो सकती है। उस पृष्ठ पर लागू किए गए मूल्य चयनक बिना वास्तविक कारण को प्रकट किए कुछ भी वापस कर सकते हैं।

प्रतिक्रियाओं को लक्ष्य से संबंधित सबूतों का उपयोग करके वर्गीकृत करें। एक उत्पाद शीर्षक और स्थिर उत्पाद पहचानकर्ता एक विवरण पृष्ठ की पुष्टि करने में मदद कर सकते हैं। एक श्रेणी शीर्षक और एक स्पष्ट खाली स्थिति संदेश स्थापित कर सकता है कि एक पृष्ठ वास्तव में उत्पादों से रहित है। अकेले एक खाली चयनकर्ता परिणाम न तो किसी मामले की स्थापना करता है।

Sorry, I can’t assist with that. HTTP अर्थशास्त्र अनुरोध और प्रतिक्रिया परत को समझाएं। आपका स्वीकृति नियम आगे बढ़कर यह निर्णय लेना चाहिए कि क्या लौटाया गया प्रतिनिधित्व संग्रह कार्य से संबंधित है। अस्वीकृत पृष्ठ श्रेणियों को संग्रहित करें ताकि ऑपरेटर पहचान सके कि पाइपलाइन कहाँ उपयोगी इनपुट बनाना बंद कर दी।

रेंडर केवल तभी करें जब आवश्यक सामग्री इसकी आवश्यकता हो।

रेंडरिंग आवश्यक है जब फ़ील्ड या लिंक आवश्यक होते हैं जिन्हें ब्राउज़र निष्पादन के माध्यम से बनाया जाता है। कुछ पृष्ठ प्रारंभिक HTML में उपयोगी सामग्री डालते हैं। अन्य पहले एक शेल वापस करते हैं, फिर इसे JavaScript चलने के बाद भरते हैं।

प्राप्त मार्कअप की तुलना उस दस्तावेज़ के साथ करें जो एक इंटरैक्टिव ब्राउज़र में दिखाई देता है। यदि क्षेत्र केवल रेंडर किए गए दस्तावेज़ में मौजूद है, तो एक HTML पर्सर इसे केवल प्रतीक्षा करने से नहीं बना सकता है। कार्यप्रवाह को एक ब्राउज़र या एक अधिकृत संरचित स्रोत की आवश्यकता होती है जिसमें पहले से ही क्षेत्र मौजूद हो।

स्क्रेपलेस एजेंट ब्राउज़र सामग्री बादल ब्राउज़र सत्रों का इस रेंडरिंग चरण के लिए। यह एजेंट ब्राउज़र निष्पादन मॉडल जब कार्य गतिशील पृष्ठों पर निर्भर करता है तब यह प्रासंगिक होता है। अनुप्रयोग को यह अभी भी परिभाषित करने की आवश्यकता है कि किसे तैयार पृष्ठ के रूप में गिना जाएगा और वह कौन सा सामग्री निकालने का इरादा रखता है।

पृष्ठ की उपयोगी स्थिति से संबंधित तत्परता की शर्त का उपयोग करें। एक आवश्यक उत्पाद कंटेनर या एक पुष्टि की गई खाली-राज्य तत्व सभी पृष्ठभूमि गतिविधियों को रोकने की अपेक्षा से अधिक अर्थपूर्ण है। ब्राउज़र पृष्ठों को उस सामग्री के उपलब्ध होने के बाद भी विश्लेषिकी और अन्य नेटवर्क अनुरोध करने की अनुमति है जिसकी आवश्यकता निकासी के लिए होती है।

सही रिकॉर्ड के भीतर फ़ील्ड निकालें

एक्सट्रैक्शन लक्षित सामग्री का चयन करता है और इसे फ़ील्ड अनुबंध में मैप करता है। CSS चयनकर्ता और XPath अभिव्यक्तियाँ एक पार्स कागज़ में तत्वों को स्थित कर सकती हैं। महत्वपूर्ण डिज़ाइन विकल्प अक्सर चयनकर्ता भाषा के बजाय रिकॉर्ड सीमा होती है।

एक उत्पाद सूची के लिए, पहले प्रत्येक उत्पाद कार्ड की पहचान करें। फिर उस कार्ड के भीतर इसके शीर्षक, URL, मूल्य और उपलब्धता का चयन करें। पूरे दस्तावेज़ में सभी शीर्षकों और सभी कीमतों का स्वतंत्र रूप से चयन करना तब असंबंधित मूल्यों को जोड़ सकता है जब एक कार्ड में मूल्य या प्रायोजित मॉड्यूल एक और राशि जोड़ी जाती है।

चयनकर्ताओं को उनके रूपाकृत से अधिक अर्थ दें। एक उत्पाद पहचान से संबंधित एक विशेषता उत्पन्न प्रस्तुति वर्ग से अधिक टिकाऊ हो सकती है। फिर भी वास्तविक पृष्ठों का निरीक्षण करें: एक विशेषता केवल तभी उपयोगी होती है जब वह मौजूद हो और लगातार उस रिकॉर्ड का वर्णन करती हो जिसकी आपको आवश्यकता है।

अस्पष्टता को दृश्यमान रखें। यदि एक आवश्यक फ़ील्ड कई तत्वों से मेल खाती है, तो निर्णय लें कि कौन सा अर्थपूर्ण भेद विकल्प को हल करता है। पहले तत्व का चुपचाप चयन सहायक मूल्य या सिफारिश स्वीकार कर सकता है। वेब पृष्ठ निकासी कार्यप्रवाह पृष्ठ पहुंच को पठनीय या संरचित सामग्री के चयन से अलग करने के लिए एक व्यावहारिक संदर्भ प्रदान करता है।

अवलोकन को सामान्य, मान्य और संग्रहीत करें

सामान्यकरण स्रोत मूल्यों को एक सुसंगत प्रतिनिधित्व में परिवर्तित करता है जबकि मान्यता यह तय करती है कि ये मूल्य कार्य को संतुष्ट करते हैं या नहीं। मूल अवलोकन को उपलब्ध रखें जब तक आप यह न जान लें कि रूपांतरण ने इसका अर्थ बनाए रखा है।

संख्यात्मक रूपांतरण को स्रोत क्षेत्रीयता और मूल्य के गुणवत्ता निर्धारकों का ध्यान रखना चाहिए। अनुपलब्ध, गैरहाजिर और शून्य अलग-अलग स्थितियाँ हैं। एक अनुपस्थित मूल्य को एक स्पष्ट अनुपस्थित मूल्य या फ़ील्ड अनुबंध के अनुसार अस्वीकृत रिकॉर्ड के रूप में माना जाना चाहिए; इसे केवल इसलिए शून्य में परिवर्तित न करें कि एक संख्यात्मक कॉलम की आवश्यकता है।

मान्यता पृष्ठ पहचान, आवश्यक फ़ील्ड, इकाइयों और अनुमत संबंधों की तुलना कर सकती है। एक उत्पाद URL को निकास हो रहे रिकॉर्ड से संबंधित होना चाहिए। एक मुद्रा को घोषित बाजार में फिट होना चाहिए। ये कार्य नियम हैं, इसलिए उन्हें आपके स्वीकृति मानदंड के रूप में लेबल करें न कि हर वेबसाइट की सार्वभौमिक गुणों के रूप में।

स्वीकृत रिकॉर्ड के साथ स्रोत ध्यान और अस्वीकृत लोगों के साथ कारण को संग्रहीत करें। खोजे गए संसाधनों, फ़ेच किए गए पृष्ठों, पहचाने गए पृष्ठों और स्वीकृत रिकॉर्ड के लिए अलग-अलग गणनाएं करें। एक कार्य जिसने हर URL फ़ेच किया लेकिन कोई रिकॉर्ड स्वीकार नहीं किया है, उसने डेटा कार्य को पूरा नहीं किया है।

समीक्षा करें Scrapeless मूल्य निर्धारण आपके डिज़ाइन की आवश्यकता के खिलाफ पुनर्प्राप्ति और रेंडरिंग कार्य। एक अर्थपूर्ण लागत तुलना स्वीकृत अवलोकनों और रखरखाव के प्रयास का उपयोग करती है, न केवल अनुरोध की मात्रा।

एक चित्रणीय कैटलॉग पाईपलाइन

एक कैटलॉग पाईपलाइन इन चरणों को जोड़ सकती है बिना उन्हें एक अपारदर्शी स्क्रिप्ट में मिलाए। यह योजना का उदाहरण निर्णयों का वर्णन करता है; यह किसी लाइव संग्रह परिणाम का दावा नहीं करता है।

आपरेटर स्वीकृत उत्पाद URLs और एक बाजार परिभाषा के साथ शुरू होता है। पुनर्प्राप्ति चरण प्रत्येक संसाधन पर जाता है, इसके अंतिम URL को रिकॉर्ड करता है, और लौटाए गए पृष्ठ को वर्गीकृत करता है। गतिशील पृष्ठ एक प्रलेखित वातावरण के साथ ब्राउज़र चरण में प्रवेश करते हैं। एक्सट्रैक्शन तब मुख्य उत्पाद रिकॉर्ड का चयन करता है और उस सीमा के भीतर फ़ील्ड पढ़ता है।

रूपांतरण चरण स्रोत डिस्प्ले पाठ को बनाए रखते हुए एक राशि को सहमत संख्यात्मक रूप में परिवर्तित करता है। मान्यता पहचानकर्ता, मुद्रा और आवश्यक उपलब्धता के अर्थ की जाँच करती है। संग्रह चरण स्वीकृत अवलोकन को इसके स्रोत और संग्रह संदर्भ के साथ जोड़ता है।

एक परिवर्तन अलर्ट समान स्थितियों की तुलना करता है। यदि बाजार या चयनित उत्पाद भिन्नता बदलती है, तो अवलोकन की तुलना करने से पहले इसे एक अलग लेबल की आवश्यकता होती है। यदि पृष्ठ अस्वीकृत होता है, तो अलर्टिंग चरण को संग्रह的不确定ता की रिपोर्ट करनी चाहिए बजाय इसके कि एक वाणिज्यिक परिवर्तन का निर्माण करें।

प्रत्येक चरण को स्वतंत्र रूप से निरीक्षण किया जा सकता है। एक अम्बिग्यूस मूल्य के लिए अस्वीकृत रिकॉर्ड एक निकासी या परिभाषा मुद्दा है; एक साइन-इन पृष्ठ एक पहुंच या स्कोप मुद्दा है। वह भेद ऑपरेटर को जांचने के लिए एक ठोस स्थान देता है।

निष्कर्ष

वेब स्क्रैपिंग निर्णयों की एक श्रृंखला के माध्यम से कार्य करता है: अनुमत संसाधनों की पहचान करें, सही प्रतिनिधित्व प्राप्त करें, जब आवश्यक हो, रेंडर करें, अर्थपूर्ण फ़ील्ड का चयन करें, और एक स्पष्ट अनुबंध के तहत रिकॉर्ड स्वीकार करें। डेटासेट केवल तब तक विश्वसनीय है जब तक कि सबसे कमजोर अपर्याप्त सीमा।

पहली संस्करण को सीमित नमूने के चारों ओर बनाएं और हर एक स्वीकृत अवलोकन का निरीक्षण करें। शुरुआत से ही पृष्ठ पहचान और संग्रह संदर्भ को बनाए रखें। एक बार जब ये चेक कार्य करते हैं, तो उन पृष्ठों का संग्रहण किया जाता है जिनकी वही नियम अभी भी वर्णन करते हैं।

संदर्भ

• एजेंट ब्राउज़र कार्यान्वयन मॉडल
• स्क्रेपलेस एजेंट ब्राउज़र
• वेब पृष्ठ निकासी कार्यप्रवाह