उपयोगकर्ता एजेंट क्या है?

क्लाइंट और इसका उपयोगकर्ता-एजेंट हेडर

एक उपयोगकर्ता एजेंट अनुरोध भेजता है और एक उपयोगकर्ता की ओर से प्रतिक्रियाएँ प्राप्त करता है। एक ब्राउज़र एक दस्तावेज़ को प्रदर्शित कर सकता है और पृष्ठ स्क्रिप्ट चला सकता है, जबकि एक सरल क्लाइंट केवल प्रतिक्रिया बाइट्स को पुनः प्राप्त कर सकता है। दोनों ही क्लाइंट हैं, भले ही वे विभिन्न क्षमताएं प्रदान करते हों।

यह HTTP उपयोगकर्ता-एजेंट परिभाषा आधारभूत विभाजन प्रदान करता है। उपयोगकर्ता-एजेंट क्षेत्र उत्पाद पहचानकर्ताओं और टिप्पणियों को ले जा सकता है जो भेजने वाले सॉफ़्टवेयर का वर्णन करते हैं। एक वेबसाइट उस जानकारी का उपयोग लॉगिंग या संगतता प्रबंधन के लिए कर सकती है, लेकिन यह क्षेत्र क्लाइंट द्वारा प्रदान किया जाता है।

एक उपयोगी डिबगिंग रिकॉर्ड वास्तविक क्लाइंट को उसके द्वारा भेजी गई स्ट्रिंग से अलग करता है। यदि एक स्क्रिप्ट अपने आपको एक डेस्कटॉप ब्राउज़र के रूप में रिपोर्ट करती है लेकिन कभी भी जावास्क्रिप्ट नहीं चलाती, तो गंतव्य अभी भी एक ब्राउज़र जैसी हेडर के समान एक HTTP-केवल इंटरएक्शन प्राप्त कर सकता है। यह अंतर यह समझा सकता है कि क्यों एक पृष्ठ दृश्य एक इंटरएक्टिव ब्राउज़र में सफल होता है जबकि एक पार्सर केवल प्रारंभिक मार्कअप को देखता है।

निदान शुरू करें यह पूछकर कि कौन सा क्लाइंट अनुरोध किया, उसने कौन सा हेडर भेजा, और कौन सा प्रतिनिधित्व वापस आया। यह अनुक्रम एक लंबे उपयोगकर्ता-एजेंट सूची से एक यादृच्छिक स्ट्रिंग चुनने की तुलना में अधिक जानकारीपूर्ण है।

कैसे एक ब्राउज़र उपयोगकर्ता-एजेंट स्ट्रिंग पढ़ें

एक ब्राउज़र उपयोगकर्ता-एजेंट स्ट्रिंग आमतौर पर एक साफ ब्राउज़र नाम के बजाय कई उत्पाद और संगतता टोकन शामिल करती है। ऐतिहासिक संगतता परंपराएं इस बात का मतलब है कि एक आधुनिक स्ट्रिंग उन नामों का जिक्र कर सकती है जो इसके वास्तविक ब्राउज़र परिवार की पहचान नहीं करते।

यह उपयोगकर्ता-एजेंट हेडर सिंटैक्स और उदाहरण यह दिखाते हैं कि क्यों नासमझ उप-स्ट्रिंग मिलान अविश्वसनीय है। एक टोकन एक स्ट्रिंग में बना रह सकता है क्योंकि वेबसाइटों ने कभी इसे अपेक्षित किया था। हर टोकन को एक अलग स्थापित कंपोनेंट के रूप में मानने से गलत निष्कर्ष उत्पन्न होते हैं।

नियमित विश्लेषण के लिए, कच्ची स्ट्रिंग रखें और एक पार्स की गई ब्राउज़र परिवार को अलग से रिकॉर्ड करें। यदि आप एक पार्सर का उपयोग करते हैं, तो इसके संस्करण या नियम सेट को बनाए रखें ताकि बाद में परिवर्तन को समझाया जा सके। एक डैशबोर्ड गिनती जो एक पार्सर अपडेट के बाद बदलती है, बदलती वर्गीकरण का वर्णन कर सकती है ना कि बदलते यात्रियों का।

अपने कार्य की आवश्यकता से अधिक क्लाइंट विवरण एकत्र न करें। एक रेंडरिंग जांच को एक ब्राउज़र परिवार और प्लेटफ़ॉर्म श्रेणी की आवश्यकता हो सकती है। एक सरल अपटाइम जाँच केवल आपके अपने मॉनिटरिंग क्लाइंट का नाम चाहती है। उद्देश्य को संकीर्ण बनाना अनावश्यक पहचान संग्रह को कम करता है।

हेडर, जावास्क्रिप्ट, और क्लाइंट संकेत

ब्राउज़र पहचान अनुरोध हेडर और पृष्ठ-पार्श्व एपीआई के माध्यम से प्रकट हो सकती है, और वे सतहें एक विश्वसनीय पहचान प्रमाणपत्र नहीं बनाती हैं। पृष्ठ स्क्रिप्ट पढ़ सकते हैं navigator.userAgent, जबकि एक सर्वर अनुरोध हेडर को देखता है। ब्राउज़र द्वारा प्रदान किए गए क्लाइंट संकेत एक और सतह प्रदान करते हैं जहाँ समर्थन किया जाता है।

यह navigator.userAgent प्रॉपर्टी स्पष्ट विश्वसनीयता सीमाएँ हैं। एक ब्राउज़र रिपोर्ट की गई स्ट्रिंग में विवरण को कम कर सकता है, और स्ट्रिंग को बदला जा सकता है। केवल एक दावा किए गए संस्करण से आधारित फीचर निर्णय इसलिए एक क्लाइंट को गलत वर्गीकृत कर सकता है।

वेबसाइट कार्यान्वयन के लिए, यह जांचना प्राथमिकता दें कि आवश्यक फीचर मौजूद है न कि नाम से समर्थन की भविष्यवाणी करना। डेटा संग्रह के लिए, उस वातावरण को रिकॉर्ड करें जिसे आपने वास्तव में बनाया और जो सामग्री उसने उत्पन्न की। एक दावा किया गया मोबाइल उपकरण एक मोबाइल व्यू पोर्ट की गारंटी नहीं देता; हेडर को बदलने से प्रत्येक रेंडरिंग विशेषता नहीं बदलती।

भिन्नताओं को अवलोकनीय रखें। यदि एक गंतव्य विभिन्न लेआउट लौटाता है, तो भिन्नता की पहचान के लिए पर्याप्त पृष्ठ साक्ष्य सहेजें। यह अनुमान लगाने से बचें कि एक असंगति उपयोगकर्ता-एजेंट क्षेत्र से आई जब भाषा, कुकीज़, भूगोल, या एक प्रयोग इसे स्पष्ट कर सकते हैं।

क्यों वेबसाइटें ग्राहकों को अलग-अलग प्रतिक्रिया देती हैं

एक वेबसाइट अपने सामग्री को क्लाइंट जानकारी के आधार पर भिन्न कर सकती है, लेकिन उपयोगकर्ता-एजेंट भिन्नता केवल एक संभावित कारण है। कुछ साइटें संगतता मार्कअप, उपकरण-उन्मुख नेविगेशन, या पहचाने गए क्रॉलर्स के लिए विशेष हैंडलिंग प्रदान करती हैं। अन्य समान दस्तावेज़ के साथ प्रतिक्रियाशील सीएसएस का उपयोग करते हैं।

मान लें कि एक सार्वजनिक कैटलॉग डेस्कटॉप और मोबाइल लेआउट में भिन्न मेनू प्रदर्शित करता है। एक चयनक जो डेस्कटॉप मेनू के लिए लक्षित है, एक संकीर्ण व्यू पोर्ट में विफल हो सकता है, भले ही हेडर अपरिवर्तित रहे। चयनक को बदलने या क्लाइंट पहचान को परिवर्तित करने से पहले प्रदर्शित दस्तावेज़ और वास्तविक स्क्रीन स्थितियों का निरीक्षण करें।

एक नियंत्रित तुलना एक बार में एक प्रासंगिक स्थिति को बदलती है। जहां संभव हो, URL, खाता स्थिति, भाषा, क्षेत्र, और संग्रह उद्देश्य को निश्चित रखें। फिर लौटाए गए पृष्ठ पहचान और आवश्यक क्षेत्रों की तुलना करें। यह दृष्टिकोण भिन्नताओं को क्रेडिट देने के लिए इसे कई कॉन्फ़िगरेशन परिवर्तनों को एक रन में मिलाने के बजाय बनाता है।

सर्वर-तरफ की टिप्पणियों के लिए, अंतिम URL और प्रतिक्रिया प्रकार को बनाए रखें। साइन-इन पेज पर पुनर्निर्देशित करना एक अप्रत्याशित उपयोगकर्ता-एजेंट प्रतिक्रिया की तरह दिख सकता है यदि आपकी पाइपलाइन केवल स्थिति को रिकॉर्ड करती है। सामग्री स्वयं उस अनुभव का प्रमाण है जो दिया गया था।

उपयोगकर्ता एजेंट और स्क्रैपिंग सत्र स्थिरता

स्क्रैपिंग सत्रों को एक सामंजस्यपूर्ण वातावरण की आवश्यकता होती है क्योंकि संबंधित अनुरोध पहले स्थापित राज्य पर निर्भर हो सकते हैं। एक प्रवाह के बीच में हेडर परिवर्तन विविधता जोड़ सकता है जो संग्रह त्रुटियों को समझाना कठिन बनाता है।

एक ग्राहक कॉन्फ़िगरेशन चुनें जो अधिकृत कार्य के लिए उपयुक्त हो, फिर उस कार्य के लिए इसे स्थिर बनाए रखें। जानबूझकर परिवर्तनों को रिकॉर्ड करें। यदि आप डेस्कटॉप और मोबाइल व्यू का मूल्यांकन कर रहे हैं, तो एक ही ब्राउज़िंग अनुक्रम के भीतर वैकल्पिक विवरणों के बजाय प्रत्येक अवलोकन के लिए अलग संदर्भ और स्पष्ट लेबल का उपयोग करें।

जब एक वर्कफ़्लो को प्रस्तुत सामग्री की आवश्यकता होती है, Scrapeless एजेंट ब्राउज़र ब्राउज़र निष्पादन परत प्रदान करता है। इसका वैकल्पिक ब्राउज़र फ़िंगरप्रिंट कॉन्फ़िगरेशन एक उपयोगकर्ता-एजेंट सेटिंग शामिल करता है। समर्थित विकल्पों और सीमाओं को कॉन्फ़िगरेशन को मार्गदर्शित करना चाहिए; एक कस्टम स्ट्रिंग को यह वादा नहीं माना जाना चाहिए कि प्रत्येक ब्राउज़र संपत्ति इसके साथ बदलती है।

संबंधित ब्राउज़र फ़िंगरप्रिंट अनुकूलन लेख अतिरिक्त संदर्भ प्रदान करता है। पैरामीटर व्यवहार के लिए वर्तमान दस्तावेज़ को प्राधिकरण के रूप में रखें, विशेष रूप से जहां एक पुराना लेख वर्तमान इंटरफ़ेस की तुलना में व्यापक क्षमता का वर्णन करता है।

क्लाइंट पहचान संकेतों की तुलना

विभिन्न क्लाइंट संकेत एक अनुरोध या ब्राउज़िंग वातावरण के विभिन्न भागों का वर्णन करते हैं। उन भूमिकाओं को अलग रखना आपको एक विसंगति को स्पष्ट करने में मदद करता है बिना उपयोगकर्ता-एजेंट क्षेत्र को अधिक लोड किए।

ये संकेत स्वतंत्र रूप से सामग्री को प्रभावित कर सकते हैं। एक क्षेत्रीय मूल्य विसंगति निकासी या एक सहेजे गए क्षेत्र कुकी से उत्पन्न हो सकती है, भले ही उपयोगकर्ता-एजेंट स्ट्रिंग समान हो। अवलोकनों की तुलना करने के लिए आवश्यक न्यूनतम संदर्भ को संरक्षित करें, फिर प्रासंगिक परत का निरीक्षण करें।

जिम्मेदारी से अपने स्वयं के क्रॉलर की पहचान करना

आपके द्वारा संचालित एक क्रॉलर को एक पहचान का उपयोग करना चाहिए जो साइट के नियमों और आपके संग्रह समझौते का समर्थन करता है। एक स्वामित्व-साइट ऑडिट या सहमत डेटा फीड के लिए, एक वर्णनात्मक क्लाइंट नाम और संपर्क तंत्र संचालन समन्वय को आसान बना सकता है।

यह मानने की कोशिश न करें कि एक खोज इंजन की पहचान का दावा करने से उस इंजन के लिए लक्षित अनुमतियाँ मिल जाती हैं। रोबोट नियम क्रॉलर पहचान के लिए मूल्यांकित किए जाते हैं, और पहचान पाठ अकेले यह स्थापित नहीं करता कि आपकी प्रक्रिया नामित क्रॉलर है। फ़ेच करने के लिए किन मार्गों पर निर्णय लेते समय अपने वास्तविक कार्य क्षेत्र का उपयोग करें।

एक छोटा परिचालन रिकॉर्ड बनाए रखें: क्लाइंट का विवरण, अनुमत होस्ट, उद्देश्य, मालिक और ऐसी शर्तें जो रुकने की आवश्यकता होती हैं। यदि साइट एक कॉन्फ़िगरेशन परिवर्तन का अनुरोध करती है, तो रिकॉर्ड आपको यह बताता है कि किस प्रक्रिया को अपडेट करना है। यह तब विशेष रूप से सहायक है जब कई टीमें संग्रह बुनियादी ढाँचा साझा करती हैं।

ब्राउज़र निष्पादन की लागत भी डिजाइन में शामिल होती है। की तुलना करें वर्तमान Scrapeless मूल्य निर्धारण काम के साथ जो आपका कार्य आवश्यक है। एक हेडर बदलना सस्ता है, लेकिन यह तब ब्राउज़र को नहीं बदल सकता जब फील्ड केवल पृष्ठ स्क्रिप्ट के चलने के बाद मौजूद होते हैं।

निष्कर्ष

एक उपयोगकर्ता एजेंट वह क्लाइंट है जो अनुरोध करता है; उपयोगकर्ता-एजेंट हेडर एक विवरण है जो वह क्लाइंट प्रदान करता है। संगतता और संग्रह समस्याओं का निदान करने के लिए इस भिन्नता का उपयोग करें बिना यह समझे कि स्ट्रिंग पूरी वातावरण को नियंत्रित करती है।

एक स्क्रैपिंग वर्कफ़्लो के लिए, वास्तविक क्लाइंट को परिभाषित करें, प्रासंगिक सेटिंग्स को स्थिर रखें, और लौटाई गई पृष्ठ को मान्य करें। जब एक साइट अपनी प्रतिक्रिया में भिन्नता करती है, तो पहचान सेटिंग्स को बदलने से पहले सबूत की तुलना करें। एक प्रलेखित वातावरण आपको पुनरुत्पादक अवलोकन और एक स्पष्ट स्पष्टीकरण देता है कि एकत्रित डेटा क्या दर्शाता है।

संदर्भ

• एजेंट ब्राउज़र फिंगरप्रिंट सेटिंग और सीमाएँ
• Scrapeless Agent Browser
• ब्राउज़र फिंगरप्रिंट कस्टमाइज़ेशन