सेट-ऑफ-मार्क प्रॉम्प्टिंग क्या है?
स्क्रेपलेस स्क्रैपिंग ब्राउज़र एक प्रबंधित ब्राउज़र रनटाइम प्रदान करता है जो दृश्य ब्राउज़र-एजेंट कार्यप्रवाहों के लिए बंद पृष्ठों और स्क्रीनशॉट प्रदान कर सकता है।
संक्षेप में
- सेट-ऑफ-मार्क प्रॉम्प्टिंग स्थानों को छोटे लेबल में बदल देता है। एक दृष्टि प्रणाली महत्वपूर्ण छवि क्षेत्रों पर संख्याएँ या अक्षर ओवरले करती है ताकि एक मल्टीमोडल मॉडल एक वस्तु का संदर्भ दे सके बिना पिक्सेल समन्वय आविष्कार किए।
- यह तकनीक संचार में सुधार करती है, अपने आप में धारणा नहीं। सेगमेंटेशन या इंटरफेस पार्सिंग क्षेत्रों का प्रस्ताव करती है; अंक मॉडल को उनके बीच चयन करने के लिए एक संक्षिप्त शब्दावली प्रदान करते हैं।
- ब्राउज़र एजेंट भाषा को नियंत्रण से जोड़ने के लिए SoM का उपयोग करते हैं। एक प्रॉम्प्ट मॉडल से मार्कर 12 चुनने के लिए कह सकता है, फिर एक ऑटोमेशन परत उस मार्कर को वापस एक बटन या इनपुट क्षेत्र से मैप करती है।
- मार्क उपयोगी दृश्य प्रमाण को भी छिपा सकते हैं। भरी हुई लेबल, खराब क्षेत्र प्रस्ताव, और टेक्स्ट पर रखे गए ओवरले सटीकता कम कर सकते हैं, इसलिए चिह्नित छवि को अपनी गुणवत्ता जांचों की आवश्यकता होती है।
- SoM कई में से एक ग्राउंडिंग विकल्प है। DOM लोकेटर्स, पहुंचने योग्य पेड़, OCR, स्क्रीनशॉट, और समन्वय भविष्यवाणी अलग-अलग इंटरफेस स्थितियों में फिट होते हैं।
सेट-ऑफ-मार्क प्रॉम्प्टिंग परिभाषित किया गया
सेट-ऑफ-मार्क प्रॉम्प्टिंग एक दृश्य प्रॉम्प्टिंग विधि है जो एक छवि में उम्मीदवार क्षेत्रों पर स्पष्ट, बोलने योग्य मार्क्स - सामान्यतः संख्याएँ या अक्षर - रखने का कार्य करती है। मल्टीमोडल मॉडल एनोटेटेड छवि को देखता है और अनुरोधित वस्तु के अनुरूप मार्क के साथ उत्तर देता है। यह विधि पेपर में प्रस्तुत की गई थी सेट-ऑफ-मार्क प्रॉम्प्टिंग जीपीटी-4वी में असाधारण दृश्य ग्राउंडिंग को प्रेरित करता है, जहां ऑफ-थे-शेल्फ सेगमेंटेशन मॉडल एक छवि को विभाजित करते हैं और ओवरले प्रत्येक क्षेत्र को नाम देने में आसान बनाता है।
मुख्य समस्या दृश्य ग्राउंडिंग है। एक मॉडल वाक्य “खाते के मेनू पर क्लिक करें” को समझ सकता है और एक स्क्रीनशॉट में मेनू को पहचान सकता है, फिर भी उसे यह व्यक्त करने का एक विश्वसनीय तरीका चाहिए कि लक्ष्य कहाँ है। प्राकृतिक भाषा जैसे “ऊपर दाएँ कोने के पास आइकन” तब अम्बिग्यूअस हो जाती है जब कई आइकन एक साथ निकट होते हैं। एक मार्क एक अस्थायी पहचानकर्ता बनाता है: मॉडल “17” वापस कर सकता है, और नियंत्रक 17 को संग्रहीत क्षेत्र ज्यामिति से जोड़ सकता है।
SoM अंतर्निहित पृष्ठ को बदलता नहीं है, एक नया मॉडल प्रशिक्षित करता है, या ऑटोमेशन प्रोटोकॉल को परिभाषित करता है। यह मॉडल को दिखाए गए अवलोकन को बदलता है। वह भिन्नता महत्वपूर्ण है क्योंकि टीमें इनफरेंस समय पर ओवरले को जोड़ या हटा सकती हैं। मूल अनुसंधान SoM को एक प्रशिक्षण-रहित प्रॉम्प्टिंग विधि के रूप में प्रस्तुत करता है, और सार्वजनिक माइक्रोसॉफ्ट SoM कार्यान्वयन मास्क बनाने और मार्क बनाने के लिए उपयोग किए गए अलग-अलग चरणों को दिखाता है।
एक चिह्नित स्क्रीनशॉट इसलिए कंप्यूटर दृश्य और भाषा तर्क के बीच एक छोटा इंटरफेस है। दृष्टि पक्ष चयन योग्य क्षेत्रों का प्रस्ताव करता है। रेंडरिंग पक्ष अनूठे लेबल सौंपता है। भाषा मॉडल चित्र और उन लेबल पर तर्क करता है। एक्शन लेयर चुने गए लेबल को समन्वय या संरचित तत्व संदर्भ में फिर से परिवर्तित करती है। प्रत्येक चरण को अलग से मूल्यांकित किया जा सकता है बजाय इसके कि पूरे एजेंट को एक अपारदर्शी परिणाम के रूप में माना जाए।
सेट-ऑफ-मार्क प्रॉम्प्टिंग कैसे काम करती है
पहला चरण उम्मीदवार क्षेत्रों का निर्माण करता है। एक प्राकृतिक छवि पर, एक सेगमेंटेशन मॉडल कई स्तरों पर वस्तु मास्क उत्पन्न कर सकता है। एक वेब पृष्ठ पर, उम्मीदवार क्षेत्र पहचानित नियंत्रण, OCR बॉक्स, एक्सेसिबिलिटी नोड्स, DOM ज्यामिति, या संयोजन से आ सकते हैं। चुनाव यह निर्धारित करता है कि मॉडल को क्या चुनने की अनुमति है। यदि क्षेत्र जनरेटर एक छोटे खुलासे तीर को चूक जाता है, तो कोई मार्कर प्रॉम्प्ट बाद में उस लक्ष्य को पुनः प्राप्त नहीं कर सकता।
दूसरा चरण क्षेत्रों को छानता और क्रमबद्ध करता है। ओवरलैपिंग मास्क एक ही वस्तु के लिए कई लेबल बना सकते हैं, जबकि छोटे सजावटी आकार स्क्रीनशॉट को अनावश्यक संख्याओं से भर सकते हैं। व्यावहारिक प्रणालियाँ आकार सीमा से नीचे के क्षेत्रों को हटा देती हैं, डुप्लिकेट को मर्ज करती हैं, संभावित नियंत्रणों को प्राथमिकता देती हैं, और एक अवलोकन के जीवन के लिए लेबल स्थिर रखती हैं। स्थिरता उन गलतियों को कम करती है जब मॉडल बाद में एक तर्क चरण में एक लेबल का संदर्भ देता है।
तीसरा चरण प्रत्येक क्षेत्र के करीब या उसके भीतर एक उच्च-विरोधाभासी लेबल खींचता है। लेबल को बहुत स्पष्टता को ढकने के बिना पठनीय रहना चाहिए। उदाहरण के लिए, एक चेकआउट बटन में मूल्य या स्थिति पाठ हो सकता है जो इसे दूसरे बटन से अलग करता है। उस पाठ पर एक मार्कर लगाने से स्थानिक स्पष्टता को सेमैंटिक हानि के लिए व्यापार किया जाता है। अच्छे रेंडरर्स एक खाली क्षेत्र चुनते हैं, लेबल को हटा देते हैं, या दोनों मूल और चिह्नित छवियों को प्रदान करते हैं।
अंतिम चरण मॉडल से एक सीमित उत्तर मांगता है और इसे मान्य करता है। एक नियंत्रक एक मार्कर पहचानकर्ता के साथ-साथ एक कार्य प्रकार को स्वीकार कर सकता है, बजाय एक असीमित पैराग्राफ के। चयनित पहचानकर्ता वर्तमान अवलोकन के खिलाफ जांचा जाता है इससे पहले कि कोई क्लिक किया जाए। यदि स्क्रीनशॉट के बाद पृष्ठ बदल गया है, तो नियंत्रक को एक ताजा अवलोकन लेना चाहिए; पुराने फ्रेम से एक सही लेबल नए राज्य में गलत नियंत्रण की ओर इशारा कर सकता है।
SoM की तुलना अन्य ग्राउंडिंग विधियों से
सेट-ऑफ-मार्क प्रॉम्प्टिंग को समझना सबसे आसान है जब इसके आउटपुट, निर्भरताएँ, और विफलता मोड को पड़ोसी तकनीकों से अलग किया जाता है।
| आयाम | प्राथमिक अर्थ | सामान्य गलती |
|---|---|---|
| संदर्भ रूप | एक छोटा दृश्यमान मार्कर जो एक संग्रहीत क्षेत्र से जुड़ा होता है। | मार्कर को एक स्थायी तत्व आईडी के रूप में मानना। |
| क्षेत्र स्रोत | सेगमेंटेशन, OCR, DOM ज्यामिति, पहुंच संबंधी डेटा, या पहचानित नियंत्रण। | मान लेना कि SoM हर लक्ष्य को क्षेत्र प्रस्ताव चरण के बिना खोजता है। |
| सर्वश्रेष्ठ फिट | घनी दृश्य दृश्य और इंटरफेस जहाँ प्राकृतिक भाषा स्थान विवरण अम्बिग्यूअस होते हैं। | एक सरल पृष्ठ पर लेबल जोड़ना जहाँ पहले से एक स्थिर सेमांटिक लोकेटर मौजूद होता है। |
| मुख्य जोखिम | ओवरले भीड़ या पुराने ज्यामिति एक आत्मविश्वासी लेकिन गलत कार्रवाई पैदा कर सकते हैं। | केवल अंतिम कार्य सफलता को स्कोर करना और ग्राउंडिंग त्रुटियों को छिपाना। |
| वैकल्पिक | DOM चयनकर्ता, पहुंच संदर्भ, सीधे समन्वय, या पाठ खोज। | हर पृष्ठ के लिए उपलब्ध संरचना के बावजूद एक विधि चुनना। |
जहाँ सेट-ऑफ-मार्क प्रॉम्प्टिंग मदद करता है
SoM का स्थान तब होता है जब किसी कार्य को दृश्य क्षेत्रों और पृष्ठ संरचना के सटीक संदर्भ की आवश्यकता होती है, और केवल यह पर्याप्त अर्थ व्यक्त नहीं करता।
ब्राउज़र नियंत्रण
एक ब्राउज़र एजेंट लक्षित लक्ष्य के बगल में खींची गई संख्या को लौटाकर आइकनों, कार्डों, कैनवास नियंत्रणों या बिना लेबल वाले बटन में से चुन सकता है।
चार्ट और диаг्राम पढ़ना
मार्कर कई समान सलाखों, नोड्स, या पैनलों को विशिष्ट संदर्भों में बदल देते हैं, जो एक मॉडल को चयनित दृश्य आइटम को समझाने या तुलना करने में मदद करता है।
दस्तावेज़ निरीक्षण
एक समीक्षक बिना नाजुक समन्वय विवरण पर निर्भर किए हुए एक नंबर वाले तालिका सेल, हस्ताक्षर ब्लॉक, आकृति, या फॉर्म फ़ील्ड के बारे में पूछ सकता है।
रोबोटिक्स और अवशिक्षित कार्य
क्षेत्र लेबल कैमरा फ़्रेम में वस्तुओं के लिए एक अस्थायी शब्दावली प्रदान कर सकते हैं इससे पहले कि एक अलग नियंत्रक शारीरिक क्रिया की योजना बनाए।
एक विश्वसनीय SoM पाइपलाइन डिज़ाइन करना
एक स्पष्ट क्रिया इन्वेंटरी के साथ शुरू करें। एक ब्राउज़िंग सिस्टम को क्लिक, टाइप, स्क्रॉल, होवर, और निरीक्षण क्रियाओं की आवश्यकता हो सकती है, लेकिन हर चिह्नित क्षेत्र हर क्रिया का समर्थन नहीं करता। क्षेत्र पहचानकर्ता के बगल में अनुमति प्राप्त क्रियाओं को स्टोर करें। एक पाठ फ़ील्ड टाइपिंग स्वीकार कर सकता है; एक पैराग्राफ केवल निरीक्षण का समर्थन कर सकता है। यह सरल अनुबंध मॉडल को किसी असंभव ऑपरेशन के लिए दृश्यात्मक रूप से संभावित क्षेत्र का चयन करने से रोकता है।
चिह्नित संस्करण के साथ मूल अवलोकन को बनाए रखें। चिह्नित फ़्रेम संदर्भ के लिए उपयोगी है, जबकि मूल फ़्रेम टाइपोग्राफ़ी, रंग, सीमाओं, और छोटे स्थिति पाठ को बनाए रखता है। एक द्वि-दृश्य प्रॉम्प्ट मॉडल को साफ साक्ष्य से तर्क करने की अनुमति देता है और चिह्नित पहचानकर्ता के साथ उत्तर देने की अनुमति देता है। यह डिबगिंग को आसान बनाता है क्योंकि एक समीक्षक देख सकता है कि क्या ओवरले लक्ष्य को ढकता है।
प्रत्येक चिह्न को उत्पत्ति से कनेक्ट करें। एक वेब इंटरफेस के लिए, रिकॉर्ड में स्क्रीनशॉट सीमाएँ, व्यूपोर्ट का आकार, स्क्रॉल ऑफसेट, उपलब्ध होने पर DOM नोड पहचान, सुलभ नाम, और अवलोकन टाइमस्टैम्प शामिल हो सकते हैं। WebArena बेंचमार्क यह प्रदर्शित करता है कि स्थिति-भ्रष्ट ब्राउज़र कार्यों को आकर्षक स्क्रीनशॉट के बजाय दोहराने योग्य वातावरण और कार्यात्मक मूल्यांकन की आवश्यकता होती है। उत्पत्ति एक नियंत्रक को यह जांचने देती है कि चयनित क्षेत्र अभी भी वर्तमान पृष्ठ स्थिति से संबंधित है।
चरण द्वारा पाइपलाइन का मूल्यांकन करें। मॉडल चयन सटीकता से पहले प्रत्याशित याददाश्त को मापें: क्या क्षेत्र जनरेटर ने आवश्यक नियंत्रण को चिह्नित किया? फिर लेबल पठनीयता, मॉडल चयन सटीकता, क्रिया निष्पादन, और अंत-कार्य की शुद्धता को मापें। एक अंतिम सफलता दर दो बहुत अलग समस्याओं को छिपा सकती है—कमजोर दृश्य आधारभूत और सही आधारभूत उसके बाद गलत कार्रवाई।
सीमाएँ और असफलता मोड
घने पृष्ठ उपयोगी लेबल बजट को पार कर सकते हैं। सैकड़ों मार्क्स पृष्ठ पाठ और एक-दूसरे के साथ प्रतिस्पर्धा करते हैं। केवल क्षेत्र द्वारा फ़िल्टर करना कम ही पर्याप्त होता है क्योंकि एक छोटा आइकन एक बड़े सजावटी चित्र की तुलना में अधिक कार्रवाई योग्य हो सकता है। इंटरफेस की भूमिका, दृश्यता, ओक्लूज़न, और संभावित कार्य की प्रासंगिकता बेहतर फ़िल्टर प्रदान करते हैं। हायार्किकल मार्किंग एक अन्य विकल्प है: पहले एक पैनल का चयन करें, फिर इसके भीतर के नियंत्रणों को चिह्नित करें।
SoM क्षेत्र प्रस्ताव प्रणाली से त्रुटियाँ विरासत में लेता है। विभाजन एक नियंत्रण को कई टुकड़ों में विभाजित कर सकता है या पड़ोसी वस्तुओं को जोड़ सकता है। DOM आयतों में अप्रकाशित परतें शामिल हो सकती हैं। OCR स्टाइल स्टाइल किया गया पाठ चूक सकती है। सुलभता पेड़ कैनवास सामग्री को छोड़ सकते हैं। स्रोतों को मिला कर कवरेज में सुधार होता है, लेकिन डुप्लिकेट समाधान निश्चित रहना चाहिए ताकि वही दृश्य नियंत्रण कई प्रतिस्पर्धात्मक लेबल प्राप्त न करे।
एक मार्कर केवल उस फ़्रेम के लिए मान्य है जिसने इसे उत्पन्न किया। एनिमेशन, प्रतिक्रियाशील लेआउट, सुस्त लोडिंग, और स्क्रॉलिंग अवलोकन के बाद लक्ष्य को स्थानांतरित कर सकते हैं। ब्राउज़र-एजेंट सिस्टम को पृष्ठ URL, व्यूपोर्ट, स्क्रॉल स्थिति, और एक अल्पकालिक स्थिति पहचानकर्ता पर एक मार्कर सेट बाँधना चाहिए। उच्च-प्रभाव वाली क्रियाओं को एक ताज़ा अवलोकन और अनुमोदन सीमा प्राप्त करनी चाहिए, भले ही दृश्य चयन निश्चित दिखाई दे।
यह तकनीक एक्सेसिबिलिटी और सुरक्षा के सवाल भी उठाती है। ओवरले को उपयोगकर्ता-फेसिंग साइट का एक हिस्सा नहीं बनाना चाहिए, और संवेदनशील पृष्ठ क्षेत्रों को अनुमोदित सीमा छोड़ने से पहले मिटा दिया जाना चाहिए। मार्कर प्रॉम्प्ट एक मॉडल के लिए अवलोकन हैं, न कि एक फ़ॉर्म सबमिट करने, क्रेडेंशियल्स का खुलासा करने, किसी आइटम को खरीदने या खाता स्थिति को बदलने के लिए अनुमोदन।
सेट-ऑफ-मार्क प्रॉम्प्टिंग का मूल्यांकन कैसे करें
भिन्न घनत्व, पाठ आकार, थीम, व्यूपोर्ट चौड़ाई, स्क्रॉल स्थिति, और इंटरएक्शन प्रकारों के साथ एक मूल्यांकन सेट बनाएं। रिकॉर्ड करें कि क्या लक्ष्य प्रस्तावित था, क्या इसका लेबल पढ़ने योग्य रहा, क्या मॉडल ने इसे चुना, और क्या परिणामी क्रिया का इरादा प्रभाव था। यह लेयर्ड रिकॉर्ड दिखाता है कि सुधार वास्तव में कहाँ आता है।
SoM की तुलना एक सेमांटिक बेसलाइन से करें। यदि एक सुलभता-पेड़ संदर्भ समान नियंत्रण का चयन करता है और कम टोकन और कम गलतियाँ होती हैं, तो सेमांटिक पथ जीतना चाहिए। यदि एक कैनवास, चार्ट, या चित्र में कोई विश्वसनीय सेमांटिक नोड नहीं है, तो चिह्नित दृश्य पथ बेहतर अवलोकन हो सकता है। एक हाइब्रिड एजेंट प्रत्येक चरण के लिए सबसे सस्ती विश्वसनीय प्रस्तुति चुन सकता है।
लेबल-स्थिति पूर्वाग्रह पर नजर रखें। मॉडल प्रारंभिक संख्याओं, केंद्रीय क्षेत्रों, या दृश्य रूप से प्रमुख रंग पसंद कर सकते हैं। एक ही स्क्रीनशॉट को स्थिर रखते हुए बार-बार किए गए उदाहरणों में मार्कर असाइनमेंट को शफल करें। एक स्थिर परिणाम वस्तु का अनुसरण करना चाहिए, न कि पहचानकर्ता। निकट-डुप्लिकेट लक्ष्यों का भी परीक्षण करें जैसे कि पुनरावृत्त उत्पाद कार्ड या समान टूलबार आइकन, जहाँ स्थानिक आधारभूत अधिकांश कार्य करता है।
कार्य के प्रभाव को आधारभूत सटीकता से अलग रिपोर्ट करें। एक उच्च चयन स्कोर केवल तभी महत्वपूर्ण है जब यह गलत क्रियाओं को कम करे या पूर्णता के लिए रास्ते को छोटा करे। अवलोकनों, मॉडल कॉल, सुधारित चयन, बासी-फ्रेम अस्वीकृतियाँ, और मानव अनुमोदनों की संख्या को लॉग करें। ये उपाय SoM को एक चतुर ओवरले से एक एजेंट प्रणाली के जिम्मेदार घटक में बदलते हैं।
निष्कर्ष
Set-of-Mark प्रेरणा एक बहु-प्रतिमान मॉडल को संकेत देने के लिए एक संक्षिप्त भाषा देती है। यह प्रस्तावित दृश्य क्षेत्रों को लेबल करके काम करता है, मॉडल से एक लेबल चुनने के लिए कहता है, और उस उत्तर को संग्रहित ज्यामिति में वापस मानचित्रित करता है। यह तकनीक उपयोगी है क्योंकि इसे अनुमान समय में जोड़ा जा सकता है और क्योंकि इसकी ग्राउंडिंग निर्णय को inspect करना आसान है।
इसके सीमाएँ समान रूप से ठोस हैं: गायब क्षेत्र गायब रहते हैं, भरे हुए लेबल प्रमाण छुपाते हैं, और हर मार्क तब समाप्त हो जाता है जब स्क्रीन बदलती है। टीमें साफ और चिह्नित अवलोकनों को एक साथ रखकर, वर्तमान स्थिति के खिलाफ चयन को मान्य करके, और SoM की तुलना अर्थात्मक लोकेटर के साथ करके सबसे अच्छे परिणाम प्राप्त करती हैं।
क्या आप टेस्ट ब्राउज़र-एजेंट ग्राउंडिंग के लिए तैयार हैं?
सामान्य ब्राउज़र अवलोकनों को Scrapeless Scraping Browser के साथ कैप्चर करें, फिर उसी कार्यों के खिलाफ SoM, DOM, और पहुँच ग्राउंडिंग का मूल्यांकन करें।
आज ही साइन अप करें और प्राप्त करें $5 मुफ्त क्रेडिट — कोई क्रेडिट कार्ड की आवश्यकता नहीं.
अपना $5 क्रेडिट दावा करें →अक्सर पूछे जाने वाले सवाल
क्या Set-of-Mark प्रेरणा वस्तु पहचान के समान है?
नहीं। वस्तु पहचान या वर्गीकरण क्षेत्र का प्रस्ताव कर सकते हैं, जबकि Set-of-Mark प्रेरणा दृश्य पहचानकर्ता को असाइन करती है जिसका उपयोग एक बहु-प्रतिमान मॉडल उन क्षेत्रों का संदर्भ देने के लिए कर सकता है।
क्या SoM को मॉडल फाइन-ट्यूनिंग की आवश्यकता है?
मूल SoM विधि को प्रशिक्षण-मुक्त प्रेरणा दृष्टिकोण के रूप में प्रस्तुत किया गया है। एक प्रणाली अनुमान समय में एक छवि को एनोटेट कर सकती है और एक सक्षम बहु-प्रतिमान मॉडल से चिह्नित दृश्य पर तर्क करने के लिए पूछ सकती है।
ब्राउज़र एजेंट संख्या वाले स्क्रीनशॉट का उपयोग क्यों करते हैं?
संख्यांकित स्क्रीनशॉट अज्ञात समन्वय विवरणों को संक्षिप्त संदर्भों से बदलते हैं। नियंत्रक एक लौटाए गए संख्या को ज्ञात आयत या तत्व से मानचित्रित कर सकता है और कार्रवाई करने से पहले इसे मान्य कर सकता है।
क्या Set-of-Mark प्रेरणा DOM का विकल्प बना सकती है?
नहीं। DOM और पहुँच डेटा अक्सर अधिक स्वच्छ अर्थात्मक लक्ष्यों को प्रदान करते हैं। SoM तब विशेष रूप से सहायक होता है जब संरचना गायब, भ्रामक, अत्यधिक दृश्य, या कैनवास और छवि सामग्री में फैली होती है।
SoM कार्यान्वयन की सबसे बड़ी गलती क्या है?
सबसे बड़ी गलती यह है कि एक मार्क को स्थायी के रूप में माना जाता है। मार्कर्स एक अवलोकन में संबंधित होते हैं और स्क्रॉलिंग, नेविगेशन, प्रतिक्रियाशील परिवर्तनों, या गतिशील पृष्ठ अपडेट के बाद उन्हें पुनः ताज़ा करना आवश्यक होता है।