कंप्यूटर का उपयोग क्या है?

Scrapeless एजेंट ब्राउज़र प्रबंधित ब्राउज़र सत्र प्रदान करता है जिसमें कंप्यूटर-उपयोग एजेंट वेब इंटरफेस का अवलोकन और बातचीत कर सकते हैं।

TL;DR

कंप्यूटर का उपयोग इंटरफ़ेस-स्तरीय क्रिया है। एक एजेंट एक स्क्रीन या संरचित यूआई स्थिति का अवलोकन करता है और क्लिक, टाइपिंग, स्क्रॉलिंग, या कुंजी क्रियाएँ करता है।
यह APIs का समर्थन करता है न कि उन्हें प्रतिस्थापित करता है। स्थिर प्रकार की क्रियाएँ उन समयों में वांछनीय रहती हैं जब वे आवश्यक क्षमता को उजागर करती हैं।
लूप धारणा, क्रिया, और सत्यापन है। हर सामग्री इंटरफेस परिवर्तन के बाद एक नई ऑब्जर्वेशन करनी चाहिए।
सत्र अवसंरचना महत्वपूर्ण है। निष्कासन, पहचान, टाइमआउट, कलाकृतियाँ, और सफाई निर्धारित करते हैं कि क्या दोहराए गए रन सुरक्षित हैं।
परिणामी क्रियाएँ नियंत्रण बिंदुओं की आवश्यकता होती है। खरीदारी, प्रस्तुतियाँ, संदेश, और क्रेडेंशियल प्रविष्टि को स्पष्ट अनुमतियों और संकीर्ण अनुमतियों का उपयोग करना चाहिए।

क्यों यह विषय महत्वपूर्ण है

कंप्यूटर उपयोग एक एआई क्षमता है जो अवलोकनों और इनपुट क्रियाओं के माध्यम से ग्राफिकल इंटरफेस संचालित करती है। OpenAI कंप्यूटर-उपयोग दस्तावेज़ एक लूप का वर्णन करता है जिसमें एक मॉडल कंप्यूटर क्रियाओं का प्रस्ताव करता है, एप्लिकेशन उन्हें निष्पादित करता है, और अपडेटेड स्क्रीनशॉट मॉडल को लौटाए जाते हैं। गूगल कंप्यूटर-उपयोग मार्गदर्शन समान रूप से महत्वपूर्ण कार्यों के लिए निकट पर्यवेक्षण और संवेदनशील या कठिन-से-पीछे हटने वाली क्रियाओं के आसपास सतर्कता पर जोर देता है।

यह क्षमता तब उपयोगी होती है जब सॉफ़्टवेयर कोई उपयुक्त एपीआई नहीं प्रदान करता है या जब दृश्य इंटरफ़ेस वह ऑब्जेक्ट है जिसका परीक्षण किया जा रहा है। यह एक टाइप की गई एकीकरण की तुलना में कम पूर्वनिर्धारित भी है। लेआउट परिवर्तन, पॉप-अप, एनिमेशन, छिपी हुई फ़ोकस, अनुमतियाँ, और खाता स्थिति एक क्लिक के अर्थ को बदल सकती हैं। उत्पादन प्रणालियों को इसलिए एक ब्राउज़र या डेस्कटॉप रनटाइम, एक नीति परत, अवलोकन अडाप्टर, और एक मजबूत कार्रवाई ट्रेस की आवश्यकता होती है।

कंप्यूटर-उपयोग लूप

एजेंट एक अवलोकन प्राप्त करता है जैसे कि स्क्रीनशॉट, अभिगम्यता वृक्ष, डोम प्रतिनिधित्व, या इनका संयोजन। यह वर्तमान स्थिति की व्याख्या करता है और एक सीमित क्रिया का प्रस्ताव करता है: स्थानांतरित करना, क्लिक करना, टाइप करना, स्क्रॉल करना, एक कुंजी दबाना, या दृश्य परिवर्तन की प्रतीक्षा करना। होस्ट नीति के खिलाफ क्रिया की जांच करता है, उसे निष्पादित करता है, और एक नया अवलोकन लौटाता है।

पुष्टि करने के लिए अंत तक इंतज़ार नहीं किया जा सकता। एक बटन पर क्लिक करने के बाद, सिस्टम को वर्तमान यूआरएल, संवाद, चयनित स्थिति, या परिणामस्वरूप रिकॉर्ड की पुष्टि करनी चाहिए قبل जारी रखने के। समन्वय प्रमाण नहीं हैं क्योंकि वही स्क्रीन स्थिति लेआउट शिफ्ट के बाद विभिन्न नियंत्रणों का प्रतिनिधित्व कर सकती है। इंटरफेस semantics और दृश्यमान पुष्टि मान ली गई ज्यामिति से अधिक मजबूत हैं।

कंप्यूटर उपयोग ब्राउज़र-विशिष्ट हो सकता है या एक व्यापक डेस्कटॉप पर संचालित हो सकता है। ब्राउज़र सत्र स्पष्ट URL, DOM, टैब, कुकी और नेटवर्क सीमाएँ प्रदान करते हैं। डेस्कटॉप नियंत्रण में कई अनुप्रयोगों को शामिल किया जा सकता है और इसलिए इसे अधिक सटीक विंडो लक्ष्यों, क्लिपबोर्ड नीति, फ़ाइल नियमों और अनुप्रयोगों के बीच डेटा आंदोलन से पहले पुष्टिकरण की आवश्यकता होती है।

कंप्यूटर-उपयोग प्रणाली में परतें

योजना निर्माता। कार्य, वर्तमान अवलोकन, पूर्व क्रियाओं, और शेष नीति बजट से अगले कार्य का चयन करता है।
रनटाइम। ब्राउज़र या डेस्कटॉप सत्र, दृश्यपटल, पहचान, टैब, प्रक्रियाएँ, संग्रहण और सफाई का मालिक।
अवलोकन अडाप्टर। स्क्रीनशॉट और संरचित इंटरफ़ेस स्थिति वर्तमान URL, विंडो, त्रुटियों और समय स्टाम्प के साथ लौटाता है।
कार्य निष्पादक। मान्यताप्राप्त माउस, कीबोर्ड, नेविगेशन, अपलोड, या प्रतीक्षा कार्यों को इच्छित लक्ष्य पर लागू करता है।
नीति और सबूत। क्रियाओं को प्रतिबंधित करता है, अनुमतियों का अनुरोध करता है, और समीक्षा के लिए आवश्यक ट्रेस और कलाकृतियों को संग्रहीत करता है।

कंप्यूटर उपयोग बनाम एपीआई और ब्राउज़र स्वचालन

सबसे संरचित इंटरफ़ेस चुनें जो आवश्यकता को पूरा करता है। कंप्यूटर का उपयोग तब अपनी लागत वसूल करता है जब UI एकमात्र व्यावहारिक सतह है या जब लेआउट स्वयं महत्वपूर्ण है।

अभिगम	शक्ति	मुख्य सीमा
Typed API	स्थिर योजना और स्पष्ट अनुमति	जरूरी उपयोगकर्ता-समर्थित कार्यप्रवाह का खुलासा नहीं कर सकता
DOM स्वचालन	सटीक चयनक और ब्राउज़र स्थिति	चुनने वाले बदल सकते हैं और दृश्य अर्थ को नहीं दर्शा सकते
एक्सेसिबिलिटी ऑटोमेशन	अर्थसंबंधी भूमिकाएँ और लेबल	कवरेज इंटरफेस पहुंच गुणवत्ता पर निर्भर करता है
विज़ुअल कंप्यूटर उपयोग	दृश्य इंटरफेस के साथ काम करता है	अस्पष्ट पिक्सेल, लेआउट परिवर्तन, और उच्च सत्यापन लागत
हाइब्रिड दृष्टिकोण	संरचित स्थिति को दृश्य बैकअप के साथ जोड़ता है	कई अवलोकनों का सावधानीपूर्वक पुनर्मिलन आवश्यक है

एक सुरक्षित कंप्यूटर-उपयोग कार्यप्रवाह बनाएं

स्पष्ट सत्रों और पलटने योग्य चरणों के चारों ओर डिज़ाइन करें। मॉडल को वह स्थिति देखनी चाहिए जिसकी उसे आवश्यकता है बिना अप्रासंगिक अनुप्रयोगों या रहस्यों तक पहुंच प्राप्त किए।

एक अलग सत्र बनाएं। ब्राउज़र या डेस्कटॉप संदर्भ को एक स्पष्ट स्थायित्व और सफाई नीति के साथ एक कार्य और मालिक सौंपें।
अनुमत क्रियाओं की घोषणा करें। पढ़ने, नेविगेशन, डेटा प्रविष्टि, अपलोड, सबमिशन, और लेनदेन विशेषाधिकार को अलग करें।
अर्थसंबंधी लक्ष्यीकरण को वरीयता दें। जब उपलब्ध हो, भूमिकाएँ, लेबल, DOM, या पहुंच की जानकारी का उपयोग करें; सत्यापित बैकअप के रूप में दृश्य निर्देशांक का उपयोग करें।
राज्य परिवर्तनों के बाद सत्यापित करें। अगली क्रिया की योजना बनाने से पहले परिणामस्वरूप URL, दृश्य नियंत्रण स्थिति, पुष्टि पाठ, या बनाई गई रिकॉर्ड कैप्चर करें।
अनुमोदन द्वार डालें। संदेश भेजने, शर्तें स्वीकार करने, संवेदनशील डेटा दर्ज करने, फ़ाइलें डाउनलोड करने, या लेनदेन करने से पहले विराम दें।

क्लिक सटीकता से अधिक का मूल्यांकन करें

एक कंप्यूटर-उपयोग मानक को कार्य परिणाम, क्रिया पथ, सुरक्षा, और पीछे छोड़ी गई साक्ष्यों की गुणवत्ता को कैप्चर करना चाहिए।

पूर्णता। क्या इच्छित दृश्य परिणाम सही अनुप्रयोग और खाते में हुआ?
क्रिया सटीकता। प्रणाली ने पहले सत्यापित क्रिया पर सही नियंत्रण को कितनी बार लक्षित किया?
पथ की लंबाई। कितने अवलोकनों और क्रियाओं का उपयोग किया गया था जबकि एक उचित संदर्भ पथ की तुलना में?
हस्तक्षेप की गुणवत्ता। क्या प्रणाली ने अनुमोदन सीमाओं पर इतनी संदर्भ के साथ विराम दिया कि कोई व्यक्ति निर्णय ले सके?
ट्रेस अखंडता। क्या एक समीक्षक स्क्रीनशॉट, URLs, क्रियाएँ, त्रुटियाँ, और अंतिम स्थिति को पुनर्निर्माण कर सकता है?

कंप्यूटर-उपयोग सुरक्षा जोखिम

इंटरफेस अविश्वसनीय सामग्री को वास्तविक नियंत्रणों के साथ जोड़ते हैं। NIST AI जोखिम प्रबंधन ढांचा इन जोखिमों को मैप करने, मापने, प्रबंधित करने, और शासन करने के लिए एक जीवनचक्र ढाँचा प्रदान करता है। प्रणाली को पृष्ठ क्या कहता है को अलग रखना चाहिए कि एजेंट को क्या करने की अनुमति है।

प्रॉम्प्ट इंजेक्शन। दृश्य पृष्ठ पाठ एजेंट को पुनर्निर्देशित करने का प्रयास कर सकता है। कार्य अनुबंध और क्रिया नीति को प्राधिकृत रहना चाहिए।
गलत-लक्ष्य क्रिया। फोकस, स्क्रॉलिंग, ओवरले, और लेआउट परिवर्तन नियंत्रणों को स्थानांतरित कर सकते हैं। परिणामस्वरूप क्लिक करने से पहले तुरंत पुनः अवलोकन करें।
गोपनीयता का खुलासा। स्क्रीनशॉट, क्लिपबोर्ड, ऑटोकंपलीट, और सूचनाएँ अप्रासंगिक डेटा प्रकट कर सकती हैं। दृश्य स्थिति को कम करें और कलाकृतियों को संपादित करें।
सत्र क्रॉसओवर। साझा कुकीज़ या प्रोफाइल कार्रवाई को गलत उपयोगकर्ता के खाते में डाल सकते हैं। स्वामित्व को अलग करें और पहचान सत्यापित करें।
अवापसी पूर्णता। एक अंतिम बटन तुरंत सबमिट या खरीद सकता है। वहां पूर्वावलोकन अवस्थाएं और मानव स्वीकृति का उपयोग करें जहां उलटाव कठिन है।

कंप्यूटर-उपयोग अनुप्रयोग

विरासत सॉफ्टवेयर

महत्वपूर्ण वर्कफ़्लोज़ का संचालन करें जो केवल एक ग्राफिकल इंटरफ़ेस प्रदर्शित करते हैं और कोई स्थिर एकीकरण नहीं।

ब्राउज़र अनुसंधान

क्लाइंट-जनरेटेड पृष्ठों का नेविगेट करें, नियंत्रण का विस्तार करें, और परिभाषित पढ़ने-के-लिए-केवल नीति के तहत सबूत इकट्ठा करें।

इंटरफेस परीक्षण

उन मार्गों का व्यायाम करें जो उपयोगकर्ता अनुसरण करते हैं जबकि स्क्रीनशॉट और परिणामस्वरूप अवस्थाएं कैप्चर करते हैं।

मानव हैंडऑफ

एक आंशिक रूप से पूर्ण फ़ॉर्म या वर्कफ़्लो तैयार करें, फिर एक व्यक्ति को अंतिम क्रिया की पुष्टि और प्रदर्शन करने दें।

पायलट से प्रोडक्शन तक

कंप्यूटर उपयोग एआई के लिए एक उपयोगी पायलट इतना छोटा होना चाहिए कि व्यक्तिगत रूप से रिकॉर्ड का निरीक्षण कर सकें। प्रारंभ करें एक अलग सत्र बनाएं: ब्राउज़र या डेस्कटॉप संदर्भ को एक कार्य और मालिक सौंपें, जिसमें स्पष्ट स्थायीता और सफाई नीति हो। फिर लागू करें अनुमति प्राप्त कार्यों की घोषणा करें: पढ़ने, नेविगेशन, डेटा प्रविष्टि, अपलोड, सबमिशन, और लेनदेन के विशेषाधिकारों को अलग करें। पहले मूल्यांकन सेट को जानबूझकर मिश्रित रखें, सामान्य मामलों, अस्पष्ट मामलों, लापता सबूतों, और एक कार्रवाई जिसमें सिस्टम को अस्वीकार करना या हैंड ऑफ करना चाहिए उसे शामिल करें। यह निदेशकता को प्रकट करता है कि क्या कार्यप्रवाह अपनी सीमा को समझता है इससे पहले कि उच्च मात्रा डिजाइन गलतियों को संचित मेट्रिक्स के भीतर छिपा दे।

उत्पादन की तत्परता के लिए हर माप और कलाकृति के लिए एक मालिक आवश्यक है। ट्रैक करें पूर्णता यह उत्तर देने के लिए कि क्या वांछित दृश्य परिणाम सही अनुप्रयोग और खाते में हुआ? ट्रैक करें क्रिया सटीकता यह पता लगाने के लिए कि सिस्टम ने पहली मान्य कार्रवाई पर सही नियंत्रण को कितना बार लक्षित किया? जोड़ें पथ की लंबाई ताकि टीम देख सके कि कितनी टिप्पणियां और क्रियाएं एक उचित संदर्भ पथ की तुलना में उपयोग की गईं? ये उपाय मूल रिकॉर्ड से जुड़े होने चाहिए न कि केवल डैशबोर्ड कुलों के रूप में ही मौजूद होना चाहिए। एक समीक्षक को बदले गए मेट्रिक से सटीक प्रश्न, स्रोत, अवलोकन, या क्रिया में जाना चाहिए जिसने इसे उत्पन्न किया।

संचालन नियंत्रण को उन विफलता मोड को लक्षित करना चाहिए जो व्यापार निर्णय को बदलने की सबसे अधिक संभावना रखते हैं। पहला समीक्षा नियम कवर करना चाहिए प्रॉम्प्ट इंजेक्शन: दृश्य पृष्ठ पाठ एजेंट को पुनः निर्देशित करने का प्रयास कर सकता है। कार्य अनुबंध और कार्रवाई नीति को प्राधिकृत रहना चाहिए। बाहर निकलने की समीक्षा को कवर करना चाहिए अपरिवर्तनीय पूर्णता: एक अंतिम बटन तुरंत सबमिट या खरीद सकता है। वहां पूर्वावलोकन अवस्थाएं और मानव स्वीकृति का उपयोग करें जहां उलटाव कठिन है। एक प्रतिक्रिया मालिक सौंपें, परिभाषित करें कि कौन सा सबूत मुद्दे को हल करता है, और रिकॉर्ड करें कि क्या परिणाम डेटा, प्रॉम्प्ट, उपकरण, अनुमतियाँ, या स्रोत नीति को बदलता है। वह रिकॉर्ड एक ही दोष को फिर से प्रकट होने से रोकता है जैसा कि एक अस्पष्ट गुणवत्ता उतार-चढ़ाव।

केवल तभी विस्तार करें जब पायलट अनुमानित रूप से व्यवहार करे। एक टीम विरासत सॉफ्टवेयर के साथ शुरू कर सकती है, जहां काम महत्वपूर्ण वर्कफ़्लोज़ का संचालन करना है जो केवल एक ग्राफिकल इंटरफ़ेस को प्रदर्शित करते हैं और कोई स्थिर एकीकरण नहीं। एक दूसरे चरण में ब्राउज़र अनुसंधान जोड़ा जा सकता है, जहां कार्यप्रवाह को क्लाइंट-जनरेटेड पृष्ठों का नेविगेट करना है, नियंत्रण का विस्तार करना है, और परिभाषित पढ़ने-के-लिए-केवल नीति के तहत सबूत इकट्ठा करना है। मूल परीक्षण सेट को चलाते रहें क्योंकि दायरा बढ़ता है। नए स्रोत, बाजार, उपकरण, और अनुमतियाँ एक समय में एक सीमा में पेश की जानी चाहिए ताकि रिग्रेशन को एक विशिष्ट परिवर्तन के लिए सौंपा जा सके बजाय कि एक साथ प्लेटफॉर्म पुनर्लेखन के।

निष्कर्ष

कंप्यूटर उपयोग एक एआई सिस्टम को ग्राफिकल सॉफ़्टवेयर का अनुभव करने और संचालित करने देता है, लेकिन उपयोगी क्षमता मॉडल के चारों ओर रनटाइम और नीति पर निर्भर करती है। अलग-अलग सत्र, सामर्थ्य अवलोकन, मान्य कार्रवाई, अनुमोदन, और सबूत एक क्लिकिंग डेमो को एक उत्तरदायी कार्यप्रवाह में बदल देते हैं।

स्थिर व्यापार संचालन के लिए एपीआई को प्राथमिकता दें और जहां दृश्य इंटरफ़ेस वास्तव में आवश्यक है वहां कंप्यूटर नियंत्रण का उपयोग करें। एक हाइब्रिड डिज़ाइन अक्सर सबसे अच्छा संतुलन देता है: ज्ञात संचालन के लिए संरचित उपकरण और शेष UI चरणों के लिए कंप्यूटर उपयोग।

क्या आप प्रबंधित ब्राउज़र सत्र चलाने के लिए तैयार हैं?

अलग, अवलोकनीय वेब रनटाइम के रूप में Scrapeless Agent Browser का उपयोग करें जो बाउंडेड कंप्यूटर-उपयोग कार्यप्रवाह के पीछे है।

आज साइन अप करें और पाएं $5 का मुफ्त क्रेडिट — कोई क्रेडिट कार्ड की आवश्यकता नहीं.

आपका $5 क्रेडिट प्राप्त करें →

सामान्य प्रश्न

कंप्यूटर उपयोग क्या है एआई में?

कंप्यूटर उपयोग एक एआई एजेंट की क्षमता है ग्राफिकल इंटरफ़ेस का अवलोकन करने और माउस, कीबोर्ड, स्क्रॉलिंग, या नेविगेशन क्रियाएँ अनुरोध करने की एक निष्पादन वातावरण के माध्यम से।

क्या कंप्यूटर उपयोग रोबोटिक प्रक्रिया स्वचालन के समान है?

वे इंटरफेस नियंत्रण में ओवरलैप करते हैं। पारंपरिक स्वचालन आम तौर पर पूर्व-निर्धारित नियमों या चयनकर्ताओं का पालन करता है, जबकि एक एआई कंप्यूटर-उपयोग एजेंट दृश्य या सामर्थ्य अवलोकनों से अगली बाउंडेड कार्रवाई का चयन कर सकता है।

हर कार्य के लिए एपीआई का उपयोग क्यों नहीं करें?

जब यह आवश्यक संचालन को एक स्थिर स्कीमा के साथ उजागर करता है तो एक एपीआई वांछनीय है। कंप्यूटर उपयोग तब मूल्यवान होता है जब कोई उपयुक्त एपीआई नहीं है, UI स्वयं महत्वपूर्ण है, या मार्ग दृश्य स्थिति के साथ बदलता है।

कौन सी क्रियाओं के लिए अनुमोदन की आवश्यकता होनी चाहिए?

संवेदनशील डेटा प्रविष्टि, बाहरी संदेशों, कानूनी स्वीकृति, फ़ाइल हस्तांतरण, खाते में बदलाव, खरीद, और किसी भी क्रिया के लिए अनुमोदन की आवश्यकता होती है जो महंगा या उलटने में कठिन हो।

कंप्यूटर-उपयोग ट्रेस को क्या स्टोर करना चाहिए?

कार्य अनुबंध, सत्र पहचान, अवलोकन, वर्तमान URLs या विंडो, प्रस्तावित और निष्पादित क्रियाएँ, अनुमोदन, त्रुटियाँ, और सत्यापित अंतिम स्थिति को संग्रहित करें, जो कि गोपनीयता नीति के अधीन है।