एआई में भ्रांति क्या है?
स्क्रेपलेस स्क्रैपिंग ब्राउज़र एआई सिस्टम को वर्तमान वेब सामग्री प्रदान करता है जिसे एक प्रतिक्रिया की आवश्यकता होने पर सबूत के रूप में उपयोग किया जा सकता है जिसमें मॉडल के संचित ज्ञान से परे तथ्य हों।
संक्षेप में
- एक एआई भ्रांति एक आत्मविश्वासी आउटपुट है जो असमर्थित, गलत या उपलब्ध साक्ष्यों के साथ असंगत है। शब्दों का स्वर ऐसा लग सकता है जैसे वह परिष्कृत हैं भले ही अंतर्निहित दावा असत्य हो।
- भ्रांति एक प्रणाली का व्यवहार है, यह प्रमाण नहीं है कि मॉडल की मंशा या जागरूकता है। भाषाई मॉडल संभवतः टोकन अनुक्रम उत्पन्न करते हैं बजाय इसके कि सुनिश्चित तथ्यों के आंतरिक डेटाबेस से परामर्श करें।
- ग्राउंडिंग जोखिम को कम करता है लेकिन सत्य की गारंटी नहीं देता। प्राप्त अंश पुराने, अप्रासंगिक या गलत पढ़े जा सकते हैं, इसलिए साक्ष्य की गुणवत्ता और उत्तर का सत्यापन अभी भी महत्वपूर्ण है।
- पता लगाने के लिए दावों को स्रोतों के खिलाफ परीक्षण करना चाहिए। धारापूर्णता, लंबाई और आत्मविश्वास कमजोर संकेत हैं क्योंकि सही और गलत उत्तर एक ही स्वर साझा कर सकते हैं।
- उच्च प्रभाव वाले कार्यप्रवाहों को सहेजना और समीक्षा पथों की आवश्यकता होती है। एक प्रणाली को यह कहना चाहिए कि जब साक्ष्य गायब होता है और महत्वपूर्ण निर्णयों को एक योग्य व्यक्ति के पास भेजना चाहिए।
एआई में भ्रांति की परिभाषा
एआई में भ्रांति उत्पन्न सामग्री है जो एक बयान, उद्धरण, घटना, गणना या संबंध को सत्य के रूप में प्रस्तुत करती है, भले ही वह बयान विश्वसनीय साक्ष्य द्वारा समर्थित न हो। यह त्रुटि एक दिए गए दस्तावेज़ का विरोध कर सकती है, सामान्यतः स्थापित तथ्यों से अलग हो सकती है, या ऐसी जानकारी जोड़ सकती है जो किसी स्रोत में नहीं है। OpenAI ने व्यवहार का वर्णन किया है कि यह तथ्यात्मक रूप से सटीक नहीं है उसके मॉडल की सत्यता पर दिशानिर्देश.
यह शर्त उपयोगी संक्षेपण है, लेकिन यह गलत मानसिक मॉडल का निमंत्रण दे सकता है। एक भाषाई मॉडल आमतौर पर एक संपूर्ण तथ्य को पुनर्प्राप्त नहीं करता और फिर उसे बदलने का निर्णय नहीं करता। यह संकेत से एक निरंतरता का अनुमान लगाता है, इसके सीखे गए पैरामीटर और किसी भी संदर्भ जो अनुमान समय पर प्रदान किया गया हो। स्पष्ट स्पष्टीकरण उत्पन्न करने वाला समान तंत्र एक विश्वसनीय नाम, तिथि, उद्धरण या URL उत्पन्न कर सकता है जब संकेत मजबूत रूप से यह संकेत करता है कि एक अस्तित्व होना चाहिए।
भ्रांतियां छोटी त्रुटियों से लेकर पूरी तरह से बनाई गई कथाओं तक भिन्न होती हैं। एक सारांश समग्र अर्थ को बनाए रख सकता है लेकिन एक स्रोत को गलत संख्या सौंप सकता है। एक शोध उत्तर एक ऐसी कागज का हवाला दे सकता है जिसका संभावित शीर्षक है, जो कभी प्रकाशित नहीं हुआ। एक सहायता सहायक एक खाता नीति का आविष्कार कर सकता है। सामान्य विशेषता गलती के आकार में नहीं है; यह दावा और इसे समर्थन देने के लिए उपलब्ध साक्ष्य के बीच का अंतर है।
एआई मॉडल क्यों भ्रांति करते हैं
एआई मॉडल भ्रांति करते हैं क्योंकि अगले-टोकन भविष्यवाणी संभावित निरंतरता को पुरस्कृत करती है, जबकि तथ्यात्मक अनिश्चितता हमेशा एक दृश्य “अज्ञात” के रूप में नहीं दर्शाई जाती है। प्रशिक्षण डेटा में भी विरोधाभास, पुराने अंश, अधूरे रिकॉर्ड, व्यंग्य, और दोहराई गई गलतियां होती हैं। यहां तक कि एक साफ प्रशिक्षण कॉर्पस हर निजी दस्तावेज़, हाल की घटना, या संकीर्ण डोमेन नियम को समाहित नहीं कर सकता है जिसके बारे में उपयोगकर्ता पूछ सकता है।
संकेत का आकार मायने रखता है। एक प्रश्न जो एक गलत घटना की पूर्वधारणा करता है, एक मॉडल को अनुरोधित कहानी पूरी करने की दिशा में मोड़ सकता है बजाय इसके कि वह पूर्वधारणा को चुनौती दे। लंबे वार्तालाप प्रासंगिक प्रतिबंध को दबा सकते हैं। टूल आउटपुट भी त्रुटियां पेश कर सकता है जब एक खोज परिणाम ऑफ-टॉपिक हो, एक पार्सर संदर्भ को हटा देता है, या पुनः प्राप्त पाठ एक अलग अर्थ में समान शर्तों का उपयोग करता है।
पोस्ट-प्रशिक्षण इनकार, कैलिब्रेशन, और निर्देश पालन में सुधार कर सकता है, लेकिन कोई प्रशिक्षण विधि खुली-समाप्त पीढ़ी को एक पूरी तरह से विश्वसनीय डेटाबेस में नहीं बदल सकती। OpenAI अनुसंधान पत्र जो बताता है कि भाषाई मॉडल क्यों भ्रांति करते हैं समस्या को उन मूल्यांकन प्रोत्साहनों से जोड़ता है जो अनुमान लगाने को पुरस्कृत करते हैं बजाय इसके कि अनिश्चितता को स्वीकार करने की। यह अवलोकन समझाता है कि क्यों सहेजने की आवश्यकता है इसे डिज़ाइन और मापना चाहिए, न कि केवल संकेत में अनुरोध करना चाहिए।
एआई भ्रांति के सामान्य प्रकार
| प्रकार | क्या होता है | विशिष्ट संकेत |
|---|---|---|
| तथ्यात्मक निर्माण | उत्तर एक इकाई, घटना, आंकड़ा, या संबंध का आविष्कार करता है। | दावा एक प्राधिकृत स्रोत में नहीं पाया जा सकता। |
| उद्धरण निर्माण | एक शीर्षक, लेखक, URL, या उद्धरण बनाया जाता है या मेल नहीं खाता। | उद्धृत आइटम गायब है या वाक्य का समर्थन नहीं करता। |
| स्रोत विरोधाभास | उत्तर उस पाठ के साथ विरोधाभास करता है जो संकेत या पुनर्प्राप्ति संदर्भ में प्रदान किया गया था। | एक सीधा तुलना असमर्थित जोड़ प्रस्तुत करती है। |
| निर्देश विस्थापन | मॉडल एक प्रतिबंध का पालन करना बंद कर देता है और इसके बजाय एक परिचित पैटर्न को पूरा करता है। | आउटपुट दायरा, प्रारूप, या निर्णय मानदंड बदलता है। |
| तर्क त्रुटि | पूर्वांतरण सही हो सकते हैं लेकिन एक निष्कर्ष, गणना, या तुलना विफल हो जाती है। | मध्यवर्ती चरणों की पुनर्गणना परिणाम को बदल देती है। |
ये श्रेणियाँ ओवरलैप करती हैं। एक निर्मित उद्धरण एक तर्क त्रुटि का समर्थन कर सकता है, और एक पुराना तथ्य एक स्रोत विरोधाभास बन सकता है जब एक वर्तमान दस्तावेज़ मौजूद होता है। वर्गीकरण अभी भी उपयोगी है क्योंकि प्रत्येक विफलता के लिए एक अलग नियंत्रण की आवश्यकता होती है। उद्धरण जांचें गलत गणना को पकड़ नहीं पाएंगे, जबकि एक कैलकुलेटर यह नहीं बताएगा कि स्रोत स्वयं कैसे पुराना है।
भ्रांतियों वाले आउटपुट का पता लगाने के लिए कैसे करें
उत्तर को दावों में विभाजित करें
प्रत्येक सत्यापन योग्य बयान को अलग से चिह्नित करें। एक पैराग्राफ जिसमें एक गलत विवरण शामिल है, पास नहीं होगा क्योंकि इसका व्यापक विषय उचित लगता है।
दावों को साक्ष्यों से मिलाएं
एक स्रोत पाठ की आवश्यकता होती है जो उसी विषय, समय अवधि, क्षेत्र और इकाई को समर्थन करता है। केवल कीवर्ड ओवरलैप ही पर्याप्त समर्थन नहीं है।
गणनाओं की स्वतंत्र रूप से जांच करें
कुल, परिवर्तनों, रैंकिंग और तुलना को अपरिवर्तनीय कोड या कैलकुलेटर के साथ पुनःगणना करें बजाय यही मॉडल से खुद को ग्रेड करने के पूछने के।
अनिश्चितता की जांच करें
पूछें कि कौन सा सबूत गायब है, कौन से अनुमान परिणाम को निर्धारित करते हैं, और क्या उत्तर को बदलता है। एक स्थिर प्रणाली सीमाओं को उजागर करती है बजाय उन्हें छिपाने के।
सबसे मजबूत मूल्यांकन ज्ञात प्रश्नों और प्रलेखित अपेक्षित उत्तरों का उपयोग करता है। मानव समीक्षा अस्पष्ट दावों के लिए अभी भी आवश्यक है, लेकिन एक पुनरावृत्त परीक्षण सेट यह प्रकट करता है कि क्या एक संकेत, मॉडल, पुनर्प्राप्ति परिवर्तन, या नया डेटा स्रोत प्रणाली में सुधार करता है। NIST एआई जोखिम प्रबंधन ढांचा जोखिमों को मानचित्रित, मापने और प्रबंधित करने के लिए एक व्यापक ढांचा प्रदान करता है बजाय एक मॉडल स्कोर को सुरक्षा का प्रमाण मानने के।
ग्राउंडिंग कैसे गलतफहमियों के जोखिम को कम करता है
ग्राउंडिंग कनेक्टेड, निरीक्षणीय साक्ष्यों को मॉडल के कार्यसंदर्भ में रखते हुए और प्रतिक्रिया को उस साक्ष्य के भीतर रहने के लिए कहकर गलतफहमियों के जोखिम को कम करता है। पुनर्प्राप्ति-सहायोजित पीढ़ी एक सामान्य डिज़ाइन है: दस्तावेज़ एकत्रित करें, उन्हें खोजयोग्य इकाइयों में विभाजित करें, प्रश्न से मेल खाने वाली इकाइयां पुनर्प्राप्त करें, और उद्धरण या उद्धृत समर्थन के साथ उत्तर उत्पन्न करें।
ताजा वेब साक्ष्य तब उपयोगी होता है जब प्रश्न बदलते पृष्ठों, वर्तमान उत्पाद जानकारी, सार्वजनिक नोटिस या हाल की अनुसंधान से संबंधित हो। एक ब्राउज़र-समर्थित संग्रह परत JAVAScript पृष्ठों को निष्कर्षण से पहले प्रस्तुत कर सकता है, जबकि एप्लिकेशन पृष्ठ का URL, समय पकड़ना और उत्तर के लिए उपयोग किया गया पाठ स्टोर करता है। Scrapeless Scraping Browser उस संग्रह परत को सेवा दे सकता है; मॉडल और सत्यापन नीति प्रणाली के अलग-अलग भाग बने रहते हैं।
ग्राउंडिंग तब विफल हो जाता है जब पुनर्प्राप्ति विफल हो जाती है। अनुक्रमणिका प्रासंगिक दस्तावेज़ को छोड़ सकती है, अर्थपूर्ण खोज एक पड़ोसी अवधारणा को लौट सकती है, या एक लंबा अंश विरोधाभासी अंशों को含रित कर सकता है। एक सुरक्षित पाइपलाइन स्रोत पहचान, दस्तावेज़ आयु, पहुंच क्षेत्र, और पुनर्प्राप्ति प्रासंगिकता की जांच करती है। यह लिंक को भी संरक्षित करती है ताकि एक समीक्षक मूल सामग्री की जांच कर सके बजाय एक अलग किए गए अंश पर भरोसा करने के। मूल पुनर्प्राप्ति-सहायोजित पीढ़ी अनुसंधान पुनर्प्राप्ति और पीढ़ी को एक प्रणाली के लिंक किए गए हिस्सों के रूप में फ्रेम करता है।
एक व्यावहारिक गलतफहमी-नियंत्रण कार्यप्रवाह
एक व्यावहारिक नियंत्रण कार्यप्रवाह उस समय शुरू होता है जब संकेत मॉडल तक पहुंचता है। परिभाषित करें कि कौन से दावे आवेदन करने की अनुमति दी गई हैं, कौन से स्रोत प्राधिकृत हैं और कौन से निर्णयों के लिए मानव अनुमोदन की आवश्यकता होती है। फिर स्रोत मेटाडाटा के साथ साक्ष्य इकट्ठा करें, संकीर्णता से पुनर्प्राप्त करें, मॉडल को समर्थन को उद्धृत करने के लिए instru करें, और परिणाम को एक उपयोगकर्ता तक पहुंचने से पहले मान्य करें।
- अनुरोध को जोखिम और ताजगी के अनुसार वर्गीकृत करें। चिकित्सा, कानूनी, वित्तीय, सुरक्षा, और खाता निर्णयों को विचारमंथन से अधिक कठोर नियंत्रण की आवश्यकता है।
- अधिकृत स्रोतों से वर्तमान या डोमेन-विशिष्ट साक्ष्य प्राप्त करें। मानक URLs को संरक्षित करें और अर्थ को बरकरार रखने के लिए पर्याप्त परिवेशी पाठ को पकड़ें।
- तारीख, क्षेत्राधिकार, उत्पाद, या दस्तावेज़ संस्करण जैसे मेटाडाटा फ़िल्टर और अर्थपूर्ण प्रासंगिकता दोनों का उपयोग करके साक्ष्य पुनर्प्राप्त करें।
- एक सीमित निर्देश के साथ उत्पन्न करें: प्रदान किए गए साक्ष्य से उत्तर दें, संघर्षों की पहचान करें, और जब समर्थन गायब हो तो abstain करें।
- संकेतों, मात्राओं, नामों, और आवश्यक सीमाओं को संभावित रूप से निश्चित जांचों के साथ मान्य करें।
- प्रश्न, पुनर्प्राप्त साक्ष्य, उत्तर, और समीक्षा परिणाम को लॉग करें ताकि आवर्ती विफलता पैटर्न परीक्षण मामलों में बन जाएं।
वह अनुक्रम गलतफहमी को एक इंजीनियरिंग जोखिम के रूप में व्यवहार करता है जिसमें देखने योग्य चरण होते हैं। यह शून्य त्रुटि की गारंटी नहीं देता। यह बिना समर्थन वाले दावों को रोकने, पहचानने, जांचने, और सही करने में सरल बनाता है।
गलतफहमी माइटिगेशन की सीमाएँ
कोई एकल नियंत्रण गलतफहमी को समाप्त नहीं करता। लंबे संकेत साक्ष्य जोड़ सकते हैं लेकिन साथ ही विकर्षक भी पेश कर सकते हैं। अधिक पुनर्प्राप्त दस्तावेज़ याददाश्त को सुधार सकते हैं लेकिन सटीकता को कम कर सकते हैं। उद्धरण आत्मविश्वस्त लग सकते हैं भले ही वे कमजोर स्रोतों की ओर इशारा करते हों। एक दूसरा मॉडल कुछ गलतियाँ पकड़ सकता है फिर भी उसी भ्रांति को दोहरा सकता है क्योंकि दोनों प्रणालियों ने समान पैटर्न सीखा है।
टीमों को उस विफलता को मापना चाहिए जो उनके आवेदन के लिए महत्वपूर्ण है: unsupported claim rate, citation accuracy, abstention quality, correction time, या उच्च-जोखिम उत्तरों का हिस्सा जो कार्रवाई से पहले समीक्षा किया गया। एक प्रणाली जो प्रत्येक प्रश्न को विनम्रता से अस्वीकार करती है, तथ्यात्मकता पर अच्छा स्कोर कर सकती है लेकिन अपने उपयोगकर्ताओं को असफल कर सकती है। एक उपयोगी लक्ष्य समर्थित कवरेज को पतला साक्ष्य के मामले में संवेदनशील व्यवहार के साथ संतुलित करता है।
निष्कर्ष
एआई में गलतफहमी एक असमर्थित आउटपुट समस्या है, न कि एक सुर में समस्या। उत्तर एक साथ प्रवाहपूर्ण, विस्तृत, और गलत हो सकता है। विश्वसनीय प्रणालियाँ पीढ़ी को साक्ष्य अधिग्रहण से अलग करती हैं, दावों का परीक्षण सही स्तर पर करती हैं, अनिश्चितता को उजागर करती हैं, और लोगों को परिणामस्वरूप निर्णयों पर नियंत्रण में रखती हैं। वर्तमान स्रोतों के साथ ग्राउंडिंग जोखिम को कम करता है, जबकि उद्धरण जांचों और आवेदन-विशिष्ट मूल्यांकन यह दिखाते हैं कि नियंत्रण वास्तव में काम करता है या नहीं।
क्या आप एक ग्राउंडेड एआई कार्यप्रवाह बनाने के लिए तैयार हैं?
प्रबंधित ब्राउज़र परत के साथ पुनर्प्राप्ति और एजेंट कार्यप्रवाह में वर्तमान सार्वजनिक वेब सामग्री को कनेक्ट करें।
आज साइन अप करें और पाएं $5 का मुफ्त क्रेडिट — कोई क्रेडिट कार्ड आवश्यक नहीं.
अपने $5 क्रेडिट का दावा करें →अक्सर पूछे जाने वाले प्रश्न
क्या एआई की गलतफहमियाँ झूठ के समान हैं?
नहीं। एक झूठ धोखा देने का इरादा दर्शाता है, जबकि एआई की गलतफहमी असमर्थित उत्पन्न सामग्री का वर्णन करती है। भाषा मॉडल को गलत दावा उत्पन्न करने के लिए इरादा की आवश्यकता नहीं होती। सुरक्षित इंजीनियरिंग प्रतिक्रिया यह है कि आउटपुट को साक्ष्य के खिलाफ सत्यापित करें और प्रणाली को डिज़ाइन करें ताकि जब साक्ष्य अनुपस्थित हो तो abstain करें।
क्या पुनर्प्राप्ति-सहायोजित पीढ़ी गलतफहमियों को समाप्त कर सकती है?
नहीं। पुनर्प्राप्ति-augmented उत्पादन अप्रासंगिक सबूत प्रदान करके अप्रत्याशित उत्तरों को कम कर सकता है, लेकिन पुनर्प्राप्ति सही स्रोत चूक सकती है या भ्रामक संदर्भ लौट सकती है। सिस्टम को अभी भी स्रोत जांच, उद्धरण सत्यापन, संघर्ष प्रबंधन और उन प्रश्नों के लिए एक स्पष्ट उत्तर की आवश्यकता होती है जिन्हें पुनर्प्राप्त सामग्री उत्तर नहीं दे सकता।
एक उपयोगकर्ता निराधार उद्धरण को कैसे पहचान सकता है?
उद्धरण को खोलें और सुनिश्चित करें कि शीर्षक, लेखक, प्रकाशन और उद्धृत दावा सभी मेल खाते हैं। एक वास्तविक URL पर्याप्त नहीं है क्योंकि पृष्ठ संबंधित विषय पर चर्चा कर सकता है बिना वाक्य का समर्थन किए। उत्तर में उपयोग किए गए सटीक विषय, समय सीमा और संख्या के लिए स्रोत की खोज करें।
क्या आत्मविश्वासी उत्तर का मतलब है कि मॉडल निश्चित है?
नहीं। आत्मविश्वासी शब्दावली उत्पन्न शैली है, यह इस बात की मानकीकृत संभावना नहीं है कि दावा सत्य है। कुछ सिस्टम आत्मविश्वास के आकलन या उद्धरण को उजागर कर सकते हैं, लेकिन उपयोगकर्ताओं को प्रमाण के गुणवत्ता और उत्तर पर कार्य करने के परिणामों का मूल्यांकन करना चाहिए।
कब एक मानव को एक एआई उत्तर की समीक्षा करनी चाहिए?
जब एक उत्तर स्वास्थ्य, कानूनी अधिकार, पैसा, सुरक्षा, रोजगार, पहुंच, या किसी अन्य व्यक्ति को प्रभावित कर सकता है, तो मानव समीक्षा उचित है। समीक्षा तब भी उपयोगी है जब स्रोत असहमत होते हैं, जब अनुरोध हाल के घटनाओं पर निर्भर करता है, या जब सिस्टम किसी प्रमुख दावे का सीधे समर्थन प्रदान नहीं कर सकता।