प्रशिक्षण डेटा क्या है?

स्क्रेपलेस यूनिवर्सल स्क्रेपिंग एपीआई डेटा वर्कफ़्लो के लिए सार्वजनिक रूप से उपलब्ध वेब सामग्री प्राप्त करता है जिसमें रेंडर की गई पृष्ठ या संरचित प्रतिक्रिया स्वरूपों की आवश्यकता होती है।

प्रशिक्षण डेटा definido

प्रशिक्षण डेटा उन उदाहरणों का सेट है जो एक शिक्षण एल्गोरिदम को प्रस्तुत किए जाते हैं जबकि यह एक मॉडल के पैरामीटर या निर्णय नियमों को समायोजित करता है। पर्यवेक्षित शिक्षण में, एक उदाहरण आमतौर पर एक इनपुट को एक लक्षित लेबल के साथ जोड़े में होता है। असंकेतित या आत्म-पर्यवेक्षित शिक्षण में, संरचना इन्पुट से स्वयं निकाली जा सकती है। सुदृढीकरण शिक्षण अवलोकनों, क्रियाओं, और पुरस्कारों का उपयोग कर सकता है। प्राथमिकता शिक्षण रैंक या चयनित प्रतिक्रियाओं का उपयोग कर सकता है। सटीक रिकॉर्ड आकार शिक्षण उद्देश्य के अनुसार होता है।

The NIST मशीन-सीखने की शब्दावली मशीन लर्निंग को उन सिस्टम के रूप में परिभाषित करता है जो डेटा से अनुकूलित और सीखते हैं ताकि सटीकता में सुधार हो सके। प्रशिक्षण डेटा वह साक्ष्य है जिसका उपयोग उस अनुकूलन की गणना करने के लिए किया जाता है। यह केवल पुनर्प्राप्ति के लिए उपयोग की जाने वाली डेटाबेस के समान नहीं है, और यह उसी तरह के उदाहरणों के समान नहीं है जो अनुमान समय पर प्रांप्ट में लगाए जाते हैं।

एक टेक्स्ट क्लासिफायर के लिए, प्रशिक्षण उदाहरण दस्तावेज़ हो सकते हैं जो श्रेणियों के साथ जोड़े गए हैं। एक इमेज डिटेक्टर के लिए, प्रत्येक छवि में बॉक्स और ऑब्जेक्ट लेबल हो सकते हैं। एक भाषा मॉडल के लिए, सामग्री में अगले-टोकन पूर्वानुमान, निर्देश-प्रतिक्रिया जोड़े, प्राथमिकता तुलना, या कार्य-विशिष्ट उदाहरणों के लिए उपयोग किए गए टेक्स्ट अनुक्रम शामिल हो सकते हैं। एक ही मॉडल कई प्रशिक्षण चरणों से गुजर सकता है, प्रत्येक अलग डेटासेट और उद्देश्य के साथ।

यह शब्द उन मेटाडेटा को भी कवर करता है जो उदाहरणों को व्याख्या करने के लिए आवश्यक हैं। स्रोत, संग्रह विधि, लाइसेंस, सहमति आधार, टाइमस्टैम्प, भाषा, भूगोल, परिवर्तन इतिहास, और लेबल निर्देश रिकॉर्ड्स की उपयोगिता या अनुमति पर प्रभाव डाल सकते हैं। इस संदर्भ को हटाने से एक डेटा सेट एक अपारदर्शी उदाहरणों के ढेर में बदल जाता है जिसे समस्याएं उत्पन्न होने पर ऑडिट नहीं किया जा सकता।

कैसे प्रशिक्षण डेटा एक मॉडल को आकार देता है

प्रशिक्षण के दौरान, एक एल्गोरिदम मॉडल के आउटपुट की तुलना एक उद्देश्य से करता है और त्रुटि को कम करने या पुरस्कार को बढ़ाने के लिए आंतरिक पैरामीटर को समायोजित करता है। प्रत्येक उदाहरण एक संकेत में योगदान करता है, लेकिन मॉडल मानव-पठनीय नियमों की एक साफ टेबल संग्रहीत नहीं करता है। यह सांख्यिकीय नियमितताओं को सीखता है जो सामग्री, आवृत्ति, संरचना और प्रशिक्षण सेट में मौजूद त्रुटियों को दर्शाती हैं।

नमूना नियंत्रण करते हैं कि कौन सी नियमितताएँ हावी होती हैं। यदि एक भाषा, उत्पाद वर्ग, लेखन शैली, या जनसांख्यिकी समूह अन्य समूहों के मुकाबले कहीं अधिक बार प्रकट होता है, तो अनुकूलन प्रक्रिया उस पैटर्न को अधिक बार देखती है। वजन देना, संतुलन बनाना, डुप्लीकेशन हटाना, और लक्षित डेटा संग्रह करने से एक्सपोजर बदल सकता है, लेकिन प्रत्येक विकल्प को रिकॉर्ड किया जाना चाहिए ताकि बाद में मूल्यांकन मॉडल के व्यवहार को समझा सके।

लेबल मानव या प्रोग्रामेटिक निर्णयों को प्रशिक्षण लक्ष्य में परिवर्तित करते हैं। एक लेबल गाइड को परिभाषाएं, सीमा मामले और वृद्धि नियमों की आवश्यकता होती है। एनोटेटर्स के बीच सहमति उपयोगी साक्ष्य है, लेकिन सहमति यह साबित नहीं करती कि लेबल योजना निष्पक्ष या उपयुक्त है। कुछ कार्यों में वास्तविक अस्पष्टता होती है; एक उत्तर को मजबूर करना उन अनिश्चितताओं को छिपा सकता है जो मॉडल को बनाए रखने के लिए सीखनी चाहिए।

The NIST एआई जोखिम प्रबंधन ढाँचा डेटा और मॉडल जोखिमों को एक व्यापक प्रशासन प्रक्रिया का हिस्सा मानता है। व्यवहार में, मॉडल मूल्यांकन को विफलताओं को स्रोत कवरेज, लेबल नीति, रूपांतरण, या तैनाती के भिन्नताओं तक पीछे ले जाना चाहिए न कि डेटा गुणवत्ता का एक सार्वभौमिक स्कोर के रूप में वर्णन करना चाहिए।

प्रशिक्षण डेटा, सत्यापन डेटा, और परीक्षण डेटा

डेटासेट विभाजन विकास निर्णयों को अंतिम मूल्यांकन के लिए उपयोग किए गए एक ही साक्ष्य को उपभोग करने से रोकता है।

प्रशिक्षण डेटा के सामान्य रूप

उपयोगी इकाई हमेशा एक लेबल वाली पंक्ति नहीं होती; यह सीखने के उद्देश्य द्वारा आवश्यक साक्ष्य है।

एक प्रशिक्षण डेटासेट बनाना

डिप्लॉयमेंट निर्णय से शुरू करें। परिभाषित करें कि मॉडल का उपयोग कौन करेगा, इसे कौन सा इनपुट मिलेगा, कौन सी गलतियाँ महत्वपूर्ण हैं, और किन जनसंख्याओं या पर्यावरणों का प्रतिनिधित्व करना चाहिए। यह विशिष्टता सैंपलिंग योजना बन जाती है। "अधिक डेटा" के लिए एक सामान्य अनुरोध संग्रहकर्ताओं को यह नहीं बता सकता है कि किस प्रकार के अंतर को भरना है या किन रिकॉर्डों को अस्वीकार करना है।

संग्रह से पहले एक स्रोत सूची बनाएँ। प्रत्येक स्रोत के लिए मालिक, एक्सेस पथ, अनुमति या लाइसेंस का आधार, Intended use, retention rule, और प्रतिबंध रिकॉर्ड करें। सार्वजनिक दृश्यता पुनः उपयोग के बारे में सभी प्रश्नों का समाधान नहीं करती। अनुबंध की शर्तें, बौद्धिक संपत्ति के अधिकार, गोपनीयता कानून, गोपनीयता, और क्षेत्रीय नियम सभी इस पर असर डाल सकते हैं कि क्या सामग्री एक प्रशिक्षण सेट में शामिल की जानी चाहिए।

कच्चे, सामान्यीकृत, और लेबल किए गए स्तरों को अलग करें। कच्चा स्तर संरक्षित करता है कि क्या इकट्ठा किया गया था और यह कहाँ से आया। सामान्यीकृत स्तर पार्सिंग, भाषा पहचान, फ़िल्टरिंग, और डीडुप्लिकेशन का दस्तावेजीकरण करता है। लेबल किया गया स्तर लक्ष्यों और समीक्षा निर्णयों को जोड़ता है। इन स्तरों को स्पष्ट रखने से एक टीम को एक पार्सर या लेबल गाइड को संशोधित करने की अनुमति मिलती है बिना यह दिखाए कि मूल स्रोत में बदलाव आया है।

डाटासेट को एक कला के रूप में संस्करणित करें। एक रिलीज़ को इसके स्रोत स्नैपशॉट, फ़िल्टर, स्कीमा, लेबल निर्देश, विभाजन तर्क और ज्ञात सीमाओं की पहचान करनी चाहिए। सामग्री हैश और अपरिवर्तनीय मैनिफेस्ट एक प्रशिक्षण रन को पुन: उत्पादन करने में मदद करते हैं। एक रिकॉर्ड को हटाना या प्रतिबंधित करना एक नए संस्करण और एक स्पष्ट वंश पथ का निर्माण करना चाहिए न कि किसी पुराने रिलीज़ को चुपचाप परिवर्तित करना चाहिए।

गुणवत्ता, अधिकार, और लीक होने के जोखिम

कवरेज गैप अक्सर कुल मात्रा में अदृश्य होते हैं। एक कॉर्पस में लाखों रिकॉर्ड हो सकते हैं जबकि एक दुर्लभ विफलता मोड, एक क्षेत्रीय उत्पाद नाम, एक अल्पसंख्यक भाषा, या एक इंटरफेस का वर्तमान संस्करण गायब हो सकता है। स्लाइस-स्तरीय मूल्यांकन को निर्धारित तैनाती समूहों और परिस्थितियों का पालन करना चाहिए, न कि जो श्रेणियाँ गिनने में आसान होती हैं।

डुप्लिकेशन परिवर्तन प्रभावी वजन। पुनर्पोस्ट किए गए लेख, मिरर किए गए रिपॉजिटरी, बॉयलरप्लेट पृष्ठ, और निकट-समरूप उदाहरण एक पैटर्न को अपेक्षित से अधिक महत्वपूर्ण बना सकते हैं। सटीक हैश कुछ प्रतियों को पकड़ते हैं; हल्के संपादित या टेम्पलेटेड सामग्री के लिए निकट-डुप्लिकेट पहचान की आवश्यकता होती है। डेडुप्लिकेशन नियमों को मापना चाहिए क्योंकि आक्रामक फ़िल्टर वैध पुनरावृत्त रूपों को भी हटा सकते हैं।

डेटा लीक तब होता है जब मूल्यांकन साक्ष्य प्रशिक्षण या विकास निर्णयों तक पहुँच जाता है। प्रत्यक्ष डुप्लिकेट सबसे सरल मामला हैं। समानार्थक, साझा टेम्पलेट्स, उसी बातचीत से जुड़े अभिलेख, या समय-ओवरलैप करने वाले स्रोत भी लीक कर सकते हैं। उस इकाई द्वारा विभाजित करें जो निर्भरता का निर्माण करती है—उपयोगकर्ता, दस्तावेज़ परिवार, स्रोत, समय खिड़की, या संगठन—केवल बेतरतीब पंक्तियों द्वारा नहीं।

व्यक्तिगत और कॉपीराइट सामग्री के लिए जानबूझकर प्रशासन की आवश्यकता होती है। एकत्रित क्षेत्रों को न्यूनतम करें, रहस्यों और प्रतिबंधित क्षेत्रों को बाहर रखें, प्रसंस्करण के लिए कानूनी आधार का दस्तावेजीकरण करें, और विवादित रिकॉर्ड के लिए समीक्षा रास्ते प्रदान करें। OECD एआई सिद्धांत एक नीति ढांचा प्रदान करें जो जिम्मेदार प्रबंधन, पारदर्शिता और जवाबदेही के लिए हो, लेकिन एक परियोजना को अभी भी क्षेत्राधिकार-विशिष्ट कानूनी समीक्षा की आवश्यकता होती है।

प्रशिक्षण डेटा का मूल्यांकन कैसे करें

माप योजना की वैधता, गायब क्षेत्रों, लेबल संगतता, डुप्लिकेट दरें, भाषा वितरण, स्रोत केंद्रितता, और अस्थायी कवरेज को मापें। ये डेटासेट का वर्णन करते हैं, मॉडल का नहीं। इन्हें मॉडल स्लाइस से जोड़ें ताकि किसी एक डेटा संपत्ति में परिवर्तन को कार्य प्रदर्शन में परिवर्तन के साथ तुलना किया जा सके।

नमूनों का निरीक्षण करें, केवल डैशबोर्ड नहीं। यादृच्छिक नमूने सामान्य गुणवत्ता को प्रकट करते हैं, जबकि लक्षित नमूने उच्च-जोखिम श्रेणियों और लंबे पूंछ की विफलताओं को प्रकट करते हैं। स्वीकार किए गए और अस्वीकार्य रिकॉर्ड दोनों का समीक्षा करें। एक फ़िल्टर जो स्पष्ट शोर को हटाता है, यदि इसकी धारणाएँ बहुत संकीर्ण हैं, तो यह अभी भी मूल्यवान बोलियाँ, कोड प्रारूप, या अल्पसंख्यक मामलों को हटा सकता है।

बेसलाइन मॉडल जल्दी चलाएं। एक सरल बेसलाइन लेबल लीक, तुच्छ शॉर्टकट और विभाजन संदूषण को महंगे प्रशिक्षण चलाने से पहले प्रकट कर सकता है। यदि एक मॉडल फ़ाइल नाम, वॉटरमार्क, या स्रोत-विशिष्ट टेम्पलेट से लक्ष्य का पूर्वानुमान करता है, तो डेटासेट ने गलत कार्य सिखाया है, भले ही शीर्षक सटीकता उच्च दिखे।

उत्पादन से डेटा रखरखाव तक एक फीडबैक मार्ग बनाए रखें। नई त्रुटि श्रेणियों को अतिरिक्त उदाहरणों, सही लेबल, संशोधित नमूने, या संकुचित उत्पाद वादे की आवश्यकता हो सकती है। रुझान निरंतरता के लिए पुराने मूल्यांकन सेट को बनाए रखें, और नए चुनौती सेट को स्पष्ट रूप से जोड़ें ताकि लाभ चुपचाप परीक्षण को बदलकर उत्पन्न न हों।

निष्कर्ष

प्रशिक्षण डेटा वह साक्ष्य है जिसका उपयोग एक सीखने की प्रक्रिया एक मॉडल को आकार देने के लिए करती है। इसका प्रभाव रिकॉर्ड की संख्या से अधिक है: स्रोत कवरेज, उदाहरण भार, लेबल, परिवर्तन, अधिकार, और विभाजन डिजाइन सभी प्रभावित करते हैं कि मॉडल क्या सीखता है और एक टीम इसे कितनी आत्मविश्वास से मूल्यांकन कर सकती है।

एक विश्वसनीय डेटासेट की उत्पत्ति होती है। टीमों को यह समझाने में सक्षम होना चाहिए कि रिकॉर्ड कहाँ से आए, क्या बदल गया, प्रत्येक स्रोत को क्यों अनुमत किया गया है, कैसे उदाहरणों को विभाजित किया गया, और कौन से जनसंख्या कमजोर रूप से प्रतिनिधित्व की गई हैं। यह रिकॉर्ड मॉडल सुधार और जोखिम समीक्षा को संभव बनाता है।