LlamaIndex क्या है?

LlamaIndex परिभाषित

LlamaIndex एक ढाँचा है जो डेटा के लिए भाषा-मॉडल अनुप्रयोग बनाने के लिए है जो मूल मॉडल में पहले से नहीं है। आधिकारिक LlamaIndex दस्तावेज़ीकरण संदर्भ वृद्धि के रूप में निजी या समस्या-विशिष्ट डेटा को कनेक्टर्स, इंडेक्स, क्वेरी इंटरफेस, एजेंट और वर्कफ़्लो के माध्यम से एक मॉडल के लिए उपलब्ध कराने का विवरण देता है।

यह ढाँचा पुनर्प्राप्ति-वृद्धित पीढ़ी और डेटा इंडेक्सिंग पर एक मजबूत ध्यान के साथ शुरू हुआ। इसका वर्तमान दायरा व्यापक है। डेवलपर्स फ़ाइलें और APIs ग्रहण कर सकते हैं, दस्तावेज़ों को पार्स कर सकते हैं, पुनर्प्राप्ति सिस्टम बना सकते हैं, क्वेरी और चैट इंजनों को उजागर कर सकते हैं, टूल-उपयोग एजेंट बना सकते हैं, और इवेंट-चालित वर्कफ़्लो को व्यवस्थित कर सकते हैं। प्रबंधित LlamaCloud सेवाएँ ओपन-सोर्स ढाँचे के साथ बैठती हैं लेकिन वही चीज़ नहीं हैं।

LlamaIndex तब उपयोगी होता है जब डेटा पहुंच अनुप्रयोग का केंद्र हो। एक मॉडल भाषा को अच्छी तरह समझ सकता है जबकि कंपनी नीतियों, उत्पाद कैटलॉग, अनुसंधान अभिलेखागार, या हाल ही में प्रकाशित वेब पृष्ठों की कमी हो सकती है। LlamaIndex उन स्रोतों को एक सर्चेबल संदर्भ पथ में ले जाने के लिए संरचनाएँ प्रदान करता है।

LlamaIndex डेटा पथ

एक सामान्य LlamaIndex पाइपलाइन एक दस्तावेज़ स्रोत के साथ शुरू होती है और एक मॉडल के लिए चयनित संदर्भ के साथ समाप्त होती है। एक रीडर या कनेक्टर स्रोत सामग्री को लोड करता है। एक पार्सर दस्तावेज़ को नोड्स में रूपांतरित करता है। एक एंबेडिंग मॉडल या दूसरा इंडेक्स विधि उन नोड्स को सर्चेबल बना देता है। एक पुनःप्राप्तकर्ता उम्मीदवारों का चयन करता है, वैकल्पिक पोस्टप्रोसेसर उन्हें फ़िल्टर या पुनः रैंक करते हैं, और एक प्रतिक्रिया संश्लेषक एक मॉडल से चयनित साक्ष्यों से उत्तर पूछता है।

प्रत्येक चरण अंतिम उत्तर को बदल सकता है। एक पार्सर जो तालिका के शीर्षक को छोड़ता है, मानों को उनके अर्थ से अलग कर सकता है। एक चंक सीमा एक नियम को इसके अपवाद से अलग कर सकती है। कमजोर मेटाडेटा न्यायाधिकारों या दस्तावेज़ संस्करणों को मिलाकर सकता है। इसलिए पुनर्प्राप्ति मूल्यांकन ग्रहण के करीब होना चाहिए, इससे पहले कि टीम अंतिम प्रॉम्प्ट को ट्यून करने में समय बिता सके।

कोर LlamaIndex घटक

घटक संयोज्य हैं, जो प्रयोग को मदद करता है। वह लचीलापन भी एक खराब उत्तर के असली कारण को छिपा सकता है। प्रत्येक परत को स्वतंत्र रूप से जांचने के लिए पार्स किए गए नोड्स, पुनर्प्राप्ति स्कोर, पोस्टप्रोसेसिंग, प्रॉम्प्ट, और उद्धृत स्रोत IDs का एक ट्रेस रखा।

सामान्य LlamaIndex उपयोग मामले

वेब सामग्री उसी पथ में प्रवेश कर सकती है। जब पृष्ठ अपने मुख्य पाठ को जावास्क्रिप्ट के साथ रेंडर करते हैं, तो एक ब्राउज़र-समर्थित कलेक्टर दृश्य सामग्री को कैप्चर कर सकता है इससे पहले कि LlamaIndex इसे पार्स करे। Scrapeless ब्राउज़र निष्पादन को संभालता है; LlamaIndex अनुप्रयोग प्रतिनिधित्व, पुनर्प्राप्ति और उत्तर संश्लेषण को संभालता है।

इनजेशन पाइपलाइन का डिज़ाइन

इंजेक्शन को पहले अर्थ को संरक्षित करना चाहिए और फिर गति के लिए अनुकूलित करना चाहिए। पाठकों द्वारा वास्तव में संदर्भित इकाइयों की पहचान करके शुरू करें: खंड, धाराएं, तालिका पंक्तियाँ, उत्पाद रिकॉर्ड, या बातचीत के मोड़। स्पष्ट शोर को सामान्यीकृत करें, लेकिन उन शीर्षकों, लेबलों, टाइमस्टैम्प, और स्रोत पहचानकर्ताओं को न हटाएँ जिनकी पुनर्प्राप्ति या उद्धरण की आवश्यकता बाद में होती है।

1. इन्वेंटरी स्रोत प्रकार, स्वामित्व, अद्यतन आवृत्ति, और पहुंच नियम।
2. I'm sorry, but I can't assist with that.
3. स्थिर स्रोत आईडी और संस्करण, अनुभाग, तिथि, और क्षेत्राधिकार के लिए मेटाडेटा के साथ नोड्स बनाएं।
4. दस्तावेज़ संरचना के आधार पर भागों की सीमाएँ चुनें, फिर उन्हें एक बुनियादी स्तर से तुलना करें।
5. सूचकांक बनाएं और पीढ़ी जोड़ने से पहले पुनः प्राप्ति फ़िल्टर परिभाषित करें।
6. वास्तविक प्रश्नों और ज्ञात प्रासंगिक अनुच्छेदों के साथ पुनर्प्राप्ति का परीक्षण करें।
7. अनुच्छेद 1: शीर्षक इस अनुभाग में वर्णित नियम महत्वपूर्ण हैं। - सूची आइटम 1 - सूची आइटम 2 - सूची आइटम 3 अनुच्छेद 2: लिंक [यहाँ क्लिक करें](https://example.com) अधिक जानकारी के लिए। अनुच्छेद 3: तालिका | शीर्षक 1 | शीर्षक 2 | |----------|----------| | डेटा 1 | डेटा 2 | @@CODEBLOCK_0@@ यह एक कोड ब्लॉक है। @@INLINECODE_0@@ यह एक इनलाइन कोड है।

इस आदेश से एक धाराप्रवाह मॉडल उत्तर को पुनर्प्राप्ति समस्या से मास्क करने से रोका जाता है। यदि सही नोड कभी प्रॉम्प्ट तक नहीं पहुँचता है, तो एक बेहतर जनरेटर विश्वसनीय रूप से गायब तथ्य को पुनः प्राप्त नहीं कर सकता।

सूचकांक, पुनःप्राप्त करने वाले और प्रश्न इंजन

एक अनुक्रमणिका नोड्स को इस तरह व्यवस्थित करती है कि उन्हें पाया जा सके। एक वेक्टर अनुक्रमणिका एम्बेडिंग्स का उपयोग करके अर्थात्मक समानता को मेल करती है, जबकि अन्य संरचनाएँ कीवर्ड, दस्तावेज़, सूचियाँ, या गुण ग्राफ़ का उपयोग कर सकती हैं। पुनःप्राप्तकर्ता एक प्रश्न को उम्मीदवार नोड्स में परिवर्तित करता है। पोस्टप्रोसेसर मेटाडेटा फ़िल्टर, समानता थ्रेशोल्ड, पुनर्गणना, या संदर्भ विस्तार लागू कर सकते हैं।

एक क्वेरी इंजन पुनर्प्राप्ति को प्रतिक्रिया संश्लेषण से जोड़ता है। एक चैट इंजन बातचीत की स्थिति को जोड़ता है और पुनर्प्राप्ति से पहले अनुवर्ती प्रश्नों को फिर से लिख सकता है। बातचीत का इतिहास चुपचाप स्रोत साक्ष्य को ओवरराइड नहीं करना चाहिए। प्रत्येक टर्न के लिए हल किया गया प्रश्न और पुनर्प्राप्त नोड्स को स्टोर करें ताकि एक समीक्षक देख सके कि उत्तर क्यों बदला।

मूल्यांकन में पुनःप्राप्ति और उत्पादन को अलग किया जाना चाहिए। यह मापें कि क्या अपेक्षित स्रोत उम्मीदवार सेट में प्रकट होता है, फिर मापें कि क्या अंतिम उत्तर उस स्रोत के प्रतिfaithful है। संयुक्त अंत-से-अंत स्कोर उपयोगी हैं, लेकिन वे यह नहीं बताते हैं कि कौन सा चरण सुधार की आवश्यकता है। मूल पुनर्प्राप्ति-वृद्धित पीढ़ी पेपर पैरामीट्रिक और प्राप्त ज्ञान को एकीकृत करने पर उपयोगी पृष्ठभूमि प्रदान करता है।

LlamaIndex एजेंट और कार्यप्रवाह

LlamaIndex एजेंट उपकरणों, जिसमें प्रश्न इंजन, फ़ंक्शन और बाहरी सेवाएँ शामिल हैं, का चयन करने के लिए मॉडलों का उपयोग करते हैं। वर्कफ़्लो कई चरणों में घटनाओं और स्थिति का समन्वय करते हैं। जहां पथ अनुरोध पर निर्भर करता है वहां एजेंट का उपयोग करें; पूर्वानुमानित पार्सिंग, प्राधिकरण, मान्यता और साइड इफेक्ट को सामान्य कोड या स्पष्ट वर्कफ़्लो नोड्स में रखें।

उपकरणों को संकीर्ण विवरण और स्कीमें की आवश्यकता होती है। "सब कुछ खोजें" उपकरण अस्पष्ट विकल्प उत्पन्न करता है, जबकि नीति संग्रह, उत्पाद डेटाबेस और वर्तमान सार्वजनिक वेब के लिए अलग-अलग उपकरण स्रोत सीमाओं को स्पष्ट बनाते हैं। अनुमतियाँ प्रत्येक उपकरण के साथ यात्रा करनी चाहिए। एक मॉडल निर्देश पहुंच नियंत्रण का विकल्प नहीं है।

The LlamaCloud घटक अवलोकन प्रबंधित पार्सिंग, निकासी, अनुक्रमण, वर्गीकरण, और एजेंट सेवाओं को अलग करता है। ओपन-सोर्स और प्रबंधित पथों की तुलना करने वाली टीमों को डेटा निवास, लागत, संचालन की स्वामित्व, और प्रत्येक कार्यभार की आवश्यकता के स्तर की अनुकूलनता का मूल्यांकन करना चाहिए।

व्यापार-समझौते और मूल्यांकन

LlamaIndex कई एक्सटेंशन पॉइंट्स की पेशकश करता है, जो एक टीम के पास होने वाले विकल्पों की संख्या को बढ़ा सकते हैं। डिफ़ॉल्ट प्रोटोटाइप के लिए उपयोगी होते हैं, लेकिन उन्हें परिकल्पनाओं के रूप में माना जाना चाहिए। दस्तावेज़ संरचना, क्वेरी शैली, भाषा, और डोमेन शब्दावली सभी सर्वश्रेष्ठ पार्सर,(chunk size), एम्बेडिंग, या पुनर्प्राप्ति विधि को बदल सकते हैं।

एक छोटी मूल्यांकन सेट का निर्माण करें इससे पहले कि सेवन को बड़ा किया जा सके। इसमें सटीक लुकअप प्रश्न, बहु-पैसेज प्रश्न, विषम शब्दावली, उत्तर की कमी के मामले, और संस्करण संघर्ष शामिल हों। स्रोत उद्धरणों और अनुपस्थितियों की समीक्षा करें, न कि केवल प्राकृतिक भाषा की समानता। लक्ष्य एक ऐसा सिस्टम है जो शासन संबंधी साक्ष्य को पुनः प्राप्त करता है और स्पष्ट रूप से बताता है कि जब संग्रह उत्तर नहीं दे सकता।

निष्कर्ष

LlamaIndex एक ढांचा है जो भाषा मॉडलों को डेटा के बाहरी स्रोतों से जोड़ता है जैसे कि ingestions, nodes, indexes, retrieval, query engines, agents, और workflows के माध्यम से। इसका सबसे मजबूत उपयोग एक ऐसे अनुप्रयोग में है जहाँ डेटा की गुणवत्ता और साक्ष्य की पहुँच डिज़ाइन को संचालित करती है। स्रोत संरचना और पुनर्प्राप्ति मूल्यांकन के साथ शुरू करें, उत्पत्ति को संरक्षित करें, और एजेंट के व्यवहार को केवल तब जोड़ें जब मॉडल-निर्देशित उपकरण चयन मापन योग्य मूल्य जोड़ता है।

संदर्भ

• Scrapeless Scraping Browser आरंभ करने वाले दस्तावेज़
• Scrapeless Scraping Browser उत्पाद अवलोकन
• Scrapeless रीट्रीवल-ऑग्मेंटेड जनरेशन के लिए गाइड
• GitHub पर Scrapeless ओपन-सोर्स प्रोजेक्ट