llms.txt क्या है?

Scrapeless Agent Browser वेब ऑटोमेशन और AI agents के लिए एक cloud browser प्रदान करता है।

llms.txt एक प्रस्तावित Markdown फ़ाइल है जो AI agents को किसी वेबसाइट का संक्षिप्त परिचय और उपयोगी संसाधनों के लिंक देती है। एक publisher इस फ़ाइल का उपयोग डॉक्यूमेंटेशन की पहचान करने, महत्वपूर्ण संदर्भ समझाने, और क्लाइंट्स को पेजों के साफ़-सुथरे प्रतिनिधित्वों की ओर निर्देशित करने के लिए कर सकता है।

यह फ़ाइल खोज में सहायता के लिए है। इसे प्रकाशित करने से संरक्षित सामग्री तक पहुंच नहीं मिलती, किसी crawler को इसके लिंक मानने के लिए बाध्य नहीं करती, और न ही यह सुनिश्चित करती है कि कोई answer engine साइट का हवाला देगा। इसका व्यावहारिक मूल्य सटीक सामग्री और उस क्लाइंट पर निर्भर करता है जो इसे उपयोग करने का चुनाव करता है।

प्रस्ताव वास्तव में क्या परिभाषित करता है

llms.txt प्रस्ताव एक संक्षिप्त Markdown दस्तावेज़ का वर्णन करता है जिसमें वेबसाइट संदर्भ, मार्गदर्शन, और संसाधन लिंक होते हैं। वर्तमान llms.txt प्रस्ताव स्वच्छ Markdown पेज प्रतिनिधित्वों और खोज लिंक पर भी चर्चा करता है। ये प्रस्तावित प्रथाएँ हैं, न कि स्वयं फ़ाइल द्वारा लागू किया गया कोई access-control सिस्टम।

कोई साइट root पर या किसी प्रासंगिक path के तहत एक index रख सकती है। एक documentation‑विशिष्ट index इस प्रकार डॉक्यूमेंटेशन क्षेत्र का वर्णन कर सकती है बिना पूरे कंपनी का सार प्रस्तुत करने का दिखावा किए। दायरा पाठक के लिए स्पष्ट होना चाहिए: product documentation, knowledge base, और marketing वेबसाइट अलग-अलग प्रकार की जानकारी रखते हैं और उन्हें अलग चयन मानदंडों की आवश्यकता होती है।

Index को इतना छोटा रखें कि वह क्लाइंट को चुनने में मदद कर सके। हर पेज को एक ही असंरचित फ़ाइल में कॉपी करना वह संपादकीय काम खो देता है जिसे यह प्रारूप प्रदान करने के लिए बनाया गया है। कौन‑सा संसाधन कौन‑से प्रश्न का उत्तर देता है इसकी एक छोटी व्याख्या लगभग एक‑जैसे लिंक की लंबी सूची से अक्सर अधिक उपयोगी होती है।

एजेंट फ़ाइल का उपयोग कैसे कर सकता है

कोई agent, व्यक्तिगत पेज खोलने से पहले प्रासंगिक संसाधन खोजने के लिए llms.txt का उपयोग कर सकता है। फ़ाइल उम्मीदवार प्रदान करती है; agent को फिर भी यह तय करना होता है कि कौन‑से पेज उपयोगकर्ता के प्रश्न का उत्तर देते हैं और जो सामग्री वह प्राप्त करता है उसकी जाँच करनी होती है।

उदाहरण के लिए, authentication की जाँच करने वाला एक agent index में एक overview, key‑management पेज, और एक request उदाहरण पा सकता है। उसे authentication सामग्री खोलनी चाहिए और आवश्यक headers, वर्तमान endpoints, और account scope की जाँच करनी चाहिए। किसी index लेबल में “Authentication” पढ़ना एक प्रमाणित अनुरोध को मान्य करने के बराबर नहीं है।

कोई client फ़ाइल की अनदेखी भी कर सकता है या कोई अन्य discovery तंत्र उपयोग कर सकता है। ऐसा डॉक्यूमेंटेशन सिस्टम डिज़ाइन करने से बचें जो llms.txt के बिना अनुपयोगी हो जाए। मानवीय नेविगेशन, स्थिर canonical पेज, और साधारण hyperlinks अब भी उन लोगों, crawlers, और agents के लिए उपयोगी हैं जो प्रस्ताव को लागू नहीं करते।

llms.txt, robots.txt, और Sitemaps

llms.txt संदर्भ और संसाधन चयन प्रदान करता है, robots.txt crawler नियम व्यक्त करता है, और एक sitemap खोज के लिए URLs सूचीबद्ध करता है। उनकी ज़िम्मेदारियाँ नेविगेशन के आसपास कुछ हद तक ओवरलैप करती हैं लेकिन अर्थ में भिन्न हैं।

The Robots Exclusion Protocol स्पष्ट रूप से robots नियमों को authorization से अलग करता है। llms.txt के लिए भी यही व्यावहारिक सीमा महत्त्व रखती है: एक सार्वजनिक रूप से पढ़ी जा सकने वाली text फ़ाइल को कभी भी किसी प्रतिबंधित क्षेत्र में प्रवेश करने या निजी जानकारी प्रकट करने की अनुमति के रूप में नहीं माना जाना चाहिए।

ये संसाधन साथ‑साथ रह सकते हैं। एक sitemap व्यापक URL सूची को कवर कर सकता है, जबकि llms.txt किसी विशेष श्रोता के लिए सबसे सहायक पेज चुन सकता है। जहाँ संभव हो, साइट को दोनों को एक ही मूलभूत content records से बनाए रखना चाहिए, ताकि नया नाम दिए गए पेज परस्पर विरोधी discovery मार्ग न छोड़ें।

उपयोगी इंडेक्स में क्या शामिल करें

एक उपयोगी llms.txt इंडेक्स साइट के उद्देश्य को स्पष्ट करता है और पाठकों को प्रामाणिक पेजों की ओर निर्देशित करता है, साथ ही इतना संदर्भ देता है कि वे उनके बीच चुन सकें। विवरण ऐसे व्यक्ति के लिए लिखें जिसने नेविगेशन नहीं देखा हो और जो केवल एक ही संसाधन प्राप्त कर सकता हो।

वेबसाइट या प्रलेखन के नाम और एक संक्षिप्त सारांश से शुरू करें। लिंक को वास्तविक कार्यों के आधार पर व्यवस्थित करें: आरंभ करना, प्रमाणीकरण, संदर्भ सामग्री, और सीमाएँ। जब दो गंतव्यों के शीर्षक समान हों तो छोटा विवरण जोड़ें। केवल “Introduction” किसी ऐसी साइट पर अस्पष्ट होता है जहाँ कई उत्पाद हों।

मानक (canonical) गंतव्यों को प्राथमिकता दें। यदि पुराना प्रलेखन पथ किसी सामान्य अवलोकन पर रीडायरेक्ट हो जाता है, तो उसे सही, वर्तमान कार्य पेज से बदलें। केवल साफ़ स्थिति यह साबित नहीं करती कि गंतव्य उपयोगी है। रीडायरेक्ट के बाद शीर्षक और प्रासंगिक सामग्री की समीक्षा करें, विशेषकर किसी प्रलेखन माइग्रेशन के बाद।

क्रेडेंशियल और आंतरिक निर्देशों को सार्वजनिक फ़ाइलों से बाहर रखें। एक API उदाहरण यह समझा सकता है कि प्रमाणीकरण कैसे काम करता है, बिना किसी वास्तविक कुंजी को उजागर किए। केवल इसलिए निजी ग्राहक उदाहरण प्रकाशित करने से बचें कि वे किसी एजेंट के लिए उपयोगी संदर्भ हैं। सार्वजनिक प्रलेखन चयन को वेबसाइट जैसी ही सामग्री सीमाओं का पालन करना चाहिए।

Markdown प्रतिलिपियाँ अर्थ को सुरक्षित रखें

किसी पेज का Markdown रूपांतरण उसके तकनीकी अर्थ को सुरक्षित रखे। नेविगेशन हटाने से अव्यवस्था कम हो सकती है, लेकिन पूर्वापेक्षाएँ, चेतावनी पाठ, तालिका शीर्षक या कोड एनोटेशन खोने से यह बदल सकता है कि कोई ग्राहक प्रलेखन से क्या अनुमति मान लेता है।

उन रूपांतरणों की जाँच करें जिनमें तालिकाएँ हों। यदि कोई पैरामीटर मान अपने कॉलम शीर्षक से अलग हो जाए, तो वह उदाहरण की जगह डिफ़ॉल्ट जैसा दिख सकता है। कोड उदाहरणों में भाषा संदर्भ और स्पष्ट प्लेसहोल्डर बने रहने चाहिए। यदि मूल पेज अलग-अलग संस्करणों का वर्णन करता है, तो Markdown रूपांतरण को उन सीमाओं को दृश्यमान रखना होगा।

प्रतिनिधित्वों के बीच एक समान, मानक (canonical) पहचान बनाए रखें। HTTP representation and content negotiation model समझाने में मदद करता है कि एक संसाधन के अलग-अलग प्रतिनिधित्व क्यों हो सकते हैं। एक अधिक साफ़ प्रतिनिधित्व को भी इच्छित संसाधन का ही वर्णन करना चाहिए, न कि किसी असंबंधित पेज का जो केवल पार्स करने में आसान हो।

रखरखाव और स्वीकृति जाँचें

llms.txt को बनाए रखने का अर्थ केवल यह जाँचना नहीं है कि फ़ाइल मौजूद है, बल्कि यह देखना भी है कि सामग्री बदलने के बाद वह उपयोगी है या नहीं। स्वामित्व उस टीम को दें जो आधारभूत प्रलेखन की ज़िम्मेदार है, और जब पेज बदलें या इंटरफ़ेस बदले तो रिलीज़ समीक्षा में इंडेक्स को शामिल करें।

1. पुष्टि करें कि इंडेक्स इच्छित पथ पर पढ़ने योग्य है और उसका उत्तर किसी एप्लिकेशन त्रुटि पेज के बजाय टेक्स्ट शामिल करता है।
2. हर लिंक किए गए गंतव्य को खोलें और उसके अंतिम URL, शीर्षक और विषय की पुष्टि करें।
3. तकनीकी निर्देशों के एक नमूने की तुलना मानव-उन्मुख प्रलेखन से करें।
4. जाँचें कि अप्रचलित संसाधनों को पहचाना या हटाया गया है, और नए मानक (canonical) पेज खोजने योग्य हैं।
5. एक सीमित शोध प्रश्न का परीक्षण करें और देखें कि प्राप्त सामग्री परिणामी उत्तर का समर्थन करती है या नहीं।

परिणामों को अलग-अलग मापें। सर्वर लॉग फ़ाइल के लिए किए गए अनुरोध दिखा सकते हैं, लेकिन कोई अनुरोध यह साबित नहीं करता कि क्लाइंट ने उसे उत्तर में उपयोग किया। रेफ़रल ट्रैफ़िक यह साबित नहीं करता कि यात्रा का कारण फ़ाइल थी। अवलोकन को सटीक रखें: खोज, पुनर्प्राप्ति, उत्तर समर्थन और उद्धरण अलग-अलग घटनाएँ हैं।

प्रस्तावित फ़ाइल संरचना को पहचानना

प्रस्तावित संरचना H1 से शुरू होती है जो साइट या प्रोजेक्ट का नाम बताती है। इसमें एक छोटा ब्लॉककोट सारांश, व्याख्यात्मक पाठ, और H2 सेक्शन शामिल हो सकते हैं जिनमें संसाधन लिंक की सूचियाँ और वैकल्पिक विवरण हों। “Optional” सेक्शन कम संदर्भ की आवश्यकता होने पर क्लाइंट द्वारा छोड़े जा सकने वाले द्वितीयक सामग्री के लिए एक परंपरा है।

ऐसे सेक्शन नाम चुनें जो संसाधनों की व्याख्या करें, न कि किसी आंतरिक विभाग चार्ट को दोहराएँ। प्रमाणीकरण के बारे में पूछने वाला व्यक्ति किसी वैचारिक अवलोकन को रिक्वेस्ट हेडर के संदर्भ (reference) से अलग पहचान सके। संरचनात्मक मार्कर इंडेक्स को संसाधित करना आसान बनाते हैं; उपयोगी लेबल और सुव्यवस्थित गंतव्य इसे पढ़ने लायक बनाते हैं।

क्यूरेट किए गए संदर्भ के साथ ब्राउज़र पुनर्प्राप्ति का उपयोग

जब किसी प्रलेखन इंडेक्स में उत्तर न हो या कार्य के लिए रेंडर की गई पेज स्थिति की आवश्यकता हो, तब भी ब्राउज़र पुनर्प्राप्ति उपयोगी रहती है। Scrapeless Agent Browser उस वर्कफ़्लो के ब्राउज़र हिस्से को प्रदान कर सकता है; यह यह निर्धारित नहीं करता कि कोई थर्ड-पार्टी एजेंट llms.txt का पालन करेगा या नहीं।

The Agent Browser documentation उत्पाद संदर्भ प्रदान करता है। AI एजेंटों के लिए वेब संदर्भ इंजीनियरिंग उपयोगी वेब साक्ष्य चुनने के व्यापक कार्य को संबोधित करता है। Scrapeless pricing की समीक्षा ब्राउज़र वर्कलोड के संदर्भ में करें, न कि केवल इंडेक्स फ़ॉर्मेट को अधिसंरचना जोड़ने का कारण मानें।

निष्कर्ष

llms.txt तब उपयोगी है जब यह किसी एजेंट को कम अस्पष्टता के साथ वर्तमान, प्रासंगिक प्रलेखन खोजने में मदद करता है। फ़ाइल को क्यूरेटेड रखें, वैकल्पिक प्रतिनिधित्वों में अर्थ सुरक्षित रखें, और बदलावों के बाद उसके गंतव्यों का सत्यापन करें। पुनर्प्राप्ति और उत्तर गुणवत्ता का सीधा मूल्यांकन करें; केवल टेक्स्ट फ़ाइल की मौजूदगी इनमें से किसी को स्थापित नहीं करती।