AI टोकन लागत: HTML बनाम मार्कडाउन GPT, क्लॉड, जेमिनी के बीच
Advanced Data Extraction Specialist
TL;DR:
- टोकन की गिनती मॉडल-विशिष्ट माप हैं। GPT, Claude, और Gemini एक ही बाइट को अलग-अलग तरीके से विभाजित कर सकते हैं, इसलिए सूची मूल्य अकेले इनपुट लागत की भविष्यवाणी नहीं कर सकता।
- कच्चा HTML मार्कअप, स्क्रिप्ट, शैलियाँ, और दोहराई गई नेविगेशन पर संदर्भ खर्च करता है। मुख्य-सामग्री मार्कडाउन आमतौर पर प्रति टोकन अधिक पठन-सक्षम जानकारी बनाए रखता है।
- फॉर्मेट और टोकनाइज़र को अलग चर के रूप में मापें। कच्चे HTML, निकाले गए पाठ, और मार्कडाउन में समान पृष्ठों की तुलना करें, प्रत्येक प्रदाता की अपनी गिनती के साथ।
- Scrapeless इनपुट को नियंत्रित करने में मदद करता है इससे पहले कि यह मॉडल तक पहुंचे। पृष्ठ को चित्रित करें, उपयोगी सामग्री को अलग करें, स्रोत URLs को बनाए रखें, और केवल वही प्रतिनिधित्व भेजें जिसकी कार्य को आवश्यकता है।
एक LLM कभी भी एक वेब पृष्ठ को वर्ण गणना के द्वारा बिल नहीं करता। यह उस टोकन की गणना करता है जो एक मॉडल-विशिष्ट टोकनाइज़र पृष्ठ प्रतिनिधित्व को विभाजित करने के बाद उत्पन्न होता है।
इसका मतलब है कि लागत को निर्धारित करने के लिए दो तकनीकी विकल्प हैं: कौन सा टोकनाइज़र इनपुट की गणना करता है, और क्या इनपुट कच्चा HTML, सामान्य पाठ, या साफ मार्कडाउन है।
एआई टोकन क्या है?
एक एआई टोकन एक इकाई है जो एक मॉडल के टोकनाइज़र द्वारा उत्पन्न होती है और संदर्भ और उपयोग के खिलाफ गिनी जाती है। टोकन सार्वभौमिक शब्द या वर्ण नहीं होते। शब्दावली, प्रशिक्षण कॉर्पस, और टोकनाइजेशन एल्गोरिदम सीमाओं को बदलते हैं।
The OpenAI tiktoken प्रोजेक्ट उन सीमाओं को मापने के लिए उपयोग की जाने वाली एन्कोडिंग को उजागर करता है। एक एन्कोडिंग के लिए उत्पन्न की गई गणना को एक अलग मॉडल परिवार में सटीक मान के रूप में नहीं ले जाना चाहिए।
क्यों एक ही पृष्ठ अलग-अलग गिनती उत्पन्न करता है
सामान्य शब्द एक शब्दावली प्रविष्टि में फिट हो सकते हैं, जबकि असामान्य पहचानकर्ता, कोड, इमोजी, और गैर-अंग्रेज़ी पाठ कई टुकड़ों में विभाजित होते हैं। भाषाओं में टोकनाइजेशन पर अनुसंधान दिखाता है कि शब्दावली विकल्प बेमिसाल प्रतिनिधित्व लागत पैदा करते हैं; भाषा टोकनाइजेशन विषमतता अध्ययन उन प्रभावों को भाषा समूहों में मापता है।
संरचित इनपुट एक अन्य विविधता का स्रोत जोड़ता है। HTML टैग नाम, विशेषताएँ, वर्ग मान, स्क्रिप्ट, और स्टाइल डेटा को दोहराता है। JSON और टूल स्कीमाएँ ब्रेसेस, उद्धृत कुंजी, और विराम चिह्न जोड़ती हैं। ये बाइट्स पार्सर्स के लिए उपयोगी होते हैं लेकिन अक्सर मॉडल के कार्य के लिए अप्रासंगिक होते हैं।
HTML, टेक्स्ट, और मार्कडाउन अलग-अलग इनपुट हैं
| फॉर्मेट | रखता है | गिराता है | सबसे अच्छा फिट |
|---|---|---|---|
| कच्चा HTML | DOM संरचना, विशेषताएँ, स्क्रिप्ट, शैलियाँ | कुछ नहीं | DOM विश्लेषण और चयनक कार्य |
| निकाली गई पाठ | दृश्यमान शब्द | अधिकांश पदानुक्रम और लिंक | सरल वर्गीकरण या खोज |
| साफ मार्कडाउन | शीर्षक, सूचियाँ, तालिकाएँ, लिंक, पठनीय पाठ | स्क्रिप्ट, शैलियाँ, अधिकांश लेआउट क्रोम | अनुसंधान, संक्षेपण, और RAG |
मार्कडाउन स्वचालित रूप से सबसे छोटे संभव प्रतिनिधित्व नहीं होता है। यह महत्वपूर्ण है क्योंकि यह उपयोगी दस्तावेज़ संरचना को बनाए रखते हुए ब्राउज़र-उन्मुख बाइट्स के बड़े वर्गों को हटा देता है।
एक प्रजनन योग्य टोकन बेंचमार्क
एक स्थिर पृष्ठ सेट का उपयोग करें जो उत्पादन कार्यभार को दर्शाता है: दस्तावेज़, उत्पाद पृष्ठ, समाचार, फोरम, और यदि वे महत्वपूर्ण हैं तो जावास्क्रिप्ट एप्लिकेशन। हर प्रतिनिधित्व के लिए सही अधिग्रहित बाइट्स और एक हैश सहेजें।
प्रत्येक पृष्ठ के लिए:
- चुनी गई रेंडर नीति के बाद कच्चा HTML कैप्चर करें।
- मुख्य-सामग्री पाठ को निकालें।
- उसी रेंडर स्रोत से मार्कडाउन उत्पन्न करें।
- प्रत्येक प्रदाता के आधिकारिक काउंटर के साथ तीनों रूपों की गिनती करें।
- टोकन, वर्ण, सामग्री हैश, निकासी सेटिंग्स, और पृष्ठ श्रेणी को रिकॉर्ड करें।
विभिन्न दिनों में एकत्र की गई गणनाओं की तुलना न करें जो पृष्ठों में परिवर्तन करते हैं। फॉर्मेट प्रयोग के स्वतंत्र चर है; स्रोत बाइट्स को स्थिर बनाए रखना चाहिए।
Scrapeless के साथ स्क्रैपिंग शुरू करें
Scrapeless के साथ अपनी वेब स्क्रैपिंग और स्वचालन कार्यप्रवाह को पावर करें!
आज ही साइन अप करें और $5 का मुफ्त क्रेडिट प्राप्त करें — कोई क्रेडिट कार्ड आवश्यक नहीं।अपने मुफ्त क्रेडिट का दावा करें Scrapeless डैशबोर्ड में।
प्रदाता-नेटिव विधियों से गिनती करें
मॉडल के लिए प्रदाता के समर्थित काउंटर या टोकनाइज़र का उपयोग करें। बजट या संदर्भ प्रवेश के लिए वर्णों-प्रति-टोकन शॉर्टकट पर भरोसा न करें।
लंबे इनपुट के लिए, गिनती की सीमा को बनाए रखें और किसी भी टुकड़ों की विधि को डॉक्यूमेंट करें। एक टोकनाइज़र सीमाओं के पार वर्णों को मिलाप कर सकता है, इसलिए स्वतंत्रता से गिनी गई वस्तुओं का योग एक पूर्ण-इनपुट की गिनती से थोड़ा भिन्न हो सकता है।
The क्रॉस-टोकनाइजर संपीड़न अध्ययन समझाता है कि सरल शब्द और वर्ण हीयुरिस्टिक्स क्षेत्रों के बीच क्यों असफल होते हैं। मापी गई टोकन गिनती को डेटा के रूप में मानें, न कि एक सार्वभौमिक रूपांतरण अनुपात के रूप में।
टोकन को प्रभावी लागत में परिवर्तित करें
प्रभावी इनपुट लागत मापी गई टोकन को मॉडल के लागू इनपुट मूल्य से गुणा करके मापी जाती है। बेस इनपुट, कैश किए गए इनपुट, लंबे-संदर्भ स्तरों, और आउटपुट उपयोग को अलग पंक्तियों के रूप में रखें क्योंकि उनके बिलिंग नियम भिन्न होते हैं।
एक उचित मॉडल तुलना समान सामग्री सेट और कार्य का उपयोग करती है। यदि एक मॉडल कच्चा HTML प्राप्त करता है और दूसरा मार्कडाउन प्राप्त करता है, तो प्रयोग पाइपलाइन डिजाइन और मॉडल मूल्य निर्धारण को एक ही समय में मापता है।
Scrapeless का स्थान
Scrapeless Universal Scraping API मॉडल कॉल से पहले वेब सामग्री अधिग्रहित कर सकता है। एप्लिकेशन को स्रोत URL और रेंडर सेटिंग्स को बनाए रखना चाहिए, फिर डाउनस्ट्रीम कार्य के आधार पर कच्चा HTML, पाठ या एक साफ़ प्रतिनिधित्व चुनना चाहिए।
जब मॉडल को DOM संरचना के बारे में तर्क करने की आवश्यकता होती है, तब कच्चा HTML उपयुक्त रहता है। प्रश्न उत्तर देने और पुनर्प्राप्ति के लिए साफ़ मार्कडाउन आमतौर पर बेहतर डिफ़ॉल्ट होता है क्योंकि शीर्षक, सूचियाँ, लिंक और तालिकाएँ पूर्ण ब्राउज़र डॉक्यूमेंट के बिना जीवित रहती हैं।
LLM स्क्रैपर तुलना बताती है कि स्रोत अधिग्रहण और LLM-तैयार आउटपुट एक साथ कैसे फिट होते हैं। Scrapeless मूल्य निर्धारण पृष्ठ पर अधिग्रहण की मात्रा का मूल्यांकन करें।
पहले क्या ऑप्टिमाइज़ करें
प्रक्रिया को नहीं चाहिए वह सामग्री हटा दें, इससे पहले कि मॉडल बदलें। नेविगेशन, कुकी बैनर, स्टाइल, स्क्रिप्ट, डुप्लिकेट मोबाइल मार्कअप और अप्रासंगिक सिफारिशें अधिकांश उत्तरों में सुधार किए बिना संदर्भ का उपभोग करती हैं।
फिर साफ़ इनपुट का उपयोग करके टोकनाइज़र की तुलना करें। HTML जीवित मानक यह दिखाता है कि एक ब्राउज़र दस्तावेज़ की संरचनात्मक और स्क्रिप्टिंग संबंधों के कारण पाठ्य सामग्री से परे क्यों होता है।
अंत में, उत्पादन सामग्री के मिश्रण की निगरानी करें। प्रोज़ द्वारा हावी एक बेंचमार्क कोड, तालिकाओं या बहुभाषी पृष्ठों द्वारा हावी कार्यभार की भविष्यवाणी नहीं करेगा।
निष्कर्ष
टोकन लागत मॉडल कॉल से पहले शुरू होती है। अपनी पाइपलाइन जो सटीक प्रतिनिधित्व भेजती है, उसे मापें, प्रत्येक मॉडल की अपनी विधि के साथ उनका गिनती करें, और ब्राउज़र-उन्मुख बाइट्स को हटा दें जो कार्य को आवश्यक नहीं हैं। Scrapeless अधिग्रहण परत प्रदान करता है; एप्लिकेशन तय करता है कि कौन सा प्रतिनिधित्व मॉडल संदर्भ बनता है।
क्या आप इसे खरीदने से पहले वेब संदर्भ मापने के लिए तैयार हैं?
Discord या Telegram पर Scrapeless समुदाय से जुड़ें। app.scrapeless.com के साथ शुरू करें और HTML, पाठ, और मार्कडाउन में एक प्रतिनिधि पृष्ठ सेट का बेंचमार्क करें।
अक्सर पूछे जाने वाले प्रश्न
Q: क्या GPT, Claude, और Gemini एक ही पाठ को समान रूप से गिनते हैं?
नहीं। प्रत्येक मॉडल परिवार अपने स्वयं के टोकनाइज़र और शब्दावली का उपयोग करता है, इसलिए एक समान बाइट्स विभिन्न टोकन गिनती उत्पन्न कर सकते हैं।
Q: क्या एक टोकन चार वर्णों के बराबर होता है?
भाषाओं, कोड, मार्कअप और मॉडल परिवारों के बीच कोई निश्चित चरित्र अनुपात विश्वसनीय नहीं है। सटीक मॉडल के लिए टोकनाइज़र या गिनती विधि का उपयोग करें।
Q: क्या मार्कडाउन हमेशा HTML की तुलना में कम टोकन का उपयोग करता है?
साफ़ मार्कडाउन आमतौर पर स्क्रिप्ट, शैलियों, विशेषताओं, और पुनरावृत्त नेविगेशन को हटा देता है, लेकिन परिणाम एक्सट्रैक्टर और पृष्ठ पर निर्भर करता है। समान कैप्चर किए गए स्रोत पर दोनों प्रतिनिधित्वों को मापें।
Q: क्या कच्चा HTML कभी LLM को भेजा जाना चाहिए?
कच्चा HTML तब उचित होता है जब कार्य को DOM संरचना, विशेषताओं, या चयनकर्ता तर्क की आवश्यकता होती है। संक्षेपण और शोध आमतौर पर केवल मुख्य सामग्री और लिंक की आवश्यकता होती है।
Q: टोकन लागत की तुलना विभिन्न मॉडलों के बीच कैसे की जानी चाहिए?
प्रत्येक मॉडल के समर्थित विधि के साथ समान उत्पादन नमूनों को गिनें, संबंधित मूल्य स्तर को लागू करें, और कैश किया गया इनपुट, लंबा संदर्भ, और आउटपुट शुल्क को अलग रखें।
स्क्रैपलेस में, हम केवल सार्वजनिक रूप से उपलब्ध डेटा का उपयोग करते हैं, जबकि लागू कानूनों, विनियमों और वेबसाइट गोपनीयता नीतियों का सख्ती से अनुपालन करते हैं। इस ब्लॉग में सामग्री केवल प्रदर्शन उद्देश्यों के लिए है और इसमें कोई अवैध या उल्लंघन करने वाली गतिविधियों को शामिल नहीं किया गया है। हम इस ब्लॉग या तृतीय-पक्ष लिंक से जानकारी के उपयोग के लिए सभी देयता को कोई गारंटी नहीं देते हैं और सभी देयता का खुलासा करते हैं। किसी भी स्क्रैपिंग गतिविधियों में संलग्न होने से पहले, अपने कानूनी सलाहकार से परामर्श करें और लक्ष्य वेबसाइट की सेवा की शर्तों की समीक्षा करें या आवश्यक अनुमतियाँ प्राप्त करें।
