कैसे संरचित निष्कर्षण के साथ क्लॉड कोड वेब अनुसंधान टोकनों को कम करें

TL;DR:

• Claude Code वेब अनुसंधान टोकन उस पर आधारित होते हैं जो मॉडल तक पहुँचता है, न कि केवल उस पर जो नेटवर्क को पार करता है। कच्चा HTML, दोहराया नेविगेशन, समान URL, उपकरण मेटाडाटा, और विस्तृत परिणाम सभी संदर्भ का उपभोग कर सकते हैं।
• कारण बताने के चरण से पहले सामग्री कम करें। मुख्य सामग्री निष्कर्षण, संकीर्ण चयनकर्ता, फ़ील्ड-स्तरीय निष्कर्षण, और एक JSON Schema पसंद करें जो अधूरे परिणामों को अस्वीकार करता है।
• स्रोत URL और प्रमाण स्निप्पेट्स रखें। एक छोटा पेलोड केवल तभी उपयोगी है जब उत्तर ऑडिटेबल और पूर्ण रहे।
• MCP अधिग्रहण को कारण से अलग कर सकता है। Claude Code एक सीमित Scrapeless उपकरण का चयन करता है; उपकरण केवल उन फ़ील्ड को लौटाता है जिनकी कार्य के लिए आवश्यकता होती है।
• हमारा पुनरुत्पादकीय प्रॉक्सी परीक्षण 181,892 से 434 तुलनात्मक टोकनों की निश्चित इनपुट को काट दिया। इसने एक सार्वजनिक दस्तावेज़ पृष्ठ, एक प्रश्न, और cl100k_base का उपयोग किया; ये Claude बिलिंग टोकन नहीं हैं।

Claude Code वेब पर खोज सकता है, एक पृष्ठ प्राप्त कर सकता है, MCP उपकरणों को कॉल कर सकता है, और लौटाई गई सामग्री पर तर्क कर सकता है। यह अनुसंधान को सुविधाजनक बनाता है, लेकिन सुविधा एक बुनियादी लागत समस्या को छिपा सकती है: एक प्रश्न जिसे छह तथ्यों की आवश्यकता होती है, संदर्भ में हजारों अप्रासंगिक वर्णों को खींच सकता है।

समस्या का समाधान यह नहीं है कि "ज्यादा आक्रामक रूप से संक्षेपित करें।" संक्षेपण एक अन्य मॉडल कार्य है और यह आपको आवश्यक प्रमाण को हटा सकता है। एक बेहतर कार्यप्रवाह अधिग्रहण समय पर सामग्री कम करता है, परिणाम को मान्य करता है, और मुख्य मॉडल को एक छोटा प्रमाण अनुबंध भेजता है।

यह ट्यूटोरियल Claude Code के लिए Scrapeless MCP Server और Universal Scraping API पैटर्न के लिए उस कार्यप्रवाह का निर्माण करता है।

Claude Code वेब अनुसंधान टोकन कहां से आते हैं

अनुसंधान पथ को चार अलग-अलग खंडों के रूप में मानें:

अधिग्रहीत बाइट्स → निकाले गए वर्ण → मॉडल-संदर्भ टोकन → संरचित उत्तर टोकन

वे संबंधित हैं, लेकिन वे स्वाप नहीं किए जा सकते।

पृष्ठ अधिग्रहण मात्रा

यह वही है जो ब्राउज़र, प्राप्तकर्ता, या स्क्रैपिंग सेवा प्राप्त करती है। एक रेंडर किया गया पृष्ठ स्क्रिप्ट, शैलियों, नेविगेशन, कुकी बैनरों, एम्बेडेड स्थिति, और कई मार्गों के लिए सामग्री शामिल कर सकता है। अधिग्रहण मात्रा नेटवर्क और स्क्रैपिंग लागत को प्रभावित करती है, लेकिन इसे Claude के संदर्भ में प्रवेश नहीं करना चाहिए।

लौटाए गए वर्ण

उपकरण यह चुनता है कि यह क्या लौटाता है: कच्चा HTML, पठनीय Markdown, चुने गए तत्व, या एक JSON ऑब्जेक्ट। यह सबसे उपयोगी नियंत्रण बिंदु है। यहां आधारभूत सामग्री को हटाने से बाद के प्रत्येक चरण को इसे संसाधित करने से बचाता है।

मुख्य-मॉdel संदर्भ

Claude Code प्रणाली संचालन, बातचीत के इतिहास, उपकरण की परिभाषाएँ, उपकरण के परिणाम, और आपका वर्तमान अनुरोध देखता है। एक संक्षिप्त उपकरण प्रतिक्रिया अभी भी एक बड़े प्रोजेक्ट संदर्भ के बगल में बैठ सकती है। संदर्भ को प्रबंधित करने के तरीके को समझने के लिए वर्तमान Claude Code संदर्भ-विंडो दस्तावेज़ का उपयोग करें, लेकिन एक निश्चित क्षमता या मूल्य मानने के बजाय अपने स्वयं के कार्यप्रवाह को मापें।

संरचित उत्तर आउटपुट

एक JSON Schema अंतिम उत्तर को सीमित करता है। यह अपने पूर्ववर्ती पृष्ठ सामग्री को स्वचालित रूप से नहीं छोटा करता है। उपकरण के परिणामों और अंतिम प्रतिक्रिया पर संरचना लागू करें।

अनुकूलन से पहले एक आधार स्थापित करें

एक अनुसंधान प्रश्न और एक निश्चित स्रोत सेट का उपयोग करें। रिकॉर्ड करें:

• अनुरोधित स्रोत URL;
• प्रत्येक उपकरण द्वारा लौटाए गए वर्ण;
• मॉडल और Claude Code संस्करण;
• मापन के लिए उपयोग किए गए टोकनाइज़र या API उपयोग फ़ील्ड;
• इनपुट और आउटपुट टोकन की गिनती;
• आवश्यक उत्तर फ़ील्ड और पूर्णता परिणाम।

Claude Code वर्तमान CLI विकल्पों को claude --help के साथ उजागर करता है। इस लेख के लिए उपयोग की गई मशीन पर, Claude Code 2.1.162 ने --mcp-config, --tools, --output-format, और --json-schema को सूचीबद्ध किया। वर्तमान Claude Code उपकरणों का संदर्भ WebSearch और WebFetch को अंतर्निर्मित उपकरणों के रूप में दस्तावेजित करता है।

उन Claude Code उपकरणों को Anthropic API वेब उपकरणों के साथ भ्रमित न करें। API का वेब फेच दस्तावेज़ीकरण सर्वर-साइड सुविधाओं जैसे गतिशील फ़िल्टरिंग का वर्णन करता है। API के लिए दस्तावेजित एक विशेषता स्वचालित रूप से Claude Code WebFetch विकल्प नहीं है।

चरण 1: कच्चे HTML के मुकाबले मुख्य सामग्री को प्राथमिकता दें

कच्चा HTML चयनकर्ताओं को डिबग करने या सटीक मार्कअप को बनाए रखने के लिए उपयोगी है। यह आमतौर पर एक खराब अनुसंधान पेलोड होता है।

अधिग्रहण परत से हटाने के लिए कहें:

• स्क्रिप्ट, शैली, SVG, और टेम्पलेट सामग्री;
• साइट नेविगेशन और दोहराए गए फूटर;
• सहमति और खाता खोलें;
• प्रश्न द्वारा आवश्यक नहीं होने वाली छिपी स्थिति;
• अप्रासंगिक सिफारिशें और टिप्पणियाँ।

पठनीय Markdown अक्सर एक अच्छा पहला कमी है। यह शीर्षकों, सूचियों, लिंक, और कोड को बनाए रखता है जबकि प्रस्तुति परत के अधिकांश को छोड़ देता है। फिर भी सुनिश्चित करें कि शीर्षक और आवश्यक अनुभाग मौजूद हैं; एक स्वच्छ लॉगिन पृष्ठ एक सफल निष्कर्षण नहीं है।

चरण 2: केवल उन फ़ील्ड को निकालें जिनकी प्रश्न को आवश्यकता है

मुख्य सामग्री अभी भी उत्तर से बहुत बड़ी हो सकती है। कई पृष्ठों को प्राप्त करने से पहले प्रश्न को एक निष्कर्षण अनुबंध में बदलें।

{
  "type": "object",
  "required": ["source_url", "tools", "complete"],
  "properties": {
    "source_url": { "type": "string", "format": "uri" },
    "tools": {
      "type": "array",
      "items": {
        "type": "object",
        "required": ["name", "evidence"],
        "properties": {
          "name": { "type": "string" },
          "evidence": { "type": "string", "maxLength": 1200 }
        }
      }
    },
    "complete": { "type": "boolean" }
  }
}

साक्ष्यों को संक्षिप्त रखें, लेकिन इसे समर्थन न करने वाली मान सीमा तक न घटाएं। ऐसा क्षेत्र जैसे supports_web: true संक्षिप्त और ऑडिट करने में कठिन है। स्रोत URL के साथ एक सीमित साक्ष्य स्निपेट एक समीक्षक को व्याख्या की पुष्टि करने देता है।

दोहराए गए पृष्ठ आकारों के लिए, लक्षित चयनकर्ता या एक संरचित निष्कासन एंडपॉइंट का उपयोग करें। विविध पृष्ठों के लिए, पहले पठनीय सामग्री का अनुरोध करें, फिर जहां संभव हो, संबंधित अनुभागों का चयन करें।

चरण 3: अधिग्रहण से पहले URLs को डुप्लिकेट करें

शोध एजेंट अक्सर नेविगेशन, खोज पैरामीटर, भाषा उपनामों, या अंशों के माध्यम से समान दस्तावेज़ का सामना करते हैं। फ़ेच करने से पहले सामान्यीकृत करें:

1. सापेक्ष URLs को हल करें;
2. अंश हटा दें;
3. एक स्वीकृत क्वेरी-पैरामीटर नीति लागू करें;
4. एक बार रीडायरेक्ट का पालन करें और अंतिम मानक पहचान रिकॉर्ड करें;
5. मिरर या पुनरावृत्तियों को पकड़ने के लिए स्वीकार की गई सामग्री का हैश बनाएं।

हर क्वेरी पैरामीटर को न हटाएँ। स्थानीयता, संस्करण, उत्पाद, या तिथि पैरामीटर दस्तावेज़ को बदल सकते हैं। सामान्यीकरण नियम स्रोत नीति के तहत है, न कि एक सार्वभौमिक स्ट्रिंग क्लीनर।

एक छोटा कैश भी एक रन में पुनरावृत्त संग्रह को रोक सकता है। इसे मानक स्रोत, स्थानीयता, निष्कासन अनुबंध संस्करण, और ताजगी आवश्यकता के द्वारा कुंजीबद्ध करें।

चरण 4: क्लॉड कोड को स्क्रेपलेस एमसीपी से कनेक्ट करें

एमसीपी एजेंट-फेसिंग इंटरफ़ेस को छोटा रखता है। क्लॉड कोड नामित उपकरणों और योजनाओं को देखता है; स्क्रेपलेस उनके पीछे खोज, सार्वजनिक-पृष्ठ स्क्रैपिंग, या क्लाउड-ब्राउज़र संचालन का प्रबंधन करता है।

पूर्वापेक्षाएँ:

• क्लॉड कोड और Node.js स्थापित हैं;
• एक स्क्रेपलेस खाता और API कुंजी;
• एक अधिकृत सार्वजनिक लक्ष्य;
• एक पृष्ठ और उपकरण-कॉल बजट।

कुंजी को एक पर्यावरण चर में सहेजें। यह परियोजना-स्तरीय उदाहरण वैरिएबल एक्सपेंशन का उपयोग करता है ताकि रहस्य को प्रतिबद्ध न किया जाए:

{
  "mcpServers": {
    "scrapeless": {
      "command": "npx",
      "args": ["-y", "scrapeless-mcp-server"],
      "env": {
        "SCRAPELESS_KEY": "${SCRAPELESS_KEY}"
      }
    }
  }
}

ऑब्जेक्ट को अनुमोदित परियोजना में .mcp.json के रूप में सहेजें और उस परियोजना से क्लॉड कोड शुरू करें। कनेक्शन स्वास्थ्य की जांच के लिए claude mcp list चलाएँ। क्लॉड कोड को परियोजना-स्कोप्ड एमसीपी सर्वरों के लिए अनुमोदन की आवश्यकता होती है; उन्हें अनुमोदित करने से पहले कमांड और पर्यावरण कुंजी की जांच करें।

संपादकीय सत्यापन के दौरान, वर्तमान स्क्रेपलेस पैकेज को मानक एमसीपी क्लाइंट प्रवाह के साथ stdio के माध्यम से लॉन्च किया गया था। सत्यापन वातावरण में कोई उत्पादन कुंजी उपस्थित नहीं होने के कारण कोई मान्य वेब कॉल नहीं चलाया गया। पहले वास्तविक उपकरण कॉल को एक स्वीकृति परीक्षण के रूप में मानें: एक अनुमत URL, एक आवश्यक क्षेत्र सेट, और कोई विस्तृत क्रॉलिंग नहीं।

वर्तमान क्लॉड कोड एमसीपी दस्तावेज़ दायरा, परिवहन, उपकरण खोज, आउटपुट सीमाएँ, और पर्यावरण-चर विस्तार को स्पष्ट करता है। स्क्रेपलेस क्लॉड एकीकरण गाइड उत्पाद-विशिष्ट सर्वर कॉन्फ़िगरेशन प्रदान करता है।

चरण 5: एजेंट को सीमित अनुसंधान अनुबंध दें

“इस विषय पर शोध करें” अन्वेषण का निमंत्रण देता है। एक सीमित प्रॉम्प्ट स्रोतों, क्षेत्रों, और एक रुकने की शर्त को परिभाषित करता है।

इस तरह के अनुरोध का उपयोग करें:

नामित उत्पाद के बारे में अधिकतम पांच आधिकारिक स्रोतों की खोज करें। मानक URLs को डुप्लिकेट करें। प्रत्येक स्वीकार किए गए स्रोत के लिए, शीर्षक, अंतिम URL, प्रकाशन या अद्यतन तिथि जब दृश्य हो, और आवश्यक विशेषता का समर्थन करने वाला एक साक्ष्य स्निपेट लौटाएँ। तीन पूर्ण स्रोतों के बाद रुकें। गायब क्षेत्रों को मार्क करें; उन्हें अनुमान न लगाएँ।

यह अनुबंध एक साथ चार विफलता मोड को नियंत्रित करता है: अनलिमिटेड सर्च, डुप्लीकेट अधिग्रहण, विस्तृत परिणाम, और आविष्कृत क्षेत्र।

एमसीपी उपकरण सेट को भी फ़िल्टर करें। एक दस्तावेज़ कार्य को खोज और एक-शॉट मार्कडाउन निष्कासन की आवश्यकता हो सकती है, हर ब्राउज़र क्रिया नहीं। कम दृश्य उपकरण चयन अस्पष्टता को कम करते हैं और अनुमति की समीक्षा को सरल बनाते हैं।

चरण 6: कमी और संपूर्णता को एक साथ मापें

हमने सार्वजनिक क्लॉड कोड टूल्स-रेफरेंस पृष्ठ और एक निर्धारित प्रश्न का उपयोग किया:

कौन से अंतर्निहित क्लॉड कोड उपकरण सार्वजनिक वेब सामग्री की खोज या प्राप्त कर सकते हैं, और अनुसंधान कार्यप्रवाह पर कौन से प्रतिबंध लागू करने चाहिए?

एक ही cl100k_base टोकनाइज़र ने प्रश्न के साथ-साथ प्रत्येक सामग्री रूपांतरण को गिनती की। यह एक ओपन तुलना प्रॉक्सी है, न कि एंथ्रोपिक का टोकनाइज़र और न ही क्लॉड बिलिंग माप।

लक्षित JSON ने मुख्य सामग्री की तुलना में लगभग 95.4% कम तुलना टोकन और कच्चे HTML से 99.8% कम का उपयोग किया। ये प्रतिशत केवल इस पृष्ठ और इस निष्कासन अनुबंध का वर्णन करते हैं।

संपूर्णता की जांच जानबूझकर संकीर्ण थी: दोनों आवश्यक उपकरण नाम मुख्य पाठ और निष्कासित वस्तु में मौजूद होने थे, स्रोत पहचान संरक्षित रखी गई। एक उत्पादन मूल्यांकन को यह भी स्कोर करना चाहिए कि क्या प्रत्येक साक्ष्य स्निपेट अंतिम उत्तर का समर्थन करता है।

चरण 7: एक परिणाम स्वीकृति गेट जोड़ें

संपीड़न सहीता नहीं है। मुख्य तर्क प्रक्रिया में सामग्री प्रवेश करने से पहले, मान्य करें:

• अंतिम यूआरएल अनुमत सूची में है;
• पृष्ठ पहचान अनुरोधित दस्तावेज़ से मेल खाती है;
• आवश्यक क्षेत्र मौजूद हैं और सही प्रकार के हैं;
• सबूतों में दावा किया गया प्राणी या शब्द शामिल है;
• सामग्री त्रुटि, सहमति, लॉगिन, या पहुंच-चुनौती खोल नहीं है;
• रिकॉर्ड में संग्रहण समय और निष्कर्ष अनुबंध संस्करण शामिल है;
• कुल लौटाए गए अक्षर कार्य बजट के तहत रहते हैं।

प्रकारित परिणाम लौटाएं जैसे accepted, missing_fields, wrong_page, access_required, या over_budget। क्लॉड यह तय कर सकता है कि रुकना है या बिना हर विफलता को सामान्य प्रोज़ के रूप में मानते हुए किसी अन्य अनुमोदित मार्ग का उपयोग करना है।

सार्वभौमिक स्क्रेपिंग एपीआई का उपयोग कब करें

जब क्लॉड कोड को इंटरैक्टिव रूप से एक वेब क्षमता खोजने और चुनने की आवश्यकता होती है, तो एमसीपी उपयोगी होता है। जब आपका कार्यक्रम पहले से ही लक्ष्य जानता है और सीआई, डेटा कार्य, या सेवा से एक पूर्वानुमानित अनुरोध चाहता है, तो सार्वभौमिक स्क्रेपिंग एपीआई एक बेहतर सीमा है।

जब आपको आवश्यकता होती है, तो एपीआई पथ का उपयोग करें:

• निर्धारित अनुप्रयोग कोड से निष्कर्षण कॉल करें;
• एजेंट के बाहर दर और बजट नियंत्रण केंद्रीयकृत करें;
• क्लॉड कोड चलने से पहले परिणामों को सामान्य करें;
• कई शोध सत्रों के बीच स्वीकृत रिकॉर्ड कैश करें।

इसी सिद्धांत को लागू करें: उस सबसे कम खर्चीली आउटपुट का अनुरोध करें जो स्वीकृति अनुबंध को पूरा कर सके, फिर केवल स्वीकृत क्षेत्रों को क्लॉड को भेजें। समर्थित अंत बिंदुओं और अनुरोध क्षेत्रों के लिए यूनिवर्सल स्क्रेपिंग एपीआई उत्पाद पृष्ठ और वर्तमान दस्तावेज़ीकरण की समीक्षा करें।

सामान्य गलतियाँ

कच्चे पृष्ठों को "बस मामले में" भेजना

यह चयन कार्य को सिस्टम के सबसे संदर्भ-संवेदनशील भाग पर स्थानांतरित कर देता है। कच्चे सामग्री को प्रॉम्प्ट के बाहर रखें और इसके बजाय एक सबूत बंडल भेजें।

बिना उत्तर अनुबंध के टोकन का अनुकूलन करना

एक छोटा उत्तर जो एक आवश्यक तथ्य को छोड़ देता है, प्रभावी नहीं है। स्वीकार्य उत्तरों को लागत के अनुसार मापें, केवल टोकन में कमी नहीं।

स्रोत पहचान को गिराना

अंतिम यूआरएल और सबूत के बिना, परिणाम का ऑडिट या सुरक्षित रूप से रीफ्रेश नहीं किया जा सकता है।

प्रॉम्प्ट या प्रतिबद्ध कॉन्फ़िगरेशन में कुंजी का खुलासा करना

पर्यावरण चर और परियोजना गुप्त नियंत्रण का उपयोग करें। प्रॉम्प्ट, उदाहरण, लॉग या रेपॉजिटरी में कभी भी उत्पादन कुंजी को पेस्ट न करें।

उपकरण आउटपुट सीमाएं प्रासंगिकता की गारंटी नहीं देतीं

एक आउटपुट कैप अनियंत्रित आकार को रोकता है। यह सही अंश का चयन नहीं करता या पृष्ठ का मान्यता नहीं करता।

उत्पादन चेकलिस्ट

• बेंचमार्क के लिए प्रश्न, मॉडल, स्रोत सेट और आउटपुट स्कीमा ठीक करें।
• हर टूल सीमा पर लौटाए गए अक्षरों की गिनती करें।
• संग्रहण से पहले कैननिकल यूआरएल को डिडुप्लिकेट करें।
• कच्चे एचटीएमएल के बजाय मार्कडाउन, चयनकर्ताओं या संरचित क्षेत्रों का चयन करें।
• अंतिम यूआरएल, सबूत, संग्रहण समय, और अनुबंध संस्करण को सुरक्षित रखें।
• मुख्य-मॉडल तर्क से पहले गलत-पृष्ठ और अधूरे परिणामों को अस्वीकार करें।
• दृश्य एमसीपी उपकरणों और अनुमोदित लक्ष्यों को सीमित करें।
• गुप्त चीज़ों को प्रॉम्प्ट और संस्करण नियंत्रण के बाहर रखें।
• स्वीकृत-परिणाम की लागत की तुलना करें, अलग-अलग टोकन गिनती नहीं।

स्क्रेपलेस एमसीपी सर्वर अवलोकन पढ़ें, स्क्रेपलेस मूल्य निर्धारण की जांच करें, और एक सीमित शोध कार्य के साथ शुरू करें।

अक्सर पूछे जाने वाले प्रश्न

प्रश्न: क्या WebFetch हमेशा ब्राउज़र उपकरणों की तुलना में कम क्लॉड कोड टोकन का उपयोग करता है?

नहीं। टोकन का उपयोग संदर्भ में लौटाई गई सामग्री पर निर्भर करता है। एक संक्षिप्त ब्राउज़र निष्कर्षण एकVerbose fetch की तुलना में छोटा हो सकता है, जबकि एक साफ fetch ब्राउज़र एचटीएमएल की तुलना में छोटा हो सकता है। लौटाई गई सामग्री को मापें।

प्रश्न: क्या JSON स्कीमा इनपुट टोकन कम कर सकता है?

यह संरचित आउटपुट को कम और मान्य कर सकता है, लेकिन यह पृष्ठ सामग्री को स्वचालित रूप से कम नहीं करता है। यदि आवश्यक हो तो निष्कर्षण सीमा पर और फिर अंतिम उत्तर पर एक स्कीमा लागू करें।

प्रश्न: क्या इस लेख में दिए गए टोकन गणनाएँ क्लॉड टोकन हैं?

नहीं। ये एक पुनरुत्पादक cl100k_base तुलना प्रॉक्सी हैं। बिलिंग-संबंधित संख्याओं के लिए अपने सटीक क्लॉड मॉडल के साथ वर्तमान एनथ्रोपिक टोकन-गणना या उपयोग इंटरफेस का उपयोग करें।

प्रश्न: सीधे स्क्रेपिंग एपीआई कॉल करने के बजाय एमसीपी का उपयोग क्यों करें?

Q: मुझे कैसे पता चलेगा कि निष्कर्षण ने एक आवश्यक तथ्य को हटा नहीं दिया?

आवश्यक क्षेत्रों और साक्ष्य को संग्रहण से पहले परिभाषित करें, फिर पूर्णता और अर्थ संबंधी जांच चलाएं। ऑडिट या पुनःप्रसंस्करण के लिए स्रोत URL और कच्चे स्नैपशॉट को प्रांप्ट के बाहर रखें।