कैसे स्क्रैपलेस MCP सर्वर को जीरोक्लॉ में जोड़ें: एक चरण-दर-चरण गाइड

मुख्य निष्कर्ष:

• एक TOML ब्लॉक स्थानीय Rust एजेंट को क्लाउड ब्राउज़र से जोड़ता है। ZeroClaw एक एकल-बाइनरी AI एजेंट रनटाइम है जो LLM प्रदाताओं से बात करता है, 30+ चैनलों पर सुनता है, और उपकरणों के माध्यम से कार्य करता है। Scrapeless MCP Server को जोड़ना ~/.zeroclaw/config.toml में चार पंक्तियों का [mcp] ब्लॉक है — कोई SDK इंस्टॉल नहीं, कोई प्रबंधन करने के लिए डेमन नहीं, एजेंट-साइड कोड में कोई परिवर्तन नहीं।
• बीस MCP उपकरण, दो सतहें। Scrapeless MCP सर्वर google_search, google_trends, पूरे browser_* क्लाउड-ब्राउज़र प्राइमेटिव सेट, और scrape_html / scrape_markdown / scrape_screenshot को उजागर करता है। स्टडिओ परिवहन स्थानीय रूप से npx -y scrapeless-mcp-server के माध्यम से चलता है; स्ट्रीम करने योग्य HTTP https://api.scrapeless.com/mcp पर इंगित करता है।
• MCP और एजेंट कौशल सामंजस्यपूर्ण हैं, विकल्प नहीं। MCP सर्वर ZeroClaw को उपकरण देता है; Scrapeless OpenClaw कौशल — webunlocker-skill और llm-chat-scraper-skill — उसे Scrapeless APIs के लिए कैसे प्रदान करते हैं। ZeroClaw ने OpenClaw से माइग्रेट किया और वही SKILL.md प्रारूप पढ़ता है, इसलिए कौशल ~/.zeroclaw/workspace/skills/ में गिरते हैं और zeroclaw skills list के माध्यम से कॉल करने योग्य हो जाते हैं।
• एंटी-डिटेक्शन क्लाउड ब्राउज़र, 195+ देशों में आवासीय प्रॉक्सी। Scrapeless जावा स्क्रिप्ट रेंडरिंग, आवासीय-प्रॉक्सी एग्रीस, फिंगरप्रिंट रैंडमाइजेशन (UA, समय क्षेत्र, WebGL, कैनवास) और सत्र स्थिरता को प्लेटफ़ॉर्म स्तर पर संभालता है, इसलिए ZeroClaw एजेंट काम पर ध्यान केंद्रित करता है न कि बचाव की प्रक्रिया पर।
• खोज → निकालना किसी भी साइट पर कार्य करता है। google_search का उपयोग करके पृष्ठ को स्थानांतरित करें, scrape_markdown से JS-रेन्डर किए गए SPA से साफ़ पाठ खींचें, पृष्ठित या इंटरएक्टिव प्रवाह के लिए browser_* उपकरणों का उपयोग करें, और समय श्रृंखला संदर्भ के लिए google_trends का उपयोग करें। एजेंट उन्हें संकलित करता है; प्रोटोकॉल में कुछ भी लक्षित-विशिष्ट नहीं है।
• शुरू करने के लिए स्वतंत्र। नए Scrapeless खातों में मुफ्त MCP रनटाइम शामिल है — app.scrapeless.com पर साइन अप करें।

परिचय: स्थानीय Rust एजेंट से लाइव वेब एक्सेस तक

ZeroClaw एक Rust एजेंट रनटाइम है जो पूरी तरह से ऑपरेटर की मशीन पर चलता है। एक बाइनरी, एक TOML कॉन्फ़िगरेशन, ऑपरेटर की कुंजियाँ, ऑपरेटर का कार्यक्षेत्र। यह ~20 LLM प्रदाताओं से संवाद करता है, Discord, Telegram, Matrix, ईमेल, आवाज, वेबहुक और CLI के माध्यम से दुनिया तक पहुँचता है, और शेल, ब्राउज़र, HTTP, हार्डवेयर और MCP-सर्वर उपकरणों के माध्यम से कार्य करता है। 31k-स्टार रिपॉजिटरी को नियंत्रित स्वायत्तता, OS-स्तरीय सैंडबॉक्स (Landlock, Bubblewrap, Seatbelt, Docker) और हर क्रिया पर क्रिप्टोग्राफिक उपकरण रसीदों के चारों ओर एक सुरक्षा मॉडल तैयार किया गया है।

किसी भी स्थानीय एजेंट रनटाइम की मौलिक सीमा वही है जो हर LLM पर आती है: मॉडल का ज्ञान प्रशिक्षण कटऑफ पर जमी हुई है। अनुसंधान, निगरानी, लीड जनरेशन, प्रतियोगी बुद्धिमत्ता, और लाइव प्रकाशक डेटा के खिलाफ RAG के लिए, वह सीमा उस क्षण प्रकट होती है जब एजेंट को एक पृष्ठ पढ़ना होता है जो उस समय नहीं था जब मॉडल को प्रशिक्षित किया गया था। ZeroClaw का अंतर्निहित ब्राउज़र और HTTP उपकरण सुरक्षित पृष्ठों और दस्तावेज़ लुकअप को कवर करते हैं; Cloudflare, Akamai, reCAPTCHA, या IP-प्रतिष्ठा फ़िल्टरिंग के पीछे के व्यावसायिक पृष्ठ एक अलग सतह हैं जिनके लिए उन उपकरणों का निर्माण नहीं किया गया था।

यह पोस्ट Scrapeless को ZeroClaw में दो एकीकरण सतहों के माध्यम से वायर करने के माध्यम से चलता है जो रनटाइम समर्थन करता है: Scrapeless MCP Server (एजेंट के लिए नए उपकरणों को उजागर करने का सामान्य तरीका) और Scrapeless OpenClaw कौशल (सामान्य ज्ञान फ़ाइलें जो एजेंट उन उपकरणों को प्रभावी ढंग से संचालित करने के लिए लोड करता है)। ये दोनों एक-दूसरे को पूरक करते हैं — MCP सर्वर वह है जिसे एजेंट कॉल करता है; कौशल वह हैं जो उसे कब और कैसे Scrapeless APIs को कॉल करना बताते हैं। अन्य ग्राहकों के माध्यम से जारी किए गए समान Scrapeless प्राइमेटिव के लिए, MCP सर्वर ट्यूटोरियल Claude Desktop / Cursor / Codex CLI के माध्यम से चलता है, और Hermes एकीकरण पोस्ट उन एजेंटों के लिए सीधे-CDP पथ को कवर करता है जो पहले से ही Chrome DevTools Protocol बोलते हैं।

ZeroClaw क्या है?

ZeroClaw एक एकल Rust बाइनरी है जो ऑपरेटर की अपनी मशीन पर एक एजेंट रनटाइम को बूट करता है। रखरखाव करने वाले इसे "आप एजेंट के मालिक हैं, आप डेटा के मालिक हैं, आप जिस मशीन पर यह चलता है उसके मालिक हैं।" रनटाइम चार चलती हुई वस्तुओं के चारों ओर संरचित है:

• चैनल (30+ एडाप्टर)। Discord, Telegram, Matrix, ईमेल, आवाज, वेबहुक, CLI और ACP IDE ब्रिज से आने वाले संदेश — सभी को एक ही एजेंट लूप की ओर रूट किया जाता है।
• प्रदाता (~20 LLM बैकएंड)। Anthropic, OpenAI, Ollama, कोई भी OpenAI-अनुकूलित एंडपॉइंट। बैकअप श्रृंखलाएँ और रूटिंग एजेंट को तब भी चलाए रखती हैं जब कोई प्रदाता फ्लेक्स करता है।
• उपकरण (शेल, ब्राउज़र, HTTP, हार्डवेयर, MCP)। कार्रवाई की सतह। MCP सर्वर पहले श्रेणी के उपकरणों के रूप में अंतर्निहित से पंजीकरण करते हैं।
• सुरक्षा नीति और SOP इंजन। डिफ़ॉल्ट स्वायत्तता निगरानी है: मध्यम-जोखिम ऑपरेशनों को स्वीकृति की आवश्यकता होती है, उच्च-जोखिम अवरुद्ध होते हैं। मानक संचालन प्रक्रियाएँ MQTT, वेबहुक, क्रॉन, या परिधीय घटनाओं पर अनुमोदन गेट्स और फिर से शुरू होने वाले रन के साथ लागू होती हैं।

कॉन्फ़िगरेशन एक ही स्थान पर रहती है: ~/.zeroclaw/config.toml। कार्यक्षेत्र — कौशल, मेमोरी, लॉग, MCP स्थिति — ~/.zeroclaw/workspace/ के तहत रहता है। OpenClaw से माइग्रेट कर रहे ऑपरेटर सीधे कार्यक्षेत्र को आयात कर सकते हैं; कौशल प्रारूप वही है।

अपने ज़ीरोक्लॉ एजेंट में वेब एक्सेस क्यों जोड़ें

ज़ीरोक्लॉ को शक्ति देने वाले LLMs एक ही सीमा साझा करते हैं: प्रशिक्षण कटऑफ। एक तेजी से बदलते वातावरण में तीन अवलोकनीय विफलता मोड उत्पन्न होते हैं — पुरानी जवाब, भ्रमित तथ्य, और ऐसी URL के खिलाफ उपकरण कॉल जो तब से घुमाए गए हैं या 404 पर चले गए हैं।

ज़ीरोक्लॉ में निर्मित http और browser टूल शामिल हैं, और ये एक व्यापक सतह को कवर करते हैं। ये वाणिज्यिक वेब के लिए अनुकूलित नहीं हैं: JS-निष्पादित SPA, एंटी-बॉट इंटरस्टिशियल, CAPTCHA चुनौतियाँ, और भू-प्रतिबंधित सामग्री एजेंट और वास्तविक चाहते डेटा के बीच बैठते हैं। स्क्रेपलेस को जोड़ने से उन विफलता मोड को सामान्य उपकरण कॉल्स में बदला जा सकता है:

• वास्तविक-समय अनुसंधान google_search (Google, स्थानीयकृत gl + hl पैरामीटर के साथ) और google_trends (समय-श्रृंखला रुचि डेटा) के माध्यम से।
• क्रॉस-स्रोत सत्यापन scrape_markdown द्वारा एकल एजेंट टर्न में कई परिणाम URLs के खिलाफ।
• लाइव डेटा संग्रह JS-भारी साइटों से — मूल्य निर्धारण पृष्ठ, मार्केटप्लेस लिस्टिंग, समीक्षा पृष्ठ, सार्वजनिक निर्देशिकाएँ — browser_* क्लाउड-ब्राउज़र प्राइमिटिव्स के माध्यम से।
• भू-सीमाबद्ध प्रश्न एक विशेष देश में सत्र आवंटित करके, इसलिए एजेंट वह देखता है जो एक स्थानीय उपयोगकर्ता देखेगा।

ज़ीरोक्लॉ को स्क्रेपलेस के साथ कैसे बढ़ाएं: दो सतहें

स्क्रेपलेस ज़ीरोक्लॉ को दो सतहों के माध्यम से समर्थन करता है, जिन्हें एक साथ उपयोग किया जाता है:

• स्क्रेपलेस MCP सर्वर — आधिकारिक सर्वर जो मॉडल संदर्भ प्रोटोकॉल के माध्यम से 20 क्लाउड-ब्राउज़र, SERP, और स्क्रैपिंग टूल्स को उजागर करता है।
• स्क्रेपलेस ओपनक्लॉ कौशल — SKILL.md-स्वरूपित ज्ञान फ़ाइलें जो एजेंट को स्क्रेपलेस यूनिवर्सल स्क्रैपिंग API और LLM चैट स्क्रैपर को प्रभावी ढंग से चलाना सिखाती हैं। ज़ीरोक्लॉ सीधे ओपनक्लॉ कौशल आयात करता है।

MCP सर्वर वह है जिसे एजेंट आवेदन करता है। कौशल वह है जिसे एजेंट पढ़ता है यह तय करने के लिए कि कब और कैसे आवेदन करना है। ये वैकल्पिक नहीं हैं — एक साथ स्थापित करने पर, एजेंट के पास उपकरण और प्लेबुक दोनों हैं।

स्क्रेपलेस MCP सर्वर

MCP सर्वर सीधे 20 टूल्स के साथ आता है। मूल सेट:

दो परिवहन का समर्थन किया जाता है। स्टडिओ (npx -y scrapeless-mcp-server) ज़ीरोक्लॉ को स्थानीय रूप से चलाने वाले वर्कस्टेशन के लिए सही डिफ़ॉल्ट है; स्ट्रीम करने योग्य HTTP (https://api.scrapeless.com/mcp) ठीक डिफ़ॉल्ट है जब एजेंट एक दूरस्थ होस्ट पर चल रहा हो और ऑपरेटर स्क्रेपलेस द्वारा होस्टेड MCP सर्वर चाहता हो न कि प्रति-आवेदन शुरू किया जाए।

स्क्रेपलेस ओपनक्लॉ कौशल

कौशल ऐसी SKILL.md फ़ाइलें हैं जिनमें एक छोटा Python रनटाइम होता है जो एक विशिष्ट स्क्रेपलेस API को लपेटता है। दोनों आधिकारिक स्क्रेपलेस GitHub संगठन पर उपलब्ध हैं:

ज़ीरोक्लॉ ओपनक्लॉ कौशल प्रारूप को विरासत में लेता है। कौशल ~/.zeroclaw/workspace/skills/ में क्लोन किए जाते हैं, zeroclaw skills list द्वारा सूचीबद्ध होते हैं, और अगली zeroclaw agent सत्र में एजेंट के लिए उपलब्ध हो जाते हैं।

आप इसके साथ क्या कर सकते हैं

• प्रतिदिन निगरानी एजेंट। एक ZeroClaw SOP शेड्यूल करें जो हर सुबह चलता है: google_search ट्रैक किए गए कीवर्ड के लिए, scrape_markdown शीर्ष तीन परिणाम, संक्षेप में, Discord चैनल एडाप्टर के माध्यम से डिलीवर करें।
• AI-खोज दृश्यता ट्रैकिंग। LLM Chat Scraper कौशल के साथ, ChatGPT, Gemini, Perplexity, और Grok द्वारा ब्रांड-संबंधित प्रॉम्प्ट्स के लिए उत्पन्न उत्तरों का खींचना; समय के साथ उपस्थिति और भावना ट्रैक करें।
• सार्वजनिक निर्देशिकाओं से लीड जनरेशन। एक पृष्ठित सार्वजनिक निर्देशिका के माध्यम से क्लाउड ब्राउजर को चलाएं, डोमेन द्वारा डुप्लिकेट करें, रिकॉर्ड को एजेंट की मेमोरी स्टोर में दें।
• मनुष्य की भागीदारी के साथ प्रमाणित फॉर्म-फिल। एक विक्रेता ऑनबोर्डिंग या नौकरी-आवेदन फॉर्म को अंतिम समीक्षा स्क्रीन पर भेजें, एक पूरी पृष्ठ की स्क्रीनशॉट लें, सबमिट करने से पहले रुकें ताकि एक मानव स्वीकृति दे सके।
• भौगोलिक-सीमा प्रतियोगी मूल्य निर्धारण। एक विशेष देश में सत्र आवंटित करें, स्थानीयकरण मूल्य निर्धारण पृष्ठ प्रकट करें, पिछले स्नैपशॉट के खिलाफ अंतर करें, जब एक थ्रेशोल्ड ट्रिप हो तो एक चैनल को पिंग करें।
• प्रत्यक्ष प्रकाशक डेटा के खिलाफ RAG। scrape_markdown के माध्यम से प्रकाशक पृष्ठों को साफ पाठ में प्रकट करें, ZeroClaw के SQLite + एम्बेडिंग मेमोरी में एम्बेड करें, भविष्य के टर्न के लिए पुनर्प्राप्त करें।
• सकारात्मक शोध लक्ष्यों के लिए Cloudflare को बायपास करें। वेब अनलॉकर कौशल स्वचालित रूप से टर्नस्टाइल और चुनौती पृष्ठों को संभालता है; एजेंट केवल एक साफ Markdown पेलोड देखता है।

Scrapeless पर, हम केवल सार्वजनिक रूप से उपलब्ध डेटा तक पहुँचते हैं जबकि लागू कानूनों, विनियमों और वेबसाइट गोपनीयता नीतियों का कड़ाई से पालन करते हैं। इस पोस्ट में सामग्री केवल प्रदर्शन उद्देश्यों के लिए है।

Scrapeless क्यों

Scrapeless एक एंटी-डिटेक्शन क्लाउड ब्राउज़र है plus एक यूनिवर्सल स्क्रैपिंग API plus एक SERP API plus एक LLM Chat Scraper, सभी एक API कुंजी के पीछे। विशेष रूप से ZeroClaw के लिए, यह लाता है:

• एक स्वदेशी MCP सर्वर — कोई SDK इंस्टॉल नहीं, कोई एडाप्टर कोड नहीं। ~/.zeroclaw/config.toml में MCP ब्लॉक पूरी इंटीग्रेशन है।
• क्लाउड-साइड JavaScript रेंडरिंग ताकि SPAs, अनंत-स्क्रॉल फ़ीड, और लेज़ी-लोडेड पैनल्स browser_* उपकरणों और scrape_markdown के प्राथमिक लक्ष्यों के लिए हों।
• 195+ देशों में आवासीय प्रॉक्सी ताकि भौगोलिक-सीमा के प्रश्न स्थानीय उपयोगकर्ता द्वारा देखे गए लिस्टिंग लौटाएं।
• हर सत्र पर एंटी-डिटेक्शन फिंगरप्रिंटिंग — UA, समय क्षेत्र, भाषा, स्क्रीन रिज़ॉल्यूशन, WebGL, कैंवास प्रति सत्र रैंडमाइज किया गया।
• स्वचालित CAPTCHA समाधान reCAPTCHA, Cloudflare टर्नस्टाइल, और क्लाउडफ़्लेयर चुनौती के लिए वेब अनलॉकर सतह के माध्यम से।
• एकल प्रबंधन सतह — एक API कुंजी, एक डैशबोर्ड, नए खाता योजना पर मुफ्त रनटाइम क्रेडिट।

API कुंजी मुफ्त योजना पर app.scrapeless.com पर प्राप्त करें। पूर्ण MCP उपकरण सतह को github.com/scrapeless-ai/scrapeless-mcp-server पर दस्तावेजित किया गया है; API सतह पर docs.scrapeless.com।

पूर्वापेक्षाएँ

• एक UNIX-जैसा होस्ट। Linux, macOS, या Windows पर WSL2। ZeroClaw Windows बिल्ड प्रकाशित करता है, लेकिन इंस्टॉल स्क्रिप्ट और कौशल स्क्रिप्ट POSIX शेल मानती हैं — सबसे आसान रास्ता Linux / macOS / WSL2 है।
• Node.js 18 या नया MCP stdio परिवहन के लिए (npx -y scrapeless-mcp-server)।
• Python 3.10 या नया OpenClaw कौशल के लिए (वे scripts/ में Python स्क्रिप्ट के रूप में आते हैं)।
• Rust टूलचेन यदि स्रोत से स्थापित कर रहे हैं; पूर्वनिर्मित बाइनरी पथ को कुछ अतिरिक्त की आवश्यकता नहीं है।
• एक Scrapeless खाता और API कुंजी — app.scrapeless.com पर साइन अप करें और Settings → API Key Management से कुंजी कॉपी करें।
• एक LLM प्रदाता कुंजी — Anthropic, OpenAI, Ollama, या कोई भी OpenAI-संगत अंत बिंदु। ZeroClaw का ऑनबोर्डिंग विज़ार्ड इसे कनेक्ट करता है।
• git कौशल रिपोज़िटरी को क्लोन करने के लिए।
• jq वैकल्पिक है — CLI आउटपुट पाइप करने पर सहायक, MCP पथ के लिए आवश्यक नहीं है।

ZeroClaw स्थापित करें

पूर्ण सेटअप दो उप-चरण हैं।

1. इंस्टॉलर चलाएँ

curl -fsSL https://raw.githubusercontent.com/zeroclaw-labs/zeroclaw/master/install.sh | bash

इंस्टॉलर पूछता है कि क्या प्रीबिल्ट बाइनरी (~सेकंड) लाने के लिए या स्रोत से निर्माण (धीमा, अनुकूलन योग्य) किया जाए। दोनों अंत में एक ही तरीके से समाप्त होते हैं — zeroclaw onboard स्वचालित रूप से शुरू होता है। अंत में विज़ार्ड को छोड़ने के लिए, --skip-onboard पास करें और बाद में zeroclaw onboard चलाएँ।

सुनिश्चित करें कि बाइनरी पथ पर है:

zeroclaw --version

आउटपुट को इस तरह दिखना चाहिए zeroclaw 0.7.5 या नया।

2. ऑनबोर्डिंग विजार्ड पूरा करें

zeroclaw onboard

विज़ार्ड प्रदाता चयन, चैनल तारांकन, स्वायत्तता मोड, और वैयक्तिकरण के माध्यम से चलता है। इस एकीकरण के लिए, दो सेटिंग्स महत्वपूर्ण हैं:

• प्रदाता — उस LLM प्रदाता को चुनें जो पहले से configured है (OpenAI, Anthropic, Ollama, एक OpenAI-संगत गेटवे)। पूछने पर API कुंजी पेस्ट करें।
• स्वायत्तता — निगरानी सुरक्षित डिफ़ॉल्ट है; एजेंट मध्य-जोखिम उपकरणों को लागू करने से पहले संकेत देगा। MCP उपकरण डिफ़ॉल्ट रूप से मध्य-जोखिम में आते हैं। एक विकास बॉक्स के लिए जहां संकेत देने में बाधा होती है, विज़ार्ड yolo मोड भी प्रदर्शित करता है, जिसे ऑपरेटर को केवल एक विश्वसनीय मशीन पर चालू करना चाहिए।

रनटाइम चालू है यह पुष्टि करने के लिए एक चैट शुरू करें:

zeroclaw agent

एक "हे!" सामान्य पूर्णता लौटानी चाहिए। यदि ऐसा होता है, तो रनटाइम स्वस्थ है और अगला कदम MCP सर्वर के लिए वायरिंग करना है।

ZeroClaw को Scrapeless MCP सर्वर से कनेक्ट करें

1. ZeroClaw के बाहर MCP सर्वर का स्मोक-टेस्ट करें

config.toml में MCP ब्लॉक जोड़ने से पहले, पुष्टि करें कि सर्वर स्वतंत्र रूप से चालू होता है। ZeroClaw एजेंट स्टार्ट पर MCP सर्वरों को लेज़ी-लोड करता है, इसलिए एक टूटी हुई कॉन्फ़िगरेशन केवल पहले बार एजेंट को चलाने पर प्रकट होती है — इसे अब पकड़ना बेहतर है:

SCRAPELESS_KEY="<YOUR_SCRAPELESS_KEY>" npx -y scrapeless-mcp-server

पहले रन पर, npx scrapeless-mcp-server को रजिस्ट्री से डाउनलोड करता है और सर्वर stdio के माध्यम से चालू होता है। प्रक्रिया जुड़ी रहती है; इसे मुक्त करने के लिए Ctrl-C दबाएं। यदि इसने एक स्टार्टअप बैनर प्रिंट किया और MCP अनुरोधों की प्रतीक्षा कर रहा है, तो क्रेडेंशियल और पैकेज दोनों कार्य कर रहे हैं।

अपने API कुंजी को मुफ्त योजना पर प्राप्त करें: app.scrapeless.com

2. ~/.zeroclaw/config.toml में MCP ब्लॉक जोड़ें

ZeroClaw वैश्विक कॉन्फ़िगरेशन से [mcp] ब्लॉक से MCP सर्वर कॉन्फ़िगरेशन पढ़ता है। निम्नलिखित जोड़ें (या मर्ज करें):

# ~/.zeroclaw/config.toml

[mcp]
enabled = true
deferred_loading = true
servers = [
  { name = "scrapeless", command = "npx", transport = "stdio", args = ["-y", "scrapeless-mcp-server"], env = { SCRAPELESS_KEY = "<YOUR_SCRAPELESS_KEY>" }, headers = {} }
]

नोट्स:

• enabled = true MCP उपप्रणाली को सक्रिय करता है। हाल के ZeroClaw निर्माण में इसे बंद डिफ़ॉल्ट किया गया है।

• deferred_loading = true डेमन स्टार्टअप को तेज रखता है; ZeroClaw केवल तभी npx को स्पॉन करता है जब एजेंट वास्तव में एक सत्र शुरू करता है।

• env.SCRAPELESS_KEY प्रमाणीकरण सतह है — वही कुंजी जो चरण 1 में स्मोक टेस्ट में उपयोग की गई थी।

• स्टैंडर्ड इनपुट के बजाय होस्टेड स्ट्रीमएबल-HTTP ट्रांसपोर्ट के लिए, एंट्री को बदलें:

  toml Copy

  { name = "scrapeless", transport = "http", url = "https://api.scrapeless.com/mcp", headers = { "x-api-token" = "<YOUR_SCRAPELESS_KEY>" } }

  ZeroClaw का MCP क्लाइंट स्टैक तीन ट्रांसपोर्ट मानों का समर्थन करता है — stdio, http, और sse — जिसमें मान्यता command / args के लिए stdio और url / headers के लिए दूरस्थ ट्रांसपोर्ट के लिए लागू होती है (ZeroClaw समस्या #1380 के अनुसार)। HTTP ट्रांसपोर्ट सही डिफ़ॉल्ट है जब ZeroClaw एक दूरस्थ होस्ट (एक VPS या एक कंटेनर) पर चलता है और ऑपरेटर वहां npx नहीं चलाना चाहता।

3. ZeroClaw के अंदर कनेक्शन को सत्यापित करें

नई कॉन्फ़िगरेशन को लेने और MCP सर्वर को लेज़ी-लोड करने के लिए एजेंट सत्र को पुनः प्रारंभ करें:

zeroclaw agent

एक ताजा चैट में पूछें:

आपके पास कौन से Scrapeless MCP उपकरणों की पहुंच है?

एजेंट को पहले बताए गए 20 उपकरणों की गणना करनी चाहिए — google_search, google_trends, browser_* सेट, scrape_html, scrape_markdown, scrape_screenshot। यदि उत्तर कहता है कि शून्य उपकरण हैं, तो सबसे सामान्य कारण [mcp] में enabled = false है; दूसरा सबसे सामान्य है SCRAPELESS_KEY में टाइपो।

Scrapeless OpenClaw कौशल स्थापित करें

MCP सर्वर उपकरण है। कौशल प्लेबुक हैं। दोनों Scrapeless कौशल ZeroClaw के साथ काम करते हैं क्योंकि रनटाइम OpenClaw कौशल प्रारूप का सीधे समर्थन करता है।

1. ~/.zeroclaw/config.toml में कौशल स्क्रिप्टों की अनुमति दें

दोनों Scrapeless कौशल scripts/ निर्देशिकाएं भेजते हैं जिन्हें एजेंट निष्पादित करता है। [skills] अनुभाग में allow_scripts = true सेट करें:

# ~/.zeroclaw/config.toml

[skills]
allow_scripts = true

सुरक्षा के लिए डिफ़ॉल्ट रूप से allow_scripts बंद है। इसे चालू करना ZeroClaw को स्वायत्तता नीति के तहत कौशल-योजित स्क्रिप्टों को चलाने की अनुमति देता है; मध्य-जोखिम स्क्रिप्ट निष्पादन अभी भी निगरानी मोड के तहत अनुमोदन के लिए संकेत देता है।

2. कौशल रिपॉजिटरी क्लोन करें

mkdir -p ~/.zeroclaw/workspace/skills
git clone https://github.com/scrapeless-ai/webunlocker-skill ~/.zeroclaw/workspace/skills/webunlocker-skill
git clone https://github.com/scrapeless-ai/llm-chat-scraper-skill ~/.zeroclaw/workspace/skills/llm-chat-scraper-skill

3. Python निर्भरता और API टोकन स्थापित करें

Web Unlocker कौशल एक requirements.txt भेजता है:

cd ~/.zeroclaw/workspace/skills/webunlocker-skill
pip install -r requirements.txt
cp .env.example .env
# फिर .env को संपादित करें और X_API_TOKEN=<YOUR_SCRAPELESS_KEY> सेट करें

यदि LLM Chat Scraper कौशल एजेंट के लिए दायरे में है तो इसके लिए भी दोहराएं।

4. सत्यापित करें कि कौशल ZeroClaw को दिखाई देते हैं

zeroclaw skills list

आउटपुट में webunlocker-skill और llm-chat-scraper-skill शामिल होना चाहिए। यदि वे गायब हैं, तो सबसे आम कारण यह है कि क्लोन ~/.zeroclaw/skills/ के तहत उतरा, न कि ~/.zeroclaw/workspace/skills/ के तहत — बाद वाला वह पथ है जिसे रनटाइम देखता है।

ZeroClaw + Scrapeless क्रियान्वित

एक वास्तविक कार्य उदाहरण: एक दैनिक प्रतिस्पर्धात्मक बुद्धिमत्ता ब्रीफ एक विषय पर जिसका ऑपरेटर निरीक्षण करता है। एजेंट ताज़ा स्रोतों का पता लगाता है, सामग्री निकालता है, और एक संरचित सारांश तैयार करता है, जो उस चैनल पर भेजा जाता है जिसके लिए एजेंट बंधा होता है।

zeroclaw एजेंट में, चिपकाएँ:

मुझे "AI एजेंट फ्रेमवर्क" पर अंतिम 7 दिनों के लिए एक प्रतिस्पर्धात्मक बुद्धिमत्ता ब्रीफ बनाएं।

1. Scrapeless MCP `google_search` टूल का उपयोग करके इस सप्ताह प्रकाशित 5 सबसे प्रासंगिक समाचार / ब्लॉग पोस्ट खोजें। gl=us, hl=en का उपयोग करें।
2. प्रत्येक परिणाम URL के लिए, `scrape_markdown` का उपयोग करके लेख का मूल निकाले। नेविगेशन क्रोम और विज्ञापनों को त्याग दें।
3. "AI एजेंट फ्रेमवर्क" क्वेरी के लिए 7-दिनों की रुचि वक्र प्राप्त करने के लिए `google_trends` का उपयोग करें ताकि मुझे आपूर्ति संकेत के साथ मांग संकेत मिल सके।
4. एक संरचित Markdown रिपोर्ट तैयार करें जिसमें:
   - 5 लेखों में शीर्ष 3 विषय, प्रत्येक के साथ एक वाक्य का सारांश और स्रोत URL।
   - 7-दिनों का प्रवृत्ति दिशा (ऊपर / सपाट / नीचे) और शिखर दिन।
   - "इस सप्ताह क्या बदला" कॉलआउट - पिछले सप्ताह की ब्रीफ के मुकाबले कुछ नया।

यदि कोई लक्षित पृष्ठ क्लाउड ब्राउज़र को अवरुद्ध करता है, तो केवल उस URL के लिए `browser_create` + `browser_goto` + `browser_get_text` पर वापस लौटें। कृत्रिम सामग्री का प्रतिस्थापन न करें; यदि कोई स्रोत पुनः प्राप्त नहीं किया जा सकता है, तो उसे "पुनः प्राप्त नहीं हुए स्रोत" के अंतर्गत सूचीबद्ध करें।

एजेंट की योजना, साधारण अंग्रेजी में:

1. google_search(q="AI एजेंट फ्रेमवर्क", gl="us", hl="en") कॉल करें और पांच सबसे ताजे परिणामों को चुनें जो प्राथमिक स्रोतों की तरह लगते हैं (एकत्रक पृष्ठों को छोड़ दें)।
2. URLs को scrape_markdown के माध्यम से पुनरावृत्त करें और कामकाजी मेमोरी में साफ किए गए बॉडी टेक्स्ट को बनाए रखें।
3. रुचि वक्र के लिए google_trends(q="AI एजेंट फ्रेमवर्क", date="now 7-d") कॉल करें।
4. एक Markdown ब्रीफ में संक्षेप करें।
5. किसी भी URL के लिए जो scrape_markdown के माध्यम से एंटी-बॉट इंटरस्टिशियल लौटाता है, browser_create → browser_goto → browser_get_text श्रृंखला के माध्यम से पुनः प्रयास करें, जो क्लाउड ब्राउज़र सत्र को गर्म करता है और निष्कर्षण से पहले हाइड्रेशन का इंतज़ार करता है।

प्रत्येक टूल कॉल से पहले, ZeroClaw के supervised स्वायत्तता मोड अनुमोदन के लिए संकेत देता है — एक बार की अनुमोदन के लिए Y, वर्तमान सत्र में भविष्य के टूल कॉल के लिए अनुमति याद रखने के लिए A।

इंटरैक्टिव चैट में प्रवेश किए बिना प्रॉम्प्ट भेजने के लिए:

zeroclaw agent --message "मुझे AI एजेंट फ्रेमवर्क पर अंतिम 7 दिनों के लिए एक प्रतिस्पर्धात्मक बुद्धिमत्ता ब्रीफ बनाएं..."

इसे एक अनुसूचित रन में बदलने के लिए, एक क्रोन शेड्यूल पर SOP दर्ज करें और इसे उस चैनल एडेप्टर से बांधें जिसके माध्यम से एजेंट ब्रीफ वितरित होना चाहिए (Discord, Telegram, ईमेल)। MCP उपकरण और कौशल वही रहते हैं; केवल ट्रिगर बदलता है।

आपको क्या प्राप्त होता है

ब्रीफ एक Markdown पेलोड के रूप में वापस आती है जो निम्नलिखित की तरह होती है — ऊपर दी गई प्रॉम्प्ट के खिलाफ पांच लाइव SERP परिणामों के लिए "AI एजेंट फ्रेमवर्क 2026" से कैद की गई:

# एआई एजेंट फ्रेमवर्क्स — साप्ताहिक ब्रीफ (सप्ताह 12-मई-2026)

## विषय (अंतिम 7 दिन)
1. **LangGraph सहमति उत्पादन मानक है।** इस सप्ताह प्रकाशित सभी तीन गहरे
   तुलना (Towards AI, GuruSup, Alice Labs) LangGraph को उत्पादन वर्कलोड के लिए #1 रैंक करती हैं। उद्धृत कारण एकत्र होते हैं:
   निर्धारण ग्राफ निष्पादन, मूल मानव-इन-द-लूप चेकपॉइंट और LangSmith के माध्यम से पहले श्रेणी की प्रेक्षणीयता।
   स्रोत: https://pub.towardsai.net/top-ai-agent-frameworks-in-2026-a-production-ready-comparison-7ba5e39ad56d
2. **MCP एक क्रॉस-फ्रेमवर्क टूल-इंटीग्रेशन मानक के रूप में उभर रहा है।**
   एंथ्रोपिक का मॉडल संदर्भ प्रोटोकॉल — अब लिनक्स फाउंडेशन द्वारा शासित
   OpenAI, Google, Microsoft, AWS, और Salesforce के समर्थक सूची के साथ —
   इसे तीन में से दो तुलना में एजेंट-से-टूल मानक के रूप में संदर्भित किया गया है।
   स्रोत: https://gurusup.com/blog/best-multi-agent-frameworks-2026
3. **ऑटोGen / AG2 विभाजन 2025–2026 का प्रमुख विकास है।** Microsoft
   ने एक नए API के साथ ऑटोGen को v0.4+ के रूप में फिर से लिखा; समुदाय ने v0.2
   वंश को AG2 (ag2.ai) के रूप में जारी रखा। दोनों एलीस लैब्स और गुरुSup इसे "जानबूझकर चुनें" क्षण के रूप में झंडी देते हैं
   टीमों के लिए जो मल्टी-एजेंट बहस फ्रेमवर्क का मूल्यांकन कर रहे हैं।
   स्रोत: https://alicelabs.ai/en/insights/best-ai-agent-frameworks-2026

## मांग संकेत
- 7-दिनों का ट्रेंड: अनुपलब्ध (google_trends ने इस रन पर एक अस्थायी उपरी त्रुटि लौटाई — अगले शेड्यूल पर पुनः प्रयास करें)

## इस सप्ताह क्या बदला
- एलीस लैब्स ने #2 पर क्लॉड एजेंट SDK को एक नए प्रवेशक के रूप में जोड़ा, CrewAI को #3 पर विस्थापित करते हुए — पहला रैंकिंग जो हमने एंथ्रोपिक के आधिकारिक SDK को मल्टी-एजेंट सामान्यों के ऊपर उठाते हुए देखा है।
- ऑटोGen / AG2 फोर्क स्थिति को 3 में से 2 लेखों में संदर्भित किया गया, पिछले सप्ताह से 0 से ऊपर।

## पुनः प्राप्त नहीं हुए स्रोत
- (कोई नहीं — alicelabs.ai SPA ने ब्राउज़र_* फॉलबैक पथ की आवश्यकता की; पुनः प्राप्त किया)

संरचना प्रस्ताव का पालन करती है; मूल्य उन चीज़ों का परिणाम हैं जो प्रमाणित उपकरण श्रृंखला ने उस दिन वापस लौटाए जब संक्षेप चला। लाइव रन पर आधारित कुछ ईमानदार अवलोकन:

• scrape_markdown अधिकांश प्रकाशक पृष्ठों को अच्छी तरह साफ करता है। Towards AI और GuruSup ने पहले प्रयास में साफ मार्कडाउन सामग्री लौटाई। भारी JS-जनरेटेड SPA (alicelabs.ai इस रन में एक Webflow / Vite SPA है) ने इसके बजाय जनरेटेड HTML शेल लौटाया — एजेंट ने browser_create → browser_goto → browser_get_text श्रृंखला के माध्यम से पुनर्प्राप्त किया, जिसने रैंक की गई सूची, प्रमुख निष्कर्ष, FAQ, और मई-2026 अद्यतन समय मुहैया करवाने वाला पूर्ण संरचित पृष्ठ स्नैपशॉट लौटाया।
• google_trends रुचि है, मात्रा नहीं — और कभी-कभी अस्थायी होती है। सत्यापन रन में अपस्ट्रीम ट्रेंड्स कॉल ने load failed त्रुटि लौटाई; प्रस्ताव इसको रिपोर्ट करके संभालता है बजाय कि कृत्रिम डेटा का उपयोग करने के। सही पुनः प्रयास की मुद्रा अगली निर्धारित दौड़ है, न कि उसी एजेंट टर्न के भीतर एक गर्म पुनः प्रयास।
• प्रति-स्रोत ताजगी भिन्न होती है। कुछ प्रकाशक समय पर मुद्रित तिथियों को तब अपडेट करते हैं जब वे लेख अपडेट करते हैं; यदि "ताजगी" बिल्कुल महत्वपूर्ण है, तो लेख की सामग्री में प्रकाशित तारीख की जांच करें, न कि SERP स्निपेट में। (इस रन में एलेस लैब्स पृष्ठ में अप्रैल-2026 प्रकाशित तारीख और मई-2026 अद्यतन तारीख दोनों दिखाई दे रही हैं।)
• एंटी-बॉट इंटरस्टिशल और SPA शेल सामान्य हैं, अपवाद नहीं। किसी भी प्रस्ताव में व्यावसायिक साइटों को बड़े पैमाने पर छूने पर browser_* फॉलबैक के लिए बजट निर्धारित करें; सत्यापन रन ने तीन URLs में से एक पर इसे मारा और पुनर्प्राप्ति बिना किसी घटना के हुई।

निष्कर्ष: एक एजेंट जो लाइव वेब को पढ़ता है

ZeroClaw + Scrapeless एकीकरण चार कदमों तक सीमित कर देता है जिन्हें ऑपरेटर एक बार चलाता है: ZeroClaw स्थापित करें, Scrapeless MCP सर्वर को ~/.zeroclaw/config.toml में पंजीकृत करें, OpenClaw कौशल को ~/.zeroclaw/workspace/skills/ में डालें, और zeroclaw skills list और zeroclaw agent में एक टूल-लिस्टिंग प्रस्ताव के साथ सत्यापित करें। इसके बाद, हर एजेंट टर्न जो वेब को छूता है — अनुसंधान, मॉनिटरिंग, लीड जनरेशन, RAG समाकलन, AI-खोज दृश्यता ट्रैकिंग — क्लाउड ब्राउज़र, आवासीय प्रॉक्सी और एक API कुंजी के पीछे SERP API के माध्यम से चलता है।

अन्य ग्राहकों में वही Scrapeless मूल तत्व के लिए, MCP सर्वर ट्यूटोरियल Claude Desktop / Cursor / Codex CLI को कवर करता है, Hermes एकीकरण पोस्ट सीधे-सीडीपी को कवर करता है, और LangChain एकीकरण पोस्ट Python एजेंटों को कवर करता है। सभी में पैटर्न समान है: एक आवासीय क्षेत्र को पिन करें, मल्टी-स्टेप प्रवाहों के बीच सत्र को गर्म रखें, एंटी-बॉट इंटरस्टिशल को अपवाद के बजाय पुनः प्रयास के मामले के रूप में मानें, और एजेंट को google_search → scrape_markdown → browser_* को जो कुछ भी प्रस्ताव वास्तव में पूछता है में संयोजित करने दें।

क्या आप अपने AI-सक्षम डेटा पाइपलाइन का निर्माण करने के लिए तैयार हैं?

हमारे समुदाय में शामिल हों ताकि एक नि:शुल्क योजना का दावा कर सकें और उन डेवलपर्स के साथ संपर्क कर सकें जो Scrapeless पर स्थानीय-एजेंट पाइपलाइन बना रहे हैं: Discord · Telegram.

app.scrapeless.com पर नि:शुल्क MCP रनटाइम के लिए साइनअप करें और ऊपर उल्लेखित पैटर्न को उन कार्य प्रवाहों में अनुकूलित करें जो ZeroClaw एजेंट पहले से चला रहा है।

सामान्य प्रश्न

Q1. क्या Scrapeless MCP सर्वर Windows पर काम करता है, या केवल Linux / macOS पर?
MCP सर्वर एक Node.js पैकेज है — यह कहीं भी चलता है जहां Node 18+ चलता है, जिसमें Windows भी शामिल है। ZeroClaw का इंस्टॉलर एक POSIX शेल को मानता है, इसलिए Windows पर सबसे सुगम मार्ग WSL2 है। HTTP-परिवहन विविधता (ZeroClaw को https://api.scrapeless.com/mcp की ओर इशारा करते हुए) स्थानीय npx निर्भरता को पूरी तरह से हटा देता है और होस्ट की गई ZeroClaw तैनातियों के लिए सबसे आसान फिट है।

Q2. Stdio या स्ट्रीम करने योग्य HTTP — कौन सा परिवहन सही डिफ़ॉल्ट है?
स्थानीय रूप से ZeroClaw चला रहे वर्कस्टेशन के लिए, stdio। जीवन चक्र सरल है: ZeroClaw एजेंट शुरू होने पर npx -y scrapeless-mcp-server को स्पॉन करता है, एजेंट के रुकने पर इसे मारता है। VPS या कंटेनर में ZeroClaw के लिए, HTTP। Scrapeless-होस्टेड एंडपॉइंट npx और Node को रनटाइम छवि में पैकेज करने की आवश्यकता को हटा देता है।

Q3. क्या सार्वजनिक वेब डेटा को स्क्रैप करना قانونی है?
आम तौर पर हां, जब डेटा सार्वजनिक रूप से दृष्टिगोचर होता है और कार्य प्रवाह प्रत्येक साइट के सेवा की शर्तों और लागू क्षेत्राधिकार का सम्मान करता है। कानूनी स्थिति देश, साइट और उपयोग के मामले (अनुसंधान, व्यावसायिक पुनर्विक्रय, प्रशिक्षण डेटा) के अनुसार भिन्न होती है। इसे स्केल करने से पहले लक्ष्य साइट के सेवा की शर्तों की समीक्षा करें, और उच्च मात्रा या नियंत्रित उपयोग के मामलों के लिए सलाहकार से परामर्श करें।

Q4. क्या MCP सर्वर और OpenClaw कौशल ओवरलैप करते हैं?
वे पूरक हैं। MCP सर्वर एजेंट को उपकरण देता है - ठोस, कॉल करने योग्य सतहें (जैसे google_search, scrape_markdown, browser_*)। कौशल एजेंट को ज्ञान देते हैं - Scrapeless यूनिवर्सल स्क्रैपिंग API कैसे व्यवहार करता है, कब JS रेंडरिंग पर वापस जाना है, किस प्रतिक्रिया प्रकार का अनुरोध करना है, देश चयन के साथ CAPTCHA समाधान को कैसे जोड़ना है। एक साथ स्थापित होने पर, एजेंट के पास दोनों होते हैं।

प्रश्न 5. जब एक लक्ष्य 페이지 एंटी-बॉट इंटरस्टिशियल लौटाता है तो क्या होता है?
अधिकतर पृष्ठों के लिए scrape_markdown के खिलाफ, क्लाउड ब्राउज़र चुनौती को पारदर्शी तरीके से हल करता है। जिन पृष्ठों पर अभी भी इंटरस्टिशियल लौटता है, के लिए मानक फॉलबैक है browser_create → browser_goto → browser_wait_for (एक ज्ञात पर-चुनौती चयनकर्ता) → browser_get_text। किसी भी प्रॉम्प्ट में जो वाणिज्यिक साइटों को छूता है, इस फॉलबैक के लिए बजट बनाएं; उपरोक्त प्रॉम्प्ट उदाहरण आकार को दर्शाता है।

प्रश्न 6. ZeroClaw के स्वायत्तता मोड का MCP टूल कॉल के साथ क्या इंटरैक्शन है?
supervised (डिफ़ॉल्ट) के तहत, एजेंट पहले बार प्रत्येक MCP टूल को सक्रिय करने से पहले संकेत करता है। ऑपरेटर एक-बार की स्वीकृति (Y) या याद-इस-टूल की स्वीकृति (A) प्रदान कर सकता है। yolo` के तहत, एजेंट बिना संकेत के टूल को सक्रिय करता है; वह मोड केवल एक विश्वसनीय विकास बॉक्स पर उपयुक्त है।

प्रश्न 7. क्या एजेंट एक ही मोड़ में Scrapeless कॉल को बहु-चरण प्रवाह में संयोजित कर सकता है?
हाँ - यही डिज़ाइन प्वाइंट है। एक एकल एजेंट मोड़ आमतौर पर google_search (स्थान), scrape_markdown (कैनोनिकल URL से निकाला गया), और browser_* (इंटरैक्टिव या एंटी-बॉट-सुरक्षित पृष्ठों के लिए फॉलबैक) को जोड़ता है। ZeroClaw मध्यवर्ती टूल कॉल को उसी वार्तालाप संदर्भ में स्ट्रीम करता है।

प्रश्न 8. Scrapeless API कुंजी कहाँ स्थित है?
MCP पथ के लिए, ~/.zeroclaw/config.toml के भीतर env.SCRAPELESS_KEY में (या स्ट्रीम करने योग्य-HTTP x-api-token हेडर में)। कौशल पथ के लिए, प्रत्येक कौशल निर्देशिका के भीतर .env फ़ाइल में X_API_TOKEN के रूप में। दोनों पथ स्वतंत्र हैं; कुंजी को घुमाने का मतलब है कि दोनों स्थानों को अपडेट करना।

प्रश्न 9. क्या एक ZeroClaw SOP निर्धारित समय पर वही प्रॉम्प्ट चला सकता है?
हाँ। उस SOP को एक क्रोन ट्रिगर के साथ पंजीकृत करें जो वही प्रॉम्प्ट चलाता है जिसे ऑपरेटर zeroclaw agent --message "..." में पेस्ट करेगा। SOP को एक चैनल एडाप्टर (Discord, Telegram, ईमेल) से बांधें और संक्षेप स्वचालित रूप से वितरित किया जाता है। supervised मोड में SOP अभी भी मध्यम जोखिम वाले टूल कॉल को स्वीकृति के पीछे गेट करता है; बिना निगरानी वाले निर्धारित कार्यों के लिए, SOP को अधिक उदार स्वायत्तता मोड के अंतर्गत या पूर्व-प्रवाहित टूल अनुमतियों के साथ कॉन्फ़िगर करने की आवश्यकता है।

प्रश्न 10. Scrapeless के अन्य उत्पादों - स्क्रैपिंग ब्राउज़र, यूनिवर्सल स्क्रैपिंग API, SERP API के बारे में क्या?
MCP सर्वर सबसे सामान्य क्लाउड-ब्राउज़र, SERP, और स्क्रैप प्राइमिटिव को एक MCP सतह में समाहित करता है। वर्कफ़्लो के लिए जो सीधे पूर्ण स्क्रैपिंग ब्राउज़र प्राइमिटिव सेट की आवश्यकता होती है (CDP, कस्टम फिंगरप्रिंट, session_ttl पर सत्र स्थिरता), स्क्रैपिंग ब्राउज़र CDP एन्डपॉइंट को ZeroClaw के अंतर्निहित browser टूल में वायर करें। दोनों दृष्टिकोण संयोजित होते हैं; वे एक-दूसरे के विपरीत नहीं होते।