Composio + Scrapeless: एक कस्टम MCP टूलकिट जोड़ें

TL;DR:

• Scrapeless Composio के टूलकिट कैटलॉग में नहीं है, इसलिए यह एक कस्टम MCP टूलकिट के रूप में शामिल होता है। Composio के डैशबोर्ड में Add Custom MCP संवाद है, जिसे बीटा के रूप में चिह्नित किया गया है, जो एक दूरस्थ MCP सर्वर से एक बनाता है।
• संवाद चार मान लेता है। एक डिस्प्ले नाम, सर्वर URL https://api.scrapeless.com/mcp, API कुंजी के रूप में प्रमाणीकरण प्रकार, और उन्नत सेटिंग्स के अंतर्गत x-api-token के रूप में हेडर नाम।
• हेडर प्रीफिक्स को खाली छोड़ दें। Scrapeless x-api-token में केवल कुंजी की अपेक्षा करता है। यदि प्रीफिक्स जैसे token का उपयोग किया जाए, तो हैंडशेक और 25-टूल लिस्टिंग सफलता से संपन्न होते हैं, और हर टूल कॉल विफल होता है।
• Composio जांचता है कि एक कुंजी दर्ज की गई थी, यह नहीं कि Scrapeless इसे स्वीकार करता है। टूलकिट जोड़ने से पहले कुंजी और हेडर मान की जांच करें, और बाद में एक टूल कॉल के साथ इसकी पुष्टि करें।
• यह टूलकिट एक Composio प्रोजेक्ट से संबंधित है। इसकी CUSTOM_ स्लग को एक सत्र में जोड़ें, और किसी भी MCP ग्राहक को session.mcp.url भेजें।
• Scrapeless फ्री प्लान पर एक कुंजी प्राप्त करें और कुछ ही मिनटों में टूलकिट जोड़ें।

Composio सत्र एक एजेंट को विभिन्न ऐप्स की लंबी सूची में प्रामाणिक उपकरण प्रदान करते हैं, जिसमें क्रेडेंशियल्स Composio के पक्ष में रखे जाते हैं। एक सत्र में जो शामिल नहीं है वह लाइव वेब है, जैसे कि आज जैसा पृष्ठ रेंडर होता है या Google खोज के परिणाम। Scrapeless MCP सर्वर उन्हें उपकरणों के रूप में प्रदान करता है, और Composio की कस्टम MCP विशेषता एक सत्र को उनके साथ कॉल करने देती है।

यह गाइड डैशबोर्ड संवाद के माध्यम से Scrapeless को जोड़ता है, फिर सत्र में टूलकिट का उपयोग करता है। अधिकांश काम एकल फ़ॉर्म है। जो हिस्सा सावधानी की आवश्यकता है वह हेडर है, क्योंकि एक गलत हेडर प्रारूप तब तक जुड़ा हुआ दिखता है जब तक कि कोई टूल वास्तव में संचालित नहीं होता।

क्यों Scrapeless Composio के रूप में एक कस्टम MCP टूलकिट में शामिल होता है

Composio का कैटलॉग उन टूलकिटों को होल्ड करता है जो Composio प्रकाशित करता है, और Scrapeless इनमें से एक नहीं है। कैटलॉग के बाहर की सेवा के लिए, Composio की कस्टम MCP गाइड मार्ग का वर्णन करती है। आप अपनी सार्वजनिक HTTPS URL और प्रमाणीकरण योजना द्वारा एक दूरस्थ MCP सर्वर को रजिस्टर करते हैं, और Composio एक CUSTOM_ स्लग के साथ एक टूलकिट बनाता है, सर्वर के टूल्स को समन्वयित करता है और प्रत्येक टूल कॉल को जुड़े खाते के क्रेडेंशियल्स के साथ सर्वर पर प्रॉक्सी करता है।

इसके साथ तीन सीमाएँ आती हैं। कस्टम MCP प्रयोगात्मक है, और Composio कहता है कि इसकी सेटअप प्रक्रिया और अनुबंध बदल सकते हैं। टूलकिट उसी Composio प्रोजेक्ट तक सीमित है जो इसे रजिस्टर करता है। और Composio सर्वर की मेज़बानी नहीं करता, इसलिए सर्वर को HTTPS के माध्यम से पहुँचा जा सकता है; Scrapeless एक होस्टेड एंडपॉइंट है, इसलिए कुछ आपका मशीन पर नहीं चलता।

वहीं गाइड रजिस्ट्रेशन को केवल API के रूप में और डैशबोर्ड प्रबंधन को जल्द आने वाली सूची में वर्णित करता है। Composio का डैशबोर्ड सितंबर 2026 में पहले ही एक Add Custom MCP संवाद दिखा चुका था, जो बीटा और MCP केवल लेबल किया गया था, और वही संवाद इस गाइड का अनुसरण करता है। API मार्ग FAQ में कवर किया गया है।

Scrapeless Composio सत्र में क्या जोड़ता है

सर्वर 25 टूल्स को प्रदर्शित करता है, जो कार्य द्वारा समूहित होते हैं:

• scrape_markdown, scrape_html और scrape_screenshot एक कॉल में Markdown, कच्चा HTML या एक छवि के रूप में एक रेंडर किया हुआ पृष्ठ लौटाते हैं।
• सोलह browser_* टूल्स, browser_create और browser_goto से लेकर browser_click, browser_type और browser_snapshot तक, एक क्लाउड ब्राउज़र सत्र को चरण-दर-चरण चलाते हैं।
• crawl_start, crawl_result और crawl_cancel पृष्ठभूमि में एक क्रॉल चलाते हैं और बाद में इसे एकत्र करते हैं।
• google_search और google_trends खोज परिणाम और प्रवृत्ति डेटा लौटाते हैं, और ai_scraper AI सहायक जैसे ChatGPT, Gemini और Perplexity से उत्तर कैद करता है।

सभी 25 एक टूलकिट के रूप में आते हैं। एक डिफ़ॉल्ट सत्र में, Composio की गाइड कहती है कि एजेंट कस्टम टूल्स को अपने टूल खोज के माध्यम से खोजता है और Tool Router के माध्यम से उन्हें चलाता है, उसी तरह जैसे यह अंतर्निहित टूलकिट तक पहुंचता है।

प्रेआवश्यकताएँ

• एक Composio खाता जिसमें एक प्रोजेक्ट हो। कस्टम MCP टूलकिट एक प्रोजेक्ट से संबंधित होते हैं।
• Scrapeless डैशबोर्ड से एक Scrapeless API कुंजी। एक कुंजी जो केवल Composio की सेवा करती है, बिना आपके अन्य एकीकरणों को छुए घूमाई जा सकती है।
• चरण 1 में चेक के लिए Python 3, जो केवल मानक पुस्तकालय का उपयोग करता है।
• चरण 4 के लिए, Composio Python SDK (इस गाइड ने composio 0.21.1 का उपयोग किया) और आपकी Composio प्रोजेक्ट API कुंजी। चरण 4 का सत्र कोड इस गाइड के लिए अभी तक Composio प्रोजेक्ट के खिलाफ नहीं चलाया गया है।

चरण 1: कुंजी और हेडर मान की जांच करें

Composio की गाइड एक ज्ञात अंतर सूचीबद्ध करती है जिसे योजना बनाते समय ध्यान में रखना चाहिए: जब आप एक API-कुंजी सर्वर से कनेक्ट करते हैं, तो सेटअप यह जांचता है कि कुंजी प्रदान की गई थी, न कि दूरस्थ सर्वर इसे स्वीकार करता है। Scrapeless एक दूसरा अंधा स्थान जोड़ता है, क्योंकि यह MCP हैंडशेक का उत्तर देता है और किसी भी कुंजी मान के लिए अपने टूल्स की सूची बनाता है। एक गलत कुंजी या गलत हेडर प्रारूप केवल तब दिखाई देता है जब कोई टूल चलता है।
यह स्क्रिप्ट उन अनुरोधों को भेजती है जो एक MCP क्लाइंट भेजता है, x-api-token हेडर में कुंजी के साथ, उपकरणों की सूची बनाती है और फिर एक बार scrape_markdown को कॉल करती है। यह एमसीपी स्ट्रीम करने योग्य HTTP परिवहन, JSON-RPC को एकल एंडपॉइंट पर POST के माध्यम से का पालन करती है, और इसे पायथन मानक पुस्तकालय के अलावा कुछ भी नहीं चाहिए:

import json
import os
import urllib.request

URL = "https://api.scrapeless.com/mcp"
PREFIX = os.environ.get("HEADER_PREFIX", "")
HEADERS = {
    "Content-Type": "application/json",
    "Accept": "application/json, text/event-stream",
    "x-api-token": f"{PREFIX} {os.environ['SCRAPELESS_API_KEY']}".strip(),
}


def post(payload, session_id=None):
    headers = dict(HEADERS)
    if session_id:
        headers["Mcp-Session-Id"] = session_id
    request = urllib.request.Request(URL, data=json.dumps(payload).encode(), headers=headers)
    with urllib.request.urlopen(request, timeout=120) as response:
        body = response.read().decode()
        session_id = response.headers.get("Mcp-Session-Id") or session_id
    events = [line[5:].strip() for line in body.splitlines() if line.startswith("data:")]
    return session_id, json.loads(events[-1]) if events else None


session, init = post({
    "jsonrpc": "2.0", "id": 1, "method": "initialize",
    "params": {"protocolVersion": "2025-06-18", "capabilities": {},
               "clientInfo": {"name": "header-check", "version": "1.0"}},
})
post({"jsonrpc": "2.0", "method": "notifications/initialized"}, session)
_, listing = post({"jsonrpc": "2.0", "id": 2, "method": "tools/list"}, session)
_, result = post({
    "jsonrpc": "2.0", "id": 3, "method": "tools/call",
    "params": {"name": "scrape_markdown", "arguments": {"url": "https://example.com"}},
}, session)

server = init["result"]["serverInfo"]
text = "".join(part.get("text", "") for part in result["result"]["content"])
print(server["name"], server["version"])
print("tools listed:", len(listing["result"]["tools"]))
if text.startswith("Failed to fetch data"):
    print("key rejected:", text[:20])
else:
    print(f"key accepted: {len(text)} characters of Markdown")

आपकी कुंजी को SCRAPELESS_API_KEY के रूप में निर्यात करते समय, यह प्रिंट करता है:

scrapeless-mcp-server 0.2.0
tools listed: 25
key accepted: 184 characters of Markdown

अब HEADER_PREFIX=token को निर्यात करें और इसे फिर से चलाएँ। स्क्रिप्ट token और कुंजी के सामने एक खाली स्थान डालती है, जो एक प्रीफिक्स हेडर मान के आकार को दर्शाता है:

scrapeless-mcp-server 0.2.0
tools listed: 25
key rejected: Failed to fetch data

हैंडशेक और उपकरण की संख्या दोनों चलानों में समान हैं। केवल उपकरण कॉल उन्हें अलग करता है, और प्रीफिक्स के रूप में Bearer उसी तरह विफल होता है।

कदम 2: Scrapeless के साथ कस्टम MCP जोड़ें

Composio डैशबोर्ड में, Add Custom MCP खोलें, संवाद "एक दूरस्थ MCP सर्वर से एक टूलकिट बनाएं" शीर्षक वाला है, और इसे भरें:

फिर जोड़ें चुनें।

हेडर प्रीफिक्स वह फ़ील्ड है जिस पर ध्यान देना है। यह उन एपीआई के लिए मौजूद है जो क्रेडेंशियल के सामने एक स्कीम शब्द की अपेक्षा करते हैं, जैसे कि Bearer। Scrapeless पूरी x-api-token मान को कुंजी के रूप में पढ़ता है, इसलिए कोई भी प्रीफिक्स एक मान्य कुंजी को एक ऐसे में बदल देता है जिसे वह अस्वीकार करता है, जैसा कि कदम 1 में दूसरे रन ने दर्शाया।

इन सेटिंग्स को सही करने से पहले आपको इसे बचाना होगा। Composio के API में हेडर प्रारूप टूलकिट के प्रमाणीकरण योजना का हिस्सा है, और कस्टम MCP गाइड कहता है कि सर्वर URL और प्रमाणीकरण योजना पंजीकरण के बाद नहीं बदल सकती; एक प्रयास 409 Conflict लौटाता है। प्रीफिक्स के साथ सहेजे गए टूलकिट को ठीक करने के लिए, इसके पृष्ठ पर हटाएं का उपयोग करें और इसे फिर से जोड़ें। कस्टम टूलकिट को हटाने से इसकी प्रमाणीकरण कॉन्फ़िगरेशन और जुड़े खातों को भी हटा दिया जाता है, इसलिए आपको बाद में खाता फिर से कनेक्ट करना होगा।

क्या आप इसे अब सेट कर रहे हैं? Scrapeless फ्री प्लान कनेक्शन और आपके पहले टूल कॉल को कवर करता है।

कदम 3: एक खाता कनेक्ट करें और उपकरणों को समन्वयित करें

एक API-कुंजी टूलकिट में तब तक कुछ भी कॉल नहीं होता जब तक एक खाता कनेक्ट न हो जाए, और यहीं कुंजी जाती है। कदम 2 से खाली हेडर प्रीफिक्स का मतलब केवल यह है कि कुंजी के सामने कुछ भी नहीं रखा गया है। कनेक्ट करने पर एक पृष्ठ खुलता है जिसका शीर्षक "Composio आपके से कनेक्ट करना चाहता है" है जो कि टूलकिट के नाम से आगे है, जिसमें एक आवश्यक API कुंजी फ़ील्ड है। वहाँ अपनी Scrapeless API कुंजी चिपकाएँ और कनेक्ट खाता चुनें। Composio कुंजी को कनेक्टेड अकाउंट पर स्टोर करता है और इसे हर अनुरोध के x-api-token हेडर में रखता है जिसे यह Scrapeless को भेजता है।

पहला समन्वय बैकग्राउंड में शुरू होता है जब वह खाता सक्रिय हो जाता है। Scrapeless पृष्ठ पर, कनेक्टेड अकाउंट्स खाते को सक्रिय के रूप में सूचीबद्ध करता है, और उपलब्ध क्रियाएँ 25 दिखाती हैं, प्रत्येक Scrapeless टूल के लिए एक, जैसे "एआई स्क्रैपर" और "ब्राउज़र क्लिक"। बाद के कनेक्शन फिर से टूलकिट को समन्वयित नहीं करते, इसलिए जब Scrapeless टूल जोड़ता है, उस पृष्ठ पर Sync का उपयोग करें। एक कस्टम टूलकिट में अधिकतम 500 उपकरण हो सकते हैं।

एक समन्वयित टूल सूची यह साबित करती है कि Composio सर्वर तक पहुँचा। यह कुंजी को साबित नहीं करता, क्योंकि कदम 1 ने जो कारण दिखाया है, यही वजह है कि अंतिम कदम एक टूल कॉल पर समाप्त होता है।

कुंजी अब एक तीसरे पक्ष के पास भी है। OWASP रहस्य प्रबंधन मार्गदर्शन घुमाव को नियमित प्रक्रिया के रूप में मानता है, और Composio के लिए समर्पित एक कुंजी वह है जिसे आप बिना किसी और चीज को तोड़े घुमा सकते हैं।

कदम 4: एक सत्र में टूलकिट का उपयोग करें

सत्र में टूलकिट का स्लग जोड़ें। mcp=True के साथ, सत्र एक होस्टेड MCP सर्वर को भी उजागर करता है जिसका उपयोग कोई भी MCP क्लाइंट कर सकता है।

नोट: यह कोड Composio Python SDK 0.21.1 और Composio के सत्र गाइड का पालन करता है; इसे इस गाइड के लिए Composio प्रोजेक्ट के खिलाफ अभी तक नहीं चलाया गया है। इसे COMPOSIO_API_KEY को आपके प्रोजेक्ट API कुंजी पर सेट करने की आवश्यकता है।

from composio import Composio

composio = Composio()  # reads COMPOSIO_API_KEY from the environment

session = composio.sessions.create(
    user_id="user_123",
    toolkits=["CUSTOM_SCRAPELESS"],
    connected_accounts={"CUSTOM_SCRAPELESS": ["ca_your_connected_account_id"]},
    mcp=True,
)

print(session.mcp.url)

यदि आपका टूलकिट पृष्ठ पर दिखाए गए स्लग CUSTOM_SCRAPELESS से भिन्न है, तो उसका उपयोग करें; Composio टूलकिट को पंजीकृत करते समय CUSTOM_ प्रीफिक्स जोड़ता है। connected_accounts प्रविष्टि उस खाते को पिन करती है जिसके तहत कॉल चलते हैं। सत्र अपने आप user_id द्वारा खातों से मेल खाते हैं केवल तभी जब टूलकिट की प्रमाणीकरण कॉन्फ़िगरेशन में टूल-राउटर मिलान सक्षम हो, और इसके बिना कॉल NoActiveConnection के साथ विफल हो जाते हैं। खाता पिन करना किसी भी तरह से काम करता है।
Composio के MCP पर सत्रों के लिए गाइड session.mcp.url और session.mcp.headers को क्लाइंट के MCP कॉन्फ़िगरेशन में पास करता है, जैसे कि OpenAI एजेंट SDK और Claude एजेंट SDK के लिए। हेडर उस URL के लिए क्रेडेंशियल ले जाते हैं, इसलिए उन्हें लॉगिंग के बिना क्लाइंट को सौंपें।

फिर एजेंट को एक चेक करने योग्य कार्य दें:

Use the Scrapeless scrape_markdown tool to fetch https://example.com
and reply with the first heading of the returned page, quoted exactly.

एक कार्यशील सेटअप "# Example Domain" के साथ उत्तर देता है। एक उत्तर जो Failed to fetch data का हवाला देता है, कुंजी या हेडर प्रीफिक्स की ओर इशारा करता है।

सामान्य समस्याओं को ठीक करें

सर्वर द्वारा क्या प्रस्तुत किया गया है, इसके बारे में और अधिक जानने के लिए, Scrapeless MCP सर्वर की घोषणा पढ़ें। ब्राउज़र MCP दस्तावेज़ में कॉन्फ़िगरेशन संदर्भ है, सक्रियन API पृष्ठ उपकरणों के पीछे के अभिनेताओं को कवर करता है, और मूल्य निर्धारण कॉल की लागत को सूचीबद्ध करता है।

निष्कर्ष

Composio में Scrapeless जोड़ने के लिए एक संवाद की आवश्यकता होती है: एक प्रदर्शित नाम, https://api.scrapeless.com/mcp, API कुंजी प्रमाणीकरण, x-api-token हेडर नाम के रूप में और एक खाली हेडर प्रीफिक्स। अपनी कुंजी के साथ एक अकाउंट कनेक्ट करें, उपकरणों को सिंक होने दें, और CUSTOM_ टूलकिट को एक सत्र में जोड़ें।

जो चीज़ देखभाल की जरूरत है वह सिंक और काम करने के बीच का अंतर है। Composio पुष्टि करता है कि एक कुंजी प्रविष्ट की गई थी, और Scrapeless किसी भी कुंजी के लिए इसके उपकरणों को सूचीबद्ध करता है, इसलिए एक प्रीफिक्स गलती दोनों जांचों को पार कर जाती है। टूलकिट जोड़ने से पहले कुंजी जांच चलाएँ और उसके बाद एक वास्तविक उपकरण कॉल करें, और सेटअप को अंत से अंत तक सिद्ध किया गया है।

क्या आप अपने Composio एजेंटों को वेब का लाइव दृश्य देने के लिए तैयार हैं? Scrapeless फ्री प्लान के साथ शुरू करें और टूलकिट जोड़ें।

सामान्य प्रश्न

प्रश्न: क्या मैं Composio में एक कस्टम MCP सर्वर जोड़ सकता हूं?

हाँ। कस्टम MCP एक दूरस्थ सर्वर को इसके HTTPS URL और प्रमाणीकरण योजना के द्वारा पंजीकृत करता है और इसे एक परियोजना-स्कोप्ड टूलकिट में बदल देता है जिसमें CUSTOM_ स्लग होता है। डैशबोर्ड में इसके लिए एक Add Custom MCP संवाद है, और Composio का API अपने कस्टम टूलकिट एंडपॉइंट के माध्यम से वही पंजीकरण प्रदान करता है।

प्रश्न: Scrapeless के लिए हेडर प्रीफिक्स में क्या डालना है?

कुछ भी नहीं। हेडर नाम को x-api-token पर सेट करें और प्रीफिक्स को खाली छोड़ दें, क्योंकि Scrapeless पूरे हेडर मान को कुंजी के रूप में पढ़ता है। token या Bearer प्रीफिक्स हर उपकरण कॉल को विफल करता है भले ही उपकरण अभी भी सिंक हो।

प्रश्न: मैं Composio में Scrapeless API कुंजी कहां दर्ज करूं?

कनेक्ट पृष्ठ पर, जब आप टूलकिट पर एक अकाउंट कनेक्ट करते हैं। Add Custom MCP संवाद केवल हेडर नाम और प्रीफिक्स को परिभाषित करता है; कनेक्ट पृष्ठ API कुंजी के लिए पूछता है, और Composio उस मान को x-api-token हेडर के रूप में भेजता है।

प्रश्न: क्यों मेरे Scrapeless उपकरण Composio में सिंक होते हैं लेकिन हर कॉल विफल होती है?

उपकरण सूची किसी भी कुंजी मान के साथ काम करती है, इसलिए एक सिंक की गई टूलकिट क्रेडेंशियल को साबित नहीं करती है। जो कॉल्स Failed to fetch data लौटती हैं, इसका मतलब है कि हेडर मान गलत है: एक भरा हुआ हेडर प्रीफिक्स या एक अमान्य कुंजी। यह देखने के लिए चरण 1 से चेक चलाएँ कि कौन सा है।

प्रश्न: क्या मैं टूलकिट जोड़ने के बाद हेडर सेटिंग्स बदल सकता हूं?

स्थानीय रूप से नहीं। Composio पंजीकरण के बाद सर्वर URL और प्रमाणीकरण योजना को निश्चित मानता है। टूलकिट को हटा दें, इसे सही सेटिंग्स के साथ फिर से जोड़ें, और अकाउंट को पुनः जोड़ें, क्योंकि हटाने से इसके कनेक्शन हटा दिए जाते हैं।

प्रश्न: क्या मैं डैशबोर्ड के बजाय Composio के API के माध्यम से Scrapeless को पंजीकृत कर सकता हूं?
हाँ। POST /api/v3.1/custom/toolkits/upsert सर्वर URL और API_KEY प्रमाणीकरण योजना के साथ एक headers वस्तु लेता है। Composio Authorization के अलावा अन्य हेडर नामों की अनुमति देता है जब तक कि एक हेडर मूल्य में {{generic_api_key}} शामिल है, इसलिए Scrapeless के लिए प्रविष्टि "x-api-token": "{{generic_api_key}}" है। API-key सर्वरों के लिए, गाइड खातों के कनेक्ट करने से पहले एक अलग auth config चरण जोड़ता है।

प्र: क्या Scrapeless टूलकिट मेरे सभी Composio प्रोजेक्ट्स में उपलब्ध है?

नहीं। एक कस्टम MCP टूलकिट उस प्रोजेक्ट तक सीमित है जो इसे पंजीकृत करता है। इसे प्रत्येक प्रोजेक्ट में जोड़ें जिसे इसकी आवश्यकता है।

प्र: क्या Claude, Cursor या कोई अन्य MCP क्लाइंट Composio के माध्यम से Scrapeless का उपयोग कर सकता है?

हाँ। mcp=True के साथ एक सत्र बनाएँ और क्लाइंट को session.mcp.url और session.mcp.headers दें। क्लाइंट फिर Composio सत्र के माध्यम से Scrapeless टूल तक पहुँचता है।

प्र: Scrapeless Composio में कितने टूल जोड़ता है?

25: तीन scrape_* टूल, सोलह browser_* टूल, तीन crawl_* टूल, इसके अलावा google_search, google_trends और ai_scraper।