Claude.ai + Scrapeless: एक कस्टम MCP कनेक्टर जोड़ें
Senior Web Scraping Engineer
TL;DR:
- Scrapeless claude.ai के रूप में एक कस्टम कनेक्टर से जुड़ता है। Add
https://api.scrapeless.com/mcpin the Add custom connector dialog and pass your API key as a request header. - प्रमाणीकरण को कोई साइन-इन पर स्विच करें। Claude द्वारा पहचान की गई विकल्प में से यह विकल्प साइन इन करें, एक OAuth साइन-इन है जो सर्वर प्रदान नहीं करता।
- एक अनुरोध हेडर जोड़ें:
x-api-token, जिसके साथ मूल कुंजी मान के रूप में। Claude इसे बिल्कुल उसी तरह भेजता है जैसे आप इसे टाइप करते हैं, इसलिए कुंजी के पहले कुछ भी नहीं जाता है। - अनुरोध हेडर एक बीटा हैं। Anthropic उन्हें सीमित संगठनों के सेट को प्रदान करता है, और टीम और एंटरप्राइज योजनाओं पर एक मालिक कनेक्टर जोड़ता है।
- एक कनेक्टर जो 25 उपकरण सूचीबद्ध करता है, उसकी कुंजी को अभी तक प्रमाणित नहीं किया है। Scrapeless अपनी कुंजी मान के लिए अपने उपकरणों को सूचीबद्ध करता है, इसलिए चैट में एक उपकरण कॉल के साथ इसकी पुष्टि करें।
- Scrapeless फ्री योजना पर एक कुंजी प्राप्त करें और इसे कुछ ही मिनटों में जोड़ें।
Claude पर वेब में अपनी स्वयं की वेब खोज है। Scrapeless MCP सर्वर एक अलग प्रकार की पहुंच जोड़ता है: वास्तविक ब्राउज़र में रेंडर किए गए पृष्ठ और Markdown के रूप में लौटाए जाते हैं, यह एक क्लाउड ब्राउज़र है जिसे Claude क्लिक द्वारा संचालित कर सकता है, बैकग्राउंड क्रॉल्स और Google परिणाम डेटा। एक बार जब यह जुड़ जाता है, तो Claude इन उपकरणों को बातचीत के बीच में कॉल करता है।
यह गाइड claude.ai के Add custom connector dialog के माध्यम से होस्ट किए गए सर्वर को जोड़ती है। डायलॉग एकल फॉर्म है, और इसके दो सेटिंग्स को Scrapeless के लिए ध्यान देने की आवश्यकता है: साइन-इन विकल्प जो Claude पहचानता है, और हेडर जो कुंजी ले जाती है।
एक कस्टम कनेक्टर Scrapeless तक कैसे पहुंचता है
एक कस्टम कनेक्टर एक दूरस्थ MCP सर्वर है जिसे Claude Anthropic के क्लाउड से आपके कंप्यूटर से नहीं, बल्कि कॉल करता है। Anthropic का कस्टम कनेक्टर के लिए गाइड कहता है कि यह हर Claude क्लाइंट के लिए लागू होता है, जिसमें claude.ai भी शामिल है, इसलिए सर्वर को सार्वजनिक इंटरनेट पर पहुंचा जा सकता है। Scrapeless एक सार्वजनिक HTTPS एंडपॉइंट पर चलता है, इसलिए वहां कुछ भी होस्ट करने या अनुमति सूची में डालने की आवश्यकता नहीं है।
प्रमाणीकरण बाकी सेटअप का निर्णय करता है। कई कनेक्टर हर व्यक्ति को OAuth के माध्यम से साइन इन करते हैं। Scrapeless के पास कोई OAuth प्रवाह नहीं है और हर अनुरोध पर x-api-token हेडर से एक API कुंजी पढ़ता है। Claude का दूरस्थ MCP कनेक्टर के लिए दस्तावेज़ उस मामले को अनुरोध हेडरों के साथ कवर करता है: एक ठोस क्रेडेंशियल जो एक बार जब कनेक्टर जोड़ा जाता है तो दर्ज किया जाता है और हर अनुरोध पर भेजा जाता है।
Scrapeless Claude को क्या जोड़ता है
सर्वर 25 उपकरणों को उजागर करता है, जो कार्य के अनुसार समूहित होते हैं:
scrape_markdown,scrape_htmlऔरscrape_screenshotएक कॉल में एक रेंडर किया हुआ पृष्ठ Markdown, कच्चा HTML या एक छवि के रूप में लौटाते हैं।- सोलह
browser_*उपकरण,browser_createऔरbrowser_gotoसे लेकरbrowser_click,browser_typeऔरbrowser_snapshotतक, एक क्लाउड ब्राउज़र सत्र को क्रमबद्ध रूप से संचालित करते हैं। crawl_start,crawl_resultऔरcrawl_cancelबैकग्राउंड में एक क्रॉल करते हैं और बाद में इसे एकत्र करते हैं।google_searchऔरgoogle_trendsखोज परिणाम और प्रवृत्ति डेटा लौटाते हैं, औरai_scraperAI सहायक जैसे ChatGPT, Gemini और Perplexity से उत्तर एकत्र करता है।
कनेक्टर की सेटिंग्स में, Claude उन्हें "AI स्क्रैपर" और "ब्राउज़र क्लिक" जैसे पठनीय नामों के अंतर्गत सूचीबद्ध करता है, प्रत्येक के अपने अनुमतियों के साथ।
पूर्वापेक्षाएँ
- एक Claude योजना जिसमें कस्टम कनेक्टर हैं। Anthropic फ्री, प्रो, मैक्स, टीम और एंटरप्राइज सूचीबद्ध करता है, और फ्री को एक कस्टम कनेक्टर तक सीमित करता है।
- Add custom connector dialog में अनुरोध हेडर सेक्शन। अनुरोध हेडर प्रमाणीकरण एक सीमित सेट के लिए बीटा में है; यदि यह सेक्शन गायब है, तो आपके संगठन को अभी तक पहुंच प्राप्त नहीं है।
- टीम और एंटरप्राइज योजनाओं पर, एक मालिक या प्राथमिक मालिक जो कनेक्टर जोड़ता है।
- Scrapeless डैशबोर्ड से एक Scrapeless API कुंजी।
Step 1: Add Custom Connector खोलें
जहां डायलॉग खुलता है वह योजना पर निर्भर करता है:
| योजना | कनेक्टर जोड़ने के लिए स्थान |
|---|---|
| फ्री, प्रो, मैक्स | कस्टमाइज करें > कनेक्टर्स, फिर + > Add custom connector |
| टीम, एंटरप्राइज | एक मालिक संगठन सेटिंग्स > कनेक्टर्स खोलता है, जोड़ें पर क्लिक करता है, कस्टम के ऊपर होवर करता है और वेब का चयन करता है |
पहले चरण को भरें:
| फ़ील्ड | मान |
|---|---|
| नाम | Scrapeless |
| MCP सर्वर URL | https://api.scrapeless.com/mcp |
कुंजी को URL से बाहर रखें। Scrapeless इसे केवल x-api-token हेडर से पढ़ता है, और Anthropic का कनेक्टर के लिए प्रमाणीकरण गाइड कनेक्टर URLs में क्रेडेंशियल्स के खिलाफ सलाह देता है, क्योंकि URLs सर्वर लॉग, प्रॉक्सियों और ब्राउज़िंग इतिहास में रिकॉर्ड की जाती हैं।
अब इसे सेट कर रहे हैं? Scrapeless का फ्री प्लान कनेक्शन और आपके पहले टूल कॉल को कवर करता है।
कदम 2: डिटेक्टेड विकल्प को नो साइन-इन में बदलें
जब आप आगे बढ़ते हैं, क्लॉड URL की जांच करता है और जिस प्रमाणीकरण का पता लगाता है उसे पहले से चयनित करता है, जिसे Detected के रूप में चिह्नित किया गया है। https://api.scrapeless.com/mcp के लिए, पता लगाया गया विकल्प Sign in now था। इसके बजाय No sign-in चुनें।
दो साइन-इन विकल्पों में एक OAuth प्रवाह चलाता है, और Scrapeless एक ऑफर नहीं करता है। इसका 401 उत्तर कोई WWW-Authenticate हेडर नहीं ले जाता है, और इसके OAuth खोज पथ 404 लौटाते हैं। No sign-in वह विकल्प है जिसका नाम Anthropic के दस्तावेज़ में उन सर्वरों के लिए दिया गया है जो एक API कुंजी का उपयोग करते हैं, जो Request headers के तहत कुंजी के साथ जुड़ी होती है। जैसे ही इसका चयन किया जाता है, OAuth क्लाइंट फ़ील्ड संवाद से गायब हो जाते हैं।
कदम 3: x-api-token हेडर जोड़ें
Request headers खोलें और एक पंक्ति जोड़ें:
| सेटिंग | मान |
|---|---|
| हेडर नाम | x-api-token |
| मान | आपकी Scrapeless API कुंजी, इसके सामने कुछ भी नहीं हो रहा है |
| आवश्यक | ऑन |
फिर Add पर क्लिक करें।
सूची से नाम चुनें, या Custom header चुनें और इसे टाइप करें। Anthropic प्रत्येक कस्टम हेडर नाम को स्वीकृत करता है इससे पहले कि क्लॉड इसे थर्ड-पार्टी सर्वर पर भेजे, और संवाद एक नाम को अस्वीकृत करता है जो स्वीकृत नहीं है। x-api-token इस सेटअप का परीक्षण किए जाने पर बिना किसी त्रुटि के सहेजा गया।
मान को किसी प्रीफ़िक्स की आवश्यकता नहीं है। क्लॉड इसे ठीक इसी तरह भेजता है जैसे इसे दर्ज किया गया है और कोई प्रमाणीकरण योजना नहीं जोड़ता है, जो Scrapeless की अपेक्षा है: सर्वर पूरी हेडर मान को कुंजी के रूप में पढ़ता है। एक मान जैसे Bearer <key> या token <key> अभी भी हैंडशेक और टूल लिस्टिंग के माध्यम से गुजरता है, फिर हर टूल कॉल पर विफल होता है।
Required एक गायब मान को कनेक्शन विफल बनाता है इसके बजाय कि हेडर के बिना अनुरोध भेजे। क्लॉड मान को सुरक्षित रूप से संग्रहीत करता है और इसे फिर से नहीं दिखाता। प्रमाणीकरण सेटिंग्स को बाद में संपादित नहीं किया जा सकता है, इसलिए गलत कुंजी या हेडर नाम का मतलब है कि कनेक्टर को हटाना और फिर से जोड़ना होगा।
कदम 4: टूल और उनके अनुमतियों की जांच करें
Customize > Connectors खोलें और Scrapeless का चयन करें। कनेक्टर पृष्ठ Tool permissions के तहत सभी 25 टूलों की सूची दिखाता है, और प्रत्येक टूल को Always allow, Needs approval या Blocked पर सेट किया जा सकता है। परीक्षण में, हर Scrapeless टूल Needs approval पर शुरू हुआ, इसलिए क्लॉड हर कॉल से पहले पूछता है।
जिस चीज़ की आवश्यकता नहीं है उसे ब्लॉक करें। एक चैट जो केवल पृष्ठ पढ़ती है, scrape_markdown और google_search को उपलब्ध रख सकती है और browser_* टूल को ब्लॉक कर सकती है, जो लाइव ब्राउज़र सत्र को चलाते हैं। Anthropic का कनेक्टर्स का उपयोग करने पर लेख प्रत्येक कनेक्टर के लिए वही तीन अनुमति स्तरों का वर्णन करता है।
कदम 5: एक चैट में एक टूल कॉल चलाएं
कनेक्टर हर बातचीत के अनुसार चालू होते हैं। एक नई चैट में, + पर क्लिक करें, Connectors खोलें और Scrapeless चालू करें। फिर एक छोटा, जांचने योग्य कार्य मांगें:
text
Use the Scrapeless scrape_markdown tool to fetch https://example.com
यदि क्लॉड अनुमोदन के लिए पूछता है तो कॉल की अनुमति दें। क्लॉड https://example.com के लिए एक Scrape markdown कदम दिखाता है, फिर पृष्ठ को Markdown के रूप में लौटाता है, जिसकी शुरुआत होती है:
text
# Example Domain
This domain is for use in documentation examples without needing permission. Avoid use in operations.
यह कॉल वह परीक्षण है जो मायने रखता है। Scrapeless MCP हैंडशेक का जवाब देता है और किसी भी कुंजी मान के लिए अपने 25 टूलों को सूचीबद्ध करता है, इसलिए एक पूर्ण टूल सूची के साथ एक जुड़े हुए कनेक्टर केवल दिखाता है कि हेडर पहुंच गया। एक गलत कुंजी के साथ, टूल परिणाम Failed to fetch data से शुरू होता है।
सामान्य समस्याओं को ठीक करें
| आप क्या देखते हैं | कारण | सुधार |
|---|---|---|
| संवाद में कोई Request headers खंड नहीं है | आपके संगठन के लिए अनुरोध हेडर बीटा सक्षम नहीं है | टीम या एंटरप्राइज मालिक से जांचें, या क्लॉड समर्थन से संपर्क करें |
| कनेक्टिंग एक साइन-इन शुरू करता है जो विफल होता है | Sign in now या Sign in when needed चयनित रहे | कनेक्टर को हटा दें और पुनः जोड़ें No sign-in के साथ |
| हेडर नाम के कारण सहेजना खारिज कर दिया गया | टाइप किया गया नाम एक स्वीकृत हेडर नाम नहीं है | वर्तनी चेक करें x-api-token, या क्लॉड सपोर्ट से इसे स्वीकृत करने के लिए पूछें |
| कनेक्टर कनेक्ट करने में विफल होता है | कुंजी किसी अन्य हेडर नाम के तहत गई, जैसे authorization, या एक आवश्यक मान खाली है |
कनेक्टर को फिर से जोड़ें x-api-token और कुंजी के साथ |
टूल परिणाम Failed to fetch data से शुरू होते हैं |
कुंजी गलत है या रद्द की गई है, या प्रीफ़िक्स है | कनेक्टर को फिर से जोड़ें केवल सही कुंजी के साथ |
| सदस्य कनेक्टर को नहीं खोज सकते | टीम और एंटरप्राइज योजनाओं पर, केवल मालिक कस्टम कनेक्टर जोड़ते हैं | एक मालिक इसे जोड़ता है; सदस्य Customize > Connectors से कनेक्ट होते हैं |
पूरे संगठन के लिए एक कुंजी
एक अनुरोध हेडर एक प्रमाणीकरण है जिसे कनेक्टर पर संग्रहीत किया जाता है। क्लॉड का दस्तावेज़ अनुरोध हेडर को उन सेवाओं के लिए उपयुक्त बताता है जहां हर कोई एक संगठन में एक प्रमाणीकरण साझा करता है, और टीम और एंटरप्राइज योजनाओं पर मालिक इसे सभी सदस्यों के लिए एक बार दर्ज करता है। सभी सदस्यों के Scrapeless कॉल तब उसी एक कुंजी और इसकी योजना पर चलते हैं।
Claude के लिए एक ऐसा कुंजी बनाएं, जिसे घुमाया जा सके बिना अन्य इंटीग्रेशनों को छुए। इसे घुमाने का मतलब है कनेक्टर को हटाना और इसे नए कुंजी के साथ फिर से जोड़ना, और सदस्यReconnect करना। उपकरण की अनुमतियों को पूरी टीम को ध्यान में रखकर निर्धारित करें।
सर्वर के द्वारा क्या उजागर किया गया है, इसके लिए पढ़ें Scrapeless MCP सर्वर की घोषणा। Browser MCP दस्तावेज़ कॉन्फ़िगरेशन संदर्भ देता है, Scraping API पृष्ठ उपकरणों के पीछे के अभिनेता को कवर करता है, और मूल्य निर्धारण कॉल की लागत को सूचीबद्ध करता है।
निष्कर्ष
Scrapeless claude.ai में एक कस्टम कनेक्टर के रूप में प्रवेश करता है जिसमें तीन सेटिंग्स महत्वपूर्ण हैं: यूआरएल https://api.scrapeless.com/mcp, कोई साइन-इन नहीं पहचान किए गए साइन-इन विकल्प के स्थान पर, और एक x-api-token अनुरोध हेडर जो बुनियादी कुंजी रखता है। एक चैट में कनेक्टर चालू करें, और क्लॉड सभी 25 उपकरणों को कॉल कर सकता है।
उपकरण सूची को एक संकेत के रूप में पढ़ें कि हेडर पहुंचा, न कि कुंजी काम करती है। एक scrape_markdown कॉल जो वास्तव में एक पृष्ठ लौटाता है, कुंजी को निश्चित करता है, और उपकरण की अनुमतियाँ तय करती हैं कि क्लॉड बिना पूछे कितना कर सकता है।
क्या आप क्लॉड को एक क्लाउड ब्राउजर और साफ पृष्ठ सामग्री देने के लिए तैयार हैं? Scrapeless मुफ्त योजना के साथ शुरू करें और कनेक्टर जोड़ें।
सामान्य प्रश्न
प्रश्न: क्या मैं claude.ai में एक API कुंजी के साथ एक कस्टम कनेक्टर जोड़ सकता हूँ?
हाँ, जहां अनुरोध हेडर बीटा उपलब्ध है। कोई साइन-इन नहीं को जोड़ें कस्टम कनेक्टर संवाद में चुनें और अनुरोध हेडर के तहत कुंजी जोड़ें। क्लॉड मान को स्टोर करता है और हर अनुरोध पर इसे सर्वर पर भेजता है।
प्रश्न: Scrapeless के लिए tôi कौन सा प्रमाणीकरण विकल्प चुनूं?
कोई साइन-इन नहीं। क्लॉड अब साइन-इन करें को पहचान सकता है, लेकिन Scrapeless का कोई OAuth साइन-इन नहीं है और प्रमाणीकरण के लिए x-api-token हेडर का उपयोग किया जाता है।
प्रश्न: Scrapeless को क्लॉड में कौन सा हेडर चाहिए?
x-api-token, जिसके साथ API कुंजी पूरी मात्रा के रूप में है। क्लॉड कोई उपसर्ग नहीं जोड़ता, इसलिए केवल कुंजी दर्ज करें।
प्रश्न: मुझे कस्टम कनेक्टर संवाद में अनुरोध हेडर क्यों नहीं दिखता?
अनुरोध हेडर प्रमाणीकरण बीटा में है और सीमित संगठनों के सेट के लिए उपलब्ध है। उस अनुभाग के बिना, Scrapeless जैसे API-कुंजी सर्वर को अभी संवाद के माध्यम से जोड़ा नहीं जा सकता।
प्रश्न: क्या मैं कनेक्टर जोड़ने के बाद Scrapeless कुंजी बदल सकता हूँ?
स्थान में नहीं। प्रमाणीकरण सेटिंग्स, अनुरोध हेडर्स सहित, कनेक्टर जोड़े जाने के बाद नहीं बदली जा सकती। कनेक्टर को हटा दें और फिर से नए कुंजी के साथ जोड़ें; सदस्यReconnect करेंगे।
प्रश्न: जब मेरी कुंजी गलत होती है तो कनेक्टर 25 उपकरण क्यों दिखाता है?
Scrapeless किसी भी कुंजी मूल्य के लिए अपने उपकरणों को सूचीबद्ध करता है। कुंजी की जांच तब की जाती है जब एक उपकरण चलता है, और एक गलत कुंजी टेक्स्ट लौटाता है जो Failed to fetch data से शुरू होता है।
प्रश्न: क्या मैं Scrapeless API कुंजी को कनेक्टर यूआरएल में रख सकता हूँ?
नहीं। Scrapeless केवल x-api-token हेडर में कुंजी स्वीकार करता है, और एंथ्रोपिक कनेक्टर यूआरएल में क्रेडेंशियल्स के खिलाफ सलाह देता है।
प्रश्न: Scrapeless क्लॉड में कितने उपकरण जोड़ता है?
25: तीन scrape_* उपकरण, सोलह browser_* उपकरण, तीन crawl_* उपकरण, साथ ही google_search, google_trends और ai_scraper।
स्क्रैपलेस में, हम केवल सार्वजनिक रूप से उपलब्ध डेटा का उपयोग करते हैं, जबकि लागू कानूनों, विनियमों और वेबसाइट गोपनीयता नीतियों का सख्ती से अनुपालन करते हैं। इस ब्लॉग में सामग्री केवल प्रदर्शन उद्देश्यों के लिए है और इसमें कोई अवैध या उल्लंघन करने वाली गतिविधियों को शामिल नहीं किया गया है। हम इस ब्लॉग या तृतीय-पक्ष लिंक से जानकारी के उपयोग के लिए सभी देयता को कोई गारंटी नहीं देते हैं और सभी देयता का खुलासा करते हैं। किसी भी स्क्रैपिंग गतिविधियों में संलग्न होने से पहले, अपने कानूनी सलाहकार से परामर्श करें और लक्ष्य वेबसाइट की सेवा की शर्तों की समीक्षा करें या आवश्यक अनुमतियाँ प्राप्त करें।



