Grok Bot 和 Scrapeless:添加自定义 MCP 连接器
Web Data Collection Specialist
TL;DR:
- Scrapeless不在Grok Bot的插件目录中,因此作为自定义连接器插入。 在市场搜索中没有返回任何结果;当你要求时,Bot注册一个自定义远程MCP服务器。
- 一条英文消息完成设置。 命名服务器,提供URL
https://api.scrapeless.com/mcp,并告诉Bot使用x-api-token头进行身份验证。 - Grok Bot在保存任何内容之前显示批准卡。 检查名称、远程HTTPS类型、服务器URL和头,然后保存。
- 头的名称是
x-api-token。 Bearer头会被拒绝401 Unauthorized: Missing x-api-token header。 - 用一个工具调用来证明,而不是状态徽章。 Scrapeless为任何键值回答握手,并且API密钥连接器在工作时可以显示一种外观上的“需要身份验证”徽章。
- 在Scrapeless免费计划上获取密钥,并在几分钟内连接。
Grok Bot为每个Bot提供自己的云计算机、浏览器和一组连接器。它缺少的是直接将呈现页面转换为干净的Markdown、在后台运行爬虫或从工具调用中提取Google结果的直接方式。Scrapeless MCP服务器将这些作为工具添加,使您账户上的每个Bot都可以调用。
连接是一个自定义远程MCP服务器,而在Grok Bot中,你通过请求Bot而不是填写设置页面来创建一个。本指南涵盖了发送的消息、在批准卡上检查的内容,以及如何区分一个正常工作的连接器和一个看起来连接正常但实际上不工作的连接器。
为什么Scrapeless不在插件市场中
Grok Bot将连接器显示为插件,而该目录属于Cursor。xAI的Grok Bot团队指南表示没有单独的Grok Bot连接器列表:连接器在应用程序中作为插件出现,Grok Bot继承团队的Cursor连接器政策。Scrapeless未在该目录中发布,因此在Marketplace中搜索到的结果为空。
任何目录外的内容都作为自定义连接器添加,Bot会为您执行此操作。您需要提供远程服务器的HTTPS URL和所需的头;在您确认后,它通过其Add MCP工具注册服务器。自定义连接器是账户范围的,因此一旦一个Bot添加了Scrapeless,同一账户上的其他Bots也可以使用它。
Scrapeless为您的Bots添加的内容
该服务器暴露了25个工具,按工作分组:
scrape_markdown、scrape_html和scrape_screenshot一次调用返回呈现的页面、原始HTML或图像。- 十六个
browser_*工具,从browser_create和browser_goto到browser_click、browser_type和browser_snapshot,逐步驱动云浏览器会话。 crawl_start、crawl_result和crawl_cancel在后台运行爬虫并稍后收集。google_search和google_trends返回搜索结果和趋势数据,ai_scraper捕获来自AI助手(如ChatGPT、Gemini和Perplexity)的答案。
Bot已经有自己的浏览器。不同之处在于输出:这些工具直接返回模型可以直接读取的页面内容,而不是需要点击浏览的会话。
先决条件
- Grok Bot在符合条件的计划上。xAI列出了SuperGrok Plus、SuperGrok Heavy、Cursor Pro+、Cursor Ultra和Cursor Teams Standard或Premium。本指南使用了Windows上的Grok Bot桌面应用程序,版本0.47.0。
- 来自Scrapeless仪表盘的Scrapeless API密钥。
- 在Cursor团队中,允许服务器的连接器政策。当政策阻止某个连接器时,成员会看到插件为团队管理员禁用。
步骤 1:请求Bot添加Scrapeless
打开任何一个Bot,并发送这条消息,将您的密钥放在占位符的位置:
text
Add a custom remote MCP server.
Name: scrapeless
URL: https://api.scrapeless.com/mcp
Authentication: HTTP header "x-api-token" with the value YOUR_SCRAPELESS_API_KEY
Do not use an Authorization or Bearer header.
最后一行执行实际工作。大多数连接器使用OAuth或Bearer令牌进行身份验证,假设Bearer的Bot构建了一个Scrapeless拒绝的头。端点以401 Unauthorized: Missing x-api-token header响应这样的请求。
知道密钥在消息中何处结束。它停留在该Bot的对话中,并且与团队共享Bot会显示团队成员的完整历史记录,包括过去的对话。Grok Bot的秘密帮助页面建议将API密钥保留在聊天中。对于共享Bot,发送相同的消息而不带值,并将在步骤2中的批准卡中输入密钥;这是测试此设置时输入密钥的方式。
现在设置这个?Scrapeless免费计划涵盖连接和您的第一次工具调用。
步骤 2:检查批准卡并保存
在 Bot 注册任何内容之前,Grok Bot 显示一个 添加 MCP 服务器 卡片。将每个字段与您要求的内容进行比较:
| 字段 | 预期值 |
|---|---|
| 名称 | scrapeless |
| 类型 | Remote HTTPS |
| 服务器 URL | https://api.scrapeless.com/mcp |
| HTTP 头 | 键 x-api-token, 值:您的 Scrapeless API 密钥 |
将 OAuth Client ID 和 Client Secret 保持为空,因为 Scrapeless 不使用 OAuth。如果头值为空,请在此处输入键,然后选择 保存。该卡片还提供 编辑 JSON,其包含以名称为键的 JSON 对象的相同服务器,一次一个服务器。
保存的密钥与连接器保持在一起。xAI 的文档表示 OAuth 令牌保留在 Cursor 的连接器后端,Bot 调用工具而不接收它们。Cursor 对其托管代理的文档 还补充说,HTTP MCP 服务器上的头值在静止时是加密的,保存后会被删减,并且永远不会放在代理的机器上;工具调用通过 Cursor 的后端进行。
步骤 3:运行一个工具调用
向 Bot 请求一个小的、可检查的任务:
text
Use the scrapeless MCP server's scrape_markdown tool to fetch https://example.com
and reply with the first heading of the returned page, quoted exactly.
一个工作连接器带回页面的标题:
text
"# Example Domain"
工具调用是至关重要的测试,因为连接器的状态无法区分好密钥与坏密钥。Scrapeless 回应 MCP 握手,并列出其 25 个工具供任何密钥值使用。只有运行工具时,差异才会显现:使用错误的密钥时,结果文本以 Failed to fetch data 开头。
状态徽章也可能在另一个方向上误导。Grok Bot 的插件徽章仅将 OAuth 登录计为认证,因此使用 API 密钥的连接器在其工具正常工作的情况下可能会显示 需要认证。Cursor 员工确认需要认证徽章是外观上的 对于这样的连接器。按下 认证 不会改变它;上述工具调用是检查。
修复常见问题
| 您看到的 | 原因 | 解决方法 |
|---|---|---|
| 插件市场中没有 Scrapeless 结果 | 它不是一个目录插件 | 请 Bot 将其添加为自定义连接器(步骤 1) |
| Scrapeless 连接器上显示 需要认证 | 徽章仅计算 OAuth 登录 | 请使用步骤 3 中的工具调用,而不是认证 |
401 Unauthorized: Missing x-api-token header |
Bot 发送了 Authorization: Bearer |
请其使用 x-api-token 头 |
工具结果以 Failed to fetch data 开头 |
密钥错误或已撤销 | 用有效密钥替换头部值 |
| 管理员禁用 | 团队的连接器策略阻止了服务器 | 请 Cursor 团队管理员允许它 |
| 每个插件同时停止加载 | 连接器接受连接但从不回复 | 移除停止响应的连接器 |
最后一行在发生之前值得了解。Grok Bot 发现一个帐户下的所有连接器共享一个时间预算,因此单个从不响应握手的服务器可以使每个连接器返回空值。Scrapeless 在测试中在不到半秒的时间内回应了其握手,因此并不是连接器沉默不语。
在 Cursor 团队中共享 Scrapeless
向 Bot 询问将为一个帐户添加连接器。希望为每个成员使用相同连接器的团队可以将其发布为 Cursor 团队市场 中的插件,Teams 和 Enterprise 计划支持此功能。然后,成员可以在团队插件下的插件目录中找到它,并且没有人将密钥复制到聊天中。
插件的 mcp.json 仅包含一个占位符:
json
{
"mcpServers": {
"scrapeless": {
"url": "https://api.scrapeless.com/mcp",
"headers": {
"x-api-token": "${SCRAPELESS_API_KEY}"
}
}
}
}
它的 .cursor-plugin/plugin.json 声明该占位符为变量,因此团队管理员在 Cursor 仪表板的 插件 → 配置 下设置真实密钥:
json
{
"name": "scrapeless",
"variables": {
"type": "object",
"properties": {
"SCRAPELESS_API_KEY": {
"type": "string",
"title": "Scrapeless API key",
"description": "Sent as the x-api-token header to https://api.scrapeless.com/mcp."
}
},
"required": ["SCRAPELESS_API_KEY"]
}
}
Teams 计划允许一个团队市场,因此一个已经导入一个的团队将 Scrapeless 插件添加到该存储库,而不是创建第二个。
有关服务器提供的更多信息,请阅读 Scrapeless MCP 服务器公告。 Cursor 设置指南 涉及 Cursor 编辑器中的同一服务器, 浏览器 MCP 文档 提供配置参考, 抓取 API 页面涵盖工具背后的参与者,而 定价 列出了一个调用的费用。
结论
将 Scrapeless 添加到 Grok Bot 仅需一条消息和一次批准。Bot 将 https://api.scrapeless.com/mcp 注册为自定义远程 MCP 服务器,批准卡确认名称、类型、URL 和 x-api-token 头部,随后账户上的每个 Bot 都可以调用这 25 个工具。
两个检查保持设置的诚实性。在查看真实工具调用的结果时,而不是状态徽章,因为错误的密钥和有效的 API-key 连接器看起来都可能不完整。在发送消息之前决定密钥应放在哪里:对于私人 Bot 在聊天中,还是在队友可以阅读对话的批准卡中。
准备好让您的 Bots 实时查看网络了吗? 从 Scrapeless 免费计划开始 并发送第 1 步的消息。
常见问题
问:我可以将自定义 MCP 服务器添加到 Grok Bot 吗?
可以。请 Bot 添加自定义远程 MCP 服务器,并提供服务器的 HTTPS URL 及其所需的任何头部。Grok Bot 会显示一个添加 MCP 服务器的批准卡,包含名称、类型、URL 和头部,当您确认时将保存连接器。
问:为什么在我搜索 Grok Bot 的插件时没有出现 Scrapeless?
插件目录列出了已发布的插件,而 Scrapeless 并不是其中之一。它作为自定义连接器连接,而不显示在市场搜索中。
问:Scrapeless 在 Grok Bot 中需要哪个头部?
x-api-token,值为你的 Scrapeless API 密钥。Authorization: Bearer 头部会因为 401 Unauthorized: Missing x-api-token header 被拒绝。
问:为什么我的 Scrapeless 连接器显示需要认证?
Grok Bot 的徽章仅将 OAuth 登录视为已认证,而 Scrapeless 使用 API 密钥。Cursor 员工将徽章描述为此类连接器的外观装饰。运行一次工具调用以确认连接器是否有效。
问:我应该将我的 API 密钥放在聊天消息中吗?
可以工作,但密钥会留下在 Bot 的对话中,队友在共享 Bot 上能够看到该历史记录。对于共享 Bot,请将值保留在消息之外,并在批准卡中输入密钥。
问:我的所有 Bots 都能使用 Scrapeless 工具吗?
是的。自定义 MCP 服务器是账户范围的,因此一个 Bot 添加的连接器可用于同一账户上的其他 Bots。
问:Scrapeless 为 Grok Bot 添加多少工具?
25 个: 三个 scrape_* 工具、十六个 browser_* 工具、三个 crawl_* 工具,以及 google_search、google_trends 和 ai_scraper。
在Scrapeless,我们仅访问公开可用的数据,并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用,不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证,并免除所有责任。在进行任何抓取活动之前,请咨询您的法律顾问,并审查目标网站的服务条款或获取必要的许可。



