Scrapeless x Make:轻松构建您的自动化数据管道!

Senior Web Scraping Engineer
在Scrapeless,我们始终致力于降低访问公共网络数据的门槛。今天,我们激动地宣布,Scrapeless现已在Make.com上正式上线!
无论您是在运营、营销、产品管理还是技术角色工作,现在您都可以轻松将Scrapeless强大的抓取功能集成到日常自动化工作流程中——无需编写任何代码。

什么是Make.com?
Make(前称Integromat)是一个领先的可视化自动化平台,允许您通过拖放界面连接不同的应用程序并自动化数据流和业务流程。使用Make,您可以在超过2000种工具之间构建高效的数据工作流程,包括Google Sheets、Airtable、Notion、Slack等众多工具。
现在,Scrapeless已正式加入这一生态系统!
Scrapeless在Make上提供了哪些功能?
Scrapeless为Make提供了五个模块,涵盖从解锁网站、抓取数据到进行API调用的完整流程:
- 解锁网站:访问并提取被阻止机器人访问的网站数据。
- 从所有页面抓取数据:递归抓取整个网站以获取完整的数据结构。
- 从单个页面抓取数据:精确提取单个网页上的结构化数据。
- 搜索Google:使用Deep SerpApi模块快速查询Google搜索结果。
- API调用:调用任何Scrapeless API,以便更灵活地访问数据。
为什么将Scrapeless与Make结合使用?
过去,您可能需要编写代码或直接与API一起工作才能完成数据抓取任务。现在,只需几个简单的配置,您的数据工作流程就可以自动运行:
- 快速解锁网站:无需担心反机器人措施——Scrapeless提供了包括自动代理和指纹掩蔽的完整解决方案。
- 无须编码:只需使用可视化模块与Google Sheets、Notion等工具连接。
- 高度可扩展:无缝链接多个工具,自动将抓取的数据发送到内部系统或通知您的团队。
- 灵活且自由形式:与Make的逻辑模块(如条件语句和循环)结合使用,以创建高度自定义的抓取策略。
开始您的第一次自动化
登录到您的Make.com帐户,单击“创建新场景”以开始在Make平台上构建您的第一次自动化。

搜索Scrapeless以访问我们的独特数据服务。在第一次调用Scrapeless服务之前,请务必生成您的Scrapeless API密钥。

1. Google搜索模块
配置Google搜索模块直接连接Scrapeless的Deep SerpApi服务,允许您快速查询Google搜索结果并导出数据。
您将通过创建连接来添加Scrapeless API密钥。单击“添加”,输入您的API密钥。

接下来,根据需要填写您的搜索参数。以下是我们的默认值:

配置完成后,单击“运行一次”以测试并查看抓取结果:

2. 解锁网站模块
通过添加解锁网站模块,您可以成功调用Scrapeless的通用抓取API服务。凭借强大的站点解锁和验证识别能力,它轻松绕过访问限制以获取数据。
我们将跳过API配置步骤。只需设置目标网站URL、IP位置(国家
)、JS指令
和阻止
参数以运行测试。

以下是解锁scapeless.com时的示例结果:

3. 从单个页面抓取数据模块
该模块直接与Scrapeless Crawl下的抓取功能相连。通过调用该模块,您可以一次单击抓取单个页面的所有数据。
配置目标 URL 进行抓取,然后运行测试以检索页面结果:

4. 从所有页面模块抓取数据
此模块使用来自爬虫的爬虫功能。它提供智能递归抓取,以完全捕获所有链接的页面。
设置子页面数量以收集所需的页面数据。

以下是从爬取 scrapeless.com 检索到的数据:

5. 制作 API 调用模块
除了上述提到的四个特色服务,Scrapeless 还支持 20 多种抓取 API 场景服务,包括 Shopee、Walmart、Google Flights 等。抓取浏览器还支持 CDP API。您可以直接访问 Scrapeless 文档,并复制目标场景的 API 请求 URL。

我们以检索 用户信息
为例:

URL
: /me方法
: 获取
执行后,您将收到结果:

现在开始使用 API 调用 抓取更多场景吧!
立即尝试 Scrapeless × Make.com 集成!
我们邀请您立即尝试 Scrapeless 与 Make 之间的集成,并分享您的反馈和使用案例。您可以从 Scrapeless 仪表板获取您的 API 密钥,然后前往 Make.com 创建一个免费帐户,开始构建您自己的网页数据自动化工作流!
进一步阅读
在Scrapeless,我们仅访问公开可用的数据,并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用,不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证,并免除所有责任。在进行任何抓取活动之前,请咨询您的法律顾问,并审查目标网站的服务条款或获取必要的许可。