🥳加入无抓取社区并领取您的免费试用，访问我们强大的网页抓取工具包！
返回博客

如何抓取Google购物结果？

Michael Lee
Michael Lee

Expert Network Defense Engineer

28-Feb-2025

谷歌有自己的电商平台吗？是的。谷歌购物是谷歌提供的一项电商服务，允许用户搜索、查看和比较产品。

在当今数据驱动的商业环境中，谷歌购物结果数据蕴含着巨大的商业价值，例如市场洞察、价格分析、消费者趋势预测等，对各类企业和市场研究人员具有重要的战略意义。

然而，传统的爬取方法可能面临技术门槛高、效率低、数据不准确等问题。有没有简单有效的方法来解决这些问题呢？

在本教程中，您可以在几分钟内大规模爬取谷歌购物结果，无需接触爬虫技术。

什么是谷歌购物？

谷歌购物（以前称为谷歌产品搜索、谷歌产品和Froogle）是一个平台，它通过整合来自各个零售商的产品信息来增强在线购物体验。谷歌购物允许用户浏览、比较和购买来自不同供应商的产品。

谷歌购物不仅为消费者提供了在数千个品牌中选择最佳产品的機會，也为零售商带来了好处。当用户点击产品链接时，他们会被重定向到供应商的网站进行购买；因此，谷歌购物是企业在线推广其产品的解决方案。

有关谷歌购物工作原理的更多信息，请参阅文档教程。

谷歌购物结果页面结构概述

谷歌购物结果页面
  • 搜索栏: 允许用户搜索谷歌购物上的任何产品。
  • 产品列表: 列出所有产品的搜索产品详细信息。
  • 筛选器: 允许您对搜索应用任何筛选器，例如价格范围、颜色、款式等。
  • 排序选项: 此下拉列表允许您根据多个属性（例如价格升序、价格降序、受欢迎程度等）对搜索结果进行排序。
  • 产品列表显示各个产品及其以下产品属性：产品名称、价格、零售商或商店名称、运费信息。

为什么爬取谷歌购物结果数据很有帮助

爬取谷歌购物结果数据很有帮助

竞争对手分析

在谷歌购物上，您可以收集许多产品参数。数据包括产品尺寸、材质、颜色等。这些信息可以帮助您更好地了解竞争对手的定位、优势和劣势。最终，您可以更好地在市场中定位自己。

价格监控

如前所述，谷歌购物抓取工具提供价格比较服务。客户浏览此网站以寻找最优惠的价格。而像您这样的行业专业人士可以看到竞争对手如何定价他们的产品。监控动态价格将帮助您制定成功的定价策略。

收集消费者反馈

诸如谷歌购物上的用户评论和评分等信息对于产品改进和用户体验优化至关重要。评论真实地反映了产品的实际体验，可以指导卖家明确改进方向。例如，可以相应地优化电子产品电池续航时间短的问题；评分直观地反映产品质量并影响购买决策。高评分有助于转化，低评分则需要改进。

谷歌购物容易爬取吗？

抓取谷歌购物可能是一项非平凡的任务。谷歌购物不仅擅长检测自动化请求，而且还需要解析 JavaScript，这是一个“昂贵”的操作，会减慢爬取过程。

因此，为了确保您可以轻松地爬取和解析各种类型的谷歌购物页面，最好依靠高质量的爬取解决方案，例如Scrapeless 的谷歌购物 API。此 API 专为应对谷歌爬取过程的挑战而设计，允许您收集全球范围内的准确、实时数据。如果您想从谷歌搜索引擎提取数据，请查看我们关于如何爬取谷歌搜索结果的其他教程。

Scrapeless：有效的谷歌购物抓取工具

Scrapeless 谷歌购物 API 是一款经济实惠、稳定且安全的 API 服务。它帮助您在 3 分钟内获取产品结果。您只需要简单地配置参数并输入您的 API 令牌即可。

为什么企业选择 Scrapeless？

  • 🔴 节省成本: 谷歌购物 API 仅需 $0.80。订阅后，您可以获得 10% 的折扣！
  • 🔴 准确的数据: 我们的开发人员不断分析谷歌的抓取算法和限制，以确保 API 得到更新和优化。
  • 🔴 稳定且成功率高: Scrapeless 保证 99% 的成功率和可靠性。谷歌趋势抓取的稳定性和准确性已达到近 100%！ 目前，平均响应时间约为 1-2 秒，比大多数 API 提供商快得多。此外，数据以标准化的 JSON 格式返回，可以直接使用。

Scrapeless 已经赢得了超过 2000 名企业用户的信任！立即加入 Discord 领取您的免费试用版！限时仅提供 1000 个名额——快来行动吧！

详细步骤

步骤 1. 获取您的 API 密钥

要开始使用，您需要从 Scrapeless 仪表板获取您的 API 密钥：

  • 登录到Scrapeless 仪表板。
  • 导航到API 密钥管理。
  • 点击创建以生成您的唯一 API 密钥。
  • 创建后，只需点击 API 密钥即可复制它。
获取您的 API 密钥

步骤 2：在代码中使用您的 API 密钥

您现在可以使用您的 API 密钥将 Scrapeless 集成到您的项目中。请按照以下步骤测试和实现 API。

  1. 访问API 文档。
  2. 点击所需端点的“试用”。
  3. 在代码正文中配置您需要的参数。

这是我的请求正文：

Python Copy 
{
  "actor": "scraper.google.shopping",
  "input": {
    "engine": "google_shopping",
    "q": "Macbook M4"
  }
}
在代码中使用您的 API 密钥
  • 将关键字 q 替换为您要查询的关键字。
  • engine 参数是必需的，其值必须为 google_shopping。但是，您可以添加更具体的参数，例如 google_scholar_author。
  • 常用参数：
参数 是否必需 描述
engine 是 设置为 google_shopping 以使用此 API。
q 是 搜索查询（例如，Macbook M4）。
location 否 定义您希望搜索源自何处。
hl 否 语言设置（默认：en）。
uule 否 您希望用于搜索的谷歌编码位置。
  1. 在“Auth”字段中输入您的 API 密钥。
  2. 点击“发送”以获取抓取响应。
抓取谷歌购物

您也可以直接将我们的参考代码集成到您的程序中。只需将 your_token 替换为您申请的令牌：

Python Copy 
import json
import requests


class Payload:
    def __init__(self, actor, input_data):
        self.actor = actor
        self.input = input_data


def send_request():
    host = "api.scrapeless.com"
    url = f"https://{host}/api/v1/scraper/request"
    token = your_token ## replace with your API Token

    headers = {
        "x-api-token": token
    }

    input_data = {
        "engine": "google_scholar",
        "q": "biology",
    }

    payload = Payload("scraper.google.scholar", input_data)

    json_payload = json.dumps(payload.__dict__)

    response = requests.post(url, headers=headers, data=json_payload)

    if response.status_code != 200:
        print("Error:", response.status_code, response.text)
        return

    print("body", response.text)


if __name__ == "__main__":
    send_request()

以下是一些我的爬取结果以供参考：

JSON Copy 
{
    "filters": [
        {
            "option": [
                {
                    "text": "On sale",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=Macbook+M4+sale&tbs=&udm=28&shoprs=CAESBEoCGAEYBioKbWFjYm9vayBtNDITCAYSB09uIHNhbGUYAiIESgIYAViLqiBgAg&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAB6BAgcEAU"
                },
                {
                    "text": "Get it by Fri",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=macbook+m4&tbs=&udm=28&shoprs=CAESDZoBCgoIEAI4AUAFSAEYFCoKbWFjYm9vayBtNDImCBQSDUdldCBpdCBieSBGcmkiDZoBCgoIEAI4AUAFSAEqBBABGAFgAg&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAF6BAgcEAY"
                },
                {
                    "text": "Used",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=used+Macbook+M4&tbs=&udm=28&shoprs=CAEYCioKbWFjYm9vayBtNDIICAoSBFVzZWRYi6ogYAI&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAJ6BAgcEAc"
                },
                {
                    "text": "Small business",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=macbook+m4&tbs=&udm=28&shoprs=CAESAmoAGBYqCm1hY2Jvb2sgbTQyHAgWEg5TbWFsbCBidXNpbmVzcyICagAqBBABGAFgAg&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAN6BAgcEAg"
                }
            ]
        },
        {
            "type": "Sort by",
            "option": [
                {
                    "text": "Price: low to high",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=macbook+m4&tbs=&udm=28&shoprs=CAEYFyoKbWFjYm9vayBtNDIcCBcSElByaWNlOiBsb3cgdG8gaGlnaCoEEAEYAWACiAEB&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAB6BAgcEAw"
                },
                {
                    "text": "Price: high to low",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=macbook+m4&tbs=&udm=28&shoprs=CAEYFyoKbWFjYm9vayBtNDIcCBcSElByaWNlOiBoaWdoIHRvIGxvdyoEEAEYAWACiAEC&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAF6BAgcEA0"
                }
            ]
        },
        {
            "type": "Installed Memory",
            "option": [
                {
                    "text": "Under 24 GB RAM",
                    "link": "https://www.google.com//search?gl=us&hl=en&q=under+24+gb+ram+macbook+m4&tbs=&udm=28&shoprs=CAESESoPCLCmPhIJEQAAAAAAADhAGAEqCm1hY2Jvb2sgbTQyNAgBEg9VbmRlciAyNCBHQiBSQU0iESoPCLCmPhIJEQAAAAAAADhAKgIYAToICLCmPhAAMAZYi6ogYAI&sa=X&ved=2ahUKEwiC9Z3g-eKLAxVuLVkFHdX4HYAQ268JKAB6BAgcEBE"
                },

Scrapeless Deep SerpApi 即将推出！
Deep SerpAPi 是一个专为大型语言模型 (LLM) 和 AI 代理设计的专用搜索引擎。它提供实时、准确和公正的信息，使 AI 应用程序能够有效地检索和处理数据：

✅ 它内置了 20 多个谷歌搜索 API 场景接口，并连接到主流搜索引擎的数据。

✅ 它涵盖了 20 多种数据类型，例如搜索结果、新闻、视频和图像。

✅ 它支持过去 24 小时内的历史数据更新。

Deep SerpApi 将充分考虑 AI 开发者的需求！我们将简化将动态网络信息集成到 AI 驱动解决方案的过程，最终实现一键搜索和提取网络数据的 ALL-in-One API。此外，我们将长期保持该领域最低的价格：0.1-0.3 美元/1000 次查询。

不要错过我们的开发者赞助计划！
立即加入我们的社区并获得 50 万次免费查询。

进一步阅读

我可以使用 Scrapeless 抓取其他购物数据吗？

当然！Scrapeless 还为用户提供其他电商平台的功能强大的接口。您可以使用 Scrapeless轻松抓取所有流行的电商平台，为您提供极大的便利和准确的信息。

亚马逊抓取 API

轻松收集亚马逊数据，例如 ASIN、卖家名称、商家 ID、产品标题、网址、图片、品牌、概述、说明等等。使用 Scrapeless，您可以获得完全的控制、灵活性和可扩展性——无需管理代理、基础设施，也无需担心被封禁。

Lazada 抓取 API

高效地从 Lazada 收集实时产品数据、价格、评论和趋势。Scrapeless 自动执行关键任务，优化数据管理并简化操作，从而提高效率。

Shein 抓取 API

Scrapeless SHEIN 抓取 API 是一款全面且灵活的数据抓取工具，专为从电商平台提取数据而设计，尤其适用于需要从 SHEIN 提取大量产品、评论、价格和市场趋势数据的商家。

Shopee 抓取 API

轻松从 Shopee 抓取产品详细信息、价格等，绕过反抓取障碍，实现无缝扩展性和控制。

总结

如果您想检索最大竞争对手产品的准确数据和价格并做出数据驱动的决策以扩展您的业务，那么谷歌购物抓取工具至关重要！

我们希望本教程清晰明了，并有助于简化数据收集活动。您也可以在我们的API 文档中找到所有必要的代码文件。但如果您还有任何疑问，请随时与我们联系。

常见问题：

谷歌购物有 API 吗？

谷歌曾经提供购物搜索 API。但谷歌于 2013 年 9 月 16 日将其关闭。这一决定当时让许多零售商感到害怕，因为没有这个工具，他们可能会失去对市场的了解。目前，谷歌上有一个购物内容 API，使零售商能够控制和跟踪他们的广告和产品。

抓取谷歌购物数据合法吗？

一般来说，只要您严格遵守所有关于收集公共数据的规定，并确保您正在抓取的信息是公开的。在大多数情况下，数据抓取并不违法。但我们仍然强烈建议您在启动抓取工具提取数据之前阅读平台的服务条款，以避免任何意外的不愉快事件。

在Scrapeless，我们仅访问公开可用的数据，并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用，不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证，并免除所有责任。在进行任何抓取活动之前，请咨询您的法律顾问，并审查目标网站的服务条款或获取必要的许可。

最受欢迎的文章

Scrapeless Deep SerpApi：最快用于SEO、大型语言模型和RAG的谷歌搜索数据API

Scrapeless Deep SerpApi 已上线。了解更多关于这个强大工具的信息。

Alex JohnsonAlex Johnson
05-Mar-2025
deep serp api

Scrapeless：智能网页抓取工具包正式发布——开启数据抓取新时代！

Scrapeless 全球上线！它是一款先进的网页抓取解决方案，旨在帮助企业以速度、智能和稳定性简化数据采集。

Alex JohnsonAlex Johnson
06-Jan-2025
Scrapeless——开启数据抓取的新时代！

Shopee爬虫API：如何抓取Shopee产品数据

步骤1. 确定要抓取的数据。步骤2. 选择数据收集方法。我们在此推荐使用Scrapeless Shopee抓取API。步骤3. 登录Scrapeless，然后点击“抓取API”。接下来，选择“Shopee”进入Shopee抓取页面。

Alex JohnsonAlex Johnson
28-Nov-2024
如何从Shopee抓取产品数据
目录