Como Raspar Resultados de Avaliações de Produtos do Google com Python

À medida que a onda digital varre o mundo, o Google, como um dos maiores mecanismos de busca do mundo, esconde uma enorme quantidade de dados valiosos em sua página de resultados de busca (SERP). Esses dados não são apenas uma simples lista de informações, mas também a chave para insights sobre a dinâmica do mercado, análise de concorrentes e compreensão do comportamento do consumidor.

No entanto, não é fácil rastrear resultados de busca do Google de forma eficiente e eficaz. A estrutura da página do Google Product é complexa e mutável, e possui um poderoso mecanismo anti-rastreador, o que torna os métodos tradicionais de rastreamento de dados frequentemente difíceis de funcionar. Para enfrentar esses desafios, um pipeline de dados poderoso, escalável e flexível que consiga se adaptar às mudanças estruturais do Google é particularmente importante. Se você planeja construir seu próprio modelo de linguagem grande (LLM) ou deseja obter insights diretos do consumidor do mercado, um rastreador de busca do Google confiável é indispensável.

Neste artigo, vamos nos concentrar em como usar Python e a biblioteca BeautifulSoup para construir um rastreador de resultados de avaliações de produtos do Google do zero. Com essa ferramenta, você poderá extrair automaticamente dados valiosos e descobrir insights que podem ser usados diretamente para tomada de decisões a partir do oceano de dados do mecanismo de busca.

Casos de Uso de Raspagem de Resultados de Produtos do Google

A raspagem de resultados de produtos do Google tornou-se um meio importante para empresas e pesquisadores obterem insights de mercado. Ao analisar esses dados, as empresas podem entender as tendências do mercado, as preferências dos consumidores e a dinâmica dos concorrentes, desenvolvendo assim estratégias de negócios mais eficazes. A seguir, alguns cenários de uso comuns:

• Pesquisa de mercado e análise de tendências.
• Análise de concorrentes
• Desenvolvimento e otimização de produtos
• Insights sobre o comportamento do consumidor
• Monitoramento e ajuste de preços
• Proteção de marca e gestão de reputação
• E-commerce e otimização de varejo online
• Pesquisa acadêmica e análise de dados
• Formulação e supervisão de políticas públicas

Dificuldades no rastreamento de avaliações de produtos do Google

A extração de avaliações de produtos do Google apresenta vários desafios, incluindo os seguintes:

Medidas Anti-Raspagem

• O Google usa CAPTCHA e bloqueio de IP para impedir bots.
• Requer proxies e rotação de user-agent para contornar.

Conteúdo Dinâmico e Renderizado por JavaScript

• As avaliações são carregadas dinamicamente via JavaScript.
• Precisa de ferramentas como Puppeteer ou Selenium para extrair dados.

Mudanças Frequentes na Estrutura DOM

• O Google atualiza sua estrutura HTML regularmente.
• Os rastreadores exigem manutenção constante.

Método 1: Raspe os Resultados de Avaliações de Produtos do Google com Scrapeless

Rastreando avaliações de produtos do Google em Python requer lidar com desafios como o carregamento de conteúdo dinâmico e mecanismos anti-raspagem. Esta seção explora métodos e ferramentas eficazes para extrair dados de avaliações de forma eficiente.

Passo 1: Construa um ambiente de rastreamento de dados de produtos do Google

Primeiro, precisamos construir um ambiente de rastreamento de dados e preparar as seguintes ferramentas:

1. Python: Este é o software principal para executar Python. Você pode baixar a versão que precisamos no link do site oficial, como mostrado na figura abaixo, mas é recomendado não baixar a versão mais recente. Você pode baixar 1-2 versões anteriores à versão mais recente.

2. IDE Python: Qualquer IDE que suporte Python servirá, mas recomendamos o PyCharm, que é um software de ferramenta de desenvolvimento IDE projetado especificamente para Python. Quanto à versão do PyCharm, recomendamos a edição gratuita do PyCharm Community.

3. Pip: Você pode usar o Python Package Index para instalar as bibliotecas necessárias para executar seus programas com um único comando.

Observação: Se você for um usuário do Windows, não se esqueça de marcar a opção "Adicionar python.exe ao PATH" no assistente de instalação. Isso permitirá que o Windows use Python e comandos no terminal. Como o Python 3.4 ou posterior o inclui por padrão, você não precisa instalá-lo manualmente.

Por meio das etapas acima, o ambiente para rastrear dados de produtos do Google está configurado. Em seguida, você pode usar o PyCharm baixado em combinação com o Scraperless para rastrear dados de produtos do Google.

Passo 2: Use PyCharm e Scrapeless para rastrear dados de produtos do Google

1. Inicie o PyCharm e selecione Arquivo>Novo Projeto… na barra de menu.

2. Em seguida, na janela que aparecer, selecione Pure Python no menu esquerdo e configure seu projeto da seguinte forma:

Observação: Na caixa vermelha abaixo, selecione o caminho de instalação do Python baixado na primeira etapa da configuração do ambiente

3. Você pode criar um projeto chamado python-scraper, marcar a opção "Criar script de boas-vindas main.py na pasta" e clicar no botão "Criar". Depois que o PyCharm configurar o projeto por um tempo, você deverá ver o seguinte:

4. Em seguida, clique com o botão direito para criar um novo arquivo Python.

5. Para verificar se tudo está funcionando corretamente, abra a guia Terminal na parte inferior da tela e digite: python main.py. Após executar este comando, você deverá obter: Olá, PyCharm.

Passo 3: Obtenha a Chave da API Scrapeless

Agora você pode copiar diretamente o código Scrapeless para o PyCharm e executá-lo, para que possa obter os dados em formato JSON do Google Job. No entanto, você precisa obter primeiro a chave da API Scrapeless. As etapas são as seguintes:

• Se você ainda não possui uma conta, inscreva-se no Scrapeless. Após o cadastro, faça login no seu painel.
• No seu painel Scrapeless, navegue até Gerenciamento de Chave API e clique em Criar Chave API. Você receberá sua Chave API. Basta colocar o mouse sobre ela e clicar para copiá-la. Essa chave será usada para autenticar sua solicitação ao chamar a API Scrapeless.

Protegemos firmemente a privacidade do site. Todos os dados neste blog são públicos e são usados apenas como demonstração do processo de rastreamento. Não salvamos nenhuma informação e dados.

Cadastre-se no Scrapeless e ganhe 20.000 consultas gratuitas!

Inscreva-se no Scrapeless hoje e aproveite 20.000 consultas gratuitas! Comece a rastrear avaliações de produtos do Google e desbloqueie insights valiosos com facilidade. Não perca—registre-se agora e experimente o poder do Scrapeless gratuitamente!

Passo 4: Como integrar a API Scrapeless em sua ferramenta de rastreamento

Depois de obter a chave da API, você pode começar a integrar a API Scrapeless em sua própria ferramenta de rastreamento. Aqui está um exemplo de como chamar a API Scrapeless e recuperar dados usando Python e solicitações.

Código de exemplo para rastrear informações de produtos do Google usando a API Scrapeless:

import json
import requests

class Payload:
    def __init__(self, actor, input_data):
        self.actor = actor
        self.input = input_data

def send_request():
    host = "api.scrapeless.com"
    url = f"https://{host}/api/v1/scraper/request"
    token = "your_token"

    headers = {
        "x-api-token": token
    }

    input_data = {
        "engine": "google_product",
        "product_id": "4172129135583325756",
        "gl": "us",
        "hl": "en",
    }

    payload = Payload("scraper.google.product", input_data)

    json_payload = json.dumps(payload.__dict__)

    response = requests.post(url, headers=headers, data=json_payload)

    if response.status_code != 200:
        print("Erro:", response.status_code, response.text)
        return

    print("body", response.text)


if __name__ == "__main__":
    send_request()

Com base na saída deste código, você pode encontrar todas as informações sobre as avaliações de produtos do Google.

Você também pode consultar a documentação oficial do parâmetro da API Scrapeless documentação

A seguir, uma lista parcial de resultados, que inclui informações de comentários de usuários.

body {"product_results":{"product_id":"4172129135583325756","title":"Apple iPhone 12 Pro - 128 GB - Silver - AT\u0026T","price":["$314.84","$298.00","$325.33"],"reviews":14303,"rating":4.4,"extensions":["Smartphone","Dual SIM","5G","With Wireless Charging","With Fast Charging","AT\u0026T","Dual Lens","iOS","GSM","CDMA"],"description":"5G goes Pro. A14 Bionic rockets past every other smartphone chip. The iPhone 12 Pro features a 6.1” Super Retina XDR display, LiDAR scanner for ultrafast and accurate depth maps of whatever space you're in and MagSafe wireless charging. The Pro camera system takes low-light ...More5G goes Pro. A14 Bionic rockets past every other smartphone chip. The iPhone 12 Pro features a 6.1” Super Retina XDR display, LiDAR scanner for ultrafast and accurate depth maps of whatever space you're in and MagSafe wireless charging. The Pro camera system takes low-light photography to the next level with Night mode available in both the Wide and Ultra Wide cameras, so it’s better than ever at capturing incredible low-light shots. And Ceramic Shield delivers four times better drop performance.Less","media":[{"type":"image","link":"https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcStw-jdTZtGmdXcVKCqweq6wxzU5tpRTTbl6stPV97GpGVR6XY\u0026usqp=CAY"},{"type":"image","link":"https://encrypted-tbn1.gstatic.com/shopping?q=tbn:ANd9GcR0wJ1fsUOPAGDMtjdtx1zsd5ZWUXwnNe70fmZszERkEihkYCKnZoGJ3Y4lqSQTyR4soiTVWFVzllzYTHJBTRXegTR7Pj83RA\u0026usqp=CAY"},{"type":"image","link":"https://encrypted-tbn1.gstatic.com/shopping?q=tbn:ANd9GcR4L66Gss9O5HSL00NLxaHu0pl5huMUojbC9tO9FKCRpCQObUqdHWsSPYZJ4lU8eETn-MlJx4Hni_oc_l5mxIs_l-Z2htBiaA\u0026usqp=CAY"},{"type":"image","link":"https://encrypted-tbn0.gstatic.com/shopping?q=tbn:ANd9GcQLv5xOi-9b-Mka7jfFnQzlXkTrEAsjPAzumbUB2D6Ddgl3FHGZOQXAUGQAv6WkUeZsbsdvKA2NRF1-h8EOBSQPLmuPMLPQ2Q\u0026usqp=CAY"}],"sizes":{"128 GB":{"link":"https://www.google.com/shopping/product/4172129135583325756?gl=us\u0026hl=en\u0026sourceid=chrome\u0026ie=UTF-8","product_id":"4172129135583325756"},"256 GB":{"link":"https://www.google.com/shopping/product/1700752269234454309?gl=us\u0026hl=en\u0026sourceid=chrome\u0026ie=UTF-8\u0026prds=opd:11579479524734831751,rsk:PC_14243855303706753583\u0026sa=X\u0026ved=0ahUKEwjxhNXT2ZeMAxVcK7kGHUh1ErMQlIUHCEQoAQ","product_id":"1700752269234454309"},"512 GB":{"link":"https://www.google.com/shopping/product/14752474427020499512?gl=us\u0026hl=en\u0026sourceid=chrome\u0026ie=UTF-8\u0026prds=opd:11579479524734831751,rsk:PC_14243855303706753583\u0026sa=X\u0026ved=0ahUKEwjxhNXT2ZeMAxVcK7kGHUh1ErMQlIUHCEUoAg","product_id":"14752474427020499512"}},"highlight":["5G transforms iPhone with accelerated wireless speeds and better performance on congested networks","A14 Bionic: generations ahead of any other smartphone chip","Night mode comes to both the Wide and Ultra Wide cameras, and it's better than ever at capturing incredible low-light shots",

Por que usar Scrapeless para rastrear avaliações de produtos do Google

• Preço acessível: Com apenas US$ 0,1 por 1.000 consultas, o Scrapeless oferece uma solução altamente econômica para empresas que precisam escalonar a coleta de dados sem comprometer o orçamento.
• Rápido e confiável: Com um tempo de resposta inferior a 3 segundos, o Scrapeless oferece resultados em tempo real, garantindo que você obtenha os dados de que precisa de forma rápida e eficiente—essencial para ambientes de negócios acelerados.
• Fácil de usar: O Scrapeless possui uma interface intuitiva que permite que equipes com pouca experiência técnica comecem com uma configuração mínima, reduzindo a necessidade de treinamento extenso.
• Coleta de dados escalável: Se você está coletando dados para um pequeno projeto ou análise em nível empresarial, o Scrapeless se adapta às necessidades do seu negócio, permitindo que você manipule grandes volumes de consultas sem problemas.
• Raspagem personalizável: O Scrapeless permite que você adapte sua extração de dados às necessidades específicas—se você está direcionando produtos, regiões ou tipos de avaliação específicos, oferecendo flexibilidade para coletar os insights mais relevantes.
• Melhore a tomada de decisões: O Scrapeless ajuda as empresas a obter insights valiosos das avaliações de produtos do Google, auxiliando na análise de sentimento do cliente e nas decisões de melhoria do produto. Isso é particularmente crucial para empresas que buscam manter a competitividade.
• Integração perfeita: Com opções para integrar o Scrapeless a outras ferramentas de negócios, sua equipe pode analisar diretamente os dados coletados em seus sistemas existentes, tornando mais fácil agir rapidamente com base nos insights.

Junte-se à nossa comunidade Discord e conecte-se com clientes TOB!

Junte-se à nossa comunidade Discord para criar redes com outros clientes TOB, compartilhar insights e discutir estratégias. Além disso, obtenha acesso direto à nossa equipe para suporte personalizado—se você precisar de soluções personalizadas, testes de dados ou orientação. Não perca esta oportunidade de aprimorar sua experiência Scrapeless!

Método 2: Raspagem de Avaliações de Produtos do Google usando Python e Selenium

Pré-requisitos

Antes de começarmos, certifique-se de que você tenha o seguinte:

• Python instalado (3.x recomendado)
• Google Chrome e ChromeDriver
• Bibliotecas Python necessárias:

pip install selenium beautifulsoup4 pandas

Passo 1: Configurar o Selenium WebDriver

O Selenium nos permite automatizar interações na web. Primeiro, precisamos inicializar o Chrome WebDriver:

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
import time
service = Service('path/to/chromedriver')  # Atualize com o caminho correto
options = webdriver.ChromeOptions()
options.add_argument('--headless')  # Executar no modo sem cabeça
driver = webdriver.Chrome(service=service, options=options)
driver.get('https://www.google.com/shopping/product/1234567890/reviews')  # URL de exemplo

Passo 2: Extrair Dados de Avaliação

Usamos o BeautifulSoup para analisar a fonte da página e extrair detalhes da avaliação.

from bs4 import BeautifulSoup
def extract_reviews(driver):
    soup = BeautifulSoup(driver.page_source, 'html.parser')
    reviews = []

    for review in soup.find_all('div', class_='sh-dgr__content'):
        rating = review.find('div', class_='sh-dgr__rating')
        text = review.find('div', class_='sh-dgr__review-text')

        if rating and text:
            reviews.append({
                'rating': rating.text.strip(),
                'review': text.text.strip()
            })
    return reviews
data = extract_reviews(driver)
print(data)

Passo 3: Automatizar a paginação

Se houver várias páginas de avaliações, precisamos automatizar a paginação.

def scrape_multiple_pages(driver):
    all_reviews = []
    while True:
        all_reviews.extend(extract_reviews(driver))

        try:
            next_button = driver.find_element(By.XPATH, '//a[@aria-label="Next page"]')
            next_button.click()
            time.sleep(2)  # Aguardar o carregamento da nova página
        except:
            break
    return all_reviews
data = scrape_multiple_pages(driver)
print(f'Total de Avaliações Rastreadas: {len(data)}')

Passo 4: Salvar Dados para CSV

Depois de coletar os dados, podemos salvá-los para análise posterior.

import pandas as pd

df = pd.DataFrame(data)
df.to_csv('google_reviews.csv', index=False)
print('Avaliações salvas em google_reviews.csv')

Comparação: Scrapeless vs. Selenium + BeautifulSoup para Raspagem de Avaliações de Produtos do Google

Aqui está uma tabela de comparação destacando por que o Scrapeless é a melhor opção para rastrear avaliações de produtos do Google:

Conclusão

Scrapeless, Selenium e Scrapy são todas soluções viáveis para rastrear dados de avaliações de produtos do Google, mas cada uma tem seus próprios prós e contras:

• O Scrapeless é a opção mais simples e eficiente, especialmente para cenários em que você precisa obter dados estruturados rapidamente. Ele pode manipular automaticamente mecanismos anti-rastreamento e carregamento de conteúdo dinâmico.
• O Selenium fornece poderosos recursos de processamento de conteúdo dinâmico, mas tem baixo desempenho, altos custos de manutenção e é fácil de detectar.
• O Scrapy é uma estrutura de rastreador eficiente que é adequada para rastreamento de dados em larga escala, mas é difícil de lidar com conteúdo dinâmico e tem uma curva de aprendizado íngreme.

No geral, se você deseja obter dados de avaliações de produtos do Google de forma rápida, eficiente e estável, o Scrapeless é a melhor escolha. Ele não apenas simplifica o processo de rastreamento, mas também evita trabalho complexo de desenvolvimento e manutenção. Ao usar qualquer ferramenta, certifique-se de cumprir os Termos de Serviço do Google para evitar riscos legais desnecessários.

Pronto para levar seu rastreamento de dados para o próximo nível?

Não deixe seu negócio para trás! Cadastre-se no Scrapeless hoje e comece a rastrear avaliações de produtos do Google sem esforço. Com apenas algumas chamadas de API simples, você pode acessar insights valiosos para melhorar o desenvolvimento de seus produtos e o envolvimento do cliente. Além disso, o Scrapeless não se limita apenas a avaliações—use-o para coletar dados em várias plataformas, analisar concorrentes, rastrear tendências e muito mais!

Cadastre-se agora e obtenha 20.000 consultas gratuitas para explorar todos os poderosos recursos que o Scrapeless oferece. Se você trabalha com e-commerce, marketing ou pesquisa, o Scrapeless é sua ferramenta ideal para extração de dados eficiente, escalável e personalizável.

Cadastre-se agora e veja a diferença que isso faz para seu negócio!