Web Scraping no Excel: Power Query, VBA e Métodos de API

let
    Endpoint = "https://api.scrapeless.com",
    TargetUrl = Excel.CurrentWorkbook(){[Name="AuthorizedTargetUrl"]}[Content]{0}[Column1],
    Payload = Json.FromValue([
        actor = "unlocker.webunlocker",
        proxy = [country = "ANY"],
        input = [
            url = TargetUrl,
            jsRender = [
                enabled = true,
                response = [type = "html", options = []]
            ]
        ]
    ]),
    Raw = Web.Contents(
        Endpoint,
        [
            RelativePath = "api/v2/unlocker/request",
            Headers = [
                #"Content-Type" = "application/json"
            ],
            Content = Payload,
            ApiKeyName = "x-api-token"
        ]
    ),
    Envelope = Json.Document(Raw),
    Checked = if Envelope[code] = 200 and Envelope[data] <> null
        then Envelope[data]
        else error "The acquisition response did not contain page data",
    Output = #table(
        {"source_url", "html"},
        {{TargetUrl, Checked}}
    )
in
    Output

Option Explicit

Public Sub ImportCsv()
    Dim endpoint As String
    Dim target As Worksheet
    Dim query As QueryTable

    endpoint = ThisWorkbook.Names("CsvEndpoint").RefersToRange.Value
    Set target = ThisWorkbook.Worksheets("ImportedData")

    target.Cells.ClearContents

    Set query = target.QueryTables.Add( _
        Connection:="TEXT;" & endpoint, _
        Destination:=target.Range("A1"))

    With query
        .TextFileParseType = xlDelimited
        .TextFileCommaDelimiter = True
        .TextFilePlatform = 65001
        .RefreshStyle = xlOverwriteCells
        .Refresh BackgroundQuery:=False
    End With
End Sub

2. **Transformar e analisar no Excel:** molde a resposta em colunas, junte tabelas de consulta, construa pivôs e publique gráficos.

A [Universal Scraping API](https://www.scrapeless.com/pt/product/universal-scraping-api?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel) foi criada para a primeira etapa. O Power Query continua sendo o conector voltado para a planilha. Este limite permite que as equipes mudem o método de aquisição sem reconstruir cada fórmula e gráfico.

Use a [página de preços da Scrapeless](https://www.scrapeless.com/pt/pricing?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel) para comparar o custo do serviço com o tempo de engenharia necessário para operar a infraestrutura do navegador. Para ter uma visão mais ampla dos formatos de resposta que se adequam aos pipelines do Excel, consulte a [atualização do formato de resposta da Universal Scraping API](https://www.scrapeless.com/pt/blog/response-formats-update?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel).

## Problemas comuns e soluções

### O Navegador não mostra tabelas

É provável que a página não esteja expondo uma tabela HTML estável na resposta inicial. Procure uma fonte JSON ou CSV permitida. Se os valores aparecerem apenas após o JavaScript, use uma camada de aquisição que retorne o conteúdo completo.

### A atualização retorna um erro de nível de privacidade

O Power Query isola fontes de dados de acordo com as configurações de privacidade. Revise a configuração de fonte da planilha e evite combinar dados organizacionais privados com uma fonte pública, a menos que a política permita.

### Uma consulta funciona em um computador, mas não em outro

Verifique a edição do Excel, configurações de autenticação, intervalos nomeados, política de macros e requisitos de gateway. As credenciais são específicas do ambiente e não devem ser transportadas dentro do arquivo da planilha.

### A planilha carrega uma página de desafio

Adicione uma validação em nível de conteúdo antes da transformação. Exija o campo JSON esperado, cabeçalho CSV ou marcador da página. Rejeite qualquer resposta que não satisfaça esse contrato.

### Os tipos de coluna mudam após a atualização

Aplique tipos de dados explícitos no Power Query após a etapa de fonte. Mantenha símbolos de moeda, separadores específicos de local e valores ausentes fora das colunas numéricas.

### A atualização demora muito

Reduza os dados antes que cheguem ao Excel. Filtre por data ou identificador na fonte, solicite apenas os campos necessários e carregue consultas intermediárias como conexão apenas quando as planilhas não precisarem delas.

## De um protótipo de planilha a um feed de produção

Uma progressão útil é:

1. Provar uma URL e uma linha manualmente.
2. Criar um Power Query com nomes e tipos de coluna explícitos.
3. Adicionar validação de conteúdo e uma aba de erros.
4. Mover renderização e análise HTML para o serviço de aquisição.
5. Publicar JSON ou CSV com um esquema versionado.
6. Agendar a coleta fora do Excel e manter a atualização da planilha focada na análise.

Isso mantém a planilha útil sem transformá-la em um navegador web não monitorado. A planilha se torna um consumidor de dados limpos, o que é um papel que o Excel desempenha bem.

## Conclusão: deixe o Excel analisar, não emular um navegador

O Power Query é a escolha padrão para tabelas HTML atualizáveis e APIs JSON. O VBA é valioso para importações controladas acionadas pelo usuário. Quando uma fonte permitida depende de JavaScript ou validação de tráfego, use uma API de aquisição e forneça ao Excel um contrato de dados estável.

Para construir esse limite, [crie uma conta na Scrapeless](https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=web-scraping-in-excel), teste a Universal Scraping API com uma URL pública, defina os campos que a planilha precisa e faça desses campos o contrato de atualização.

## Perguntas Frequentes

### O Excel pode extrair dados de um site sem código?

Sim. O conector From Web do Power Query pode importar muitas tabelas HTML visíveis através de um fluxo de trabalho gráfico. É mais adequado para páginas públicas estáveis que expõem a tabela em seu HTML inicial.

### Por que o Power Query mostra uma página em branco?

Os valores podem ser renderizados pelo JavaScript após a resposta inicial, carregados de um endpoint separado ou substituídos por uma página de validação de tráfego. Inspecione o comportamento da fonte e escolha o método de aquisição de acordo.

### O Power Query é melhor que o VBA para web scraping?

O Power Query geralmente é melhor para transformação de dados atualizáveis e gerenciamento de credenciais. O VBA é útil para botões de planilha e importações de arquivos controladas, mas é um lugar frágil para manter a análise HTML.

### O Power Query pode chamar uma API JSON?

Sim. `Web.Contents` pode buscar uma resposta, e `Json.Document` pode analisá-la em registros, listas e tabelas. Use a caixa de diálogo de credencial em vez de armazenar segredos da API no código M.

### Como uma planilha pode lidar com páginas renderizadas em JavaScript?

Use um serviço de aquisição capaz de renderizar para retornar HTML, JSON ou CSV e conecte o Power Query a essa saída. Isso mantém o comportamento do navegador fora da planilha.

### Com que frequência o Excel deve atualizar os dados extraídos?
Ajuste a frequência de atualização ao necessário para o negócio, à permissão de origem e à capacidade do serviço. Para coletas agendadas ou de alto volume, execute a aquisição fora do Excel e deixe a pasta de trabalho atualizar a partir de um conjunto de dados preparado.