Loading Light/Dark Toggle
CRAWL

Rastreamento web inteligente em grande escala

Siga links em sites, processe URLs em lote e escolha os formatos de saída de que seu fluxo de trabalho precisa.

Use dados da web no treinamento de IA, na análise de mercado e na tomada de decisões empresariais.

  • Rastreamento recursivo de sites
  • Processamento de URLs em lote
  • Resolução de CAPTCHA integrada
  • Vários formatos de saída
example.com

De páginas vinculadas a conteúdo utilizável

Descubra páginas vinculadas
Extraia conteúdo de páginas em lote
getting-started.md
guides.md
reference.md
Escolha os formatos de saída

Exemplo ilustrativo · Nenhuma coleta em tempo real está em execução

A confiança de equipes de inteligência de e-commerce, monitoramento de preços e análise de marcas

Comece com as URLs que você já tem

Já conhece todas as páginas? Envie um lote. Precisa descobrir mais? Inicie um rastreamento e siga os links.

Node.js · @scrapeless-ai/sdk

npm install @scrapeless-ai/sdk

Uma página. O conteúdo de que você precisa.

Forneça uma URL e escolha os formatos. Configure a extração do conteúdo principal e o tempo limite de navegação da página.

Ler o guia de página única

Sua lista de URLs. Um único lote.

Envie uma lista de URLs conhecidas em uma única chamada ao SDK. Aplique as mesmas configurações de extração a todo o lote.

Ler o guia de processamento em lote

Um ponto de partida. Mais páginas descobertas.

Siga páginas vinculadas a partir de uma URL inicial. Defina um limite de páginas, escolha os formatos e colete o conteúdo do site.

Ler o guia de rastreamento de sites

A camada de acesso já está integrada

Siga os links e controle o escopo

Escopo do rastreamentoexample.com/docs/
/docs/introductionDentro do escopo
/docs/quickstartDentro do escopo
/docs/referenceDentro do escopo
/blog/latestFora da hierarquia
limit: 100allowBackwardLinks: false

Um rastreamento de site, com os limites que você define.

Escolha uma URL inicial e limite o número de páginas. Por padrão, os links permanecem na hierarquia dessa URL; ative os links de retorno quando precisar acessar páginas fora dela.

Explorar a configuração de rastreamento

Escolha o formato ideal para seu fluxo de trabalho

source/example.com

A guide to better web data

Make web content useful for your application.

Read the docs
{
  "metadata": {
    "title": "A guide to better web data",
    "description": "Make web content useful for your application."
  },
  "markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
  "html": "<!doctype html>\n<html lang=\"en\">\n<head>\n  <title>A guide to better web data</title>\n  <meta name=\"description\"\n        content=\"Make web content useful for your application.\">\n</head>\n<body>\n  <main>\n    <h1>A guide to better web data</h1>\n    <p>Make web content useful for your application.</p>\n    <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n  </main>\n</body>\n</html>",
  "links": [
    "https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
  ]
}

Quer explorar diferentes saídas? Alterne entre os formatos para visualizar como a mesma página é apresentada em Markdown, HTML, JSON e outros formatos.

Menos orquestração. Mais desenvolvimento.

Do objetivo aos resultados em três etapas simples, com o SDK cuidando do envio de tarefas e da consulta periódica de status.

01

Visite uma página

Escolha uma página, uma lista de URLs ou um site. Selecione os formatos de saída e as opções do navegador.

02

Deixe a tarefa executar

A API funciona de forma assíncrona. O SDK cuida do envio de tarefas e da consulta periódica de status para você.

03

Use os resultados

Leia os dados retornados. Em rastreamentos de sites, verifique o status e os erros de cada página antes das próximas etapas de processamento.

Coloque o conteúdo da web para trabalhar

Comece com estes fluxos de trabalho e explore outras maneiras de usar o Crawl.

Mais fontes. Mais fluxos de trabalho. Encontre seu próximo caso de uso.

Explorar mais

Preços por uso que acompanham seu crescimento

Uso pré-pago mensal – Taxa base: $0,09/hora – com desconto conforme o nível de assinatura abaixo.
Crawl

Perguntas frequentes

Qual modo devo usar?

Use a extração de página única para uma URL, a extração em lote para uma lista conhecida e o rastreamento de sites para descobrir páginas vinculadas.

Preciso criar um loop de consulta de status?

Ao usar o SDK, não: ele consulta o status e retorna os dados quando a tarefa termina. Ao chamar a API diretamente, inicie a tarefa e verifique seu status até a conclusão.

Posso extrair apenas o conteúdo principal?

Sim. Configure onlyMainContent junto com os formatos de saída e o tempo limite desejados.

O rastreamento seguirá todos os links?

Por padrão, o rastreamento permanece na hierarquia da URL inicial. Configure allowBackwardLinks para incluir links fora dessa hierarquia e use limit para definir o número máximo de páginas.

Uma tarefa concluída significa que todas as páginas foram processadas com sucesso?

Não. Cada página de um rastreamento pode ser concluída ou falhar e conter seu próprio erro. Verifique os resultados individuais antes de usá-los.

Como o Crawl é cobrado?

O Crawl combina o tempo de execução do navegador e o tráfego de proxy, a partir de $0.09 por hora mais $1.80 por GB. Páginas maiores e sessões mais longas podem aumentar o consumo.

Quando devo usar o Agent Browser?

Use o Agent Browser quando precisar de controle direto com Puppeteer ou Playwright em um fluxo de automação complexo. O Crawl oferece uma interface de extração de nível mais alto.

Transforme sites em dados com o Crawl

Comece com uma única página, um lote de URLs ou um site.

Ler a documentação