Crawl Sem Desperdício: Solução para Escala de Extração e Rastreamento de Dados da Web

Scrapeless está empolgado para lançar Crawl, um recurso projetado para raspagem e processamento de dados em larga escala. Crawl se destaca com suas principais vantagens de raspagem recursiva inteligente, capacidades de processamento de dados em massa e saída flexível em múltiplos formatos, capacitando empresas e desenvolvedores a adquirir e processar rapidamente enormes volumes de dados da web—alimentando aplicações em treinamento de IA, análise de mercado, tomada de decisões empresariais e muito mais.

💡 Em breve: Extração de dados e resumir via AI LLM Gateway, com integração perfeita para frameworks de código aberto e integrações de fluxo de trabalho visual—resolvendo desafios de conteúdo da web para desenvolvedores de IA.

O que é Crawl

Crawl não é apenas uma ferramenta simples de raspagem de dados, mas uma plataforma abrangente que integra funcionalidades de raspagem e rastreamento.

• Rastreamento em Massa: Suporta rastreamento em larga escala de uma única página e rastreamento recursivo.

• Entrega em Múltiplos Formatos: Compatível com formatos JSON, Markdown, Metadados, HTML, Links e Captura de Tela.

• Raspagem Anti-Dectection: Nosso núcleo Chromium desenvolvido de forma independente permite alta personalização, gerenciamento de sessões e capacidades anti-detection, como configuração de impressões digitais, resolução de CAPTCHA, modo furtivo e rotação de proxies para contornar bloqueios de sites.

• Impulsionado por Chromium Desenvolvido Internamente: Alimentado pelo nosso núcleo Chromium, permite alta personalização, gerenciamento de sessões e resolução automática de CAPTCHA.

  1. Resolutor Automático de CAPTCHA: Lida automaticamente com tipos comuns de CAPTCHA, incluindo reCAPTCHA v2 e Cloudflare Turnstile/Challenge.

  2. Gravação e Repetição de Sessão: A repetição de sessão permite que você verifique facilmente ações e solicitações através de reprodução gravada, revisando-as passo a passo para entender rapidamente as operações para solução de problemas e melhoria de processos.

  3. Vantagem de Concorrência: Ao contrário de outros rastreadores com limites de concorrência rígidos, o plano básico do Crawl suporta 50 concorrências, com concorrência ilimitada no plano premium.

  4. Economia de Custos: Superando concorrentes em sites com medidas anti-raspagem, oferece vantagens significativas na resolução de CAPTCHA gratuita — espera-se uma economia de 70% no custo.

Aproveitando capacidades avançadas de raspagem e processamento de dados, Crawl garante a entrega de dados de busca estruturados em tempo real. Isso capacita empresas e desenvolvedores a sempre se manterem à frente das tendências do mercado, otimizar fluxos de trabalho automatizados baseados em dados e ajustar rapidamente estratégias de mercado.

Resolva Desafios Complexos de Dados com Crawl: Mais Rápido, Mais Inteligente e Mais Eficiente

Para desenvolvedores e empresas que precisam de dados confiáveis da web em grande escala, Crawl também oferece:
✔ Raspagem de Dados em Alta Velocidade – Recupere dados de várias páginas da web em questão de segundos
✔ Integração Transparente – Em breve, integre-se com frameworks de código aberto e integrações de fluxo de trabalho visual, como Langchain, N8n, Clay, Pipedream, Make, etc..
✔ Proxies com Geolocalização – Suporte de proxy embutido para 195 países
✔ Gerenciamento de Sessão – Gerencie sessões de forma inteligente e visualize sessões LiveURL em tempo real

Como Usar o Crawl

A API Crawl simplifica a raspagem de dados, obtendo conteúdo específico de páginas da web em uma única chamada ou rastreando recursivamente todo um site e seus links para reunir todos os dados disponíveis, suportando vários formatos.

A Scrapeless fornece endpoints para iniciar solicitações de raspagem e verificar seu status/resultados. Por padrão, a raspagem é assíncrona: inicie um trabalho primeiro, depois monitore seu status até a conclusão. No entanto, nossos SDKs incluem uma função simples que gerencia todo o processo e retorna os dados assim que o trabalho é concluído.

Instalação

Instale o SDK Scrapeless usando NPM:

npm install @scrapeless-ai/sdk

Instale o SDK Scrapeless usando PNPM:

pnpm add @scrapeless-ai/sdk

Raspagem de Página única

Raspe dados específicos (por exemplo, detalhes do produto, avaliações) de páginas da web em uma chamada.

Uso

import { Scrapeless } from "@scrapeless-ai/sdk";

// Inicializa o cliente
const client = new Scrapeless({
  apiKey: "sua-chave-api", // Obtenha sua chave API em https://scrapeless.com
});

(async () => {
  const result = await client.scrapingCrawl.scrape.scrapeUrl(
    "https://example.com"
  );

  console.log(result);
})();

Configurações do Navegador

Você pode personalizar as configurações da sessão para raspagem, como usar proxies, da mesma forma que criar uma nova sessão de navegador. A Scrapeless gerencia automaticamente CAPTCHAs comuns, incluindo reCAPTCHA v2 e Cloudflare Turnstile/Challenge—sem configuração extra necessária, para detalhes, veja resolução de captchas.
Para explorar todos os parâmetros do navegador, consulte a Referência da API ou Parâmetros do Navegador.

import { Scrapeless } from "@scrapeless-ai/sdk";

// Inicialize o cliente
const client = new Scrapeless({
  apiKey: "sua-chave-api", // Obtenha sua chave API em https://scrapeless.com
});

(async () => {
  const result = await client.scrapingCrawl.scrapeUrl(
    "https://example.com",
    {
      browserOptions: {
        proxy_country: "QUALQUER",
        session_name: "Crawl",
        session_recording: true,
        session_ttl: 900,
      },
    }
  );

  console.log(result);
})();

Configurações de Scrape

Os parâmetros opcionais para o trabalho de scraping incluem formatos de saída, filtragem para retornar apenas o conteúdo da página principal e definição de um tempo limite máximo para a navegação na página.

import { ScrapingCrawl } from "@scrapeless-ai/sdk";

// Inicialize o cliente
const client = new ScrapingCrawl({
  apiKey: "sua-chave-api", // Obtenha sua chave API em https://scrapeless.com
});

(async () => {
  const result = await client.scrapeUrl(
    "https://example.com",
    {
      formats: ["markdown", "html", "links"],
      onlyMainContent: false,
      timeout: 15000,
    }
  );

  console.log(result);
})();

Para uma referência completa sobre o endpoint de scraping, consulte a Referência da API.

Scrape em Lote

O Scrape em Lote funciona da mesma forma que o scrape regular, exceto que, em vez de uma única URL, você pode fornecer uma lista de URLs para raspar de uma só vez.

import { ScrapingCrawl } from "@scrapeless-ai/sdk";

// Inicialize o cliente
const client = new ScrapingCrawl({
  apiKey: "sua-chave-api", // Obtenha sua chave API em https://scrapeless.com
});

(async () => {
  const result = await client.batchScrapeUrls(
    ["https://example.com", "https://scrapeless.com"],
    {
      formats: ["markdown", "html", "links"],
      onlyMainContent: false,
      timeout: 15000,
      browserOptions: {
        proxy_country: "QUALQUER",
        session_name: "Crawl",
        session_recording: true,
        session_ttl: 900,
      },
    }
  );

  console.log(result);
})();

Crawl Subpagina

A API de Crawl suporta a navegação recursiva em um site e seus links para extrair todos os dados disponíveis.
Para uso detalhado, consulte a Referência da API de Crawl.

Uso

Use a navegação recursiva para explorar um domínio inteiro e seus links, extraindo cada pedaço de dado acessível.

import { ScrapingCrawl } from "@scrapeless-ai/sdk";

// Inicialize o cliente
const client = new ScrapingCrawl({
  apiKey: "sua-chave-api", // Obtenha sua chave API em https://scrapeless.com
});

(async () => {
  const result = await client.crawlUrl(
    "https://example.com",
    {
      limit: 2,
      scrapeOptions: {
        formats: ["markdown", "html", "links"],
        onlyMainContent: false,
        timeout: 15000,
      },
      browserOptions: {
        proxy_country: "QUALQUER",
        session_name: "Crawl",
        session_recording: true,
        session_ttl: 900,
      },
    }
  );

  console.log(result);
})();

Resposta

{
  "success": true,
  "status": "completed",
  "completed": 2,
  "total": 2,
  "data": [
    {
      "url": "https://example.com",
      "metadata": {
        "title": "Página Exemplo",
        "description": "Uma página da web de exemplo"
      },
      "markdown": "# Página Exemplo\nEste é o conteúdo...",
      ...
    },
    ...
  ]
}

Cada página raspada tem seu próprio status de completado ou falhado e pode ter seu próprio campo de erro, portanto, fique atento a isso.
Para ver o esquema completo, consulte a Referência da API.

Configurações do Navegador

Personalizar as configurações de sessão para trabalhos de scraping segue o mesmo processo que criar uma nova sessão de navegador. As opções disponíveis incluem configuração de proxy. Para visualizar todos os parâmetros de sessão suportados, consulte a Referência da API ou Parâmetros do Navegador.

import { ScrapingCrawl } from "@scrapeless-ai/sdk";

// Inicialize o cliente
const client = new ScrapingCrawl({
  apiKey: "sua-chave-api", // Obtenha sua chave API em https://scrapeless.com
});

(async () => {
  const result = await client.crawlUrl(
    "https://example.com",
    {
      limit: 2,
      browserOptions: {
        proxy_country: "QUALQUER",
        session_name: "Crawl",
        session_recording: true,
        session_ttl: 900,
      },
    }
  );

  console.log(result);
})();

Configurações de Scrape

Os parâmetros podem incluir formatos de saída, filtros para retornar apenas o conteúdo da página principal e configurações máximas de tempo limite para a navegação na página.

import { ScrapingCrawl } from "@scrapeless-ai/sdk";

// Inicialize o cliente
const client = new ScrapingCrawl({
apiKey: "sua-chave-api", // Obtenha sua chave da API em https://scrapeless.com
});

(async () => {
  const result = await client.crawlUrl(
    "https://example.com",
    {
      limit: 2,
      scrapeOptions: {
        formats: ["markdown", "html", "links"],
        onlyMainContent: false,
        timeout: 15000,
      }
    }
  );

  console.log(result);
})();

Para uma referência completa sobre o endpoint de rastreamento, consulte a Documentação da API.

Explorando os Diversos Casos de Uso do Rastejamento

Um playground integrado está disponível para desenvolvedores testarem e depurarem seu código, e você pode utilizar o Crawl para qualquer necessidade de raspagem, por exemplo:

• Raspagem de Informações de Produto
  Dados importantes, incluindo nomes de produtos, preços, classificações de usuários e contagens de avaliações são extraídos ao realizar raspagem em sites de E-commerce. Suporta totalmente o monitoramento de produtos e ajuda empresas a tomarem decisões informadas.
  
• Rastejamento de Postagens em Fóruns
  Capture o conteúdo principal das postagens e os comentários em subpáginas com controle preciso sobre profundidade e amplitude, garantindo insights abrangentes das discussões da comunidade.
  

Aproveite o Crawl e Raspagem Agora!

Custo-Efetivo e Acessível para qualquer necessidade: Começa em $1,8/GB, Não Por Página

Supere os concorrentes com nosso raspador baseado em Chromium, apresentando um modelo de preços que combina volume de proxies e taxa horária, proporcionando até 70% de economia em projetos de dados em grande escala em comparação com modelos baseados em contagem de páginas.

Registre-se para um Teste Agora e obtenha o robusto Kit de Ferramentas da Web.

💡Para usuários de alto volume, entre em contato conosco para preços personalizados – tarifas competitivas adaptadas às suas necessidades.