Rastreamento web inteligente em grande escala
Siga links em sites, processe URLs em lote e escolha os formatos de saída de que seu fluxo de trabalho precisa.
Use dados da web no treinamento de IA, na análise de mercado e na tomada de decisões empresariais.
De páginas vinculadas a conteúdo utilizável
Exemplo ilustrativo · Nenhuma coleta em tempo real está em execução
Comece com as URLs que você já tem
Já conhece todas as páginas? Envie um lote. Precisa descobrir mais? Inicie um rastreamento e siga os links.
Node.js · @scrapeless-ai/sdk
import { ScrapingCrawl } from "@scrapeless-ai/sdk";
const client = new ScrapingCrawl({
apiKey: "YOUR_API_KEY",
});
const result = await client.scrapeUrl(
"https://example.com",
{
formats: ["markdown", "html", "links"],
onlyMainContent: true,
timeout: 15000,
}
);
console.log(result);npm install @scrapeless-ai/sdk
Uma página. O conteúdo de que você precisa.
Forneça uma URL e escolha os formatos. Configure a extração do conteúdo principal e o tempo limite de navegação da página.
Sua lista de URLs. Um único lote.
Envie uma lista de URLs conhecidas em uma única chamada ao SDK. Aplique as mesmas configurações de extração a todo o lote.
Um ponto de partida. Mais páginas descobertas.
Siga páginas vinculadas a partir de uma URL inicial. Defina um limite de páginas, escolha os formatos e colete o conteúdo do site.
A camada de acesso já está integrada
Siga os links e controle o escopo
Um rastreamento de site, com os limites que você define.
Escolha uma URL inicial e limite o número de páginas. Por padrão, os links permanecem na hierarquia dessa URL; ative os links de retorno quando precisar acessar páginas fora dela.
Escolha o formato ideal para seu fluxo de trabalho
A guide to better web data
Make web content useful for your application.
{
"metadata": {
"title": "A guide to better web data",
"description": "Make web content useful for your application."
},
"markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
"html": "<!doctype html>\n<html lang=\"en\">\n<head>\n <title>A guide to better web data</title>\n <meta name=\"description\"\n content=\"Make web content useful for your application.\">\n</head>\n<body>\n <main>\n <h1>A guide to better web data</h1>\n <p>Make web content useful for your application.</p>\n <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n </main>\n</body>\n</html>",
"links": [
"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
]
}Quer explorar diferentes saídas? Alterne entre os formatos para visualizar como a mesma página é apresentada em Markdown, HTML, JSON e outros formatos.
Menos orquestração. Mais desenvolvimento.
Do objetivo aos resultados em três etapas simples, com o SDK cuidando do envio de tarefas e da consulta periódica de status.
Visite uma página
Escolha uma página, uma lista de URLs ou um site. Selecione os formatos de saída e as opções do navegador.
Deixe a tarefa executar
A API funciona de forma assíncrona. O SDK cuida do envio de tarefas e da consulta periódica de status para você.
Use os resultados
Leia os dados retornados. Em rastreamentos de sites, verifique o status e os erros de cada página antes das próximas etapas de processamento.
Coloque o conteúdo da web para trabalhar
Comece com estes fluxos de trabalho e explore outras maneiras de usar o Crawl.
Dados e corpora para treinamento de IA
Colete e estruture conteúdo da web para treinar modelos de IA.
Dados de conhecimento para RAG
Prepare conteúdo da web para geração aumentada por recuperação.
Bases de conhecimento empresariais
Organize o conteúdo da web em conhecimento empresarial reutilizável.
Mais fontes. Mais fluxos de trabalho. Encontre seu próximo caso de uso.
Explorar maisPreços por uso que acompanham seu crescimento
Perguntas frequentes
Qual modo devo usar?
Preciso criar um loop de consulta de status?
Posso extrair apenas o conteúdo principal?
O rastreamento seguirá todos os links?
Uma tarefa concluída significa que todas as páginas foram processadas com sucesso?
Como o Crawl é cobrado?
Quando devo usar o Agent Browser?
Transforme sites em dados com o Crawl
Comece com uma única página, um lote de URLs ou um site.
