Rastreo web inteligente a gran escala
Sigue enlaces en sitios web, procesa URL en lotes y elige los formatos de salida que necesita tu flujo de trabajo.
Utiliza los datos web para entrenar modelos de IA, analizar mercados y tomar decisiones empresariales.
De páginas enlazadas a contenido útil
Ejemplo ilustrativo · No se está recopilando información en tiempo real
Empieza con las URL que ya tienes
¿Ya conoces todas las páginas? Envía un lote. ¿Necesitas descubrir más? Inicia un rastreo y sigue los enlaces.
Node.js · @scrapeless-ai/sdk
import { ScrapingCrawl } from "@scrapeless-ai/sdk";
const client = new ScrapingCrawl({
apiKey: "YOUR_API_KEY",
});
const result = await client.scrapeUrl(
"https://example.com",
{
formats: ["markdown", "html", "links"],
onlyMainContent: true,
timeout: 15000,
}
);
console.log(result);npm install @scrapeless-ai/sdk
Una página. El contenido que necesitas.
Indica una URL y elige los formatos. Configura la extracción del contenido principal y el tiempo de espera de navegación de la página.
Tu lista de URL. Un solo lote.
Envía una lista de URL conocidas en una sola llamada al SDK. Aplica la misma configuración de extracción a todo el lote.
Un punto de partida. Más páginas por descubrir.
Sigue las páginas enlazadas desde una URL inicial. Establece un límite de páginas, elige los formatos y recopila el contenido del sitio.
La capa de acceso está integrada
Sigue los enlaces y controla el alcance
Un rastreo web, con los límites que tú defines.
Elige una URL inicial y limita el número de páginas. De forma predeterminada, solo se siguen enlaces dentro de la jerarquía de esa URL; activa los enlaces hacia atrás si necesitas acceder fuera de ella.
Elige el formato que se adapte a tu flujo de trabajo
A guide to better web data
Make web content useful for your application.
{
"metadata": {
"title": "A guide to better web data",
"description": "Make web content useful for your application."
},
"markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
"html": "<!doctype html>\n<html lang=\"en\">\n<head>\n <title>A guide to better web data</title>\n <meta name=\"description\"\n content=\"Make web content useful for your application.\">\n</head>\n<body>\n <main>\n <h1>A guide to better web data</h1>\n <p>Make web content useful for your application.</p>\n <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n </main>\n</body>\n</html>",
"links": [
"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
]
}¿Quieres explorar distintas salidas? Cambia de formato para ver cómo se presenta la misma página web en Markdown, HTML, JSON y más.
Menos orquestación. Más desarrollo.
Del objetivo a los resultados en tres pasos sencillos, con el SDK encargado del envío de tareas y del sondeo.
Visita una página
Elige una página, una lista de URL o un sitio web. Selecciona los formatos de salida y las opciones del navegador.
Deja que se ejecute la tarea
La API funciona de forma asíncrona. El SDK se encarga del envío de tareas y del sondeo.
Utiliza los resultados
Lee los datos devueltos. En los rastreos de sitios web, revisa el estado y los errores de cada página antes de continuar con el procesamiento.
Pon el contenido web a trabajar
Empieza con estos flujos de trabajo y descubre más formas de usar Crawl.
Datos y corpus para entrenar IA
Recopila y estructura contenido web para entrenar modelos de IA.
Datos de conocimiento para RAG
Prepara contenido web para la generación aumentada por recuperación.
Bases de conocimiento empresariales
Organiza el contenido web como conocimiento empresarial reutilizable.
Más fuentes. Más flujos de trabajo. Encuentra tu próximo caso de uso.
Explorar másPrecios basados en el uso que se adaptan a tu crecimiento
Frecuentemente preguntó preguntas
¿Qué modo debo usar?
¿Necesito crear un bucle de sondeo?
¿Puedo extraer solo el contenido principal?
¿El rastreo seguirá todos los enlaces?
¿Una tarea completada significa que todas las páginas se procesaron correctamente?
¿Cómo se factura Crawl?
¿Cuándo debería usar Agent Browser?
Convierte sitios web en datos con Crawl
Empieza con una sola página, un lote de URL o un sitio web.
