Loading Light/Dark Toggle
CRAWL

Rastreo web inteligente a gran escala

Sigue enlaces en sitios web, procesa URL en lotes y elige los formatos de salida que necesita tu flujo de trabajo.

Utiliza los datos web para entrenar modelos de IA, analizar mercados y tomar decisiones empresariales.

  • Rastreo recursivo de sitios web
  • Procesamiento de URL en lotes
  • Resolución de CAPTCHA integrada
  • Múltiples formatos de salida
example.com

De páginas enlazadas a contenido útil

Descubre páginas enlazadas
Extrae contenido de páginas en lotes
getting-started.md
guides.md
reference.md
Elige los formatos de salida

Ejemplo ilustrativo · No se está recopilando información en tiempo real

La confianza de equipos de inteligencia de comercio electrónico, seguimiento de precios y análisis de marcas

Empieza con las URL que ya tienes

¿Ya conoces todas las páginas? Envía un lote. ¿Necesitas descubrir más? Inicia un rastreo y sigue los enlaces.

Node.js · @scrapeless-ai/sdk

npm install @scrapeless-ai/sdk

Una página. El contenido que necesitas.

Indica una URL y elige los formatos. Configura la extracción del contenido principal y el tiempo de espera de navegación de la página.

Leer la guía de una sola página

Tu lista de URL. Un solo lote.

Envía una lista de URL conocidas en una sola llamada al SDK. Aplica la misma configuración de extracción a todo el lote.

Leer la guía de procesamiento en lotes

Un punto de partida. Más páginas por descubrir.

Sigue las páginas enlazadas desde una URL inicial. Establece un límite de páginas, elige los formatos y recopila el contenido del sitio.

Leer la guía de rastreo de sitios web

La capa de acceso está integrada

Sigue los enlaces y controla el alcance

Alcance del rastreoexample.com/docs/
/docs/introductionDentro del alcance
/docs/quickstartDentro del alcance
/docs/referenceDentro del alcance
/blog/latestFuera de la jerarquía
limit: 100allowBackwardLinks: false

Un rastreo web, con los límites que tú defines.

Elige una URL inicial y limita el número de páginas. De forma predeterminada, solo se siguen enlaces dentro de la jerarquía de esa URL; activa los enlaces hacia atrás si necesitas acceder fuera de ella.

Explorar la configuración de rastreo

Elige el formato que se adapte a tu flujo de trabajo

source/example.com

A guide to better web data

Make web content useful for your application.

Read the docs
{
  "metadata": {
    "title": "A guide to better web data",
    "description": "Make web content useful for your application."
  },
  "markdown": "# A guide to better web data\n\nMake web content useful for your application.\n\n[Read the docs](https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/)",
  "html": "<!doctype html>\n<html lang=\"en\">\n<head>\n  <title>A guide to better web data</title>\n  <meta name=\"description\"\n        content=\"Make web content useful for your application.\">\n</head>\n<body>\n  <main>\n    <h1>A guide to better web data</h1>\n    <p>Make web content useful for your application.</p>\n    <a href=\"https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/\">Read the docs</a>\n  </main>\n</body>\n</html>",
  "links": [
    "https://docs.scrapeless.com/en/docs/browser-crawl/crawl/introduction/"
  ]
}

¿Quieres explorar distintas salidas? Cambia de formato para ver cómo se presenta la misma página web en Markdown, HTML, JSON y más.

Menos orquestación. Más desarrollo.

Del objetivo a los resultados en tres pasos sencillos, con el SDK encargado del envío de tareas y del sondeo.

01

Visita una página

Elige una página, una lista de URL o un sitio web. Selecciona los formatos de salida y las opciones del navegador.

02

Deja que se ejecute la tarea

La API funciona de forma asíncrona. El SDK se encarga del envío de tareas y del sondeo.

03

Utiliza los resultados

Lee los datos devueltos. En los rastreos de sitios web, revisa el estado y los errores de cada página antes de continuar con el procesamiento.

Pon el contenido web a trabajar

Empieza con estos flujos de trabajo y descubre más formas de usar Crawl.

Más fuentes. Más flujos de trabajo. Encuentra tu próximo caso de uso.

Explorar más

Precios basados en el uso que se adaptan a tu crecimiento

Uso mensual prepago: tarifa base: $0,09/hora, con descuento según el nivel de suscripción a continuación.
Crawl

Frecuentemente preguntó preguntas

¿Qué modo debo usar?

Usa la extracción de una sola página para una URL, la extracción en lotes para una lista conocida y el rastreo de sitios web para descubrir páginas enlazadas.

¿Necesito crear un bucle de sondeo?

Si usas el SDK, no: el SDK gestiona el sondeo y devuelve los datos cuando finaliza la tarea. Si llamas directamente a la API, inicia la tarea y consulta su estado hasta que finalice.

¿Puedo extraer solo el contenido principal?

Sí. Configura onlyMainContent junto con los formatos de salida y el tiempo de espera que desees.

¿El rastreo seguirá todos los enlaces?

De forma predeterminada, el rastreo se mantiene dentro de la jerarquía de la URL inicial. Configura allowBackwardLinks para incluir enlaces fuera de esa jerarquía y usa limit para establecer el número máximo de páginas.

¿Una tarea completada significa que todas las páginas se procesaron correctamente?

No. Cada página de un rastreo puede completarse o fallar y tener su propio error. Revisa los resultados individuales antes de utilizarlos.

¿Cómo se factura Crawl?

Crawl combina el tiempo de ejecución del navegador y el tráfico de proxy, desde $0.09 por hora más $1.80 por GB. Las páginas más grandes y las sesiones más largas pueden aumentar el consumo.

¿Cuándo debería usar Agent Browser?

Usa Agent Browser cuando necesites control directo con Puppeteer o Playwright sobre un flujo de automatización complejo. Crawl ofrece una interfaz de extracción de mayor nivel.

Convierte sitios web en datos con Crawl

Empieza con una sola página, un lote de URL o un sitio web.

Leer la documentación