Cómo mejorar Crawl4AI con Scrapeless Cloud Browser

En este tutorial, aprenderás:

• Qué es Crawl4AI y qué ofrece para la extracción de datos web
• Cómo integrar Crawl4AI con el Navegador Scrapeless

¡Comencemos!

Parte 1: ¿Qué es Crawl4AI?

Descripción general

Crawl4AI es una herramienta de rastreo y extracción de datos web de código abierto diseñada para integrarse sin problemas con Modelos de Lenguaje Grande (LLMs), Agentes de IA y pipelines de datos. Permite la extracción de datos en tiempo real y a alta velocidad, manteniéndose flexible y fácil de implementar.

Las características clave para la extracción de datos web impulsada por IA incluyen:

• Construido para LLMs: Genera Markdown estructurado optimizado para Generación Aumentada por Recuperación (RAG) y ajuste fino.
• Control flexible del navegador: Soporta gestión de sesiones, uso de proxy y ganchos personalizados.
• Inteligencia heurística: Utiliza algoritmos inteligentes para optimizar el análisis de datos.
• Completamente de código abierto: No se requiere clave API; se puede implementar a través de Docker y plataformas en la nube.

Aprende más en la documentación oficial.

Casos de Uso

Crawl4AI es ideal para tareas de extracción de datos a gran escala, como investigación de mercado, agregación de noticias y colección de productos de comercio electrónico. Puede manejar sitios web dinámicos y pesados en JavaScript y sirve como una fuente de datos confiable para agentes de IA y pipelines de datos automatizados.

Parte 2: ¿Qué es el Navegador Scrapeless?

Navegador Scrapeless es una herramienta de automatización de navegadores en la nube y sin servidor. Está construida sobre un núcleo de Chromium profundamente personalizado, soportado por servidores distribuidos globalmente y redes de proxy. Esto permite a los usuarios ejecutar y gestionar sin problemas numerosas instancias de navegador sin cabeza, facilitando la construcción de aplicaciones de IA y Agentes de IA que interactúan con la web a gran escala.

Parte 3: ¿Por qué combinar Scrapeless con Crawl4AI?

Crawl4AI sobresale en la extracción estructurada de datos web y soporta el análisis impulsado por LLM y la extracción basada en patrones. Sin embargo, aún puede enfrentar desafíos al lidiar con mecanismos avanzados de anti-bot, tales como:

• Navegadores locales bloqueados por Cloudflare, AWS WAF o reCAPTCHA
• Cuellos de botella de rendimiento durante el rastreo concurrente a gran escala, con un inicio de navegador lento
• Procesos de depuración complejos que dificultan el seguimiento de problemas

El Navegador en la Nube de Scrapeless resuelve perfectamente estos puntos de dolor:

• Evitar anti-bot con un clic: Maneja automáticamente reCAPTCHA, Cloudflare Turnstile/Challenge, AWS WAF y más. Combinado con la extracción estructurada de Crawl4AI, aumenta significativamente las tasas de éxito.
• Escalado concurrente ilimitado: Lanza 50–1000+ instancias de navegador por tarea en segundos, eliminando los límites de rendimiento de rastreo local y maximizando la eficiencia de Crawl4AI.
• Reducción de costos del 40%–80%: En comparación con servicios en la nube similares, los costos totales se reducen a solo el 20%–60%. La tarifas de pago por uso lo hacen asequible incluso para proyectos a pequeña escala.
• Herramientas de depuración visual: Usa Reproducción de Sesión y Monitoreo de URL en Vivo para observar las tareas de Crawl4AI en tiempo real, identificar rápidamente las causas de fallos y reducir el tiempo de depuración.
• Integración sin costo: Nativamente compatible con Playwright (usado por Crawl4AI), requiriendo solo una línea de código para conectar Crawl4AI a la nube — sin necesidad de refactorización de código.
• Servicio de Nodo de Borde (ENS): Múltiples nodos globales ofrecen velocidad de inicio y estabilidad 2–3× más rápidas que otros navegadores en la nube, acelerando la ejecución de Crawl4AI.
• Ambientes aislados y sesiones persistentes: Cada perfil de Scrapeless se ejecuta en su propio ambiente con inicio de sesión persistente y aislamiento de identidad, previniendo la interferencia de sesiones y mejorando la estabilidad a gran escala.
• Gestión flexible de huellas digitales: Scrapeless puede generar huellas digitales de navegador aleatorias o usar configuraciones personalizadas, reduciendo efectivamente los riesgos de detección y mejorando la tasa de éxito de Crawl4AI.

Parte 4: ¿Cómo usar Scrapeless en Crawl4AI?

Scrapeless proporciona un servicio de navegador en la nube que típicamente devuelve un CDP_URL. Crawl4AI puede conectarse directamente al navegador en la nube utilizando esta URL, sin necesidad de lanzar un navegador localmente.

El siguiente ejemplo demuestra cómo integrar sin problemas Crawl4AI con el Navegador en la Nube Scrapeless para una extracción eficiente, mientras admite rotación automática de proxy, huellas digitales personalizadas y reutilización de perfiles.

Obtén tu Token de Scrapeless

Inicia sesión en Scrapeless y obtén tu Token de API.
¡Obten tu token Scrapeless!

1. Comienzo rápido

El ejemplo a continuación muestra cómo conectar rápidamente y de manera sencilla Crawl4AI al Navegador en la Nube Scrapeless:

Para más características e instrucciones detalladas, consulta la introducción.

scrapeless_params = {
    "token": "obtén tu token en https://www.scrapeless.com",
    "sessionName": "Navegador Scrapeless",
    "sessionTTL": 1000,
}

query_string = urlencode(scrapeless_params)
scrapeless_connection_url = f"wss://browser.scrapeless.com/api/v2/browser?{query_string}"

AsyncWebCrawler(
    config=BrowserConfig(
        headless=False,
        browser_mode="cdp",
        cdp_url=scrapeless_connection_url
    )
)

Después de la configuración, Crawl4AI se conecta al Navegador en la Nube Scrapeless a través del modo CDP (Protocolo de Herramientas para Desarrolladores de Chrome), permitiendo la recolección de datos sin un entorno de navegador local. Los usuarios pueden configurar además proxies, huellas digitales, reutilización de sesiones y otras características para satisfacer las demandas de alta concurrencia y escenarios complejos anti-bot.

2. Rotación automática global de proxies

Scrapeless admite IP residenciales en 195 países. Los usuarios pueden configurar la región objetivo usando proxycountry, lo que permite que las solicitudes se envíen desde ubicaciones específicas. Las IP se rotan automáticamente, evitando efectivamente bloqueos.

import asyncio
from urllib.parse import urlencode
from crawl4ai import CrawlerRunConfig, BrowserConfig, AsyncWebCrawler

async def main():
    scrapeless_params = {
        "token": "tu token",
        "sessionTTL": 1000,
        "sessionName": "Demostración de Proxy",
        "proxyCountry": "ANY",
    }
    query_string = urlencode(scrapeless_params)
    scrapeless_connection_url = f"wss://browser.scrapeless.com/api/v2/browser?{query_string}"
    async with AsyncWebCrawler(
        config=BrowserConfig(
            headless=False,
            browser_mode="cdp",
            cdp_url=scrapeless_connection_url,
        )
    ) as crawler:
        result = await crawler.arun(
            url="https://www.scrapeless.com/en",
            config=CrawlerRunConfig(
                wait_for="css:.content",
                scan_full_page=True,
            ),
        )
        print("-" * 20)
        print(f'Código de estado: {result.status_code}')
        print("-" * 20)
        print(f'Título: {result.metadata["title"]}')
        print(f'Descripción: {result.metadata["description"]}')
        print("-" * 20)
asyncio.run(main())

3. Huellas digitales de navegador personalizadas

Para imitar el comportamiento de usuarios reales, Scrapeless admite huellas digitales de navegador generadas aleatoriamente y también permite parámetros de huellas digitales personalizados. Esto reduce efectivamente el riesgo de ser detectado por los sitios web objetivo.

import json
import asyncio
from urllib.parse import quote, urlencode
from crawl4ai import CrawlerRunConfig, BrowserConfig, AsyncWebCrawler

async def main():
    # personaliza la huella digital del navegador
    fingerprint = {
        "userAgent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, como Gecko) Chrome/134.1.2.3 Safari/537.36",
        "platform": "Windows",
        "screen": {
            "width": 1280, "height": 1024
        },
        "localization": {
            "languages": ["zh-HK", "en-US", "en"], "timezone": "Asia/Hong_Kong",
        }
    }

    fingerprint_json = json.dumps(fingerprint)
    encoded_fingerprint = quote(fingerprint_json)

    scrapeless_params = {
        "token": "tu token",
        "sessionTTL": 1000,
        "sessionName": "Demostración de Huella Digital",
        "fingerprint": encoded_fingerprint,
    }
    query_string = urlencode(scrapeless_params)
    scrapeless_connection_url = f"wss://browser.scrapeless.com/api/v2/browser?{query_string}"
    async with AsyncWebCrawler(
        config=BrowserConfig(
            headless=False,
            browser_mode="cdp",
            cdp_url=scrapeless_connection_url,
        )
    ) as crawler:
        result = await crawler.arun(
            url="https://www.scrapeless.com/en",
            config=CrawlerRunConfig(
                wait_for="css:.content",
                scan_full_page=True,
            ),
        )
        print("-" * 20)
        print(f'Código de estado: {result.status_code}')
        print("-" * 20)
        print(f'Título: {result.metadata["title"]}')
        print(f'Descripción: {result.metadata["description"]}')
        print("-" * 20)
asyncio.run(main())

4. Reutilización de perfiles

Scrapeless asigna a cada perfil su propio entorno de navegador independiente, lo que permite inicios de sesión persistentes y aislamiento de identidad. Los usuarios pueden simplemente proporcionar el profileId para reutilizar una sesión anterior.

import asyncio
from urllib.parse import urlencode
from crawl4ai import CrawlerRunConfig, BrowserConfig, AsyncWebCrawler

async def main():
    scrapeless_params = {
        "token": "tu token",
        "sessionTTL": 1000,
        "sessionName": "Demostración de Perfil",
        "profileId": "tu profileId",  # crea un perfil en scrapeless
    }
    query_string = urlencode(scrapeless_params)
    scrapeless_connection_url = f"wss://browser.scrapeless.com/api/v2/browser?{query_string}"
    async with AsyncWebCrawler(
        config=BrowserConfig(
            headless=False,
            browser_mode="cdp",
            cdp_url=scrapeless_connection_url,
        )
    ) as crawler:
        result = await crawler.arun(
            url="https://www.scrapeless.com",
            config=CrawlerRunConfig(
                wait_for="css:.content",
                scan_full_page=True,
            ),
        )
        print("-" * 20)
        print(f' Código de Estado: {result.status_code}')
        print("-" * 20)
        print(f'Título: {result.metadata["title"]}')
        print(f'Descripción: {result.metadata["description"]}')
        print("-" * 20)

asyncio.run(main())

Video

FAQ

Q: ¿Cómo puedo grabar y ver el proceso de ejecución del navegador?
A: Simplemente establece el parámetro sessionRecording en "true". La ejecución completa del navegador se grabará automáticamente. Después de que la sesión termine, puedes reproducir y revisar la actividad completa en la lista de Historial de Sesiones, incluyendo clics, desplazamientos, cargas de página y otros detalles. El valor predeterminado es "false".

scrapeless_params = {
    # ... 
    "sessionRecording": "true",
}

Q: ¿Cómo uso huellas digitales aleatorias?
A: El servicio de navegador Scrapeless genera automáticamente una huella digital de navegador aleatoria para cada sesión. Los usuarios también pueden establecer una huella digital personalizada utilizando el campo fingerprint.

Q: ¿Cómo establezco un proxy personalizado?
A: Nuestra red de proxy integrada admite 195 países/regiones. Si los usuarios quieren utilizar su propio proxy, el parámetro proxyURL se puede usar para especificar la URL del proxy, por ejemplo: http://user:pass@ip:port.
(Nota: La funcionalidad de proxy personalizado está disponible actualmente solo para suscriptores de Enterprise y Enterprise Plus.)

scrapeless_params = {
    # ... 
    "proxyURL": "proxyURL",
}

Resumen

Combinar el Navegador en la Nube de Scrapeless con Crawl4AI proporciona a los desarrolladores un entorno de raspado web estable y escalable:

• No es necesario instalar o mantener instancias locales de Chrome; todas las tareas se ejecutan directamente en la nube.
• Reduce el riesgo de bloqueos e interrupciones de CAPTCHA, ya que cada sesión está aislada y admite huellas digitales aleatorias o personalizadas.
• Mejora la depuración y reproducibilidad, con soporte para grabación y reproducción automática de sesiones.
• Admite rotación automática de proxies en 195 países/regiones.
• Utiliza el Servicio de Nodo Edge global, ofreciendo velocidades de inicio más rápidas que otros servicios similares.

Esta colaboración marca un hito importante para Scrapeless y Crawl4AI en el espacio de raspado de datos web. De cara al futuro, Scrapeless se enfocará en la tecnología de navegador en la nube, proporcionando a los clientes empresariales una extracción de datos eficiente y escalable, automatización y soporte de infraestructura de agentes de IA. Aprovechando sus potentes capacidades en la nube, Scrapeless continuará ofreciendo soluciones personalizadas y basadas en escenarios para industrias como finanzas, comercio minorista, comercio electrónico, SEO y marketing, ayudando a las empresas a lograr un verdadero crecimiento automatizado en la era de la inteligencia de datos.