¿Cómo desplegar mejor Scrapeless y el uso del navegador?

El Scraping Browser se ha convertido en la herramienta preferida para la extracción de datos diaria y las tareas de automatización. Al integrar Browser-Use con el Scrapeless Scraping Browser, puedes superar las limitaciones de la automatización del navegador y evitar bloqueos.

En este artículo, construiremos una herramienta de Agente AI automatizado utilizando Browser-Use y Scrapeless Scraping Browser para realizar una extracción de datos automatizada. ¡Verás cómo te ahorra tiempo y esfuerzo, haciendo que las tareas de automatización sean muy sencillas!

Aprenderás:

• ¿Qué es Browser-Use y cómo ayuda a construir agentes AI?
• ¿Por qué puede Scraping Browser superar eficazmente las limitaciones de Browser-Use?
• ¿Cómo construir un agente AI sin bloqueos usando Browser-Use y Scraping Browser?

¿Qué es Browser-Use?

Browser-Use es una biblioteca de automatización de navegadores AI basada en Python diseñada para empoderar a los agentes AI con capacidades avanzadas de automatización del navegador. Puede reconocer todos los elementos interactivos en una página web y permite a los agentes interactuar con la página programáticamente, realizando tareas comunes como búsqueda, clics, llenado de formularios y extracción de datos. En su núcleo, Browser-Use convierte sitios web en texto estructurado y soporta marcos de navegador como Playwright, simplificando enormemente las interacciones web.

A diferencia de las herramientas de automatización tradicionales, Browser-Use combina comprensión visual con análisis de estructura HTML, permitiendo a los agentes AI controlar el navegador usando instrucciones en lenguaje natural. Esto hace que la IA sea más inteligente al percibir el contenido de la página y ejecutar eficientemente las tareas. Además, soporta la gestión de múltiples pestañas, seguimiento de interacciones con elementos, manejo de acciones personalizadas y mecanismos de recuperación de errores integrados para garantizar la estabilidad y consistencia de los flujos de trabajo de automatización.

Más importante aún, Browser-Use es compatible con todos los modelos de lenguaje grande más importantes (como GPT-4, Claude 3, Llama 2). Con la integración de LangChain, los usuarios pueden simplemente describir tareas en lenguaje natural, y el agente AI completará operaciones web complejas. Para los usuarios que buscan automatización de interacción web impulsada por IA, esta es una herramienta poderosa y prometedora.

Limitaciones de Browser-Use en el Desarrollo de Agentes AI

Como se mencionó anteriormente, Browser-Use no funciona como una varita mágica de Harry Potter. En su lugar, combina la entrada visual con el control AI para automatizar navegadores usando Playwright.

Browser-Use inevitablemente viene con algunos inconvenientes, pero estas limitaciones no provienen del marco de automatización en sí. Más bien, surgen de los navegadores que controla. Herramientas como Playwright lanzan navegadores con configuraciones específicas y herramientas para la automatización, que también pueden ser expuestas a sistemas de detección anti-bot.

Como resultado, tu agente AI puede encontrar frecuentemente desafíos CAPTCHA o páginas bloqueadas como "Lo sentimos, algo salió mal en nuestro lado". Para desbloquear el pleno potencial de Browser-Use, se requieren ajustes reflexivos. El objetivo final es evitar activar sistemas anti-bot para garantizar que tu automatización AI funcione sin problemas.

Después de pruebas exhaustivas, podemos decir con confianza: Scraping Browser es la solución más efectiva.

¿Qué es Scrapeless Scraping Browser?

Scraping Browser es una herramienta de automatización de navegadores sin servidor basada en la nube, diseñada para resolver tres problemas centrales en la extracción web dinámica: cuellos de botella de alta concurrencia, evasión de anti-bot y control de costos.

1. Proporciona consistentemente un entorno de navegador sin cabeza de alta concurrencia y anti-bloqueo para ayudar a los desarrolladores a raspar contenido dinámico fácilmente.

2. Viene con un grupo de IPs proxy global y tecnología de huellas digitales, capaz de resolver automáticamente CAPTCHAs y eludir mecanismos de bloqueo.

Construido específicamente para desarrolladores de AI, Scrapeless Scraping Browser cuenta con un núcleo de Chromium profundamente personalizado y una red de proxy distribuida globalmente. Los usuarios pueden ejecutar y gestionar sin problemas múltiples instancias de navegador sin cabeza para construir aplicaciones y agentes de AI que interactúan con la web. Elimina las limitaciones de la infraestructura local y los cuellos de botella de rendimiento, permitiéndote concentrarte plenamente en la construcción de tus soluciones.

¿Cómo funcionan juntos Browser-Use y Scraping Browser?

Cuando se combinan, los desarrolladores pueden usar Browser-Use para orquestar operaciones de navegador mientras se apoyan en los servicios en la nube estables de Scrapeless y sus potentes capacidades anti-bloqueo para adquirir datos web de manera confiable.

Browser-Use ofrece API simples que permiten a los agentes AI “entender” e interactuar con el contenido web. Por ejemplo, puede usar modelos de lenguaje grandes como OpenAI o Anthropic para interpretar instrucciones de tareas y completar acciones como búsquedas o clics en enlaces en el navegador a través de Playwright.
El navegador de scraping de Scrapeless complementa esta configuración al abordar sus debilidades. Cuando se trata de grandes sitios web con estrictas medidas anti-bot, su soporte de proxy de alta concurrencia, resolución de CAPTCHA y mecanismos de emulación de navegador aseguran un scraping estable.

En resumen, Browser-Use maneja la inteligencia y la orquestación de tareas, mientras que Scrapeless proporciona una base de scraping robusta, haciendo que las tareas automatizadas del navegador sean más eficientes y confiables.

¿Cómo integrar un navegador de scraping con Browser-Use?

Paso 1. Obtener la clave API de Scrapeless

• Regístrate e inicia sesión en el Tablero de Scrapeless.
• Navega a "Configuraciones".
• Haz clic en "Gestión de Clave API".

Luego copia y establece las variables de entorno SCRAPELESS_API_KEY en tu archivo .env.

Para habilitar funciones de IA en Browser-Use, necesitas una clave API válida de un proveedor de IA externo. En este ejemplo, usaremos OpenAI. Si aún no has generado una clave API, sigue la guía oficial de OpenAI para crear una.

Las variables de entorno OPENAI_API_KEY en tu archivo .env también son requeridas.

Advertencia: Los siguientes pasos se centran en cómo integrar OpenAI, pero puedes adaptar lo siguiente a tus necesidades, solo asegúrate de utilizar cualquier otra herramienta de IA compatible con Browser-Use.

OPENAI_API_KEY=tu-clave-api-de-openai
SCRAPELESS_API_KEY=tu-clave-api-de-scrapeless

💡Recuerda reemplazar la clave API de ejemplo con tu clave API real

A continuación, importa ChatOpenAI en tu programa: langchain_openaiagent.py

from langchain_openai import ChatOpenAI

Ten en cuenta que Browser-Use se basa en LangChain para manejar la integración de IA. Por lo tanto, incluso si no has instalado explícitamente langchain_openai en tu proyecto, ya está disponible para su uso.

gpt-4o configura la integración de OpenAI con el siguiente modelo:

llm = ChatOpenAI(model="gpt-4o")

No se requiere configuración adicional. Esto se debe a que langchain_openai lee automáticamente la clave API de la variable de entorno OPENAI_API_KEY.

Para la integración con otros modelos o proveedores de IA, consulta la documentación oficial de Browser-Use.

Paso 2. Instalar Browser Use

Con pip (Python al menos v.3.11):

pip install browser-use

Para funcionalidad de memoria (requiere Python<3.13 debido a compatibilidad con PyTorch):

pip install "browser-use[memory]"

Paso 3. Configurar el Navegador y la Configuración del Agente

Así es como puedes configurar el navegador y crear un agente de automatización:

from dotenv import load_dotenv
import os
import asyncio
from urllib.parse import urlencode
from langchain_openai import ChatOpenAI
from browser_use import Agent, Browser, BrowserConfig
from pydantic import SecretStr

task = "Ve a Google, busca 'Scrapeless', haz clic en la primera publicación y regresa al título"
SCRAPELESS_API_KEY = os.environ.get("SCRAPELESS_API_KEY")
OPENAI_API_KEY = os.environ.get("OPENAI_API_KEY")

async def setup_browser() -> Browser:
    scrapeless_base_url = "wss://browser.scrapeless.com/browser"
    query_params = {
        "token": SCRAPELESS_API_KEY,
        "session_ttl": 1800,
        "proxy_country": "ANY"
    }
    browser_ws_endpoint = f"{scrapeless_base_url}?{urlencode(query_params)}"
    config = BrowserConfig(cdp_url=browser_ws_endpoint)
    browser = Browser(config)
    return browser

async def setup_agent(browser: Browser) -> Agent:
    llm = ChatOpenAI(
        model="gpt-4o", # O elige el modelo que deseas usar
        api_key=SecretStr(OPENAI_API_KEY),
    )

    return Agent(
        task=task,
        llm=llm,
        browser=browser,
    )

Paso 4. Crear la Función Principal

Aquí está la función principal que junta todo:

async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    await browser.close()
    
asyncio.run(main())

Paso 5. Ejecuta tu script

Ejecuta tu script:

python run main.py

Deberías ver que tu sesión de Scrapeless comienza en el Tablero de Scrapeless.

Además, Scrapeless admite reproducción de sesiones, que permite la visualización del programa. Antes de ejecutar el programa, asegúrate de haber habilitado la función de grabación web. Cuando se complete la sesión, puedes ver el registro directamente en el Tablero para ayudarte a solucionar rápidamente problemas.

Código Completo

from dotenv import load_dotenv
import os
import asyncio
from urllib.parse import urlencode
from langchain_openai import ChatOpenAI
from browser_use import Agent, Browser, BrowserConfig
from pydantic import SecretStr

task = "Ve a Google, busca 'Scrapeless', haz clic en la primera publicación y regresa al título"
SCRAPELESS_API_KEY = os.environ.get("SCRAPELESS_API_KEY")
OPENAI_API_KEY = os.environ.get("OPENAI_API_KEY")

async def setup_browser() -> Browser:
    scrapeless_base_url = "wss://browser.scrapeless.com/browser"
    query_params = {
        "token": SCRAPELESS_API_KEY,
        "session_ttl": 1800,
        "proxy_country": "ANY"
    }
    browser_ws_endpoint = f"{scrapeless_base_url}?{urlencode(query_params)}"
    config = BrowserConfig(cdp_url=browser_ws_endpoint)
    browser = Browser(config)
    return browser

async def setup_agent(browser: Browser) -> Agent:
    llm = ChatOpenAI(
        model="gpt-4o", # O elige el modelo que deseas usar
        api_key=SecretStr(OPENAI_API_KEY),
    )

    return Agent(
        task=task,
        llm=llm,
        browser=browser,
    )

async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    await browser.close()

asyncio.run(main())

💡El uso de Browser actualmente solo es compatible con Python.

💡Puedes copiar la URL en sesión en vivo para ver el progreso de la sesión en tiempo real, y también puedes ver una repetición de la sesión en historial de sesiones.

Paso 6. Resultados de Ejecución

{
    "done": {
        "text": "El título del primer resultado de búsqueda clicado es: 'Kit de Herramientas de Raspado Web Sin Esfuerzo - Scrapeless'.",
        "success": True,
    }
}

Luego, el Agente de Uso del Navegador abrirá automáticamente la URL e imprimirá el título de la página: “Scrapeless: Kit de Herramientas de Raspado Web Sin Esfuerzo” (este es un ejemplo del título en la página principal oficial de Scrapeless).

Todo el proceso de ejecución se puede ver en la consola de Scrapeless en la página "Tablero" → "Sesión" → "Historial de Sesiones", donde verás los detalles de la sesión ejecutada recientemente.

Paso 7. Exportando los Resultados

Para compartir con el equipo y propósitos de archivo, podemos guardar la información raspada en un archivo JSON o CSV. Por ejemplo, el siguiente fragmento de código muestra cómo escribir los resultados de los títulos en un archivo:

import json
from pathlib import Path

def save_to_json(obj, filename):
    path = Path(filename)
    path.parent.mkdir(parents=True, exist_ok=True)
    with path.open('w', encoding='utf-8') as f:
        json.dump(obj, f, ensure_ascii=False, indent=4)
        
async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    save_to_json(result.model_dump(), "informe_actualizacion_scrapeless.json")
    await browser.close()
        
asyncio.run(main())

El código anterior demuestra cómo abrir un archivo y escribir contenido en formato JSON, incluyendo las palabras clave de búsqueda, enlaces y títulos de páginas. El archivo generado informe_actualizacion_scrapeless.json se puede compartir internamente a través de una base de conocimiento de la empresa o plataforma de colaboración, facilitando a los miembros del equipo la visualización de los resultados de raspado. Para formato de texto plano, simplemente puedes cambiar la extensión a .txt y usar métodos de salida de texto básicos.

Conclusión

Al usar el servicio de Navegador de Raspado de Scrapeless en combinación con el agente de IA de Uso del Navegador, podemos construir fácilmente un sistema automatizado para la recuperación de información y la elaboración de informes.

• Scrapeless proporciona una solución de raspado en la nube estable y eficiente que puede manejar mecanismos anti-raspado complejos.
• El Uso del Navegador permite que el agente de IA controle inteligentemente el navegador para realizar tareas como buscar, hacer clic y extraer.

Esta integración permite a los desarrolladores delegar tareas tediosas de recopilación de datos web a agentes automatizados, mejorando significativamente la eficiencia de la investigación mientras garantiza precisión y resultados en tiempo real.

El Navegador de Raspado de Scrapeless ayuda a la IA a evitar bloqueos de red al obtener datos de búsqueda en tiempo real y asegura estabilidad operativa. Combinado con el motor de estrategia flexible de Uso del Navegador, somos capaces de construir una herramienta de investigación automatizada más poderosa que ofrece un fuerte apoyo para la toma de decisiones empresariales inteligentes. Este conjunto de herramientas permite a los agentes de IA "consultar" contenido web como si estuvieran interactuando con una base de datos, reduciendo enormemente el costo del monitoreo manual de competidores y mejorando la eficiencia de equipos de I+D y marketing.