Scrapeless X Browser-Use

Alex Johnson

Senior Web Scraping Engineer

08-May-2025

浏览器使用是一个浏览器自动化SDK，它利用截图捕捉浏览器状态和动作来模拟用户交互。本章将介绍如何轻松使用浏览器使用通过简单的调用在Web上执行代理任务。

获取Scrapeless API密钥

访问仪表板的设置选项卡:

然后复制并在您的.env文件中设置SCRAPELESS_API_KEY环境变量。

您的.env文件中的OPENAI_API_KEY环境变量也是必需的。

.env Copy

OPENAI_API_KEY=您的-openai-api-密钥
SCRAPELESS_API_KEY=您的-scrapeless-api-密钥

💡 记得用您的实际API密钥替换示例API密钥

安装浏览器使用

使用pip（Python>=3.11）:

Shell Copy

pip install browser-use

对于内存功能（由于PyTorch兼容性，要求Python<3.13）:

Shell Copy

pip install "browser-use[memory]"

设置浏览器和代理配置

以下是配置浏览器并创建自动化代理的方法：

Python Copy

from dotenv import load_dotenv
import os
import asyncio
from urllib.parse import urlencode
from langchain_openai import ChatOpenAI
from browser_use import Agent, Browser, BrowserConfig
from pydantic import SecretStr

task = "前往Google，搜索'Scrapeless'，点击第一条帖子并返回标题"

async def setup_browser() -> Browser:
    scrapeless_base_url = "wss://browser.scrapeless.com/browser"
    query_params = {
        "token": os.environ.get("SCRAPELESS_API_KEY"),
        "session_ttl": 180,
        "proxy_country": "ANY"
    }
    browser_ws_endpoint = f"{scrapeless_base_url}?{urlencode(query_params)}"
    config = BrowserConfig(cdp_url=browser_ws_endpoint)
    browser = Browser(config)
    return browser

async def setup_agent(browser: Browser) -> Agent:
    llm = ChatOpenAI(
        model="gpt-4o", # 或选择您想使用的模型
        api_key=SecretStr(os.environ.get("OPENAI_API_KEY")),
    )

    return Agent(
        task=task,
        llm=llm,
        browser=browser,
    )

创建主函数

以下是将一切整合在一起的主函数：

Python Copy

async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    await browser.close()

asyncio.run(main())

运行您的脚本

运行您的脚本：

Shell Copy

python run main.py

您应该在Scrapeless仪表板中看到您的Scrapeless会话开始。

完整代码

Python Copy

from dotenv import load_dotenv
import os
import asyncio
from urllib.parse import urlencode
from langchain_openai import ChatOpenAI
from browser_use import Agent, Browser, BrowserConfig
from pydantic import SecretStr

task = "前往Google，搜索'Scrapeless'，点击第一条帖子并返回标题"

async def setup_browser() -> Browser:
    scrapeless_base_url = "wss://browser.scrapeless.com/browser"
    query_params = {
        "token": os.environ.get("SCRAPELESS_API_KEY"),
        "session_ttl": 180,
        "proxy_country": "ANY"
    }
    browser_ws_endpoint = f"{scrapeless_base_url}?{urlencode(query_params)}"
    config = BrowserConfig(cdp_url=browser_ws_endpoint)
    browser = Browser(config)
    return browser

async def setup_agent(browser: Browser) -> Agent:
    llm = ChatOpenAI(
        model="gpt-4o", # 或选择您想使用的模型
        api_key=SecretStr(os.environ.get("OPENAI_API_KEY")),
    )

    return Agent(
        task=task,
        llm=llm,
        browser=browser,
    )

async def main():
    load_dotenv()
    browser = await setup_browser()
    agent = await setup_agent(browser)
    result = await agent.run()
    print(result)
    await browser.close()

asyncio.run(main())