使用 LLaMA 3 的网络爬虫：将任何网站转换为结构化 JSON（2025 导航）

Michael Lee

Expert Network Defense Engineer

11-Sep-2025

引言：人工智能驱动下的网页抓取演变

网页抓取，指的是从网站自动提取数据，长期以来一直是企业和研究人员收集情报、监控市场以及建立数据集的重要基础。然而，网页抓取的环境在不断演变，这主要归功于网站上越来越复杂的反机器人措施。传统的抓取方法依赖于像XPath或CSS这样的静态选择器，这使得它们极为脆弱。网站布局的微小变化或反机器人防御的更新都可能使整个抓取基础设施失效，导致显著的维护负担和数据丢失。

像Meta的LLaMA 3这样的庞大语言模型（LLM）的出现标志着这一范式的重大转变。LLaMA 3凭借其卓越的自然语言理解和处理能力，提供了一种更具韧性和智能的数据提取方法。与依赖于严格规则的传统抓取工具不同，LLaMA 3可以理解网页内容的上下文意义，类似于人类的思维。这一能力使其能够适应网站结构的变动，即使在布局变化时也能提取相关信息，成为应对现代网页抓取挑战的重要工具。

本指南详细介绍如何利用LLaMA 3进行高级网页抓取，将原始HTML转换为结构化的干净JSON。我们将探讨基础原则、实用实施步骤，以及如何通过整合尖端解决方案（如Scrapeless Scraping Browser）来克服最棘手的反机器人挑战。到本指南结束时，您将拥有构建稳健的、AI驱动的网页抓取工具的知识，这些工具将既高效又能抵御现代网页防御。

为什么LLaMA 3是网页抓取的游戏规则改变者

LLaMA 3于2024年4月发布，是Meta强大的开放权重大型语言模型，具有从8B到405B参数的多种规格。其后续版本（LLaMA 3.1、3.2和3.3）在性能、上下文理解和推理能力方面带来了显著提升。这些进步使LLaMA 3在多个令人信服的理由上特别适用于网页抓取：

1. 上下文理解与语义提取

传统网页抓取工具本质上是脆弱的，因为它们依赖于网页结构的精确元素。如果一个div的类名更改或某个元素的位置发生变化，抓取工具就会失效。然而，LLaMA 3在更高的抽象层次上运作。它能够理解内容的意义，而不必依赖于其底层HTML结构。例如，基于语义提示，它能够识别产品标题、价格或描述，即使它们周围的HTML标签在不同页面或网站重设计后各不相同。这种上下文理解显著降低了抓取工具的脆弱性和对常规维护的需求。

2. 增强对网站变化的韧性

网站是动态实体，设计、内容和底层代码经常更新。对传统抓取工具而言，每次更新都可能是一次破坏性变化。LLaMA 3的语义内容理解能力意味着它对这些变化的韧性更强。即使元素被重新排列、添加了新部分或进行了小的样式调整，它依然能够准确提取数据。这种韧性直接转化为降低的运营成本和更稳定的数据流。

3. 处理动态内容和JavaScript渲染的页面

现代网站在动态渲染内容方面严重依赖JavaScript。这对基于简单HTTP请求的抓取工具构成了重大挑战。虽然像Selenium这样的无头浏览器可以执行JavaScript，但从渲染后的DOM中提取特定数据仍然需要精确的选择器。当LLaMA 3与无头浏览器结合使用时，可以处理完全渲染的HTML内容，并智能提取所需的信息，从而绕过动态内容渲染和复杂JavaScript交互的复杂性。

4. 通过Markdown转换提高效率

原始HTML可能过于冗长，并包含大量无关信息（例如，脚本、样式、隐藏元素）。用LLM处理如此大的输入可能计算成本高，并导致更高的token使用量，从而增加成本和处理时间。一项关键优化技术涉及将HTML转换为更干净、更简明的格式，如Markdown。Markdown显著减少了token数量，同时保留了基本的内容和结构，使LLM处理更高效、更快速且更具成本效益。这种输入大小的减少也通过提供更干净、噪音更少的输入来提高LLM的准确性。

5. 环境内数据处理与安全

使用像 LLaMA 3（通过 Ollama）这样的本地 LLM 的一个关键优势是数据处理发生在您自己的环境中。这对于处理敏感信息尤为重要，因为它最小化了在将数据发送到外部 API 或云服务进行处理时可能发生的数据泄露风险。将抓取的数据和 LLM 保留在您的基础设施内可以提供更大的控制权，并增强数据安全性和隐私。

LLaMA 3 驱动抓取的先决条件

在开始您的 LLaMA 3 网页抓取之旅之前，请确保您具备以下组件和基本知识：

Python 3: 本指南的主要编程语言。虽然基本的 Python 知识是足够的，但熟悉网页抓取概念将是有益的。
兼容的操作系统: LLaMA 3 通过 Ollama 支持 macOS（macOS 11 Big Sur 或更高版本）、Linux 和 Windows（Windows 10 或更高版本）。
足够的硬件资源: 资源需求取决于您选择的 LLaMA 3 模型大小。较小的模型（例如 llama3.1:8b）体积轻便，可以在大多数现代笔记本电脑上运行（大约需要 4.9 GB 磁盘空间和 6-8 GB RAM）。较大的模型（例如 70B 或 405B）则需要显著更多的内存和计算能力，适合更强大的机器或专用服务器。

使用 Ollama 设置 LLaMA 3 环境

Ollama 是一个不可或缺的工具，简化了本地下载、设置和运行大型语言模型的过程。它抽象了与 LLM 部署相关的许多复杂性，让您可以专注于数据提取。

1. 安装 Ollama

要开始使用 Ollama：

访问 Ollama 官方网站。
下载并安装适合您的操作系统的应用程序。
重要步骤： 在安装过程中，Ollama 可能会提示您运行一个终端命令。请不要立即执行此命令。 我们将首先选择与您的硬件能力和特定用例相匹配的 LLaMA 模型版本。

2. 选择您的 LLaMA 模型

选择合适的 LLaMA 模型对于平衡性能和效率至关重要。浏览 Ollama 的模型库以确定最符合您系统规格和项目需求的版本。

对于大多数用户而言，llama3.1:8b 提供了最佳平衡。它体积轻便，高效能，约需 4.9 GB 磁盘空间和 6-8 GB RAM，适合在大多数现代笔记本电脑上运行。如果您的机器拥有更强大的处理能力，并且您需要增强的推理能力或更大的上下文窗口，请考虑升级到更大的模型，如 70B 或 405B。请注意，这些更大的模型需要显著更多的内存和计算资源。

3. 下载并运行模型

选择好模型后，您可以下载并初始化它。例如，要下载并运行 llama3.1:8b 模型，请在您的终端中执行以下命令：

bash Copy

ollama run llama3.1:8b

Ollama 将下载该模型。在成功下载后，您将看到一个简单的交互提示：

Copy

>>> 发送消息（/? 获取帮助）

要验证模型是否正确安装且响应正常，您可以发送一个快速查询：

Copy

>>> 你是谁？
我是 LLaMA，*由 Meta AI 开发的 AI 助手...*

类似上述的响应确认您的 LLaMA 模型已正确设置。要退出交互提示，请输入 /bye。

4. 启动 Ollama 服务器

为了使您的网页抓取脚本能够与 LLaMA 3 交互，Ollama 服务器必须在后台运行。打开一个新的终端窗口并执行：

bash Copy

ollama serve

此命令启动本地 Ollama 实例，通常可在 http://127.0.0.1:11434/ 访问。务必保持该终端窗口打开，因为服务器必须处于活动状态以便进行抓取操作。您可以通过在网页浏览器中导航到该 URL 来确认服务器的状态；您应该看到“正在运行 Ollama”的消息。

构建 LLM 驱动的网页抓取器：多阶段工作流程

构建一个强大的网页抓取器，特别是针对内容动态且防爬虫保护严格的复杂网站，需要一种复杂的方法。我们使用 LLaMA 驱动的抓取器采用了一种智能的多阶段工作流程，旨在克服传统方法的局限并最大化数据提取效率。该工作流程对像电子商务网站这样的挑战性目标特别有效，这些网站通常具有先进的防御措施。

以下是 AI 驱动的多阶段工作流程的分解：

浏览器自动化： 利用无头浏览器（例如 Selenium）加载目标网页，渲染所有动态内容（JavaScript、AJAX 调用）并模拟人类交互。
HTML提取： 一旦页面完全渲染，识别并提取包含所需产品细节或相关信息的特定HTML容器。此步骤专注于隔离页面中最相关的部分。
Markdown转换： 将提取的HTML转换为简洁的Markdown格式。这一关键优化显著减少了标记数量，提高了输入的效率，从而改善了处理速度和准确性。
LLM处理： 使用精心设计的结构化提示与LLaMA 3从Markdown内容中提取干净、结构化的JSON数据。LLM的上下文理解在此非常重要。
输出处理： 将提取的JSON数据存储在持久格式中（例如，JSON文件或数据库），以便后续使用、分析或集成到其他系统中。

这种模块化的方法确保每个阶段都针对其特定任务进行了优化，从而形成一个高效且具有弹性的抓取解决方案。虽然这些示例主要使用Python，因为它在数据科学中的简单性和广泛采用，但也可以使用JavaScript等其他编程语言实现类似效果。

步骤1 – 安装所需库

首先安装必要的Python库。打开终端或命令提示符，执行以下命令：

bash Copy

pip install requests selenium webdriver-manager markdownify

我们简要了解每个库的作用：

requests：用于发起HTTP请求的基础Python库。它将用于向本地Ollama实例发送API调用进行LLM处理。
selenium：一个强大的自动化网页浏览器工具。它对于与JavaScript密集型网站交互、渲染动态内容和模拟用户行为至关重要。
webdriver-manager：通过自动下载和管理正确的ChromeDriver（或其他浏览器驱动）版本，简化了Selenium的设置，消除了手动配置的需要。
markdownify：将HTML内容转换为Markdown的工具，这是优化LLM输入的关键步骤。

步骤2 – 初始化无头浏览器

使用Selenium设置无头浏览器是首个编程步骤。无头浏览器在没有图形用户界面的情况下运行，适合自动化任务。以下Python代码在无头模式下初始化Chrome浏览器：

python Copy

from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.chrome.options import Options
from webdriver_manager.chrome import ChromeDriverManager

options = Options()
options.add_argument("--headless=new")
options.add_argument("--no-sandbox")  # 某些环境所需
options.add_argument("--disable-dev-shm-usage")  # 解决资源限制问题
options.add_argument("--disable-gpu") # 仅适用于Windows操作系统
options.add_argument("--window-size=1920,1080") # 设置一致的窗口大小
options.add_argument("--ignore-certificate-errors") # 忽略证书错误
options.add_argument("--disable-extensions") # 禁用扩展
options.add_argument("--disable-infobars") # 禁用信息条
options.add_argument("--disable-browser-side-navigation") # 禁用浏览器侧导航
options.add_argument("--disable-features=VizDisplayCompositor") # 禁用VizDisplayCompositor
options.add_argument("--blink-settings=imagesEnabled=false") # 禁用图像以加快加载速度

driver = webdriver.Chrome(
    service=Service(ChromeDriverManager().install()),
    options=options
)

这些options.add_argument行对于配置无头浏览器以优化抓取性能和最小化检测风险至关重要。它们禁用了通常在抓取中不必要的各种功能，这些功能可能会消耗资源或暴露自动化。

步骤3 – 提取产品HTML

一旦初始化无头浏览器，下一步是导航到目标URL并提取相关HTML内容。对于像亚马逊这样复杂的网站，产品细节通常是动态渲染并包含在特定的HTML元素中。我们将使用Selenium的WebDriverWait来确保目标元素在提取其内容之前已完全加载。

python Copy

from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

wait = WebDriverWait(driver, 15)
product_container = wait.until(
    EC.presence_of_element_located((By.ID, "ppd"))
)

# 提取产品容器的完整HTML
page_html = product_container.get_attribute("outerHTML")

这种方法有两个显著的优点：

动态内容处理： 它显式地等待JavaScript渲染的内容（如价格、评分和可用性）出现在页面上，确保您捕获完整且最新的信息。
有针对性的提取: 通过关注特定的容器（例如，Amazon产品页面的<div id="ppd">），您只提取HTML中相关的部分，有效地忽略了标题、页脚、侧边栏和广告等多余元素。这减少了LLM处理的数据量，从而提高了效率和准确性。

第4步 – 将HTML转换为Markdown

如之前讨论的，将提取的HTML转换为Markdown是一个关键的优化步骤。原始HTML，尤其是来自深层嵌套和复杂网页的HTML，由于其冗长和高token计数，对于LLM的处理效率极低。Markdown作为一种更干净、扁平的文本格式，显著减少了token的数量，同时保留了必要的内容和结构。

为了说明影响，考虑到一个典型的Amazon产品页面的HTML可能包含约270,000个token。而等效的Markdown版本可以精简到仅约11,000个token。这种令人瞩目的96%减少带来了显著的好处：

成本效率: 更少的token直接转化为更低的API或计算成本，特别是在使用付费LLM服务或在资源受限的硬件上运行模型时。
更快的处理: 输入大小更小意味着LLM可以更快地处理数据，从而加快您的抓取操作的响应时间。
提高准确性: 更干净、噪声更少的输入帮助LLM专注于相关信息，从而实现更精确和准确的数据提取。模型不太可能被无关的HTML标签或属性分散注意力。

以下是如何使用markdownify库在Python中执行HTML到Markdown的转换：

python Copy

from markdownify import markdownify as md

clean_text = md(page_html, heading_style="ATX")

heading_style="ATX"参数确保使用ATX样式生成Markdown标题（例如，# 标题 1），通常LLM对此有很好的理解。

第5步 – 创建数据提取提示

您提供给LLM的提示对于获得一致且正确结构的JSON输出至关重要。一个设计良好的提示引导LLM理解其角色、手头的任务以及输出所需的确切格式。以下提示指示LLaMA 3作为专家Amazon产品数据提取器，返回仅有效的JSON，具有预定义的模式：

python Copy

PRODUCT_DATA_EXTRACTION_PROMPT: Final[str] = (
    "您是专家Amazon产品数据提取器。您的 "
    "任务是从提供的内容中提取产品数据。"
    "\n\n仅返回有效的JSON，格式须完全符合以下 "
    "字段和格式:\n\n"\
    "{\n"
    "    'title': "字符串" - 产品标题,\n"
    "    'price': 数字 - 当前价格（仅数值），\n"
    "    'original_price': 数字或null - 如果可用，"
    "原价格,\n"
    "    'discount': 数字或null - 如果可用，"
    "折扣百分比，\n"
    "    'rating': 数字或null - 平均评分（0-5 "
    "级别），\n"
    "    'review_count': 数字或null - 评论总数,\n"
    "    'description': "字符串" - 主要产品 "
    "描述,\n"
    "    'features': ["字符串"] - 要点特征列表,\n"
    "    'availability': "字符串" - 库存状态,\n"
    "    'asin': "字符串" - 10字符Amazon ID"\n"
    "}\n\n仅返回JSON，不添加任何附加文本。"
)

该提示非常具体，几乎没有歧义。它定义了：

角色: "专家Amazon产品数据提取器。"
任务: "从提供的内容中提取产品数据。"
输出格式: 明确要求返回"仅有效的JSON"，并提供每个字段的确切结构和数据类型（例如，title为字符串，price为数字，features为字符串列表）。
约束: "仅返回JSON，不添加任何附加文本。" 这对于防止LLM生成对话填充或解释至关重要，确保输出的JSON可以直接解析。

第6步 – 调用LLM API

在本地运行Ollama服务器后，您可以通过其HTTP API将准备好的Markdown文本和提取提示发送到您的LLaMA 3实例。Python中的requests库非常适合此目的。

python Copy

import requests
import json

response = requests.post(
    "http://localhost:11434/api/generate",
    json={
        "model": "llama3.1:8b",
        "prompt": f"{PRODUCT_DATA_EXTRACTION_PROMPT}\n{clean_text}",
        "stream": False,
        "format": "json",
        "options": {
            "temperature": 0.1,
            "num_ctx": 12000,
        },
        "timeout":250,
    }
)

raw_output = response.json()["response"].strip()
product_data = json.loads(raw_output)

让我们分析API调用中的关键参数：

model: 指定要使用的 LLaMA 模型版本（例如，llama3.1:8b）。
prompt: 这是组合提示，将你的 PRODUCT_DATA_EXTRACTION_PROMPT 与 LLM 需要处理的 clean_text（Markdown 内容）进行连接。
stream: 设置为 False 以在处理后接收完整响应，而不是连续的令牌流。这适合于批量处理数据提取。
format: 关键设置为 "json"。这指示 Ollama 将其输出格式化为 JSON 对象，以便与我们期望的结构化数据输出对齐。
options:
- temperature: 设置为 0.1。较低的温度（接近 0）使 LLM 的输出更加确定性和少创意，这对于结构化数据提取非常理想，因为一致性至关重要。
- num_ctx: 定义最大上下文长度（以令牌为单位）。原始文章建议 12,000 个令牌对于大多数 Amazon 产品页面已足够。根据你 Markdown 内容的预期长度适当设置此值非常重要。虽然增加此值可以处理更长的输入，但也会增加 RAM 使用并减慢处理速度。只有在你的产品页面异常长，或如果你有计算资源支持时，才增加上下文限制。
timeout: 设置等待 LLM 响应的最长时间（以秒为单位）。

在接收响应后，response.json()["response"].strip() 从 LLM 的输出中提取原始 JSON 字符串，而 json.loads(raw_output) 将此字符串解析为 Python 字典，使提取的数据易于访问。

第 7 步 - 保存结果

数据提取过程的最后一步是将结构化产品数据保存到持久文件。JSON 格式非常适合这一点，因为它是人类可读的，且其他应用程序易于解析。

python Copy

with open("product_data.json", "w", encoding="utf-8") as f:
    json.dump(product_data, f, indent=4, ensure_ascii=False)

这段代码打开一个名为 product_data.json 的文件，采用写入模式（"w"）和 UTF-8 编码来处理各种字符。json.dump() 然后将 product_data 字典写入该文件。indent=4 参数确保 JSON 输出以 4 个空格进行良好格式化，使其更易于阅读，而 ensure_ascii=False 确保非 ASCII 字符（如特殊符号或国际字符）直接写入，而不是被转义。

第 8 步：执行脚本

要运行你完整的 LLaMA 驱动的网络爬虫，你通常会有一个主执行块，定义目标 URL 并调用你的爬虫函数。以下是一个简化的示例：

python Copy

if __name__ == "__main__":
    url = "<https://www.amazon.com/Black-Office-Chair-Computer-Adjustable/dp/B00FS3VJO>"
    # 调用你的函数来爬取和提取产品数据
    scrape_amazon_product(url)

在现实场景中，你会将从 HTML 获取到 JSON 保存的步骤封装在一个函数中（例如，scrape_amazon_product），然后使用所需的产品 URL 调用此函数。

第 9 步 - 完整代码示例

以下是完整的 Python 脚本，结合了所有讨论的步骤，提供了一个端到端的实现：

python Copy

import json
import logging
import time
from typing import Final, Optional, Dict, Any

import requests
from markdownify import markdownify as html_to_md
from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait
from webdriver_manager.chrome import ChromeDriverManager

# 配置日志记录
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(levelname)s - %(message)s",
    handlers=[logging.StreamHandler()]
)

def initialize_web_driver(headless: bool = True) -> webdriver.Chrome:
    """初始化并返回一个配置好的 Chrome WebDriver 实例。"""
    options = Options()
    options.add_argument("--headless=new")
    options.add_argument("--no-sandbox")  # 有些环境下需要
    options.add_argument("--disable-dev-shm-usage")  # 克服资源受限问题
    options.add_argument("--disable-gpu") # 仅适用于 Windows OS
    options.add_argument("--window-size=1920,1080") # 设置一致的窗口大小
    options.add_argument("--ignore-certificate-errors") # 忽略证书错误
    options.add_argument("--disable-extensions") # 禁用扩展
    options.add_argument("--disable-infobars") # 禁用信息条
    options.add_argument("--disable-browser-side-navigation") # 禁用浏览器侧边导航
    options.add_argument("--disable-features=VizDisplayCompositor") # 禁用 VizDisplayCompositor

python Copy

options.add_argument("--blink-settings=imagesEnabled=false")  # 禁用图像以提高加载速度

    service = Service(ChromeDriverManager().install())
    return webdriver.Chrome(service=service, options=options)


def fetch_product_container_html(product_url: str) -> Optional[str]:
    """检索亚马逊产品详细信息容器的HTML内容。"""
    driver = initialize_web_driver()
    try:
        logging.info(f"访问产品页面: {product_url}")
        driver.set_page_load_timeout(15)
        driver.get(product_url)

        # 等待产品容器出现
        wait = WebDriverWait(driver, 5)
        product_container = wait.until(
            EC.presence_of_element_located((By.ID, "ppd"))
        )
        return product_container.get_attribute("outerHTML")
    except Exception as e:
        logging.error(f"检索产品详细信息时出错: {str(e)}")
        return None
    finally:
        driver.quit()


def extract_product_data_via_llm(markdown_content: str) -> Optional[Dict[str, Any]]:
    """使用LLM API从Markdown文本中提取结构化产品数据。"""
    try:
        response = requests.post(
            LLM_API_CONFIG["endpoint"],
            json={
                "model": LLM_API_CONFIG["model"],
                "prompt": f"{PRODUCT_DATA_EXTRACTION_PROMPT}\n{markdown_content}",
                "stream": LLM_API_CONFIG["stream"],
                "format": LLM_API_CONFIG["format"],
                "options": LLM_API_CONFIG["options"],
                "timeout": LLM_API_CONFIG["timeout_seconds"],
            }
        )
        response.raise_for_status()  # 对于错误响应（4xx或5xx）引发HTTPError
        raw_output = response.json()["response"].strip()
        return json.loads(raw_output)
    except requests.exceptions.RequestException as e:
        logging.error(f"LLM API请求失败: {e}")
        return None
    except json.JSONDecodeError as e:
        logging.error(f"无法解码LLM响应中的JSON: {e}")
        return None


def scrape_amazon_product(url: str) -> None:
    """协调亚马逊产品页面的抓取和数据提取过程。"""
    logging.info(f"开始抓取过程: {url}")

    # 第一步：获取HTML内容
    html_content = fetch_product_container_html(url)
    if not html_content:
        logging.error("未能获取HTML内容。退出。")
        return

    # 第二步：将HTML转换为Markdown
    markdown_content = html_to_md(html_content, heading_style="ATX")
    logging.info("HTML已转换为Markdown。")

    # 第三步：通过LLM提取数据
    product_data = extract_product_data_via_llm(markdown_content)
    if not product_data:
        logging.error("未能通过LLM提取产品数据。退出。")
        return

    # 第四步：保存结果
    output_filename = "product_data.json"
    try:
        with open(output_filename, "w", encoding="utf-8") as f:
            json.dump(product_data, f, indent=4, ensure_ascii=False)
        logging.info(f"产品数据成功保存到 {output_filename}")
    except IOError as e:
        logging.error(f"无法将产品数据保存到文件: {e}")


# 配置常量
LLM_API_CONFIG: Final[Dict[str, Any]] = {
    "endpoint": "http://localhost:11434/api/generate",
    "model": "llama3.1:8b",
    "temperature": 0.1,
    "num_ctx": 12000,
    "stream": False,
    "format": "json",
    "timeout_seconds": 220,
}

DEFAULT_PRODUCT_DATA: Final[Dict[str, Any]] = {
    "title": "",
    "price": 0.0,
    "original_price": None,
    "discount": None,
    "rating": None,
    "review_count": None,
    "description": "",
    "features": [],
    "availability": "",
    "asin": "",
}

PRODUCT_DATA_EXTRACTION_PROMPT: Final[str] = (
    "您是一位专业的亚马逊产品数据提取者。您的 "
    "任务是从提供的内容中提取产品数据。 "
    "\n\n仅返回有效的JSON，格式和字段必须完全如下：\n\n"\
    "{\n"
    "    'title': \"string\" - 产品标题,\n"
    "    'price': number - 当前价格（仅数值），\n"
    "    'original_price': number或null - 如果可用，则为原始 "
    "价格，\n"
    "    'discount': number或null - 如果可用，则为折扣百分比，\n"
    "    'rating': number或null - 平均评分（0-5 "
    "分），\n"
    "    'review_count': number或null - 评价总数，\n"
    "    'description': \"string\" - 主要产品 "
    "描述，\n"
    "    'features': [\"string\"] - 项目特征列表，\n"
    "    'availability': \"string\" - 库存状态，\n"
    "    'asin': \"string\" - 10个字符的亚马逊ID\n"
    "}\n\n仅返回JSON，不要任何额外文本。"
)

if __name__ == "__main__":
    url = "<https://www.amazon.com/Black-Office-Chair-Computer-Adjustable/dp/B00FS3VJO>"
    scrape_amazon_product(url)

网络爬虫，特别是在大规模时，始终面临着与复杂的反机器人系统的斗争。网站采用各种技术来检测和阻止自动请求，旨在保护其数据和基础设施。这些措施包括：

IP封锁： 识别和列入黑名单表现出可疑行为的IP地址（例如，短时间内来自单个IP的请求过多）。
验证码： 提出挑战（例如，reCAPTCHA、hCaptcha），这些挑战对人类来说容易解决，但对自动化机器人来说则困难重重。
用户代理分析： 检测非浏览器或过时的用户代理，这可能表明是一个自动客户端。
浏览器指纹识别： 分析浏览器的独特特征（例如，已安装的插件、屏幕分辨率、字体）以识别和阻止像Selenium默认配置这样的自动化工具。
速率限制： 限制单个来源在特定时间框架内的请求数量。
蜜罐： 隐藏的链接或元素，旨在捕捉盲目跟随页面上所有链接的机器人。
行为分析： 监控鼠标移动、滚动模式和打字速度，以区分人类和自动化交互。

虽然LLaMA 3方法通过语境理解增强了韧性，但它并不天然绕过这些低级反机器人防御。这就是像Scrapeless Scraping Browser这样的专用工具变得不可或缺的地方。与通用无头浏览器不同，Scrapeless Scraping Browser专门设计用于模仿人类浏览行为并绕过各种反机器人保护，使其成为强大网络爬虫的更优选择。

为什么选择Scrapeless Scraping Browser而不是Bright Data的产品？

虽然Bright Data提供了一个

爬虫浏览器，Scrapeless则提供了一个更以开发者为中心和灵活的解决方案，非常适合AI驱动的爬虫工作流程。以下是为什么推荐Scrapeless Scraping Browser的理由：

高级指纹自定义： Scrapeless提供深度自定义浏览器指纹的功能，包括用户代理、设备特性和其他参数。这使您能够创建与真实用户几乎无法区分的高度逼真的浏览器配置文件，显著减少被检测的风险。
全球分布的代理网络： 它拥有一个全球分布的代理网络，允许您通过庞大的住宅和移动IP池转发请求。这有效地规避了基于IP的封锁和速率限制，使您能够在未被检测的情况下大规模爬取。
AI驱动的隐形和规避： Scrapeless Scraping Browser是为AI开发者设计的。它结合了动态隐形模式支持和其他AI驱动的规避技术，可实时适应目标网站的反机器人措施。这种主动的方法确保了您爬虫操作的更高成功率。
与AI工作流程的无缝集成： Scrapeless旨在与AI和基于大语言模型的工作流程轻松集成。其API直观且文档齐全，使您能够轻松将其纳入您的Python脚本和其他自动化工具中。这种无缝集成对于构建高效和可扩展的AI驱动爬虫解决方案至关重要。
成本效益和灵活性： 与面对企业的解决方案如Bright Data相比，Scrapeless提供了更灵活且通常更具成本效益的定价模型。这使得它成为个体开发者、研究人员和中小型企业的可及且强大的选择。

通过将LLaMA 3的语境理解与Scrapeless Scraping Browser的高级反机器人规避能力相结合，您可以构建出一个既智能又韧性的真正强大网络爬虫解决方案。

下一步和高级解决方案

一旦您掌握了基于LLaMA 3的网络爬虫基础，您可以扩展抓取程序的功能并探索更高级的实现。以下是一些改进和替代解决方案的考虑：

使脚本可重用： 增强您的脚本以接受目标URL和数据提取提示作为命令行参数。这将使您的爬虫对于不同网站和数据提取任务更加灵活和可重用。
保护您的凭证： 如果您使用像Scrapeless Scraping Browser这样的商业服务，安全处理您的API密钥和凭证至关重要。将其存储在 .env 文件中，并使用 python-dotenv 等库将其加载到您的脚本中，避免在源代码中硬编码敏感信息。
实现多页面支持： 对于具有分页内容的网站（例如电子商务搜索结果、新闻档案），实现逻辑以爬取多个页面。这通常涉及识别“下一页”按钮或URL模式，并迭代页面，直到收集到所有所需的数据。
抓取更广泛的网站： 利用Scrapeless Scraping Browser强大的反检测功能，抓取其他复杂的电子商务平台、社交媒体网站和数据丰富的网络应用。
从谷歌服务提取数据： 为谷歌服务（如谷歌航班、谷歌搜索和谷歌趋势）建立专用的抓取工具。或者，对搜索引擎结果，考虑使用专门的SERP API，这可以提供来自所有主要搜索引擎的现成结构化数据，节省您建立和维护自己抓取工具的精力。

如果您更倾向于管理解决方案或希望探索其他LLM驱动的方法，以下选项也可能合适：

使用Gemini抓取： 探索谷歌的Gemini模型，以获得类似的AI驱动数据提取能力。
使用Perplexity抓取： Perplexity AI还提供强大的语言模型，可以适应于网络抓取任务。
使用Crawl4AI和DeepSeek构建AI抓取工具： 调查其他专门的AI抓取工具和模型，如Crawl4AI和DeepSeek，这些工具旨在进行智能数据提取。

结论：网络抓取的未来是智能的

本指南提供了一个全面的路线图，用于使用LLaMA 3构建稳健和智能的网络抓取工具。通过结合大语言模型的上下文推理能力与先进的抓取工具和技术，您可以克服传统方法的限制，从即使是最复杂和防御严密的网站中提取结构化数据，且所需努力最小。

关键要点是，网络抓取的未来不仅仅是关于自动化，而是关于智能自动化。LLaMA 3语义理解内容的能力，加上像Scrapeless Scraping Browser这样工具的复杂反机器人规避机制，代表了我们处理数据提取方式的范式转变。这种强大的组合使开发者和研究人员能够构建出不仅更有效，而且在面对不断变化的网络环境时更加适应和稳健的抓取工具。

在您开始AI驱动的网络抓取旅程时，请记住道德考虑至关重要。始终尊重您抓取的网站的服务条款，避免过度请求给其服务器带来负担，并关注数据隐私法规。通过采取负责任和智能的方法，您可以解锁网络数据的巨大潜力，以推动创新、做出决策并在数据驱动的世界中创造价值。

在Scrapeless，我们仅访问公开可用的数据，并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用，不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证，并免除所有责任。在进行任何抓取活动之前，请咨询您的法律顾问，并审查目标网站的服务条款或获取必要的许可。