LLM 蜂窝捕捉：检测内容迷宫和数据投毒

TL;DR:

• LLM 蜂窝陷阱呈现出对爬虫可见的内容，这些内容代价高昂、误导性强，或旨在暴露自动化行为。 常见形式包括无尽的链接迷宫、看似可信的合成页面和针对下游代理的指令。
• 爬虫不能仅靠访问策略解决问题。 它需要爬取预算、URL 图控制、来源追踪、近重复检测、字段验证和不可信内容的隔离。
• 提示注入和数据污染是不同的风险。 提示注入在处理时针对代理的行为；污染旨在破坏数据集或模型结果。
• 最安全的回应是证据意识的收集。 尊重声明的访问规则，将检索到的内容与指令分开，并在验证后再推广数据。

---

现在的开放网络包含为人类撰写的页面、为搜索引擎生成的页面以及故意向自动化收集器展示的页面。一个将每个链接和段落视为同样可信的爬虫可能会浪费资源或将虚假材料引入研究、检索或训练流程中。

LLM 蜂窝陷阱是这一防御性和欺骗性表面的新兴名称。它需要小心处理，因为同一页面对爬虫可能是无关的噪声，对检索系统可能是不可信的证据，对自主代理可能是带有指令的输入。

什么是 LLM 蜂窝陷阱？

LLM 蜂窝陷阱是呈现意图检测、延迟、误导或影响 AI 爬虫和代理的内容或导航模式的做法。这些内容可能在普通导航中是隐藏的，仅为机器人链接，以大深度生成，或写得看似合乎逻辑但几乎没有可靠信息。

一个公共实现是 AI Labyrinth 设计，描述了一个生成页面的迷宫，消耗忽视网站偏好的爬虫的资源。这是一个计算陷阱。其他实现可能更多关注数据质量或代理行为。

三种主要 LLM 蜂窝陷阱模式

1. 计算迷宫

计算迷宫创建许多可遍历的路径，且信息价值低。URL 参数、日历样的路线、生成的档案或递归链接的页面可以使图形看起来无限制。

其危害是操作性的：带宽、渲染时间、分词、存储和去重工作的增长，而有用的覆盖几乎没有变化。

2. 似是而非但不可靠的内容

数据质量蜂窝陷阱发布看似正常文章、个人资料或记录的文本，但包含虚构实体、无支持的声明或微妙不一致的字段。该页面可能通过语言质量检查，但未通过跨源验证。

这些材料在检索系统中是危险的，因为流利性可能被误认为权威性。来源和证实比文笔质量更重要。

3. 带有指令的内容

针对代理的蜂窝陷阱嵌入试图改变读取页面的系统行为的文本。它可能会告诉代理忽略其任务、泄露信息、调用另一个工具或将页面视为特权指令。

OWASP 提示注入指南将外部内容视为可能影响模型行为的不可信输入。检索到的页面文本绝不能与系统或开发者指令分享相同的权威性。

LLM 蜂窝陷阱、提示注入和数据污染

这些风险重叠但不可互换：

风险	主要目标	典型时间	主要控制
爬虫迷宫	计算与覆盖	收集	预算和图限制
提示注入	代理行为	检索或工具使用	指令层级和工具政策
数据污染	数据集或模型结果	吞吐或训练	来源、验证和隔离
机器人检测	收集者身份	访问	声明的爬虫政策和授权收集

一页可以结合所有四种。正确分类失败可防止团队对信任问题应用网络修复。

爬虫中的警告信号

没有单一信号可以证明是蜂窝陷阱，但多个信号一起可以证明隔离的正当性：

• URL 数量增长速度远快于唯一信息。
• 页面仅在令牌、日期或生成的实体名称上有所不同。
• 内部链接深入却没有返回人类导航的路径。
• 网站地图、规范和可见导航在页面重要性上不一致。
• 事实字段与已建立的主要来源冲突。
• 页面文本包含针对爬虫、模型或工具的命令。
• 内容仅在声明的爬虫身份下出现。
• 同一模板生成异常数量的低信息页面。
  不要将每个重复的存档或低质量页面标记为恶意的。内容管理漏洞和多维导航会产生类似的形态。记录证据并首先应用中立控制。

控制 1：尊重声明的访问规则

第一道防线是避免进入不允许或不相关的空间。在收集之前，阅读爬虫指令、网站地图范围、规范链接和网站条款。爬虫排除协议 标准化了爬虫指令，尽管法律和合同义务超出了robots.txt的范围。

授权的收集者应该始终如一地识别自己，并提供运营商的联系路径。改变身份以违抗网站的明确政策增加了风险，并削弱了可审计性。

控制 2：对 URL 图施加严格预算

爬行需要明确的停止规则：

• 从受信任的种子节点最大深度。
• 每个主机、路径前缀和模板的最大新 URL 数。
• 最大参数组合。
• 最大渲染字节和处理时间。
• 分支继续之前的信息增益最小值。
• 重复和近重复阈值。

预算应该停止一个分支，保留原因，并允许审查者检查样本。一个无限制的队列不是覆盖策略。

使用 Scrapeless 开始抓取

使用 Scrapeless 提升您的网络抓取和自动化工作流程！
今天注册即可获得 $5 的免费额度 — 无需信用卡。

立即在 Scrapeless Dashboard 领取您的免费额度。

控制 3：将检索与信任分开

获取的内容应在成为可搜索证据或训练数据之前进入隔离层。每个文档都应存储源 URL、捕获时间、响应元数据、内容哈希、提取方法和验证状态。

推广规则可以要求：

• 知道的来源类别或已批准的域名。
• 与一个或多个独立主要来源达成一致。
• 对日期、标识符和数字范围的模式检查。
• 对现有记录进行近重复分析。
• 对影响重大决策的材料进行审查。

NIST AI 风险管理框架 提供了一个更广泛的地图-测量-管理结构，用于记录这些风险和控制。

控制 4：将页面文本视为数据，绝不视为权威

代理应在明显划定的不可信内容通道中接收检索的页面文本。工具组合，而不是页面，决定可用的工具以及是否需要批准某个操作。

实际政策包括：

• 页面文本不能更改系统任务或权限集。
• 工具参数与检索的指令独立验证。
• 外部写入需要单独的批准边界。
• 秘密信息永不进入页面可见上下文。
• 源引用始终附加到提取的声明上。
• 嫌疑指令记录为内容，而不是执行。

即使收集者成功获取页面，这种设计也可以防止提示注入。

控制 5：验证信息增益

内容质量可以在昂贵的下游处理之前进行测量。有用的信号包括唯一命名实体、完整模式记录、相对于父页面的新事实、重复片段和独立来源之间的一致性。

按内容类别设定阈值。词汇表页面可能合理地与相关条目相似，而数据库记录应提供稳定的标识符和字段级变更。目标不是一个普遍的“AI文本检测器”；而是对页面是否增加可信证据的任务特定决策。

Scrapeless 的适用范围

Scrapeless AI Agent 可以为工具组合提供受控搜索、提取和浏览器工具。工具组合仍然拥有爬行预算、信任政策、来源、批准和数据集推广。

这种分离很重要。浏览器访问解决了渲染和会话获取问题；它并不保证每个渲染句子都是可靠的。网络数据基准指南 提供了一个测量来源获取和证据质量的框架。在定义边界工作流程需要多少次搜索、页面和浏览器会话后，查看 Scrapeless 定价。

针对可疑蜜罐内容的事件响应

当管道检测到可疑分支时：

1. 停止从该分支扩展而不删除证据。
   规则：

2. 只输出翻译的文本 — 不进行解释，不添加额外的包装代码框。

3. 精确保留Markdown/HTML结构（标题、列表、链接、表格）。

4. 保持任何占位符标记如@@CODEBLOCK_0@@或@@INLINECODE_0@@完全不变；绝不要翻译、重新排序、合并或重新格式化它们。

5. 不要添加或删除```代码框，并且不要将普通文本包装到代码块中。

6. 保留代表性URL、内容哈希、头部和链接关系。

7. 将问题分类为计算、数据质量、指令或访问策略风险。

8. 从服务和训练索引中删除受影响的文档。

9. 检查内容是否影响了任何代理行为。

10. 收紧相关预算、信任规则或批准边界。

11. 控制措施到位后，仅从受信任的种子重新处理。

事件记录应区分确认的欺骗与普通的低质量内容。这将使未来的规则更加精确。

结论

LLM蜜罐将网页收集变成信任边界问题。持久响应不是激进的访问；而是有限的爬取、透明身份、来源、重复检测、跨来源验证和页面内容与代理指令之间的严格分离。这些控制措施同时保护计算、数据集和工具使用系统。

准备构建更安全的网络数据管道吗？

加入Scrapeless开发者社区，加入Discord或Telegram。打开Scrapeless仪表板，将实时网络工具与明确的预算和证据政策配对。

常见问题

问：什么是LLM蜜罐？

LLM蜜罐是利用可由爬虫视野识别的内容或导航模式，旨在检测、延迟、误导或影响AI爬虫和代理。

问：AI爬行迷宫与提示注入相同吗？

不相同。爬行迷宫消耗收集资源，而提示注入试图通过不受信任的内容来改变代理的行为。一个页面可以同时包含两者。

问：爬虫如何检测内容迷宫？

爬虫可以标记URL增长高、信息增益低、页面几乎重复且导航深度与人类可见结构关系不大的分支。

问：robots.txt可以防止LLM蜜罐暴露吗？

Robots.txt传达爬虫偏好，但在技术上并不能阻止访问或验证内容。一个负责任的爬虫应该尊重它，并仍然应用独立的信任和预算控制。

问：AI代理应如何处理在网页上找到的指令？

AI代理应将页面指令视为不受信任的数据。它的工具必须保留优先级更高的指令，验证工具调用，保护机密，并要求对重要行为进行批准。

问：疑似被污染的数据该如何处理？

疑似被污染的数据应与其来源一起隔离，从服务或训练索引中移除，与主要来源进行比较，并在明确验证后推广。