什么是网站地图？XML结构、发现和限制

无抓取抓取浏览器通过渲染只有在JavaScript执行后才出现的内部链接页面来补充基于网站地图的发现。

什么是网站地图？

网站地图是一个机器可读的文件，声明网站所有者希望爬虫发现的URL。XML是最具表现力的通用格式，尽管文本文件和提要也可以被搜索引擎使用。网站地图有助于发现；它不保证每个列出的URL都会被爬取、编入索引、排名或被视为规范的。

在XML协议中，网站地图包含一个包含每个资源一个URL条目的URL集合。每个条目需要一个位置，并可以包含可选元数据，如最后有意义的修改时间。当接收爬虫支持时，图像、视频、新闻和语言替代扩展可以添加专业信息。

网站地图索引指向多个网站地图文件。它允许大型网站按内容类型、日期、地区或运营所有者拆分清单。索引是网站地图文件的目录，而不是内部URL条目的替代品。当修改元数据准确时，爬虫可能只获取已更改的子文件。

关键区别是实际的：数据工作流应该识别拥有目标值的层。该层可能是文档响应、浏览器内存、渲染节点、后台响应或服务器端策略。一旦层被确定，工作流可以以更少的假设收集值，并将其验证与用户实际接收到的页面行为。

网站地图如何工作

当过程分为可观察的阶段时，网站地图变得更易于理解。每个阶段都会创建可以在响应、浏览器、网络日志或提取的记录集中的证据。

这些阶段可能重叠、重复或由不同系统处理。因此，提取计划应遵循实际请求和状态序列，而不是假设一个页面加载事件代表整个生命周期。浏览器开发者工具很有用，因为它们将文档、网络、存储和运行时视图并排。

关键形式和相关概念

以下区别防止常见的类别错误。它们还帮助团队为此工作选择解析器、HTTP客户端、浏览器、调度程序或爬取策略。

标签只有在能够预测行为时才有用。如果同一网站上的两条路径通过不同层返回数据，则即使产品团队用一个建筑术语描述它们，也应将其视为不同的提取表面。路径级观察胜过域级假设。

这对网页抓取和数据收集的重要性

当读取错误层时，网络收集会悄然失败。解析器可以返回有效的 HTML，但缺少目标记录。浏览器可以呈现一个令人信服的外壳，而所需的请求被拒绝。一个序列可以在重复相同记录的同时返回完整的批次。下面的检查将网站地图与数据质量相连接，而不是与工具偏好有关。

浏览器是该决策树中的一个选项。 Scrapeless Scraping Browser 产品页面 描述了托管的浏览器界面，而 Scraping Browser 入门文档 涵盖了连接和会话参数。仅在需要浏览器执行的状态下使用浏览器渲染，对于已经在响应中可用的内容，保留更简单的获取和解析路径。

实用的诊断工作流程

可靠的诊断始于比较，而非自动化代码。保留第一个响应，观察实时界面，并将每个目标字段连接到创建它的事件或资源。

1. 检查每个网站地图指令的 robots.txt，然后仅在备用情况下检查常见根位置。网站可以发布多个文件或跨主机索引。
2. 检测获取的文件是 URL 集还是网站地图索引。递归处理子网站地图位置，同时防止循环和重复下载。
3. 验证位置是绝对的、正确转义的，并且在网站地图位置的许可主机或路径范围内。
4. 小心规范化 URL，但保留网站认为是规范的区别。在没有证据的情况下，切勿抹去有意义的大小写、路径、本地化或查询差异。
5. 采样列出的 URL 并验证最终状态、重定向目标、规范目标和内容。一个语法上有效的网站地图仍然可能包含操作上不良的条目。

将结果文档化为小型提取合同：目标 URL 模式、公共上下文、源层、准备条件、选择器或响应字段、唯一键、继续规则、结束规则和验证检查。此合同比包含相同假设而没有命名的脚本更耐用。

在定义合同时使用来自主要技术文档的证据。相关的基础知识包括 网站地图 XML 协议 Google 网站地图创建指南。这些来源描述平台和协议的行为；目标网站的实时行为仍然需要自己的观察。

常见错误

关于网站地图的大多数失败来源于将方便信号替代工作流程所需的实际状态。以下错误可能返回似是而非的输出，这使它们比明显错误更危险。

• 将网站地图视为完整的站点库存会错过未列出和通过 JavaScript 发现的页面。
• 将每个列出的 URL 视为可索引忽略访问规则、noindex 指令、规范信号和响应状态。
• 对每个 URL 使用文件修改时间会导致新鲜度元数据噪声较大，实用性降低。
• 忘记网站地图索引将导致抓取程序收集子文件 URL，而不是实际内容 URL。
• 混合主机或无效的相对 URL 可能会把条目推向协议的预期范围之外。

通过内容级断言来防止这些失败。要求一个已知容器、至少一个稳定的键（当结果被期望时）、批次内没有重复键、一致的排序（在排序重要的情况下），以及一个被识别的空状态或结束状态。存储足够的上下文以在不记录凭据或私人数据的情况下重现可疑结果。

可维护工作流程的最佳实践

优先考虑稳定的含义而不是视觉位置。 选择器和规则应描述值的角色，而不是其在布局中的临时位置。当结构化响应是页面使用的权威公共来源时，保留相关字段映射并对其进行验证。

明确状态。 记录本地化、视口、路径、公共会话假设、过滤器、排序顺序和继续值。一个没有其状态的值可能无法与后续捕获进行比较。

分离发现、获取、渲染和提取。 每个阶段都有不同的成本和故障模式。分离使工作仅渲染需要它的 URL，重新处理存储的响应而无需新流量，并在记录进入下游系统之前检查不完整的记录。

使用有限的工作。 定义每次运行的最大页面、滚动动作、活动请求和记录。边界保护目标服务和收集系统，以应对下一个控制循环、光标重复或页面创建意外的抓取空间。

尊重出版商和用户。 检查适用的 robots.txt，遵循条款和法律，仅收集为特定目的所需的公共字段，避免私人或受限区域，并保持请求量在保守范围内。技术访问与每种用途的授权并不相同。

结论

网站地图最有用的地方是作为操作模型：识别数据存在的位置，观察该状态是如何生成的，选择能够重现该状态的最小收集方法。最强的工作流程比较源状态和呈现状态，遵循明确的继续信号，并使用持久键验证记录。

从一个代表性的 URL 开始，在扩展之前编写提取合同。这个小步骤可以在修复成本仍然较低时暴露隐藏的时序、路由、分页和政策假设。只有在工作流程能够解释每个记录为何完整以及每个字段来自何处之后，才进行扩展。