零售分析：设计竞争对手产品组合数据集

摘要：

• 竞争对手货架数据集需要将产品记录与报价记录分开。 同一产品可能在多个零售商、卖家或包装规格下出现。
• 品类覆盖需要分母。 只有在知道观测范围和采集完整度时，才能对货架进行比较。
• 空货架记录可能意味着多种情况。 要区分下架商品、采集不完整和暂不可售的报价。
• 匹配质量决定比较是否站得住脚。 要区分精确标识符匹配与推断匹配。

---

介绍

两家零售商列出同一款耳机。其中一个页面包含充电盒，另一家只售耳机本体。按标题匹配会抹掉包装差异。按 URL 计数为产品时，当同一商品出现在多个品类中，又会产生相反的问题。

在比较货架宽度之前，先定义一行产品记录代表什么。然后在单独的记录中维护零售商的商品列表、报价和品类覆盖。

货架对比背后的数据集

从已批准的品类页面出发，对发现的商品列表做信息丰富，再在报告重叠度之前解析产品身份。W3C 溯源模型可以帮助将每一行追溯到生成它的品类或商品页面。

记录每次货架扫描的边界

一次品类观测覆盖指定的零售商、市场、采集路径和抓取时间窗口。保存源站面包屑导航和分配的内部品类。记录分页或“已批准商品发现”推进到哪里，以及任何阻止采集的页面状态。

品类筛选和下一页控件可能需要基于浏览器的网页自动化。将品类 URL、筛选条件和最后完成的页码与运行记录在一起，这样部分结果就不会被误读为零售商的完整货架。

品类定义应说明包含哪些内容。“耳机”部门可能会将头戴式产品、入耳式耳塞、配件和翻新机混合在一起。使用从源站品类到内部分类体系的对照表。要进行版本化，以便将分类变化与货架实际变动区分开来。

为产品、商品列表和报价分别设定主键

产品身份描述的是商品本身，而报价描述的是零售商或卖家如何将其呈现出售。使用带命名空间的源标识符，保留可见品牌和型号，并在尺寸或包装数量会改变顾客实收内容时进行记录。Schema.org GTIN 属性定义了一种产品标识符，在其存在且已验证时可用来做关联。

对于在选择后才加载型号或包装属性的已批准页面，使用云浏览器进行目录采集。使用 Scrapeless 定价将这些信息丰富访问与品类发现分开做预算。

依据 ProductGroup 词汇所示的关系，将产品组与其变体区分开来。零售商的某个型号家族 URL 可能会展示多个变体。要在观测记录中保留所提供的变体和卖家，以便分析人员可以选择一致的比较层级。

开始用 Scrapeless 采集数据

使用 Scrapeless 强化你的网页抓取与自动化工作流！
立即注册即可获得 5 美元免费额度 —— 无需信用卡。

现在就前往 Scrapeless 控制台领取你的免费额度。

解析包装和变体差异

一次匹配应记录支持该关联的依据。在包装和变体一致时使用已验证的标识符。当无通用标识符可用时，品牌和制造商型号会很有用。标题相似度只能生成候选，若产品属性不同则需要佐证。

对于耳机示例，在宽度报告中，这些报价可以归属于同一型号家族，但在定价时仍保留为不同包装记录。在数据集中保留“带充电盒”属性和匹配置信度，以便报表能支持这两种比较方式。

表	一行代表的内容
产品变体	已解析出的型号与选项组合
零售商商品列表	零售商以源站为范围的商品列表身份
报价观测	在捕获时间来自某个市场中卖家的某个商品变体报价
品类运行	针对某零售商品类的已观测范围与完整度
匹配决策	由已记录属性支持的带版本映射

使用覆盖标记报告重叠情况

一个有用的重叠指标，会比较可比品类与范围内已匹配的产品。展示已匹配、未解决以及仅源站存在的产品数量，并给出重叠百分比。如果某个零售商的扫描只覆盖了品类首页，将该对比标记为部分覆盖。

如果分析师之后添加了价格监控流程，将其关联到已匹配的变体或多包装。用于广度统计的产品家族级匹配，在报价对比时仍可能过于粗糙。

将品类在场情况与可售状态作为单独指标。已上架但缺货的商品，仍然计入上架广度。将下架事件保留给一条明确定义的规则：该规则基于完整覆盖，并在可用时辅以后续观测。Etsy 商品提取流程提供了一个相关示例，说明如何在下游规范化前保留源站标识符。

结论

给营运团队一个可解释的统计结果。与重叠率一起，报告匹配粒度、已观测范围以及未解决条目，并保留商品上架证据，以便在个别产品争议中使用。

---

准备开始构建你的商品组合数据集了吗？

加入 Discord 或 Telegram 社区，与正在构建商品组合分析流程的开发者交流。在 Scrapeless 控制台 创建账号开始使用。

---

常见问题

问：每个商品 URL 都应算作一个独立的商品组合条目吗？

按报表定义的商品粒度计数。变体 URL 与重复陈列可能描述的是同一商品或同一商品家族。

问：缺失的商品在何时被视为下架？

下架决策需要可比且足够完整的覆盖。在证据满足该规则之前，将其记录为在已观测范围内的缺失。

问：商品组合监控一定要用代理吗？

当目录取决于访问者所在市场时，一个被允许的区域路由会有所帮助。拥有经批准数据源的本地目录，可以继续使用其惯常访问方式。

问：如果品类页面发生变化或出现验证挑战怎么办？

将受影响的覆盖标记为不完整。在用下一次运行的数据做指标前，先确认获批访问方式，并校验选择器和品类映射。

问：这个流程可以不依赖 AI 代理运行吗？

使用调度器和确定性的匹配规则即可运行核心流水线。采用有上限的按主机并发度，并将有歧义的匹配发送人工复核。

问：这个数据集可以使用任何公开的商品列表吗？

检查数据源条款、授权和适用法律。在允许的发现路径内获取数据，并在需要再利用时咨询法律顾问。