Loading Light/Dark Toggle
返回博客

用于内容和市场研究的 Google SERP 摘要

Alex Johnson
Alex Johnson

Senior Web Scraping Engineer

12-Nov-2026

摘要:

  • Google 搜索结果页(SERP)摘要可以支持主题发现。 将标题、摘要和返回位置组合成一个表格,供分析人员审阅。
  • 摘要是搜索摘录,而不是完整的源页面。 对重要论断要回到目标内容进行核实。
  • 字段覆盖率衡量的是“是否存在”。 摘要非空并不证明其具有相关性、准确性或事实支撑。
  • 在每个主题标签背后保留源记录。 保留原始 JSON,并将自动标签视为候选项。

引言:把搜索摘录转化为研究问题

搜索标题和摘要揭示了一个查询在返回结果中是如何被呈现的。它们可以帮助内容团队识别值得深入研究的主题、常见的产品语言,或需要更仔细阅读的问题。

本教程使用来自 Scrapeless Google Search API 的 organic_results 来创建一个主题发现用的 CSV。每一行都保留返回的标题、摘要、位置和链接,以及一个透明的候选主题标签。输出结果是一个研究队列,而不是市场规模估计,也不是对尚未阅读页面的事实综合。

Google Search 响应示例 提供了字段说明,actor 请求工作流 解释了采集过程。这里的工作从一个已保存的响应开始,以便在不重复采集同一查询的情况下反复进行分析。

SERP 摘要可以告诉你什么

摘要可以显示某个页面为何看起来与查询相关,但它并不能保证重现一个固定描述或完整的页面论证。它的有用性取决于你提出的研究问题。

Google 对搜索结果摘要的说明描述了摘要如何从页面内容生成,并且可以随查询而变化。因此,一个摘要应当与其被观测到的查询和响应保持关联。

在内容研究中,一组“准备相关”的术语可以提示一个值得探索的主题。在市场研究中,反复出现的“交付”或“订阅”语言可以提示一个值得核查的客户主张。两种观察都不能告诉你有多少人想要该产品,或者页面中的某个说法是否正确。

返回位置增加了搜索语境,但它并不提供点击率、搜索量、收入或需求。除非这些度量来自单独且来源合适的数据集,否则不要把它们放入这个表中。

设计一个主题发现表

一个有用的研究表既要保留观察到的文本,又要让所有新增的解释可见。在审阅者检查之前,避免用生成的摘要替换原始摘要。

列 作用
row_index 在保存的数组中定位记录
returned_position 保留 API 的位置值
title 保留返回结果的标题
snippet 保留返回的摘录
returned_link 保留后续审阅用的目标候选链接
topic_candidates 存储此脚本添加的标签
snippet_present 记录是否有非空文本可用
source_file 将行追溯到其保存的 JSON

对于多查询研究,可以在此模式上扩展运行标识符和精确输入字段。记录应通过其与源响应的关联来保留 q、请求的语言区域和采集时间。一旦合并了多个查询的文件,就不要仅依赖文件名。

这种方法遵循了数据来源(provenance)的目的:保留源材料与派生值之间的关系。主题标签应当可以审计回生成它的那段文本。

从已保存的响应构建 CSV

下面的程序通过在标题和摘要中查找词语来分配简单的候选标签。规则在代码中是可见的,未被分类的行也会保留在输出中。
先决条件是 Python,以及已完成的 Google 搜索响应并保存为 serp.json。保存的是 API 响应对象本身,而不是自定义封装。使用 Google Search 快速入门 创建响应,然后将程序保存为 snippet_topics.py,并在同一目录下运行 python snippet_topics.py。

示例规则涉及咖啡的制作、营养与购买。它们是说明性分类法,而不是经过训练的分类器或经验证的市场细分。程序可以为一条记录分配多个候选主题。

python Copy
import csv
import json
from pathlib import Path


def sheet_text(value):
    text = value if isinstance(value, str) else ""
    if text.lstrip().startswith(("=", "+", "-", "@")):
        return "'" + text
    return text


data = json.loads(Path("serp.json").read_text(encoding="utf-8"))
if not isinstance(data, dict) or not isinstance(data.get("organic_results"), list):
    raise ValueError("Expected an organic_results array")
rows = data["organic_results"]
rules = {
    "preparation": ("brew", "roast", "espresso"),
    "nutrition": ("nutrition", "caffeine", "calorie"),
    "buying": ("shop", "buy", "delivery"),
}
fields = ["row_index", "returned_position", "title", "snippet", "returned_link", "topic_candidates", "snippet_present", "source_file"]
present = 0
with Path("topic-discovery.csv").open("w", newline="", encoding="utf-8") as handle:
    writer = csv.DictWriter(handle, fieldnames=fields)
    writer.writeheader()
    for index, row in enumerate(rows, start=1):
        if not isinstance(row, dict):
            raise ValueError(f"Invalid item at row {index}")
        title, snippet = row.get("title"), row.get("snippet")
        has_snippet = isinstance(snippet, str) and bool(snippet.strip())
        present += int(has_snippet)
        text = " ".join(x for x in (title, snippet) if isinstance(x, str)).casefold()
        topics = [name for name, terms in rules.items() if any(term in text for term in terms)]
        writer.writerow({
            "row_index": index,
            "returned_position": row["position"] if type(row.get("position")) is int else "",
            "title": sheet_text(title), "snippet": sheet_text(snippet),
            "returned_link": sheet_text(row.get("link")),
            "topic_candidates": ";".join(topics) or "unclassified",
            "snippet_present": has_snippet, "source_file": "serp.json",
        })
print(json.dumps({"returned_rows": len(rows), "rows_with_nonempty_snippet": present,
                  "snippet_coverage": present / len(rows) if rows else None}))

Python 的 CSV writer 会处理逗号和换行的引用问题。sheet_text 函数还会为以电子表格公式标记开头的文本添加前缀,使这些值在作为文本查看时更安全。未更改的原始内容保留在 serp.json 中。

脚本会根据其实际输入报告字段覆盖率。当没有返回行时,它会将比例留空,因为该计算没有可观察的分母。这与存在有效行但没有摘要片段的零覆盖集合不同。

开始使用 Scrapeless 进行抓取

使用 Scrapeless 强化你的网页抓取和自动化工作流!
立即注册即可获得 5 美元免费额度 —— 无需信用卡。

现在就在 Scrapeless 控制台 领取你的免费额度。

用合适的分母衡量摘要片段覆盖率

摘要片段覆盖率是指:包含非空摘要片段的返回自然结果数量,除以已检查的返回自然结果数量。这是对字段可用性的度量。

在比较不同集合的覆盖率之前,先确定可用数值的判定规则。此脚本要求字符串中包含除空白之外的内容。仅统计 snippet 键的存在会把文本分析步骤无法使用的空值和 null 值也算进去。

将请求可用性单独处理。如果某些搜索请求失败,那么它们缺失的行不会包含在只由返回记录构成的分母中。一个数据集在已返回行中可以具有很高的摘要片段覆盖率,同时仍然缺失许多计划中的搜索。

同样要将准确性单独处理。格式良好的摘要片段可能被截断、脱离上下文、与预期研究问题无关,或得不到当前可访问页面的支持。覆盖率并不能回答这些问题。

本教程不会复用历史汇总的覆盖率百分比。程序根据提供给它的实际 JSON 计算该指标,因此读者可以复现分子和分母。

将候选主题转化为审阅队列

当审阅者将候选标签转化为具体待调查问题时,这些标签才会变得有用。先结合阅读标题和摘要片段,然后在依赖某项陈述之前检查目标页面。

例如,一条匹配 nutrition 规则的记录,可以进入一个队列,用来询问在所选查询的结果中出现了哪些营养相关的问题。该标签并不授权任何健康结论。内容团队在撰写实质性建议前,应查阅合格的一手资料。

匹配 buying 的记录可能表明值得深入探查的商业措辞。在描述市场模式之前,要先核实页面与产品/服务。某个零售商如果在相关查询中反复出现,就可能主导表格,却并不能代表整个市场。

保留未分类的行以供人工审阅。它们的语言可能揭示出缺失的类别,或者与研究目的无关。如果悄然丢弃它们,会让自动分类法看起来比实际更完整。

对每个已审阅的候选记录,标记一个决策,例如“需要调查”“排除”或“证据不足”。将审阅后的最终 URL 与返回的链接单独记录。当原始链接是 Google 中转页,或者目标页面发生变更时,这一区别非常重要。

避免抽样与解读错误

搜索得出的表格反映的是所选查询及采集设置。它既不是市场的随机样本,也不是所有相关网站的完整集合。

在得出结论之前,先定义查询列表。包括用来测试不同搜索意图的变体,并保持 国家与语言参数 明确可见。如果一个查询是商业导向而另一个是信息导向,就不要把它们的主题计数当作具有相同意图来比较。
重复的片段会抬高主题计数。请决定分析是统计出现次数、不同返回链接,还是已验证页面。无论选择哪种定义,都要保留原始行,并在任何图表或摘要旁解释聚合规则。

在发现阶段使用简短摘录,并在最终研究过程中链接回检查过的来源。避免重新发布大量第三方文本来替代原创分析。让采集频率和留存与实际研究需求以及当前定价保持一致。

结论:将发现与证据分开

当每个标签都保持与其源记录的连接时,Google 搜索结果摘要为内容和市场研究提供了一个实用的起点。透明的 CSV 有助于更轻松地审查主题、检查缺失字段,并决定哪些页面值得深入阅读。

从 Scrapeless Google Search API 开始,保留 JSON,并让第一个输出成为一个可审核的问题列表。更有力的结论应在检查来源和明确定义样本之后得出。

构建你的搜索数据工作流

加入与搜索数据打交道的开发者社区:Discord · Telegram。

创建一个 Scrapeless 账户,在安排更大规模的数据采集之前,先将本教程应用于一小组查询。

常见问题

问:摘要能否代替阅读源页面?

不能。摘要是与搜索结果关联的节选。应将重要论断与目标内容进行核实。

问:摘要覆盖率能衡量准确性吗?

不能。它衡量的是在定义的非空值规则下,所选摘要字段是否可用。

问:没有摘要的记录会怎样?

程序会保留这些记录,标记摘要可用性,并仍然可以从标题中识别候选主题。审查这些行时要注意其缺失的上下文。

问:主题标签是 API 响应字段吗?

不是。topic_candidates 是示例脚本添加的。可见词规则解释了如何分配每个候选标签。

问:返回位置能衡量市场需求吗?

不能。位置描述的是搜索观察结果。需求需要其他证据以及适合该问题的方法。

问:分析是否需要 LLM 或额外的 API 调用?

不需要。程序使用 Python 标准库在本地分析已保存的 JSON 响应。

在Scrapeless,我们仅访问公开可用的数据,并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用,不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证,并免除所有责任。在进行任何抓取活动之前,请咨询您的法律顾问,并审查目标网站的服务条款或获取必要的许可。

最受欢迎的文章

目录