返回博客

Scrapeless 每周更新日志:2026 年 10 月 12–18 日更新

Daniel Kim
Daniel Kim

Lead Scraping Automation Engineer

19-Oct-2026

摘要:

  • ChatGPT Scraper 现在会返回引用频率和位置元数据。 新增的 cited_count 和 index 字段为引用分析提供更多上下文。
  • Copilot Scraper 可以返回页面 HTML。 将 should_fetch_html 设置为 true,即可在 html 响应字段中获取 HTML。
  • AI Scraper 任务执行整体更快。 本周还改进了 Gemini 的解析与输出格式,以及 Copilot 的上下文处理。
  • TikTok Scraper 产品页面已上线。 开发者可以从一个专门入口探索支持的个人主页、帖子以及 Shop 商品集合等工作流。
  • 免费 Scrapeless 反机器人检测工具已提供。 这款 Chrome 插件可识别支持的反机器人、CAPTCHA 和浏览器指纹信号,并提供可检查的证据。

AI 答案审核既需要结构化数据,也需要足够的上下文来检查原始结果。10 月 12–18 日的版本为 ChatGPT Scraper 新增了引用元数据,并为 Copilot Scraper 提供可选的 HTML 输出。本周还带来了更快的 AI Scraper 任务执行速度、解析改进、专门的 TikTok Scraper 页面以及一个免费的浏览器诊断扩展。

ChatGPT 新增引用频率和位置

ChatGPT Scraper 响应现在包含用于引用分析的 cited_count 和 index 字段。

Field Meaning How teams can use it
cited_count 某个被引用来源被引用的总次数 比较同一答案中不同来源被重复使用的情况
index 引用在答案正文中的位置索引 在审查响应时快速定位某个引用

这些字段帮助 AI 可见性团队保留比简单来源 URL 列表更多的上下文。应将元数据与其描述的答案一同存储,以便审核人员能将引用频率和位置与同一结果关联起来。重复引用是一个值得检查的有用信号,但并不能证明该来源一定准确。

ChatGPT Scraper 参考文档介绍了更广泛的请求与响应接口。JSON 数据交换标准定义了用于存储此类字段的结构化格式;字段含义则属于 scraper 响应契约的一部分。

Copilot 新增可选页面 HTML

Copilot Scraper 现在接受 should_fetch_html: true,并通过 html 字段返回所请求的页面 HTML。

当团队希望在审查或自行处理时,将页面标记与已解析的答案数据一并保留时,此选项非常有用。HTML Living Standard定义了应用在解析或转换该标记时所使用的文档语法。

Direction Field Behavior
Request should_fetch_html 设为 true 以请求页面 HTML
Response html 包含返回的 HTML

在将该选项加入集成时,请查阅 Copilot Scraper 参考文档,了解相关的 actor 契约。

使用 Scrapeless 开始抓取

利用 Scrapeless 强化你的网页抓取与自动化工作流!
立即注册即可获得 5 美元免费额度 —— 无需信用卡。

现在就到 Scrapeless 控制面板领取你的免费额度。

AI Scraper 执行与输出改进

本周 AI Scraper 的整体任务执行速度有所提升。本次发布未附带固定的时延减少指标;完成时间仍会随引擎与请求而变化。

两项引擎相关更新提升了结果处理能力:

  • Gemini: 优化了数据解析和输出格式。
  • Copilot: 改进了与上下文相关的处理。

配合新增的输出字段,这些更新共同提升了团队收到的数据质量,以及交付数据的任务流程。

专门的 TikTok Scraper 页面已上线

全新的 TikTok Scraper 产品页面为支持的公开个人主页、创作者帖子以及 TikTok Shop 商品工作流提供了统一的入口。
该页面将现有的采集能力整合在一起,供开发者评估用于创作者研究或商业分析的 TikTok 数据。有关具体实现细节,TikTok Scraper API 指南解释了支持的采集任务。

免费反爬虫检测器帮助检查页面防护

Scrapeless Anti-bot Detector 是一款免费的 Chrome 扩展,可识别受支持的反爬虫和 WAF 系统、CAPTCHA 提供方以及浏览器指纹活动。它无需账号即可使用,并会展示匹配到的技术及其佐证证据。

在选择采集方案前,先使用该扩展检查页面。检测细节有助于区分“提供方匹配”与观测到的 API 活动,并为开发者提供具体信号以进一步排查。Chrome 扩展平台为这类增加浏览功能的工具提供浏览器集成模型。

该检测器是诊断工具:出现匹配意味着存在可用信号,而无匹配并不能证明网站没有防护。扩展识别的是相关技术,而不是用来破解防护挑战。

结论

本周的主要新增功能为 AI 回答类工作流提供了更多上下文:ChatGPT 获得了引用频率和位置数据,而 Copilot 可以返回页面 HTML。更快的任务执行和更精细的引擎处理进一步支持这些工作流。TikTok Scraper 页面和免费的 Anti-bot Detector 为采集规划和页面检查提供了更清晰的起点。

通过 Universal Scraping API 体验 AI Scraper,并在规划生产使用时查看 Scrapeless 价格。

准备好用 Scrapeless 构建了吗?

加入在 Scrapeless 社区中构建 AI 回答和网页数据工作流的开发者:Discord · Telegram。

前往 app.scrapeless.com 注册并开始使用。

常见问题

问:向 ChatGPT Scraper 新增了哪些引用字段?

ChatGPT Scraper 新增 cited_count 表示引用频率,index 表示引用在回答正文中的位置索引。

问:如何从 Copilot Scraper 请求 HTML?

将 should_fetch_html 设置为 true。所请求页面的 HTML 将在 html 响应字段中返回。

问:Scrapeless Anti-bot Detector 是免费的吗?

是的。Scrapeless Anti-bot Detector 是一款免费的 Chrome 扩展,无需账号即可使用。它会连同检测证据一起报告支持的防护和指纹信号。

在Scrapeless,我们仅访问公开可用的数据,并严格遵循适用的法律、法规和网站隐私政策。本博客中的内容仅供演示之用,不涉及任何非法或侵权活动。我们对使用本博客或第三方链接中的信息不做任何保证,并免除所有责任。在进行任何抓取活动之前,请咨询您的法律顾问,并审查目标网站的服务条款或获取必要的许可。

最受欢迎的文章

目录