Cách tự động phân tích khoảng trống nội dung với dữ liệu SERP trực tiếp

TL;DR:

• Phân tích khoảng trống nội dung tự động bắt đầu với các truy vấn mà bạn đã sở hữu. Xuất từ Search Console cho thấy nơi mà một trang hiện có hiển thị nhưng chưa đáp ứng đủ ý định.
• Một SERP trực tiếp là tập hợp so sánh. Ghi lại loại kết quả, URL xếp hạng, tiêu đề và đoạn trích trước khi lấy bất kỳ trang nào.
• Các trang cạnh tranh là bằng chứng cấu trúc, không phải nguồn sao chép. So sánh tiêu đề, thực thể chủ đề, câu hỏi và định dạng nội dung mà không sử dụng lại văn bản hoặc hình ảnh.
• Một ma trận khoảng trống cần có nguồn gốc. Mỗi chủ đề thiếu nên liên kết lại với truy vấn, URL kết quả, tiêu đề trang và thời gian thu thập đã tạo ra nó.
• Một bản tóm tắt nội dung là sản phẩm dữ liệu cuối cùng. Ưu tiên, định dạng đề xuất, phần cần thiết, ứng cử viên FAQ và ghi chú xác thực làm cho phân tích có thể hành động được.
• Miễn phí để bắt đầu. Tài khoản Scrapeless mới bao gồm thời gian chạy miễn phí để thử nghiệm các giai đoạn tìm kiếm và thu thập trang.

Phân tích khoảng trống nội dung trở nên cũ kỹ ngay khi kết quả tìm kiếm hoặc các trang cạnh tranh thay đổi. Một bảng tính được lắp ráp một lần vẫn có thể hướng dẫn một biên tập viên, nhưng nó không thể chỉ ra xem bằng chứng đã thay đổi vào tuần trước hay URL xếp hạng bây giờ phục vụ một trang khác.

Một quy trình tự động khắc phục vấn đề đó bằng cách coi phân tích như một pipeline dữ liệu nhỏ. Nó bắt đầu với dữ liệu truy vấn từ bên thứ nhất, ghi lại cảnh quan tìm kiếm hiện tại, lấy các trang xác định ý định, chuẩn hóa tín hiệu cấu trúc, và biến những tín hiệu đó thành một bản tóm tắt mà một biên tập viên có thể xem xét.

Pipeline at a Glance

Một phân tích khoảng trống nội dung tự động có sáu giai đoạn:

Quy trình sử dụng Deep SerpApi để có kết quả tìm kiếm có cấu trúc và Universal Scraping API cho các trang xếp hạng công cộng cần thu thập có quản lý. Các API này thực hiện các nhiệm vụ khác nhau, vì vậy hãy giữ các đầu ra của chúng riêng biệt trong sơ đồ.

Stage 1 — Chọn Từ Khóa Từ Dữ Liệu Bên Thứ Nhất

Các truy vấn khởi đầu tốt nhất đã có mối quan hệ với trang web của bạn. Các dòng trong Search Console có thể tiết lộ một trang tạo ra lượt hiển thị cho một truy vấn nhưng có lượt nhấp yếu, một trang xếp hạng cho một số ý định liên quan, hoặc một chủ đề có hiệu suất giảm.

Phương pháp Truy vấn Phân tích Tìm kiếm trả về dữ liệu hiệu suất tìm kiếm theo nhóm. Xuất chỉ những trường cần thiết cho việc ưu tiên và giữ trang gốc bên cạnh mỗi truy vấn.

Một hồ sơ ứng cử viên hữu ích chứa:

• query
• owned_url
• country
• device
• clicks
• impressions
• position
• khoảng thời gian báo cáo được sử dụng cho việc xuất khẩu

Đừng xếp hạng các ứng cử viên chỉ bằng một chỉ số duy nhất. Một thuật ngữ có lượt hiển thị cao có thể không liên quan đến trang, trong khi một thuật ngữ nhỏ hơn có thể đại diện cho một quyết định thương mại hoặc kỹ thuật giá trị. Thêm một kiểm tra phù hợp ý định thủ công trước khi pipeline chi tiêu yêu cầu cho một truy vấn.

Stage 2 — Ghi lại SERP Trực Tiếp

SERP trực tiếp xác định những gì công cụ tìm kiếm hiện đang coi là liên quan. Ghi lại các kết quả tự nhiên, mô-đun trả lời, định dạng nặng về video hoặc hình ảnh, và các miền lặp lại như các loại kết quả riêng biệt.

Lưu ý: Yêu cầu đã xác thực dưới đây yêu cầu một SCRAPELESS_API_KEY được sở hữu bởi người đọc. Hình dạng yêu cầu và tác nhân được xác nhận dựa trên tài liệu Deep SerpApi hiện tại; môi trường này không thực hiện cuộc gọi có thẩm quyền.

import os
import requests

response = requests.post(
    "https://api.scrapeless.com/api/v1/scraper/request",
    headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"]},
    json={
        "actor": "scraper.google.search",
        "input": {
            "q": "content gap analysis",
            "gl": "us",
            "hl": "en",
            "google_domain": "google.com"
        }
    },
    timeout=60
)
response.raise_for_status()
if response.status_code != 200:
    raise RuntimeError("The task did not return a direct result")
serp = response.json()

Lưu trữ phản hồi thô trước khi chuyển đổi nó. Deep SerpApi trả về dữ liệu tìm kiếm có cấu trúc, nhưng pipeline vẫn nên bảo tồn tải trọng gốc để người xem có thể kiểm tra bất kỳ giả định nào của bộ phân tích sau này.

Đối với mỗi kết quả tự nhiên, giữ lại thứ hạng, tiêu đề, URL, đoạn trích, loại kết quả, truy vấn, địa phương và thời gian thu thập. Lớp tìm kiếm không nên quyết định rằng một tiêu đề đang thiếu; nó chỉ cung cấp các ứng cử viên để thu thập trang.

Stage 3 — Thu Thập Các Trang Xếp Hạng Mà Không Mất Danh Tính

Một URL xếp hạng không đủ bằng chứng. Giai đoạn thu thập phải xác nhận rằng URL cuối cùng, tiêu đề trang, và nội dung chính mô tả kết quả được chọn trong Giai đoạn 2.
Trạng thái HTTP chỉ là một phần của kiểm tra đó. Thông số nghĩa HTTP định nghĩa trạng thái phản hồi và siêu dữ liệu đại diện, nhưng một phản hồi thành công vẫn có thể chứa một màn hình đồng ý, chỉ mục chung hoặc trang thử thách.

Sử dụng Universal Scraping API khi HTTP trực tiếp không trả về nội dung công khai cần thiết. Đường dẫn hiện tại cho việc kết xuất JavaScript chấp nhận unlocker.webunlocker với một URL mục tiêu và một loại phản hồi như HTML hoặc Markdown.

Lưu ý: Khối thu thập này cũng cần SCRAPELESS_API_KEY; nó là một điều kiện tiên quyết đã được ghi chép hơn là một kết quả trực tiếp được yêu cầu.

page = requests.post(
    "https://api.scrapeless.com/api/v2/unlocker/request",
    headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"]},
    json={
        "actor": "unlocker.webunlocker",
        "proxy": {"country": "ANY"},
        "input": {
            "url": "https://example.com/ranking-page",
            "jsRender": {
                "enabled": True,
                "response": {"type": "markdown"}
            }
        }
    },
    timeout=60
)
page.raise_for_status()
payload = page.json()
if payload.get("code") != 200:
    raise RuntimeError("The page response was not accepted")
markdown = payload["data"]

Tuân theo Giao thức loại trừ Robot, điều khoản trang web và luật pháp áp dụng. Phân tích khoảng cách nội dung cần cấu trúc biên tập công khai, không phải trang riêng tư, nội dung chỉ dành cho tài khoản hoặc hồ sơ cá nhân.

Bắt đầu thu thập với Scrapeless

Tăng cường quy trình thu thập dữ liệu và tự động hóa của bạn với Scrapeless!
Đăng ký ngay hôm nay và nhận 5 đô la tín dụng miễn phí — không cần thẻ tín dụng.

Nhận tín dụng miễn phí của bạn ngay bây giờ trong Bảng điều khiển Scrapeless.

Giai đoạn 4 — Chuẩn hóa tiêu đề, chủ đề và câu hỏi

Chuẩn hóa chuyển đổi các trang có đánh dấu khác nhau thành các bản ghi có thể so sánh. Trích xuất tiêu đề, văn bản H1, H2 và H3, tiêu đề câu hỏi rõ ràng, loại nội dung và một tập hợp nhỏ các cụm từ chủ đề. Loại bỏ nhãn điều hướng, văn bản chân trang lặp lại và tiêu đề trống.

Sơ đồ nên giữ nguyên đơn giản và rõ ràng:

{
  "query": "content gap analysis",
  "ownedUrl": "https://example.com/owned-page",
  "resultUrl": "https://example.org/ranking-page",
  "resultType": "organic",
  "rank": 3,
  "contentType": "tutorial",
  "headings": ["What a content gap is", "Build a gap matrix"],
  "questions": ["How often should the analysis run?"],
  "topics": ["search intent", "page structure", "content brief"],
  "collectedAt": "illustrative timestamp"
}

Đây là một hình dạng bản ghi minh họa. Giá trị sản xuất đến từ phản hồi tìm kiếm đã lưu và trang đã thu thập, không phải từ văn bản được tạo ra.

Giai đoạn 5 — Xây dựng Ma trận Khoảng cách

Ma trận khoảng cách so sánh các tín hiệu, không phải câu. Một chủ đề được coi là đã được bao phủ khi trang sở hữu giải quyết cùng một nhu cầu của người đọc, ngay cả khi nó sử dụng ngôn từ khác nhau.

Chấm điểm từng ứng viên dựa trên:

• Tần suất SERP: số lượng các trang xếp hạng khác nhau bao phủ chủ đề;
• Sự phù hợp với ý định: liệu chủ đề có thuộc về trang sở hữu không;
• Phạm vi đã sở hữu: vắng mặt, mỏng manh, lỗi thời hoặc đã đủ;
• Chất lượng bằng chứng: bằng chứng ở cấp độ tiêu đề mạnh hơn một cụm từ thoáng qua;
• Giá trị kinh doanh: quyết định hoặc nhiệm vụ mà phần giúp người đọc hoàn thành.

Ví dụ xác định này xếp hạng các khoảng cách từ các tập hợp chủ đề đã chuẩn hóa:

from collections import Counter

owned_topics = {"definition", "keyword gaps"}
ranking_pages = [
    {"search intent", "keyword gaps", "content brief"},
    {"search intent", "topic gaps", "content brief"},
    {"search intent", "content brief", "faq questions"},
]

frequency = Counter(topic for page in ranking_pages for topic in page)
gaps = [
    {"topic": topic, "pageCount": count, "priority": "high" if count >= 2 else "review"}
    for topic, count in frequency.most_common()
    if topic not in owned_topics
]

print(gaps)

Đầu ra là tái sản xuất được vì nó tách biệt bằng chứng thu thập được từ phán quyết biên tập. Một người đánh giá có thể thay đổi quyết định sự phù hợp với ý định hoặc giá trị kinh doanh mà không cần chạy lại tìm kiếm và thu thập.

Giai đoạn 6 — Tạo một Tóm tắt Nội dung Có thể Đánh giá

Tóm tắt nên giải thích những gì cần thay đổi và lý do. Một đầu ra hữu ích bao gồm:

• loại nội dung và công việc của người đọc được đề xuất;
• các phần hiện có cần giữ lại, hợp nhất hoặc mở rộng;
• các chủ đề thiếu thứ tự theo ưu tiên;
• các câu hỏi chung cần được trả lời trực tiếp;
• URL bằng chứng để xem xét nội bộ;
• ghi chú xác thực cho các yêu cầu cần một cơ quan chính;
• một hướng dẫn rõ ràng không sao chép ngôn từ, ví dụ hoặc số liệu của đối thủ cạnh tranh.

Trang cũng có thể phơi bày siêu dữ liệu Bài viết phù hợp với vốn từ Bài viết, nhưng dữ liệu có cấu trúc không thay thế một phần hữu ích hoặc yêu cầu đã được xác minh.

Lên lịch Quy trình xung quanh các quyết định

Chạy quy trình làm việc khi bằng chứng có thể thay đổi một quyết định: trước một sự làm mới lớn, sau một sự thay đổi xếp hạng có ý nghĩa, hoặc theo một lịch trình cho các trang có giá trị cao. Không thu thập cùng một SERP và các trang liên tục mà không có người tiêu dùng biên tập.

Lưu trữ các phản hồi thô riêng biệt với các bản ghi đã chuẩn hóa. Phiên bản ma trận khoảng cách và tóm tắt, sau đó so sánh mỗi lần chạy để biên tập viên thấy các chủ đề nào đã xuất hiện, biến mất hoặc thay đổi mức độ ưu tiên.

Kết luận

Phân tích khoảng cách nội dung tự động là một quy trình chứng cứ có sáu giai đoạn: chọn một truy vấn, thu thập SERP trực tiếp, thu thập các trang xếp hạng, chuẩn hóa cấu trúc, chấm điểm khoảng cách và tạo một bản tóm tắt có thể đánh giá. Phần khó khăn không phải là sinh ra thêm nhiều ý tưởng. Đó là việc bảo tồn nguồn gốc trong khi biến đổi bằng chứng web đang thay đổi thành một quyết định biên tập.

Sử dụng Deep SerpApi cho cấu trúc tìm kiếm, Universal Scraping API cho việc thu thập trang, và một ma trận xác định để so sánh. Giữ quyết định nội dung cuối cùng với một biên tập viên.

Xây dựng một Quy trình Nghiên cứu SEO Có thể Lặp lại

Xem cách pipeline định giá cạnh tranh bảo tồn chứng cứ qua các giai đoạn, so sánh giá hiện tại, và tạo một tài khoản Scrapeless. Tham gia cùng các nhà phát triển xây dựng quy trình dữ liệu web công cộng trên Discord hoặc Telegram.

Câu hỏi thường gặp

Q: Phân tích khoảng trống nội dung là gì?

Phân tích khoảng trống nội dung xác định các chủ đề, câu hỏi hoặc ý định mà một đối tượng cần nhưng bộ nội dung hiện có không bao quát tốt.

Q: Nên tự động hóa điều gì trước tiên?

Tự động hóa việc thu thập và chuẩn hóa có thể lặp lại trước tiên; giữ lại sự phù hợp về ý định, giá trị kinh doanh và các quyết định biên tập cuối cùng để có thể được xem xét bởi một người.

Q: Có nên sao chép tiêu đề từ các trang xếp hạng không?

Không. Các trang xếp hạng cung cấp chứng cứ cấu trúc về nhu cầu của người đọc lặp đi lặp lại, không phải ngôn ngữ để tái tạo.

Q: Tại sao nên kết hợp dữ liệu tìm kiếm với việc trích xuất trang?

Dữ liệu tìm kiếm xác định các trang nào định nghĩa bộ kết quả hiện tại, trong khi việc trích xuất trang tiết lộ các chủ đề và câu hỏi mà các trang đó thực sự bao quát.

Q: Bao lâu thì nên chạy phân tích khoảng trống nội dung?

Chạy nó khi chứng cứ đã cập nhật có thể ảnh hưởng đến quyết định làm mới hoặc xuất bản, với nhịp độ phù hợp với giá trị kinh doanh của trang và sự biến động SERP.

Q: Phân tích nội dung cạnh tranh tự động có hợp pháp không?

Sử dụng các trang công khai, tôn trọng các kiểm soát truy cập và điều khoản trang áp dụng, giảm thiểu việc thu thập, và nhận tư vấn pháp lý cho khu vực pháp lý và trường hợp sử dụng liên quan.