Nghiên cứu từ khóa từ các động cơ trả lời AI: Khai thác cấu trúc của chính câu trả lời.

Tóm tắt:

• Câu trả lời của AI là một dàn ý nội dung sẵn có. Khi một công cụ trả lời một chủ đề, các tiêu đề và cụm từ được in đậm mà nó cấu trúc câu trả lời xung quanh là các tiểu đề mà nó coi là thiết yếu — khai thác những điều đó và bạn sẽ có một từ khóa và bản đồ dàn ý được xây dựng từ những gì mô hình thực sự trả về.
• Một câu lệnh, nhiều công cụ, một định dạng. Các diễn viên LLM không có scrapeless (scraper.chatgpt, scraper.gemini, scraper.perplexity, và những cái còn lại) chia sẻ một điểm cuối và một hình thức { status, task_id, task_result }, vì vậy một vòng lặp duy nhất sẽ lấy lại văn bản câu trả lời từ mỗi công cụ.
• Tín hiệu là cấu trúc của câu trả lời, không phải trích dẫn của nó. Các tiêu đề markdown và cụm từ ngắn được in đậm trong result_text là các tiểu đề; việc lấy chúng không cần khóa mô hình, chỉ cần một bộ phân tích.
• Sự chồng chéo giữa các công cụ sắp xếp các tiểu đề. Một tiểu đề mà nhiều công cụ độc lập đưa ra là một tiểu đề mà nội dung của bạn gần như chắc chắn cần đề cập đến.
• Nó hoạt động theo lịch trình. Đánh bắt lại một chủ đề hạt giống theo thời gian và theo dõi các tiểu đề mà các công cụ bắt đầu hoặc ngừng nhấn mạnh.
• Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm tín dụng dùng thử miễn phí — đăng ký tại app.scrapeless.com.

Quy trình tổng quát

Nghiên cứu từ khóa truyền thống bắt đầu từ một ô tìm kiếm và một ước lượng khối lượng. Nghiên cứu câu trả lời AI bắt đầu từ chính câu trả lời: hỏi công cụ về chủ đề hạt giống của bạn và đọc lại cấu trúc mà nó áp dụng — các phần mà nó chia nhỏ chủ đề, các khái niệm mà nó in đậm, thứ tự mà nó sắp xếp chúng. Cấu trúc đó là một tóm tắt nội dung mà mô hình đã viết cho bạn.

Quy trình xây dựng bao gồm ba giai đoạn dựa trên Universal Scraping API:

1. Thu thập — chạy một chủ đề hạt giống qua các công cụ trả lời AI thông qua các diễn viên Scrapeless của họ; lưu trữ mỗi câu trả lời.
2. Chiết xuất — lấy các tiêu đề và cụm từ ngắn được in đậm ra từ markdown của mỗi câu trả lời; đó là các tiểu đề ứng cử.
3. Sắp xếp — đếm số công cụ đưa ra mỗi tiểu đề; sự chồng chéo chính là thứ tự ưu tiên của bạn.

Đầu ra là danh sách các tiểu đề đã được sắp xếp mà bạn có thể biến thành một dàn ý, một bản tóm tắt, hoặc một cụm từ khóa. Đối với chỉ số phụ — nguồn gốc mà các công cụ trích dẫn — hãy xem hướng dẫn scraper tổng quan AI.

Bạn có thể làm gì với nó

• Xây dựng một bản tóm tắt nội dung từ câu trả lời. Các tiêu đề của công cụ trở thành H2 của bạn; các cụm từ in đậm trở thành các điểm cần đề cập dưới mỗi mục.
• Tìm khoảng trống trong trang hiện tại của bạn. So sánh các tiểu đề của công cụ với các phần bạn đã có và viết những gì còn thiếu.
• Phân nhóm từ khóa theo ý định. Các tiểu đề thường xuất hiện cùng nhau qua các công cụ thuộc về cùng một bài viết; những cái mà đứng riêng có thể xứng đáng có một trang riêng.
• Theo dõi sự biến đổi chủ đề. Đánh bắt lại hàng tháng và theo dõi các tiểu đề nào đang nổi lên — một cái nhìn sớm về nơi mà một chủ đề đang hướng tới.
• Tóm tắt cho các nhà viết với bằng chứng. "Ba công cụ cấu trúc điều này xung quanh X, Y và Z" là một tóm tắt mạnh mẽ hơn là một suy đoán.

Tại sao lại là các diễn viên LLM không có Scrapeless

Mỗi trợ lý AI là một ứng dụng JavaScript phía sau xác thực và bảo vệ chống tự động hóa; việc tự mình thu thập câu trả lời có nghĩa là tạo hình, đăng nhập và xoay proxy cho mỗi nền tảng. Các diễn viên LLM không có Scrapeless chạy máy chủ phía surface và trả về câu trả lời như một trường. Đối với việc khai thác tiểu đề cụ thể, chúng mang lại:

• Một định dạng { status, task_id, task_result } chung giữa các công cụ, vì vậy một vòng lặp và một bộ phân tích có thể bao phủ toàn bộ tập.
• result_text dưới dạng markdown — các tiêu đề và dấu hiệu in đậm được giữ nguyên, điều này chính xác là những gì bộ chiết xuất đọc.
• Đầu ra từ các địa chỉ sinh hoạt tại hơn 195 quốc gia, do đó một country gán cho biết cấu trúc câu trả lời mà một người dùng thực sự ở thị trường đó nhìn thấy.
• Không cần trình duyệt để chạy hoặc giữ đăng nhập — một điểm cuối, một tiêu đề x-api-token.

Mức giá cho dòng diễn viên dựa trên mức sử dụng với tín dụng dùng thử miễn phí khi đăng ký — các mức giá hiện tại có trên trang giá cả. Nhận khóa API của bạn trên gói miễn phí tại app.scrapeless.com.

Điều kiện tiên quyết

• Tài khoản và khóa API Scrapeless (kế hoạch miễn phí bao gồm tín dụng dùng thử) — app.scrapeless.com.
• Khóa trong môi trường của bạn:

export SCRAPELESS_API_KEY="your_api_token_here"

• Python 3 với requests. Bước trích xuất chỉ sử dụng thư viện tiêu chuẩn.

Giai đoạn 1 — Thu thập câu trả lời

Một vòng lặp bao phủ mọi động cơ, vì các tác nhân chia sẻ một điểm cuối và một phong bì. Văn bản câu trả lời được lưu vào result_text dưới dạng markdown, tiêu đề và ký hiệu đậm được giữ nguyên.

import json
import os
import time

import requests

ENDPOINT = "https://api.scrapeless.com/api/v2/scraper/execute"
HEADERS = {
    "Content-Type": "application/json",
    "x-api-token": os.environ["SCRAPELESS_API_KEY"],
}

SEED = "web scraping for beginners"
COUNTRY = "US"

ENGINES = {
    "chatgpt": {"actor": "scraper.chatgpt", "extra": {}},
    "perplexity": {"actor": "scraper.perplexity", "extra": {"web_search": True}},
    "gemini": {"actor": "scraper.gemini", "extra": {}},
}

with open("answers.jsonl", "w", encoding="utf-8") as out:
    for platform, spec in ENGINES.items():
        payload = {"actor": spec["actor"], "input": {"prompt": SEED, "country": COUNTRY, **spec["extra"]}}
        data = requests.post(ENDPOINT, headers=HEADERS, json=payload, timeout=300).json()
        result = data.get("task_result") or {}
        out.write(json.dumps({
            "platform": platform,
            "seed": SEED,
            "captured_at": int(time.time()),
            "status": data.get("status"),
            "result_text": result.get("result_text") or "",
        }) + "\n")
        print(f"{platform}: {data.get('status')}")

Mỗi dòng của answers.jsonl là câu trả lời đầy đủ của một động cơ cho hạt giống.

Nhận khóa API của bạn trên kế hoạch miễn phí: app.scrapeless.com

Giai đoạn 2 và 3 — Trích xuất các đề tài phụ và xếp hạng theo sự chồng chéo

Lấy các tiêu đề và cụm từ ngắn được in đậm từ markdown của mỗi câu trả lời, sau đó đếm xem có bao nhiều động cơ đã đưa ra từng cái. Các tiêu đề web_results được cố ý bỏ qua — chúng chứa tên trang bên thứ ba, không phải các đề tài phụ.

# extract.py — answers.jsonl -> các ứng viên đề tài phụ được xếp hạng
import json
import re
from collections import Counter

cands = Counter()
for line in open("answers.jsonl", encoding="utf-8"):
    record = json.loads(line)
    text = record["result_text"]
    for heading in re.findall(r"^#{2,4}\s+(.+)$", text, re.M):
        cands[heading.strip().lower()[:60]] += 1
    for bold in re.findall(r"\*\*(.+?)\*\*", text):
        phrase = bold.strip().lower()
        if 2 <= len(phrase.split()) <= 6 and not phrase.startswith("http") and ":" not in phrase:
            cands[phrase[:60]] += 1

ranked = [{"subtopic": k, "hits": c} for k, c in cands.most_common(25) if k]
json.dump(ranked, open("keywords.json", "w"), indent=2)
for item in ranked[:12]:
    print(f'{item["hits"]}x  {item["subtopic"]}')

Một lần chạy trực tiếp trên hạt giống "web scraping for beginners" đã xuất hiện các đề tài phụ như websites rendered by javascript, anti-bot protection, large-scale scraping, quyết định code vs. no-code, python scraping stack, và inspect element — những phần chính xác mà một trang dành cho người mới bắt đầu về chủ đề nên đề cập. Bởi vì các câu trả lời được sinh ra lại trong mỗi lần chạy, danh sách chính xác sẽ thay đổi; các đề tài phụ lặp lại qua các động cơ và qua các lần chạy là những cái đáng ưu tiên.

Lập lịch và mở rộng chuỗi

Chạy capture.py sau đó extract.py theo lịch và bổ sung mỗi lần chạy theo khóa captured_at. Một vài ghi chú từ các lần chạy trực tiếp:

• Lọc nhiễu. Các tiêu đề markdown bao gồm cấu trúc như "cái này làm gì" — giữ một danh sách dừng nhỏ, hoặc yêu cầu một đề tài xuất hiện trong hai hoặc nhiều động cơ trước khi nó được tính.
• Xếp hạng theo sự chồng chéo giữa các động cơ, không phải tần suất thô. Một đề tài mà ba động cơ đưa ra độc lập là một tín hiệu mạnh hơn việc một động cơ tự lặp lại.
• Ghim country. Cấu trúc câu trả lời thay đổi theo thị trường; giữ giá trị trong bản ghi của bạn để các chuỗi vẫn còn có thể so sánh.
• Kết hợp với dữ liệu trích dẫn. Các đề tài phụ cho bạn biết cái gì cần đề cập; các nguồn trích dẫn (một lần thu thập riêng) cho bạn biết ai là những động cơ hiện tại đáng tin cậy về vấn đề đó.

Kết luận: để câu trả lời viết dàn bài của bạn

Tóm tắt nội dung nhanh nhất cho một chủ đề chính là cái mà các động cơ AI đã sản xuất mỗi lần họ trả lời đến. Thu thập câu trả lời, đọc cấu trúc của nó và xếp hạng các đề tài phụ qua các động cơ, và "trang này nên đề cập cái gì?" không còn là một giả thuyết — nó trở thành một danh sách mà bạn đã đo lường.

Sẵn sàng để xây dựng Pipeline Dữ liệu AI-Answer của bạn?

Tham gia cộng đồng của chúng tôi để nhận một kế hoạch miễn phí và kết nối với các nhà phát triển đang xây dựng các pipeline AI-answer: Discord · Telegram.
Đăng ký tại app.scrapeless.com để nhận tín dụng thử nghiệm miễn phí, và chỉ định pipeline đến các chủ đề hạt giống và thị trường mà chương trình nội dung của bạn bao phủ.

Câu hỏi thường gặp

H: Điều này khác gì so với công cụ từ khóa?

Đ: Một công cụ từ khóa cung cấp cho bạn chuỗi truy vấn và ước lượng khối lượng. Điều này cung cấp cho bạn cấu trúc tiểu chủ đề mà một động cơ AI áp đặt lên câu trả lời — các phần và khái niệm mà nó coi là thiết yếu — cái này liên kết trực tiếp hơn với một dàn bài hơn là một danh sách từ khóa đơn giản.

H: Tôi có cần một khóa API mô hình cho bước trích xuất không?

Đ: Không. Các tiêu đề và dấu hiệu in đậm là markdown đơn giản, vì vậy bộ trích xuất chỉ sử dụng thư viện chuẩn. Một lần xử lý dựa trên mô hình là một nâng cấp tùy chọn cho việc phân nhóm hoặc gán nhãn.

H: Tại sao các tiểu chủ đề thay đổi giữa các lần chạy?

Đ: Mỗi động cơ tái tạo câu trả lời của nó, vì vậy các tiêu đề chính xác có thể khác nhau. Đó là lý do tại sao pipeline xếp hạng theo chồng chéo giữa các động cơ và giữa các lần chạy — các tiểu chủ đề lặp lại là tín hiệu ổn định.

H: Việc trích xuất câu trả lời AI có hợp pháp không?

Đ: Các diễn viên đọc nội dung câu trả lời có sẵn công khai. Giống như bất kỳ hoạt động trích xuất nào, hãy hạn chế việc sử dụng dữ liệu công khai, tôn trọng các điều khoản của mỗi nền tảng, tránh dữ liệu cá nhân và tham khảo ý kiến ​​một luật sư nếu một trường hợp sử dụng không rõ ràng.