マイクロソフトコパイロットスクレイパーAPI:回答と引用をキャッチする
Lead Scraping Automation Engineer
TL;DR:
- CopilotスクレイパAPIはMicrosoft Copilotの回答を構造化されたJSONに変換します。
scraper.copilotアクターへの1回のPOSTで、レスポンステキスト、引用元、表示されたリンクがフィールドとして返されます — スクリーンショットではなく。 - 3つの入力で全体が動きます。
promptは質問を持ち、オプションのcountryはその市場での住宅用出口に実行を固定し、オプションのmodeはCopilotの回答スタイルを選択します。 - 引用元はチャート用の準備が整っています。
citationsはすべての引用されたソースを{ title, url }の形式でリストアップし、パースステップなしで引用のシェア追跡のための生素材となります。 - エンベロープは変わりません。 すべての呼び出しは
{ status, task_id, task_result }を返し、他のScrapeless LLMアクターと同じ形状なので、Copilot用に書かれたラッパーはChatGPT、Grok、Gemini、およびPerplexityに変更なしに拡張されます。 - 監視するブラウザは不要です。 レンダリング、セッション処理、およびプロキシ回転はサーバーサイドで実行されます。
x-api-tokenヘッダー付きの1つのエンドポイントを呼び出し、JSONとして結果を受け取ります。 - 開始は無料です。 新しいScrapelessアカウントには無料トライアルクレジットが含まれています — app.scrapeless.comでサインアップ。
はじめに: 購入者がすでに使用している場所でのCopilotの回答
Microsoft CopilotはWindows、Edge、Microsoft 365、およびBingの中にあります — したがって、多くのビジネスユーザーにとって、Copilotは最初に尋ねるアシスタントです。そのユーザーが最高のCRM、最高のプロキシプロバイダー、または最高のヘルプデスクツールを尋ねると、Copilotは引用元を伴う短い合成回答を返します。ブランドはその回答に名前が挙げられるか、またはその購入者には見えなくなります。
手作業でその回答を追跡することはスケールしません:応答は毎回新たに生成され、引用されたソースが回転し、文言も実行ごとに変わります。それをデータとして監視するには、回答とその引用を構造化されたフィールドとして取得する必要があります。
このガイドでは、Scrapeless Scraper APIのscraper.copilotアクターを紹介します — Copilotの回答テキスト、その引用、およびリンクをJSON形式で返す単一の認証POSTです。同じエンベロープで他のScrapeless LLM回答ラインと一緒に。
できること
- Copilotでのブランドの可視性を追跡します。 固定の購買意図のプロンプトを実行し、あなたのブランドが回答テキストと引用リストに現れるかどうかを確認します。
- 引用シェアを測定します。
citationsのURLをドメイン別にグループ化して、Copilotがあるトピックにどのソースを重視しているか、またあなたがそれらに対してどの位置にいるかを確認します。 - Copilotを他のエンジンと比較します。 同じプロンプトを
scraper.copilot、scraper.chatgpt、scraper.gemini、およびscraper.perplexityに送信し、回答とソースを並べて比較します。 - 回答の偏向を監視します。 同じプロンプトを定期的にキャプチャし、回答とその引用が数週間にわたってどのように変化するかをチャート化します。
- 下流のパイプラインに供給します。 構造化された
result_textとcitationsは、データベース、ダッシュボード、またはLLM評価セットに直接入ります。
Scrapeless Copilot Scraperの理由
CopilotはMicrosoft認証およびアンチオートメーション防御の背後にあるJavaScriptアプリケーションです;生のHTTPリクエストは何も役立ちませんし、実際のブラウザセッションを自分で駆動することは、レンダリング、サインイン、プロキシ回転を維持しなければならないことを意味します。Scrapeless Copilot Scraper — ユニバーサルスクレイピングAPIの一部 — はそれをサーバーサイドで実行し、クリーンなJSONを返します。特にCopilotのために、それは以下を提供します:
- 195以上の国での住宅用出口、したがって
country値はその市場の実際のユーザーが見る回答をキャプチャします。 - クラウドサイドのレンダリングおよびセッション処理 — 実行するブラウザも、サインインする必要もありません。
- すべての他のScrapeless LLMアクターと共有される安定したレスポンスエンベロープ、したがって1つのクライアントが全ラインをカバーします。
- 一次フィールドとしての引用 — ソースごとに
{ title, url }、グループ化し、カウントするために準備完了。
無料プランでAPIキーを取得するには、app.scrapeless.comにアクセスしてください。
前提条件
- ScrapelessアカウントとAPIキー(無料プランにはトライアルクレジットが含まれています) — app.scrapeless.com。
- ソースに残らないように環境変数としてエクスポートされたキー:
bash
export SCRAPELESS_API_KEY="your_api_token_here"
- 最初のキャプチャには
curlを、下記の作業クライアントには Python 3 とrequestsを使用します。
Copilot スクレイパーの動作原理
アクターの名前を指定し、入力を渡し、ヘッダーにキーを送信します。
- エンドポイント:
POST https://api.scrapeless.com/api/v2/scraper/execute - アクター:
scraper.copilot - Auth ヘッダー:
x-api-token: $SCRAPELESS_API_KEY
リクエストパラメータ
| 入力フィールド | 必須 | 説明 |
|---|---|---|
prompt |
はい | Copilot に送信する質問 |
country |
いいえ | 実行の居住地を指定する2文字の国コード(例:US) |
mode |
いいえ | Copilot の回答スタイル;最近のキャプチャでは smart がデフォルト |
curl を使用したクイックキャプチャ
bash
curl -sS -X POST https://api.scrapeless.com/api/v2/scraper/execute \
-H "Content-Type: application/json" \
-H "x-api-token: ${SCRAPELESS_API_KEY}" \
-d '{
"actor": "scraper.copilot",
"input": { "prompt": "2026年の最良のプロキシプロバイダーはどれですか?", "country": "US", "mode": "smart" }
}'
レスポンスエンベロープ
json
// 説明用サンプル — 実際の scraper.copilot 実行からのスキーマ;値は省略されています
{
"status": "success",
"task_id": "…",
"task_result": {
"prompt": "2026年の最良のプロキシプロバイダーはどれですか?",
"mode": "smart",
"result_text": "最良のプロバイダーは用途によります… [1]",
"citations": [
{ "title": "2026年のベストプロキシプロバイダー10選:テスト済み・ランキング", "url": "https://…" }
],
"links": [
"https://…"
]
}
}
フィールドごとの詳細:
| フィールド | 型 | 保持する内容 |
|---|---|---|
status |
文字列 | 完了した実行での success |
task_id |
文字列 | 実行の識別子、自身のストレージにおける監査キーとして役立ちます |
task_result.prompt |
文字列 | Copilot が受け取ったプロンプト |
task_result.mode |
文字列 | 応答を生成したモード(例:smart) |
task_result.result_text |
文字列 | マークダウン形式の完全な回答、インライン引用マーカーが保持されています |
task_result.citations[] |
配列 | 各引用ソースを { title, url } 形式で示す |
task_result.links[] |
配列 | 回答の横に表示されたリンク、一致する場合 |
無料プランであなたの API キーを取得しましょう: app.scrapeless.com
Python での API 統合
完全なクライアント:プロンプトを送信し、エンベロープをチェックし、引用テーブルを印刷します。
python
import os
import requests
ENDPOINT = "https://api.scrapeless.com/api/v2/scraper/execute"
def ask_copilot(prompt: str, country: str = "US", mode: str = "smart") -> dict:
resp = requests.post(
ENDPOINT,
headers={
"Content-Type": "application/json",
"x-api-token": os.environ["SCRAPELESS_API_KEY"],
},
json={"actor": "scraper.copilot", "input": {"prompt": prompt, "country": country, "mode": mode}},
timeout=180,
)
resp.raise_for_status()
return resp.json()
if __name__ == "__main__":
data = ask_copilot("2026年の最良のプロキシプロバイダーはどれですか?")
result = data.get("task_result", {})
citations = result.get("citations") or []
print(f"status={data.get('status')} mode={result.get('mode')} citations={len(citations)}")
for i, c in enumerate(citations, 1):
print(f" [{i}] {c.get('title', '')[:60]} → {c.get('url', '')[:60]}")
回答の本文は result.get("result_text") にマークダウン形式で保持されます;引用作業のため、上記のループが通常全体の作業です — 印刷された URL をドメインごとにグループ化してカウントします。
AI回答の残りの分野のための関連アクター
同じエンドポイント、ヘッダー、エンベロープが隣接するプラットフォームをカバーします — アクター名と1つまたは2つのプラットフォーム特有のフィールドが変更されるだけです:
scraper.chatgpt— 同じプロンプト/国の入力;result_textに加えてcontent_referencesの引用配列とsearch_resultパネルを返します。scraper.grok— 必須の推論モードを追加し、別々のweb_search_resultsとx_search_resultsの引用パネルを返します。scraper.gemini— ChatGPT と同じ2フィールドの入力;result_textに加えて引用の配列を返します。scraper.perplexity— 必須のcountryとweb_searchフラグを受け取り;web_results、media_items、および関連プロンプトを返します。scraper.overview/scraper.aimode— Google の AI Overview ブロックと AI Mode タブ;AI Overview ガイド がそのペアを詳細に説明しています。
このサービスの価格は使用量に基づいており、サインアップ時に無料のトライアルクレジットが提供されます — 現在のティアは 価格設定 ページで確認できます。
一般的な問題を回避する方法
- 一部のプロンプトでの空の
citations。 Copilot はすべての回答に対してソースを引用するわけではありません—意見に色づけされたプロンプトや純粋な生成的プロンプトは、引用なしで返されることがあります。引用を追跡するには、研究しているバイヤーのようにプロンプトを表現してください(「Yのための最良のX」)これにより信頼性のあるウェブを基にした回答が得られます。 - 回答は実行ごとに異なります。 同じプロンプトが数分の間に異なる回答と引用セットを生成することがあります—その変動性があなたが測定している現象です。各キャプチャをその
task_idとタイムスタンプと共に保存し、シリーズ全体を信号として扱い、単一の実行を信号として扱わないでください。 - すべてのフィールドをヌラブルとして扱う。
linksはしばしば空であり、引用のカウントは実行ごとに変動します。固定の形を主張するのではなく、存在するものを読み取ってください。 - 国を意図的に固定する。 ピン留めされていない実行は一つの回答をキャプチャします;ピン留めされた実行は、あなたが気にかけている市場のための回答をキャプチャします。保存された記録に
countryの値を保管して、シリーズが比較可能な状態を保ってください。
結論: Copilotの回答は一行の依存関係として
Copilot は、Windows、Edge、Microsoft 365 の広範なユーザー層にとっての最初のアシスタントであり、そこから得られる回答があなたのブランドがどのように見られるかを決定します。 scraper.copilot アクターは、その回答を構造化された記録—テキスト、引用、リンク—に変換し、他のすべてのScrapeless LLMアクターと同じエンベロープ上で管理するため、Copilotを監視するのは、すでにChatGPTやGeminiのために運用しているパイプラインへの一行追加です。
AI回答データパイプラインを構築する準備はできましたか?
私たちのコミュニティに参加して、無料プランを取得し、AI回答パイプラインを構築している開発者とつながりましょう: Discord · Telegram。
無料トライアルクレジットのために app.scrapeless.com にサインアップし、 scraper.copilot アクターをプロンプト、マーケット、およびあなたの監視プログラムに必要なスケジュールに向けてください。
FAQ
Q: Microsoft Copilotの回答をスクレイピングすることは合法ですか?
A: アクターは、訪問者が見るのと同じく、公開されている回答コンテンツを読み取ります。一般的なスクレイピングと同様に、使用を公開データに制限し、プラットフォームの利用規約を尊重し、個人データの収集を避け、不明なユースケースについては弁護士に相談してください。
Q: Microsoftアカウントやサインインの処理が必要ですか?
A: いいえ。認証、セッション処理、およびレンダリングはサーバーサイドで実行されます;あなたはプロンプトを送信し、JSONを受け取ります。
Q: 同じプロンプトを実行するたびに引用が異なるのはなぜですか?
A: Copilotは動的に回答を生成し、実行ごとにソースを再選択するため、引用セットが変わります。その実行ごとの変動が、監視シリーズが追跡するために構築された信号です—各キャプチャをその task_id とタイムスタンプと共に保存してください。
Q: 特定の国のための回答をキャプチャできますか?
A: はい。入力に2文字の country コードを渡すことで、その市場における居住用エグレスに実行を固定することができ、現地のユーザーが見る回答をキャプチャできます。
Q: これはChatGPTやGeminiのスクレイパーとどう違うのですか?
A: アクター名といくつかのフィールドのみです。 scraper.copilot はその引用を citations の下で返します;エンベロープ { status, task_id, task_result } は同一であるため、1つのクライアントが全てのLLM回答ラインをカバーします。
Scrapelessでは、適用される法律、規制、およびWebサイトのプライバシーポリシーを厳密に遵守しながら、公開されているデータのみにアクセスします。 このブログのコンテンツは、デモンストレーションのみを目的としており、違法または侵害の活動は含まれません。 このブログまたはサードパーティのリンクからの情報の使用に対するすべての責任を保証せず、放棄します。 スクレイピング活動に従事する前に、法律顧問に相談し、ターゲットウェブサイトの利用規約を確認するか、必要な許可を取得してください。



