Google AIの概要をスクレイピングする方法：SEOとブランドAIの可視性モニタリングのための完全ガイド

export SCRAPELESS_API_TOKEN=your_token_here

curl --location 'https://api.scrapeless.com/api/v2/scraper/execute' \
  --header 'Content-Type: application/json' \
  --header "x-api-token: ${SCRAPELESS_API_TOKEN}" \
  --data '{
    "actor": "scraper.overview",
    "input": {
        "prompt":  "best running shoes",
        "country": "US"
    }
}'

{
  "status":    "success",
  "task_id":   "ca132d3f-dc04-464e-b652-53231a8aeb8f",
  "task_result": {
    "ads":                  [ /* AIOの上にあるスポンサー配置 */ ],
    "content":              "**GraphQL**はオープンソースのクエリ言語です ... ([GraphQL][1]) ([Postman Blog][2]) ...\n\n[1]: https://graphql.org/ \"GraphQL — ...\"",
    "rawtext":              "GraphQLはオープンソースのクエリ言語です ...",
    "is_overview_shopping": true,
    "is_shopping":          true,
    "purchase_link":        true,
    "metadata":             { "rawUrl": "https://www.google.com/search?ApiType=overview&IsShopping=true&oq=...&q=..." },
    "products":             null,

```python
def fetch_aio(prompt: str, country: str = "US", retries: int = 3, backoff: float = 3.0):
    body = {"actor": "scraper.overview", "input": {"prompt": prompt, "country": country}}
    last = None
    for attempt in range(retries):
        resp = requests.post(URL, headers=HEADERS, json=body, timeout=60)
        last = resp
        if resp.status_code == 200:
            payload = resp.json()
            if payload.get("status") == "success":
                return payload["task_result"]
        # 一時的エラー: "execution failed" を含む400はリトライ可能なケース
        if resp.status_code == 400 and "execution failed" in resp.text:
            time.sleep(backoff * (attempt + 1))
            continue
        # ハードエラー: 認証エラー、アクターエラー、プロンプトなし — リトライしない
        resp.raise_for_status()
    raise RuntimeError(f"AIOスクレイプが{prompt!r}のリトライを使い果たしました: {last.text}")

keywords = [
    "最高のランニングシューズ",
    "ランニング用の最高のワイヤレスイヤフォン",
    "ランニングシューズの選び方",
]
for kw in keywords:
    result = fetch_aio(kw, country="US")
    print(f"\n=== {kw} ===")
    print(f"  引用元数: {len(result['source'])}  "
          f"ウェブソース: {len(result['web_source'])}  "
          f"広告: {len(result['ads'])}")

const URL = "https://api.scrapeless.com/api/v2/scraper/execute";

async function fetchAIO(prompt, country = "US") {
  const resp = await fetch(URL, {
    method: "POST",
    headers: {
      "x-api-token":  process.env.SCRAPELESS_API_TOKEN,
      "Content-Type": "application/json",
    },
    body: JSON.stringify({
      actor: "scraper.overview",
      input: { prompt, country },
    }),
  });

  if (!resp.ok) {
    const text = await resp.text();
    throw new Error(`HTTP ${resp.status}: ${text}`);
  }
  const payload = await resp.json();
  if (payload.status !== "success") {
    throw new Error(`AIOスクレイプに失敗しました: ${JSON.stringify(payload)}`);
  }
  return payload.task_result;
}

const result = await fetchAIO("最高のランニングシューズ", "US");

console.log(`ショッピングフラグ: is_shopping=${result.is_shopping} ` +
            `is_overview_shopping=${result.is_overview_shopping}`);

console.log("\n=== AI概要 (生テキスト) ===");
console.log(result.rawtext.slice(0, 1200), "...\n");

console.log("=== 上位引用元 ===");
for (const s of result.source.slice(0, 5)) {
  console.log(`  - ${s.website_name.padEnd(20)} ${s.url}`);
}

console.log(`\nAIOより上の広告: ${result.ads.length}`);

### `scraper.amazon` (ルーファス) 商取引部分のための

監視されているブランドが物理的な製品である場合、AmazonルーファスはAI応答パイプラインの反対端にあります。[Amazonルーファスアクター](https://www.scrapeless.com/ja/blog/how-to-scrape-rufus-data-amazon)は、自然言語の製品クエリに対する会話型ショッピングアシスタントの根拠のある答えを返します。Google AIOと組み合わせることで、2つの最大のAI応答表面があなたの製品や競合他社の製品をどのように位置付けているかを示してくれます。

4つのアクターは、1つのScrapelessアカウント、1つの`x-api-token`ヘッダー、1つのエンベロープ形状を共有しています。クライアントラッパーを1回ワイヤリングして、ファミリー全体で再利用してください。

---

## 一般的な問題を避ける方法

### あなたが見る可能性のあるエラー応答

APIは、すべてのエラーケースに対して構造化されたJSONを返します。`code`フィールドが存在する場合、それはScrapelessのエラーコードであり、`message`は人間が読める説明です。

| シナリオ | HTTP | 応答ボディ |
|---|---|---|
| 無効なAPIトークン | `401` | `{"code":14404,"message":"invalid access token"}` |
| 誤ったアクター名 | `400` | `{"code":14002,"message":"invalid actor: <name>","status":"failed"}` |
| `input.prompt` が欠落または空 | `400` | `{"message":"Key: 'overviewParam.Prompt' Error:Field validation for 'Prompt' failed on the 'required' tag","status":"failed"}` |
| 無効な国コード | `400` | `{"message":"execution failed","status":"failed","task_id":"..."}` |
| AIOが表示されなかったクエリ / 瞬間的な上流の失敗 | `400` | `{"message":"execution failed","status":"failed","task_id":"..."}` |
| 成功 | `200` | `{"status":"success","task_id":"...","task_result":{...}}` |
| 保留中 | `201` | `{"status":"pending","task_id":"..."}` タスクが実行中です。後で再試行してください。|
| 実行中 | `202` | `{"status": "running",    "task_id":"..."}` タスクが作成されました。後でタスクIDを使用して結果を取得できます。|

`144xx`コードは認証およびアクター検証に関するものであり； `Field validation`ペイロードはリクエスト形状です； `execution failed`は、no-AIOと一時的な上流のケースの両方をカバーしています。失敗した応答からの`task_id`を常に保存してください — それはScrapelessサポートが単一の不具合な実行を相関させるために必要な情報です。

### 問題と解決策のペア

**問題: クエリが`execution failed`を返すが、再試行で成功する。**
解決策: これは一時的な上流の信号です。今失敗する同じクエリは、通常5〜30秒後に成功します。3〜6秒のバックオフで再試行し、少ない試行予算（3回）で行います。予算内での持続的な失敗は、「この地理的位置でのこのクエリに対してAIOが利用できない」と扱います。

**問題: クエリが再試行に関係なく一貫して`execution failed`を返す。**
解決策: すべてのGoogleクエリがAI概要を生成するわけではありません。単語のクエリ、ナビゲーションクエリ（`"facebook"`）およびGoogleが根拠を示さなかったクエリは、通常生成されません。同じ地理的場所から`https://www.google.com/search?q=<query>`を開いて確認してください（自宅のVPNまたは実際のデバイスから）；人間のユーザーに対してAIOが表示されない場合、アクターもそれを生成しません。クエリをより情報的にさまざまに再構成してください（"Xはどのように機能しますか"、"YのためのベストX"、"X対Y"）。

**問題: `task_result.products`が`null`でも、`is_shopping`が`true`である。**
解決策: `task_result.products`は、一部のショッピングAIO用に populated され、他のものには`null`です — `is_shopping`がtrueでもです。存在する場合、各アイテムは`name`、`price`、`orig_price`、`discount`、`rating`、`review_count`、`seller`、`img`、`url`、`delivery`、`stores`、および`section_title`を含みます（Googleがそれを表示しなかった場合、いくつかの文字列フィールドは空かもしれません）。フィールドがnullの場合は、`task_result.source`（引用元パネル — 多くの場合、小売商品のページ）から製品候補を読み取り、`task_result.content`内のマークダウンボディを解析してインライン製品の言及を取得してください。常にnullに対して防御的にコーディングしてください: `result.get("products") or []`。

**問題: `task_result.source`と`task_result.web_source`が似ている — どちらがどちら？**
解決策: `source`はAI概要自身の引用パネルです（AIOが帰属するリンク）。`web_source`はAIOの下に表示される関連検索パネルです。地理的引用追跡のためには`source`から数え、関連コンテンツ機会のためには`web_source`を使用します。

**問題: `content`内のAIOボディにマークダウンの引用リファレンス（`[1]`、`[2]`）があるが、平文が必要。**
解決策: `task_result.rawtext`を使用してください — これは引用を削除した双子で、埋め込み、下流のLLMプロンプト、検索インデックスの取り込みに適しています。帰属を伴う回答を表示する必要がある場合は`content`を使用してください。

**問題: 同じクエリが異なる呼び出しで異なるAIOボディを返す。**
解決策: AI概要は非決定的です — Googleはセッションごとにそれらを再生成し、時間や日によって変動します。モニタリングユースケースでは、すべてのキャプチャにタイムスタンプと`country`を固定し、生の応答を保持します；ボディは定数ではなくサンプルとして扱います。引用されたソースセットは通常、プローズボディよりも安定しています。
**問題: レート制限と同時実行制限が公開ドキュメントに記載されていません。**
解決策: 最初はシリアルコールから始めます。HTTP 429や「実行失敗」のスパイクに注意しながら、同時実行数を徐々に増やします。持続的な高ボリュームのパイプラインについては、Scrapelessサポートに連絡して専用レーンを取得してください。

---

## 結論: 構造化されたAIOを依存関係として1行で

GoogleのAI概要は、SEO、GEO、ブランドモニタリング、AIに基づくパイプラインのための荷重支持面となっています。DOM自動化を用いてそれをスクレイピングすることは可能ですが、フルセレクターメンテナンス、居住プロキシ、レイジーロード、CAPTCHA処理のスタックが必要です。Scrapeless Scraper AI概要APIは、統合全体を3つの必須フィールド（`actor`、`input.prompt`、`input.country`）の1つのHTTP POSTに縮小し、AIO本体、引用元、関連パネル、AIO上の広告、ショッピングフラグがすべて一級フィールドである構造化されたJSONエンベロープを返します。

`scraper.google.search`と`scraper.aimode`と組み合わせることで、3つのアクターが単一のScrapelessアカウントからGoogleのAI強化検索全体をカバーします。仲間の[ユニバーサルスクレイピングAPI](https://www.scrapeless.com/ja/product/universal-scraping-api)は、同じパターンをChatGPT、Perplexity、その他のLLM回答面に拡張し、プロダクションGEOプログラムの基本要素となります。

[app.scrapeless.com](https://app.scrapeless.com)で無料のScraper APIクレジットに登録し、[`apidocs.scrapeless.com`](https://apidocs.scrapeless.com)でAPIリファレンスを詳細に読むことができます。

---

## AI搭載の検索パイプラインを構築する準備は整いましたか？

私たちのコミュニティに参加して無料プランを取得し、Scrapeless上でGEO、ブランドAI、検索モニタリングパイプラインを構築する開発者とつながりましょう。 
[Discord](https://discord.gg/scrapeless) 
[Telegram](https://t.me/scrapeless)

[Scrapelessウェブサイト](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=aioverview&utm_term=guide)で無料のScraper APIクレジットに登録し、上記のパターンをお使いのパイプラインの必要なキーワード、国、ブランド用語に適応してください。

## よくある質問

**Q1: Google AI概要をスクレイピングすることは法律に違反しますか？**
`google.com`上に公開されたAI概要コンテンツは、公開されている検索結果の一部であり、研究、SEOモニタリング、競争分析のためにアクセスすることが公平と広く見なされています。特定の法域や利用ケースによって異なります — 商業使用、AIO本体の再配布、自動化されたスケールアクセスには、Googleの利用規約および現地のデータ保護法に基づく追加の考慮が必要な場合があります。Googleの利用規約および地域の規制を確認し、公開または再配布する前に法律顧問に相談してください。

**Q2: GoogleのすべてのクエリがAI概要を生成しますか？**
いいえ。GoogleはAIOを表示するタイミングを選択し、その頻度はクエリのクラス、地理、言語、および進行中の製品実験によって異なります。情報的な、比較的な、「Xはどのように機能するか」、「ベストX」、およびショッピング意図のクエリが2026年にAIOをトリガーする可能性が最も高いです。ナビゲーショナルクエリ（`"facebook"`、`"amazon login"`）や単語の曖昧なクエリは通常、AIOを生成しません。アクターは、Googleがその地域で根拠を持たないクエリに対して`execution failed`を返します。

**Q3: `input.country`でサポートされている国はどれですか？**
国フィールドはISO 3166-1 alpha-2コードを受け入れ、`US`および`GB`に対してエンドツーエンドで検証されます。アクターを支える居住プロキシのフットプリントは195カ国以上に及ぶため、ほとんどの一般的なコード（`DE`、`FR`、`JP`、`CA`、`AU`、`BR`、`IN`、`ES`、`IT`、`NL`）が機能しますが、サポートされていないコードは`execution failed`を返します。スケールアップする前に、小さなスモークテストで特定の国を確認してください。

**Q4: 単一のコールはどのくらい速いですか？**
エンドツーエンドの遅延は通常12〜18秒の検証時間です。そのほとんどは、Googleの「生成中」プレースホルダーの背後でAI概要を定着させるためのサーバーサイドポーリングによるものです — アクターはプレースホルダーではなく、レンダリングされた本体のみを返します。

**Q5: 多くのクエリを同時にバッチ処理できますか？**
はい。最初はトークンごとに3〜5の並行ワーカーから始め、`execution failed`レートに注意しながらスケールアップします。公開されたレート制限および同時実行の上限は文書化されていないため、高ボリュームのレーンについてはScrapelessサポートに問い合わせてください。

**Q6: `scraper.overview`は`scraper.google.search`および`scraper.aimode`とどのように異なりますか？**
`scraper.overview`はAI概要ブロックを特に返します — 本体、引用、関連パネル、スポンサー表記、ショッピングフラグ。`scraper.google.search`はSERPの残りを返します — オーガニックな青い10リンク、フィーチャースニペット、「人々がよく尋ねる」情報、ナレッジパネル、関連検索。`scraper.aimode`はGoogleの別のAIモード会話ページを返します。GoogleのAI検索がトピックをどのように提示しているかの完全なビューを得るには、同じクエリ、同じ国、同じタイムスタンプで3つすべてをキャプチャしてください。

**Q7: ショッピングAIOの構造化された製品リストを取得できますか？**
はい、いくつかのショッピングAIOの場合です。`task_result.products` に値があるときは、`{name, price, orig_price, discount, rating, review_count, seller, img, url, delivery, stores, section_title}` の配列です（Googleがその属性を表示しなかった場合、いくつかの文字列フィールドは空である可能性があります）。`is_shopping` が `true` の場合でも、他のショッピングAIOの場合は `null` になります — 検証では、5件のショッピングキャプチャのうちの1件が10アイテムの配列を返し、残りはnullでした。フィールドがnullの場合は、`task_result.source`（多くは小売業者のページ）から商品候補を読み取り、`task_result.content`内のインラインの言及を解析します。常に `null`に対して防御的にコーディングします（`result.get("products") or []`）。

**Q8: `is_overview_shopping`は何を意味し、`is_shopping`との違いは何ですか？**  
`is_shopping` は、基礎となるSERPがショッピングモジュールを含んでいる場合にtrueになります（オーガニック結果の上にあるカルーセル）。`is_overview_shopping` は、GoogleがAI概要自体をショッピング志向と分類した場合にtrueになります。`purchase_link` は、AIOボディに少なくとも1つの直接的な購入URLが含まれている場合にtrueになります。これらの組み合わせを使用して、小売インテリジェンスパイプライン内で商業的意図のAIOをフィルタリングします。

**Q9: レイジーロードのプレースホルダーを自分で処理する必要がありますか？**  
いいえ。AIOは「生成中」のプレースホルダーの背後でレンダリングされ、アクターはボディが安定するまでサーバー側をポーリングし、その後に戻ります。そのポーリングが約12〜18秒のエンドツーエンドレイテンシの主要な要素です。呼び出し側は待機ループを実装しません。

**Q10: 長期監視のためにレスポンスをどのように保存すべきですか？**  
完全なAPIリファレンスとライブリクエストプレイグラウンド: [`apidocs.scrapeless.com`](https://apidocs.scrapeless.com)。SDKと統合ドキュメント: [`docs.scrapeless.com`](https://docs.scrapeless.com)。