GEOソリューション：スクレイプレスブラウザを使用してパープレキシティを自動化し、コンテンツ分析エンジンを構築する

const CONNECTION_OPTIONS = {
  proxyCountry: "US",           // アメリカのIPを使用
  sessionRecording: "true",     // デバッグ用にセッションを記録
  sessionTTL: "900",            // 15分間セッションを保持
  sessionName: "perplexity-scraper"  // 永続的なセッション
};

proxyCountry: "US"   // アメリカの視点のため
proxyCountry: "GB"   // ヨーロッパ市場の洞察のため

sessionRecording: "true"  // セッション録画を有効にする

import puppeteer from "puppeteer-core"

// 元々: ローカルブラウザ
// const browser = await puppeteer.launch();

// スクリプトレスブラウザに移行するには、1行変更するだけ：
const browser = await puppeteer.connect({
  browserWSEndpoint: "wss://browser.scrapeless.com/api/v2/browser?token=YOUR_API_TOKEN"
})

const page = await browser.newPage()
await page.goto("https://google.com")

const sleep = (ms) => new Promise(r => setTimeout(r, ms));

const tokenValue = process.env.SCRAPELESS_TOKEN || "YOUR_API_TOKEN";

const CONNECTION_OPTIONS = {
  proxyCountry: "ANY",                // 最も速いノードを自動的に選択
  sessionRecording: "true",           // セッション録画を有効にする
  sessionTTL: "900",                  // 15分間セッションを保持
  sessionName: "perplexity-scraper",  // セッション名
};

function buildConnectionURL(token) {
  const q = new URLSearchParams({ token, ...CONNECTION_OPTIONS });
  return `wss://browser.scrapeless.com/api/v2/browser?${q.toString()}`;
}

// tokenを環境変数SCRAPELESS_TOKENに置くか、ここにハードコーディングされた値を直接入力します
const tokenValue = process.env.SCRAPELESS_TOKEN || "sk_0YEQhMuYK0izhydNSFlPZ59NMgFYk300X15oW69QY6yJxMtmo5Ewq8YwOvXT0JaW";

const CONNECTION_OPTIONS = {
  proxyCountry: "ANY",
  sessionRecording: "true",
  sessionTTL: "900",
  sessionName: "perplexity-scraper",
};

function buildConnectionURL(token) {
  const q = new URLSearchParams({ token, ...CONNECTION_OPTIONS });
  return `wss://browser.scrapeless.com/api/v2/browser?${q.toString()}`;
}

async function findAndType(page, prompt) {
  // 一連の一般的な入力セレクタ（"Not Found"を表示せずに静かに試みられる）
  const selectors = [
    'textarea[placeholder*="Ask"]',
    'textarea[placeholder*="Ask anything"]',
    'input[placeholder*="Ask"]',
    '[contenteditable="true"]',
    'div[role="textbox"]',
    'div[role="combobox"]',
    'textarea',
    'input[type="search"]',
    '[aria-label*="Ask"]',
  ];

  for (const sel of selectors) {
    try {
      const el = await page.$(sel);
      if (!el) continue;
      // 可視性を確認
      const visible = await el.boundingBox();
      if (!visible) continue;

      // contenteditableと通常の入力を決める
      const isContentEditable = await page.evaluate((s) => {
        const e = document.querySelector(s);
        if (!e) return false;
        if (e.isContentEditable) return true;
        const role = e.getAttribute && e.getAttribute("role");
        if (role && (role.includes("textbox") || role.includes("combobox"))) return true;
        return false;
      }, sel);

      if (isContentEditable) {
        await page.focus(sel);
        // React/rich text editorsとの互換性を確保するために、可能な限りJavaScriptを使用して入力要素を書き込み、トリガーします
        await page.evaluate((s, t) => {
          const el = document.querySelector(s);
          if (!el) return;
          // 要素が編集可能な場合、書き込みと入力の発送を行う
          try {
            el.focus();
            if (document.execCommand) {
              // insertTextは一部のブラウザでサポートされています
              document.execCommand("selectAll", false);
              document.execCommand("insertText", false, t);
            } else {
              // フォールバック
              el.innerText = t;
            }
          } catch (e) {
            el.innerText = t;
          }
          el.dispatchEvent(new Event("input", { bubbles: true }));
        }, sel, prompt);
        await page.keyboard.press("Enter");
        return true;
      } else {
        // 通常の入力/テキストエリア
        try {
          await el.click({ clickCount: 1 });
        } catch (e) {}
        await page.focus(sel);
        // クリアして入力
        await page.evaluate((s) => {
          const e = document.querySelector(s);
          if (!e) return;
          if ("value" in e) e.value = "";
        }, sel);
        await page.type(sel, prompt, { delay: 25 });
        await page.keyboard.press("Enter");
        return true;
      }
    } catch (e) {
      // 無視して次のセレクタに進む（静かに）
    }
  }

  // 戻る: 入力する前にページがフォーカスされていることを確認します（静かに、警告を表示しない）
  try {
    await page.mouse.click(640, 200).catch(() => {});
    await sleep(200);
    await page.keyboard.type(prompt, { delay: 25 });
    await page.keyboard.press("Enter");
    return true;
  } catch (e) {
    return false;
  }
}

(async () => {
  const connectionURL = buildConnectionURL(tokenValue);
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: { width: 1280, height: 900 },
  });

  const page = await browser.newPage();

  page.setDefaultNavigationTimeout(120000);
  page.setDefaultTimeout(120000);

  // 一般的なデスクトップユーザーエージェントを使用する（これにより、単純な保護による検出の可能性が減ります）
  try {
    await page.setUserAgent(
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36"
    );
  } catch (e) {}

  // データ収集の準備（簡単に）
  const rawResponses = [];
  const wsFrames = [];

  page.on("response", async (res) => {
    try {
      const url = res.url();
      const status = res.status();
      const resourceType = res.request ? res.request().resourceType() : "unknown";
      const headers = res.headers ? res.headers() : {};
      let snippet = "";
      try {
        const t = await res.text();
        snippet = typeof t === "string" ? t.slice(0, 20000) : String(t).slice(0, 20000);
      } catch (e) {
        snippet = "<read-failed>";
      }
      rawResponses.push({ url, status, resourceType, headers, snippet });
    } catch (e) {}
  });

  // WebSocketフレームをキャプチャするためにCDPセッションを開こうとする（不可能な場合は静かにスキップ）
  try {
    const cdp = await page.target().createCDPSession();
    await cdp.send("Network.enable");
    cdp.on("Network.webSocketFrameReceived", (evt) => {
      try {
        const { response } = evt;
        // 以降の処理…

wsFrames.push({
          timestamp: evt.timestamp,
          opcode: response.opcode,
          payload: response.payloadData ? response.payloadData.slice(0, 20000) : response.payloadData,
        });
      } catch (e) {}
    });
  } catch (e) {}

  // Perplexityに移動する（domcontentloadedのみを使用）
  await page.goto("https://www.perplexity.ai/", { waitUntil: "domcontentloaded", timeout: 90000 });

  // 質問を入力して送信する（静かな試み）
  const prompt = "こんにちはChatGPT、Scrapelessとは何か知っていますか？";
  await findAndType(page, prompt);

  // 回答がページに短時間表示される
  await sleep(1500);

  // ページに長いテキストが表示されるのを待つ（追加のログを生成せずに）
  const start = Date.now();
  while (Date.now() - start < 20000) {
    const ok = await page.evaluate(() => {
      const main = document.querySelector("main") || document.body;
      if (!main) return false;
      return Array.from(main.querySelectorAll("*")).some((el) => (el.innerText || "").trim().length > 80);
    });
    if (ok) break;
    await sleep(500);
  }

  // 回答/リンク/HTMLフラグメントを抽出
  const results = await page.evaluate(() => {
    const pick = (el) => (el ? (el.innerText || "").trim() : "");
    const out = { answers: [], links: [], rawHtmlSnippet: "" };

    const selectors = [
      '[data-testid*="answer"]',
      '[data-testid*="result"]',
      '.Answer',
      '.answer',
      '.result',
      'article',
      'main',
    ];

    for (const s of selectors) {
      const el = document.querySelector(s);
      if (el) {
        const t = pick(el);
        if (t.length > 30) out.answers.push({ selector: s, text: t.slice(0, 20000) });
      }
    }

    if (out.answers.length === 0) {
      const main = document.querySelector("main") || document.body;
      const blocks = Array.from(main.querySelectorAll("article, section, div, p")).slice(0, 8);
      for (const b of blocks) {
        const t = pick(b);
        if (t.length > 30) out.answers.push({ selector: b.tagName, text: t.slice(0, 20000) });
      }
    }

    const main = document.querySelector("main") || document.body;
    out.links = Array.from(main.querySelectorAll("a")).slice(0, 200).map(a => ({ href: a.href, text: (a.innerText || "").trim() }));
    out.rawHtmlSnippet = (main && main.innerHTML) ? main.innerHTML.slice(0, 200000) : "";

    return out;
  });

  // 出力を保存（静かに）
  try {
    const pageHtml = await page.content();
    await page.screenshot({ path: "./perplexity_screenshot.png", fullPage: true }).catch(() => {});
    await fs.writeFile("./perplexity_results.json", JSON.stringify({ results, extractedAt: new Date().toISOString() }, null, 2));
    await fs.writeFile("./perplexity_page.html", pageHtml);
    await fs.writeFile("./perplexity_raw_responses.json", JSON.stringify(rawResponses, null, 2));
    await fs.writeFile("./perplexity_ws_frames.json", JSON.stringify(wsFrames, null, 2));
  } catch (e) {}

  await browser.close();
  // 必要な簡潔な情報のみを表示
  console.log("完了 — 出力: perplexity_results.json, perplexity_page.html, perplexity_raw_responses.json, perplexity_ws_frames.json, perplexity_screenshot.png");
  process.exit(0);
})().catch(async (err) => {
  try { await fs.writeFile("./perplexity_error.txt", String(err)); } catch (e) {}
  console.error("エラー — perplexity_error.txtを参照してください");
  process.exit(1);
});

## 6. GEOにこれらのJSONデータをどのように使用するか？（実用ガイド）

Perplexityが返した`answers`フィールドは本質的に以下を教えてくれます：  
AIが最終的にどのように回答を生成するか—どの情報源を引用し、どのページを信用し、どの見解が強化され、どのコンテンツが無視されたか。

言い換えれば：

**`answers`を理解する＝あなたのブランドがAIによって引用される理由、されない理由、引用率を改善する方法を理解すること。**

---

### GEOの核心的なタスク：AIの「引用メカニズム」を制御すること

従来のSEOは検索結果でページの順位を上げることを目指します。  

GEOはAIが回答を生成する際にあなたのコンテンツを **引用する可能性を高める** ことを目指します。  

Perplexityの`answers` JSONでは、以下を確認できます：  
- AIが引用したURL（`source_urls`）  
- 各URLの回答への影響力  
- AIが使用したコンテンツの要約  
- AIが最終的な回答を構成する方法（段落/箇条書き）  

これらは、GEOのために最適化できる領域に直接対応しています。  

---

### ① 引用元を特定する：あなたはモデルの「信頼リスト」に載っていますか？

例：  
```json
"title": "Web Scraper PRO - Scrapeless",
"url": "https://scrapeless.com"

### ② どのコンテンツ/競合が最も引用されているかを確認 → AIの好みを推測

例：

```json
"title": "Scrapeless AI Browser Review 2024: ゲームチェンジャーか、それともただのツールか？",
"url": "https://www.futuretools.io"

"Scrapelessは、AIを使用して..."