Giải pháp GEO: Tự động hóa Perplexity với Trình duyệt không rác để Xây dựng động cơ phân tích nội dung

const CONNECTION_OPTIONS = {
  proxyCountry: "US",           // Sử dụng IP của Mỹ
  sessionRecording: "true",     // Ghi lại phiên để gỡ lỗi
  sessionTTL: "900",            // Giữ phiên trong 15 phút
  sessionName: "perplexity-scraper"  // Phiên liên tục
};

proxyCountry: "US"   // Để có góc nhìn từ Mỹ
proxyCountry: "GB"   // Để có thông tin thị trường châu Âu

sessionRecording: "true"  // Bật chức năng ghi âm phiên

import puppeteer from "puppeteer-core"

// Nguyên bản: Trình duyệt cục bộ
// const browser = await puppeteer.launch();

// Chuyển đổi sang Trình duyệt Scrapeless, chỉ cần thay đổi một dòng:
const browser = await puppeteer.connect({
  browserWSEndpoint: "wss://browser.scrapeless.com/api/v2/browser?token=YOUR_API_TOKEN"
})

const page = await browser.newPage()
await page.goto("https://google.com")

const sleep = (ms) => new Promise(r => setTimeout(r, ms));

const tokenValue = process.env.SCRAPELESS_TOKEN || "YOUR_API_TOKEN";

const CONNECTION_OPTIONS = {
  proxyCountry: "ANY",                // Tự động chọn nút nhanh nhất
  sessionRecording: "true",           // Bật ghi âm phiên
  sessionTTL: "900",                  // Giữ phiên trong 15 phút
  sessionName: "perplexity-scraper",  // Tên phiên
};

function buildConnectionURL(token) {
  const q = new URLSearchParams({ token, ...CONNECTION_OPTIONS });
  return `wss://browser.scrapeless.com/api/v2/browser?${q.toString()}`;
}

const connectionURL = buildConnectionURL(tokenValue);
const browser = await puppeteer.connect({
  browserWSEndpoint: connectionURL,
  defaultViewport: { width: 1280, height: 900 }
});

const page = await browser.newPage();
page.setDefaultNavigationTimeout(120000);
page.setDefaultTimeout(120000);

try {
  await page.setUserAgent(
    "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36"
  );
} catch (e) {}

const rawResponses = [];

page.on("response", async (res) => {
  try {
    const url = res.url();
    const status = res.status();
    const resourceType = res.request ? res.request().resourceType() : "unknown";
    const headers = res.headers ? res.headers() : {};
    let snippet = "";
    try {
      const t = await res.text();
      snippet = typeof t === "string" ? t.slice(0, 20000) : String(t).slice(0, 20000);
    } catch (e) {
      snippet = "<read-failed>";
    }
    rawResponses.push({ url, status, resourceType, headers, snippet });
  } catch (e) {}
});

const wsFrames = [];

try {
  const cdp = await page.target().createCDPSession();
  await cdp.send("Network.enable");
  
  cdp.on("Network.webSocketFrameReceived", (evt) => {
    try {
      const { response } = evt;
      wsFrames.push({
        timestamp: evt.timestamp,
        opcode: response.opcode,
        payload: response.payloadData ? 
          response.payloadData.slice(0, 20000) : 
          response.payloadData,
      });
    } catch (e) {}
  });
} catch (e) {
  // Nếu CDP không khả dụng, bỏ qua một cách im lặng
}

Người dùng nhập câu hỏi
   ↓
Phía sau của Perplexity tạo ra câu trả lời
   ↓
Câu trả lời được đưa ra từng ký tự một qua WebSocket
   ↓
Hiển thị trên giao diện phía trước trong thời gian thực (giống như hiệu ứng gõ của ChatGPT)

await page.goto("https://www.perplexity.ai/", {
  waitUntil: "domcontentloaded",
  timeout: 90000
});

const prompt = "Chào ChatGPT, bạn có biết Scrapeless là gì không?";
await findAndType(page, prompt);

await page.waitForTimeout(1500);

const results = await page.evaluate(() => {
  const pick = el => el ? (el.innerText || "").trim() : "";
  const out = { answers: [], links: [], rawHtmlSnippet: "" };
  const selectors = ['[data-testid*="answer"]','[data-testid*="result"]','.Answer','article','main'];

  selectors.forEach(s => {
    const el = document.querySelector(s);
    if(el){ const t = pick(el); if(t.length>30) out.answers.push({ selector:s,text:t.slice(0,20000) }); }
  });

  const main = document.querySelector("main") || document.body;
  out.links = Array.from(main.querySelectorAll("a")).slice(0,200).map(a=>({ href:a.href, text:(a.innerText||"").trim() }));
  out.rawHtmlSnippet = main.innerHTML.slice(0,200000);
  return out;
});

await fs.writeFile("./perplexity_results.json", JSON.stringify(results, null, 2));
await fs.writeFile("./perplexity_page.html", await page.content());
await fs.writeFile("./perplexity_raw_responses.json", JSON.stringify(rawResponses, null, 2));
await fs.writeFile("./perplexity_ws_frames.json", JSON.stringify(wsFrames, null, 2));
await page.screenshot({ path: "./perplexity_screenshot.png", fullPage: true });

await browser.close();
console.log("hoàn tất — đầu ra đã được lưu");

// perplexity_clean.mjs
import puppeteer from "puppeteer-core";
import fs from "fs/promises";

const sleep = (ms) => new Promise((r) => setTimeout(r, ms));

// Đặt token vào biến môi trường SCRAPELESS_TOKEN, hoặc điền giá trị cứng ở dưới
const tokenValue = process.env.SCRAPELESS_TOKEN || "sk_0YEQhMuYK0izhydNSFlPZ59NMgFYk300X15oW69QY6yJxMtmo5Ewq8YwOvXT0JaW";

const CONNECTION_OPTIONS = {
  proxyCountry: "ANY",
  sessionRecording: "true",
  sessionTTL: "900",
  sessionName: "perplexity-scraper",
};

function buildConnectionURL(token) {
  const q = new URLSearchParams({ token, ...CONNECTION_OPTIONS });
  return `wss://browser.scrapeless.com/api/v2/browser?${q.toString()}`;
}

async function findAndType(page, prompt) {
  // Một tập hợp các bộ chọn đầu vào phổ biến (thầm lặng thực hiện, không in ra "Không tìm thấy")
  const selectors = [
    'textarea[placeholder*="Hỏi"]',
    'textarea[placeholder*="Hỏi bất kỳ điều gì"]',
    'input[placeholder*="Hỏi"]',
    '[contenteditable="true"]',
    'div[role="textbox"]',
    'div[role="combobox"]',
    'textarea',
    'input[type="search"]',
    '[aria-label*="Hỏi"]',
  ];

  for (const sel of selectors) {
    try {
      const el = await page.$(sel);
      if (!el) continue;
      // đảm bảo hiển thị
      const visible = await el.boundingBox();
      if (!visible) continue;

      // quyết định contenteditable vs input bình thường
      const isContentEditable = await page.evaluate((s) => {
        const e = document.querySelector(s);
        if (!e) return false;
        if (e.isContentEditable) return true;
        const role = e.getAttribute && e.getAttribute("role");
        if (role && (role.includes("textbox") || role.includes("combobox"))) return true;
        return false;
      }, sel);

      if (isContentEditable) {
        await page.focus(sel);
        // Sử dụng JavaScript để viết và kích hoạt các phần tử đầu vào khi nào có thể để đảm bảo tương thích với các editor React/văn bản phong phú
        await page.evaluate((s, t) => {
          const el = document.querySelector(s);
          if (!el) return;
          // Nếu phần tử có thể chỉnh sửa, viết và phát đi sự kiện input
          try {
            el.focus();
            if (document.execCommand) {
              // insertText Hỗ trợ trong một số trình duyệt
              document.execCommand("selectAll", false);
              document.execCommand("insertText", false, t);
            } else {
              // thay thế
              el.innerText = t;
            }
          } catch (e) {
            el.innerText = t;
          }
          el.dispatchEvent(new Event("input", { bubbles: true }));
        }, sel, prompt);
        await page.keyboard.press("Enter");
        return true;
      } else {
        // Input/bảng văn bản bình thường
        try {
          await el.click({ clickCount: 1 });
        } catch (e) {}
        await page.focus(sel);
        // Xóa và nhập
        await page.evaluate((s) => {
          const e = document.querySelector(s);
          if (!e) return;
          if ("value" in e) e.value = "";
        }, sel);
        await page.type(sel, prompt, { delay: 25 });
        await page.keyboard.press("Enter");
        return true;
      }
    } catch (e) {
      // Bỏ qua và chuyển sang bộ chọn tiếp theo (giữ im lặng)
    }
  }

  // Quay lại: Đảm bảo trang đang có tiêu điểm trước khi sử dụng bàn phím để gõ (im lặng, không in cảnh báo)
  try {
    await page.mouse.click(640, 200).catch(() => {});
    await sleep(200);
    await page.keyboard.type(prompt, { delay: 25 });
    await page.keyboard.press("Enter");
    return true;
  } catch (e) {
    return false;
  }
}

(async () => {
  const connectionURL = buildConnectionURL(tokenValue);
  const browser = await puppeteer.connect({
    browserWSEndpoint: connectionURL,
    defaultViewport: { width: 1280, height: 900 },
  });

  const page = await browser.newPage();

  page.setDefaultNavigationTimeout(120000);
  page.setDefaultTimeout(120000);

  // Sử dụng một User Agent Desktop phổ biến (điều này làm giảm khả năng bị phát hiện bởi các biện pháp bảo vệ đơn giản)
  try {
    await page.setUserAgent(
      "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/140.0.0.0 Safari/537.36"
    );
  } catch (e) {}

  // Chuẩn bị thu thập dữ liệu (ngắn gọn)
  const rawResponses = [];
  const wsFrames = [];

  page.on("response", async (res) => {
    try {
      const url = res.url();
      const status = res.status();
      const resourceType = res.request ? res.request().resourceType() : "unknown";
      const headers = res.headers ? res.headers() : {};
      let snippet = "";
      try {
        const t = await res.text();
        snippet = typeof t === "string" ? t.slice(0, 20000) : String(t).slice(0, 20000);
      } catch (e) {
        snippet = "<đọc-thất bại>";
      }
      rawResponses.push({ url, status, resourceType, headers, snippet });
    } catch (e) {}
  });

  // Thử mở một phiên CDP để chụp các khung websocket (bỏ qua lặng lẽ nếu điều này không khả thi)
  try {
    const cdp = await page.target().createCDPSession();
    await cdp.send("Network.enable");
    cdp.on("Network.webSocketFrameReceived", (evt) => {
      try {
        const { response } = evt;

wsFrames.push({
          timestamp: evt.timestamp,
          opcode: response.opcode,
          payload: response.payloadData ? response.payloadData.slice(0, 20000) : response.payloadData,
        });
      } catch (e) {}
    });
  } catch (e) {}

  // Điều hướng đến Perplexity (chỉ sử dụng domcontentloaded)
  await page.goto("https://www.perplexity.ai/", { waitUntil: "domcontentloaded", timeout: 90000 });

  // Nhập và gửi câu hỏi của bạn (cố gắng im lặng)
  const prompt = "Chào ChatGPT, Bạn có biết Scrapeless là gì không?";
  await findAndType(page, prompt);

  // Câu trả lời được hiển thị trên trang một thời gian ngắn
  await sleep(1500);

  // Chờ đợi văn bản dài hơn xuất hiện trên trang (nhưng không tạo thêm nhật ký bổ sung)
  const start = Date.now();
  while (Date.now() - start < 20000) {
    const ok = await page.evaluate(() => {
      const main = document.querySelector("main") || document.body;
      if (!main) return false;
      return Array.from(main.querySelectorAll("*")).some((el) => (el.innerText || "").trim().length > 80);
    });
    if (ok) break;
    await sleep(500);
  }

  // Trích xuất câu trả lời / liên kết / các đoạn HTML
  const results = await page.evaluate(() => {
    const pick = (el) => (el ? (el.innerText || "").trim() : "");
    const out = { answers: [], links: [], rawHtmlSnippet: "" };

    const selectors = [
      '[data-testid*="answer"]',
      '[data-testid*="result"]',
      '.Answer',
      '.answer',
      '.result',
      'article',
      'main',
    ];

    for (const s of selectors) {
      const el = document.querySelector(s);
      if (el) {
        const t = pick(el);
        if (t.length > 30) out.answers.push({ selector: s, text: t.slice(0, 20000) });
      }
    }

    if (out.answers.length === 0) {
      const main = document.querySelector("main") || document.body;
      const blocks = Array.from(main.querySelectorAll("article, section, div, p")).slice(0, 8);
      for (const b of blocks) {
        const t = pick(b);
        if (t.length > 30) out.answers.push({ selector: b.tagName, text: t.slice(0, 20000) });
      }
    }

    const main = document.querySelector("main") || document.body;
    out.links = Array.from(main.querySelectorAll("a")).slice(0, 200).map(a => ({ href: a.href, text: (a.innerText || "").trim() }));
    out.rawHtmlSnippet = (main && main.innerHTML) ? main.innerHTML.slice(0, 200000) : "";

    return out;
  });

  // Lưu đầu ra (một cách im lặng)
  try {
    const pageHtml = await page.content();
    await page.screenshot({ path: "./perplexity_screenshot.png", fullPage: true }).catch(() => {});
    await fs.writeFile("./perplexity_results.json", JSON.stringify({ results, extractedAt: new Date().toISOString() }, null, 2));
    await fs.writeFile("./perplexity_page.html", pageHtml);
    await fs.writeFile("./perplexity_raw_responses.json", JSON.stringify(rawResponses, null, 2));
    await fs.writeFile("./perplexity_ws_frames.json", JSON.stringify(wsFrames, null, 2));
  } catch (e) {}

  await browser.close();
  // In chỉ thông tin cần thiết ngắn gọn.
  console.log("đã xong — đầu ra: perplexity_results.json, perplexity_page.html, perplexity_raw_responses.json, perplexity_ws_frames.json, perplexity_screenshot.png");
  process.exit(0);
})().catch(async (err) => {
  try { await fs.writeFile("./perplexity_error.txt", String(err)); } catch (e) {}
  console.error("lỗi — xem perplexity_error.txt");
  process.exit(1);
});

## 6. Cách Sử Dụng Dữ Liệu JSON Này cho GEO? (Hướng Dẫn Thực Tế)

Trường `answers` được trả về bởi Perplexity chủ yếu cho bạn biết:  
cách mà AI cuối cùng tạo ra câu trả lời — ai đã được trích dẫn, trang nào được tin tưởng, quan điểm nào được củng cố, và nội dung nào bị bỏ qua.  

Nói cách khác:  

**Hiểu `answers` = hiểu tại sao thương hiệu của bạn được AI trích dẫn, tại sao lại không, và cách cải thiện tỷ lệ trích dẫn.**

---

### Nhiệm Vụ Cốt Lõi của GEO: Kiểm Soát "Cơ Chế Trích Dẫn" của AI

SEO truyền thống nhằm mục đích xếp hạng các trang cao hơn trong kết quả tìm kiếm.  

GEO nhằm làm cho các mô hình có khả năng **trích dẫn nội dung của bạn** khi tạo ra câu trả lời.  

JSON `answers` của Perplexity cho phép bạn thấy:  
- Các URL nào mà AI đã trích dẫn (`source_urls`)  
- Trọng số ảnh hưởng của từng URL đến câu trả lời  
- Tóm tắt nội dung được AI sử dụng  
- Cách mà AI cấu trúc câu trả lời cuối cùng (đoạn / gạch đầu dòng)  

Các điều này tương ứng trực tiếp với các lĩnh vực bạn có thể tối ưu hóa cho GEO.  

---

### ① Xác định Các Nguồn Trích Dẫn: Bạn Có Trong "Danh Sách Tin Cậy" của Mô Hình Không?

Ví dụ:  
```json
"title": "Web Scraper PRO - Scrapeless",
"url": "https://scrapeless.com"

### ② Xem Nội Dung/Các Đối Thủ Nào Được Trích Dẫn Nhiều Nhất → Suy Ra Sở Thích Của AI

Ví dụ:

```json
"title": "Đánh Giá Trình Duyệt AI Không Scrap 2024: Một Cuộc Cách Mạng Hay Chỉ Là Một Công Cụ Khác?",
"url": "https://www.futuretools.io"

"Scrapeless là một bộ công cụ quét web và API sử dụng AI để..."