Bingニュースのスクレイピング方法

npm install @scrapeless-ai/sdk puppeteer-core

export SCRAPELESS_API_KEY="your_api_token_here"

import { Puppeteer } from '@scrapeless-ai/sdk';

const browser = await Puppeteer.connect({
  apiKey: process.env.SCRAPELESS_API_KEY,
  sessionName: 'bing-news',
  proxyCountry: 'US',
  sessionTTL: 300,
});

const page = await browser.newPage();
const query = 'openai';
await page.goto(`https://www.bing.com/news/search?q=${encodeURIComponent(query)}`, {
  waitUntil: 'networkidle2',
  timeout: 60000,
});

console.log(await page.title());
// 'openai - ニュース検索'

const articles = await page.evaluate(() => {

const abs = (u) => { try { return new URL(u, location.href).href; } catch { return null; } };
  return [...document.querySelectorAll('.news-card')]
    .map((card) => ({
      title: card.getAttribute('data-title'),
      url: abs(card.getAttribute('url')),
      source: card.getAttribute('data-author'),
      snippet:
        card.querySelector('.snippet')?.getAttribute('title') ||
        card.querySelector('.snippet')?.innerText?.trim() ||
        null,
    }))
    .filter((a) => a.title && a.url);
});

console.log(articles.length, '記事');
console.log(articles[0]);
// 12 記事
// {
//   title: "日本のテクノロジー企業ソフトバンクがサイバー攻撃に対するOpenAIの「パッチ」を展開",
//   url: 'https://apnews.com/article/openai-softbank-japan-technology-intelligence-cyberattacks-d8d3f9b2e5042ea949a7d5c53b782d96',
//   source: 'AP通信',
//   snippet: '日本のテクノロジー大手ソフトバンクグループ株式会社がサービスを立ち上げています...'
// }

const seen = new Map();

for (const first of [1, 11, 21]) {
  await page.goto(
    `https://www.bing.com/news/search?q=${encodeURIComponent(query)}&first=${first}`,
    { waitUntil: 'networkidle2', timeout: 60000 }
  );

  const batch = await page.evaluate(() =>
    [...document.querySelectorAll('.news-card')]
      .map((card) => card.getAttribute('data-title'))
      .filter(Boolean)
  );

  for (const title of batch) seen.set(title, true);
  console.log(`first=${first}: ${batch.length}件のカード、現在${seen.size}件のユニークなものがあります`);
}
// first=1:  10件のカード、10件のユニークなものがあります
// first=11: 10件のカード、18件のユニークなものがあります
// first=21: 10件のカード、26件のユニークなものがあります

[
  {
    "title": "ソフトバンクがOpenAIモデルに基づくサイバーセキュリティ製品を発表",
    "url": "https://www.msn.com/en-in/lifestyle/style/softbank-launches-cybersecurity-product-based-on-openai-models/ar-AA25LC2i",
    "source": "MSNの経済タイムズ",
    "snippet": "「サービスとしてのパッチ」製品は、合弁事業を通じて日本で展開されます..."
  }
]
// スキーマは、ステップ2の評価結果を正確に反映しています。フィールド値は例示サンプルです。

[app.scrapeless.com](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=scrape-bing-news)で無料のScraping Browserランタイムにサインアップし、上記のパターンを監視ニーズに合わせたクエリと地域に適応させてください。[価格](https://www.scrapeless.com/ja/pricing?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=scrape-bing-news)をご覧ください。

---

## よくある質問

**Q: Bingニュースをスクレイピングすることは合法ですか？**
一般的に公開されている検索結果の収集は許可されていますが、Bingの利用規約と地域の法律はデータの保存と使用方法に適用されます。公開結果のみをスクレイピングし、<a href="https://datatracker.ietf.org/doc/html/rfc9309" rel="nofollow"><strong>ロボットおよび利用規約に関するルール</strong></a>を尊重し、あなたの使用ケースについて法律相談を行ってください。

**Q: プロキシは必要ですか？**
はい — `proxyCountry: 'US'`（またはターゲット地域）を指定してください。BingはIPによってローカライズおよびレート制限を行うため、一貫した住宅エグレスが結果セットとマークアップを安定させます。

**Q: ページは得られますが、カードが表示されません。何が問題ですか？**
カードはJavaScriptによってレンダリングされます。通常のHTTPフェッチではシェルだけが返されますので、Scraping Browserでページを読み込み、`networkidle2`まで待ってからDOM内にグリッドが存在するか確認してください。

**Q: 1ページ以上の結果を取得するにはどうすればいいですか？**
URLの`first=`オフセットをステップして、`&first=11`、`&first=21`など、同じセッションを再利用し、タイトルで重複を削除してください。いくつかのカードはページ間で再表示されることがあります。

**Q: マークアップが変更されて、セレクターが壊れました。なぜですか？**
Bingは定期的にレイアウトを更新します。ライブページと比較してカード属性名（`data-title`、`url`、`data-author`）を再確認し、変化した場合はセレクターを厳密にしてください。

**Q: どれだけの並行クエリを実行できますか？**
並行性は控えめに保ってください — 同じサイトに対する並行実行の安全な上限はホストごとに3セッションです。

**Q: AIエージェントなしでこれを実行できますか？**
はい。Scrapelessセッションの上で通常のPuppeteerを使用するだけで、エージェントは不要です。