ニューヨーク・タイムズのスクレイピング方法

npm install @scrapeless-ai/sdk puppeteer-core

export SCRAPELESS_API_KEY="your_api_token_here"

import { Puppeteer } from '@scrapeless-ai/sdk';

const browser = await Puppeteer.connect({
  apiKey: process.env.SCRAPELESS_API_KEY,
  sessionName: 'nyt-section',
  proxyCountry: 'US',
  sessionTTL: 300,
});

const page = await browser.newPage();
await page.goto('https://www.nytimes.com/section/technology', {
  waitUntil: 'domcontentloaded',
  timeout: 60000,
});
await new Promise((r) => setTimeout(r, 3500)); // ストーリーリストをハイドレートするための時間を設ける

console.log(await page.title());
// 'Technology - The New York Times'

const articles = await page.evaluate(() => {
  const abs = (u) => { try { return new URL(u, location.href).href; } catch { return null; } };
  const seen = new Set();
  const out = [];

  for (const a of document.querySelectorAll('a[href]')) {
    const href = a.getAttribute('href');
    if (!href || !/\/\d{4}\/\d{2}\/\d{2}\/.+\.html/.test(href)) continue;

    const url = abs(href);
    if (seen.has(url)) continue;

    const headline = a.innerText.trim();
    if (!headline) continue;

    seen.add(url);
    const wrap = a.closest('section, li, article');
    const summary = wrap?.querySelector('p[class*="summary"]')?.innerText?.trim() || null;
    out.push({ headline, url, summary });
  }
  return out;
});

console.log(articles.length, 'articles');
console.log(articles[0]);
// 21 articles
// {
//   headline: 'イギリス、子供向けのソーシャルメディア禁止を発表',
//   url: 'https://www.nytimes.com/2026/06/15/world/europe/uk-social-media-children.html',
//   summary: null
// }

const sections = ['technology', 'business', 'world'];
const all = [];

for (const name of sections) {
  await page.goto(`https://www.nytimes.com/section/${name}`, {
    waitUntil: 'domcontentloaded',
    timeout: 60000,
  });
  await new Promise((r) => setTimeout(r, 3500));

  const batch = await page.evaluate(() => {
    const abs = (u) => { try { return new URL(u, location.href).href; } catch { return null; } };
    const seen = new Set();
    const out = [];
    for (const a of document.querySelectorAll('a[href]')) {
      const href = a.getAttribute('href');
      if (!href || !/\/\d{4}\/\d{2}\/\d{2}\/.+\.html/.test(href)) continue;
      const url = abs(href);
      if (seen.has(url) || !a.innerText.trim()) continue;
      seen.add(url);
      out.push({ headline: a.innerText.trim(), url });
    }
    return out;
  });

  all.push(...batch.map((a) => ({ ...a, section: name })));
  console.log(`${name}: ${batch.length} articles`);
}

[
  {
    "headline": "スペースXの株が初めての取引日の初日に急騰",
    "url": "https://www.nytimes.com/2026/06/15/business/spacex-stock.html",
    "summary": null
  }
]
// スキーマはステップ2のevalで出力されるものと正確に一致します。フィールド値は例示用のサンプルです。

信頼できるニューヨークタイムズのスクレイパーは、`domcontentloaded`で読み込まれ、日付の`.html` URLパターンで発見され、重複を排除します。URLの形状に基づいて一致させることが、デザインの変更を越えた動作を維持する鍵であり、アンカーテキストから見出しを読み取ることで、1つのセレクタが全体の作業を行います。Scrapeless Scraping Browser上で動作することで、Chromiumレンダリングや住宅用エグレスが提供され、セクションリストが最初に読み込まれます。収集したリンクを構造化された記事データに変換するには、[同様の方法で構築されたサイトスクレイパー](https://www.scrapeless.com/ja/blog/etsy-scraper-browser)と組み合わせてください；[Scraping Browserの製品ページ](https://www.scrapeless.com/ja/product/scraping-browser?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=scrape-new-york-times)や[ドキュメント](https://docs.scrapeless.com)は、完全なSDKのサーフェスをカバーしています。DOMを待ち、URLパターンを一致させ、重複を排除してください。

---

## AI駆動のデータパイプラインを構築する準備はできていますか？

私たちのコミュニティに参加して、無料プランを取得し、ニュースやメディアのパイプラインを構築する開発者とつながりましょう：[Discord](https://discord.gg/VU2vtbq7Q2) · [Telegram](https://t.me/scrapeless)。

[app.scrapeless.com](https://app.scrapeless.com/passport/login/?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=scrape-new-york-times)にサインアップして、無料のScraping Browserランタイムを入手し、上記のパターンをモニタリングニーズに応じたセクションやトピックに適応させてください。[価格](https://www.scrapeless.com/ja/pricing?utm_source=website&utm_medium=blog&utm_campaign=scrapingbrowser&utm_term=scrape-new-york-times)をご覧ください。

---

## よくある質問

**Q: ニューヨークタイムズをスクレイピングすることは合法ですか？**
公開されている見出しや記事URLを収集することは一般的に許可されていますが、NYTの利用規約や著作権法がコンテンツの保存や再利用方法を規定しています。公開データのみをスクレイプし、ペイウォールを回避せず、利用規約を尊重し、あなたの使用例について法律相談を受けてください。

**Q: プロキシは必要ですか？**
はい — `proxyCountry: 'US'`（またはあなたのターゲットエディション）を指定してください。NYTはコンテンツをローカライズし、IPごとにレート制限を行うため、一貫した住宅用エグレスが結果セットを安定させます。

**Q: `networkidle2`がこのページで停止するのはなぜですか？**
ページがバックグラウンドリクエスト（広告、分析、パーソナライズ）を発信し続けているため、ネットワークは完全にアイドル状態になりません。代わりに`domcontentloaded`と短い安定待機を使用してください。

**Q: デザイン変更後、セレクタが壊れました。抽出を耐久性のあるものにするにはどうすればよいですか？**
ハッシュ化されたCSSクラスの代わりに記事URLパターン(`/YYYY/MM/DD/<path>.html`)を一致させてください。URLの形状は、クラス名が変更されてもデザイン変更を越えて安定しています。

**Q: 記事の本体を取得できますか？**
このワークフローは公開されている見出しやリンクを収集します。記事の本体は多くの場合、サブスクリプションの背後にあるため、それを取得することは別のアクセス依存のステップであり、ペイウォールを回避して行うものではありません。

**Q: 一度に何セクションをスイープできますか？**
1つのセッション内でセクションをループさせ、同時実行を控えめに保ちます — ホストごとに3つのセッションが並行して実行するための安全な上限です。

**Q: AIエージェントなしでこれを実行できますか？**
はい。Scrapelessセッション上での通常のPuppeteerです — エージェントは必要ありません。