プロキシをnode-fetchで使用する方法：完全ガイド

node-fetchライブラリは、Node.jsでHTTPリクエストを行うための人気の選択肢であり、現代のウェブブラウザで利用可能なfetch APIに似た、馴染みのあるインターフェースを提供します。ウェブスクレイピング、ジオターゲティング、またはレート制限を回避する作業には、プロキシを統合することが不可欠です。

しかし、他の一部のHTTPクライアントとは異なり、node-fetchはプロキシ設定をネイティブにサポートしていません。このガイドでは、HTTP/HTTPSおよびSOCKSプロトコル用に、node-fetchとプロキシを正常に統合するための必要な手順とツールを紹介します。

前提条件

始める前に、Node.js環境がセットアップされており、以下のパッケージがインストールされていることを確認してください：

1. node-fetch: 主なHTTPクライアント。
2. https-proxy-agent: HTTP/HTTPSプロキシに接続するために使用します。
3. socks-proxy-agent: SOCKSプロキシに接続するために使用します。

これらはnpmを使用してインストールできます：

npm install node-fetch https-proxy-agent socks-proxy-agent

1. node-fetchを使用したHTTP/HTTPSプロキシの利用

HTTPまたはHTTPSプロキシを使用するには、https-proxy-agentパッケージを利用する必要があります。このパッケージは、node-fetchが指定されたプロキシを介してリクエストをルートするために使用できるAgentオブジェクトを作成します。

ステップ 1: 必要なモジュールのインポート

import fetch from 'node-fetch';
import { HttpsProxyAgent } from 'https-proxy-agent';

ステップ 2: プロキシURLの定義

プロキシURLは、次の形式で指定する必要があります： http://[username:password@]host:port。

// 実際のプロキシ詳細に置き換えてください
const proxyUrl = 'http://username:password@proxy.scrapeless.com:8000'; 

ステップ 3: エージェントの作成

プロキシURLを使用してHttpsProxyAgentをインスタンス化します。

const agent = new HttpsProxyAgent(proxyUrl);

ステップ 4: リクエストを行う

作成したagentオブジェクトをfetchオプションに渡します。

const targetUrl = 'https://example.com/data';

fetch(targetUrl, { agent })
  .then(response => {
    console.log(`ステータス: ${response.status}`);
    return response.text();
  })
  .then(text => console.log(text.substring(0, 200) + '...'))
  .catch(error => console.error('Fetchエラー:', error));

この方法では、この特定のfetch呼び出しのトラフィックがプロキシを介してルーティングされ、必要な匿名性とジオターゲティング機能が提供されます。

2. node-fetchを使用したSOCKSプロキシの利用

SOCKSプロキシ（SOCKS4およびSOCKS5）は、すべてのタイプのトラフィック（HTTPだけでなく）を処理できる能力と、より高い匿名性のために好まれることが多いです。node-fetchとこれらを使用するには、socks-proxy-agentパッケージが必要です。

ステップ 1: 必要なモジュールのインポート

import fetch from 'node-fetch';
import { SocksProxyAgent } from 'socks-proxy-agent';

ステップ 2: SOCKSプロキシURLの定義

SOCKSプロキシURLは、socks://またはsocks5://で始まる必要があります。

// 実際のSOCKS5プロキシ詳細に置き換えてください
const socksProxyUrl = 'socks5://username:password@proxy.scrapeless.com:1080';

ステップ 3: エージェントの作成

SOCKSプロキシURLを使用してSocksProxyAgentをインスタンス化します。

const socksAgent = new SocksProxyAgent(socksProxyUrl);

ステップ 4: リクエストを行う

socksAgentをfetchオプションに渡します。

const targetUrl = 'https://example.com/data';

fetch(targetUrl, { agent: socksAgent })
  .then(response => {
    console.log(`ステータス: ${response.status}`);
    return response.text();
  })
  .then(text => console.log(text.substring(0, 200) + '...'))
  .catch(error => console.error('Fetchエラー:', error));

おすすめのプロキシソリューション: Scrapeless Proxies

Node.jsを使用したウェブスクレイピングやデータ収集に依存する開発者や企業にとって、プロキシネットワークの品質は重要です。Scrapeless Proxiesは、node-fetchおよびそのプロキシエージェントとの統合に最適な堅牢で高性能なネットワークを提供します。

Scrapelessは、住宅型、静的ISP、データセンター、IPv6のプロキシを含む worldwide プロキシネットワークを提供しており、 9000万を超えるIPへのアクセスと最大 **99.98%**の成功率を誇ります。ウェブスクレイピングや 市場調査 [1] など、幅広いユースケースをサポートし、価格監視、SEOトラッキング、広告検証、ブランド保護のためのビジネスおよびプロフェッショナルデータワークフローに最適です。

Scrapelessプロキシ: Node.js開発者のための主な機能

Scrapelessのネットワークは、Node.jsアプリケーションに必要な高い同時処理能力と信頼性のために最適化されています：

• レジデンシャルプロキシ： 9000万以上の本物のレジデンシャルIP、匿名性の高いスクレイピングに最適です。
• データセンタープロキシ： 大規模な自動化と大規模な同時処理のために最適化された高性能IP。
• プロトコルサポート： HTTP、HTTPS、SOCKS5を完全にサポートし、https-proxy-agentとsocks-proxy-agentの両方とのシームレスな統合を保証します。
• 高成功率： 99.98%の平均成功率により、Node.jsコード内での複雑なエラーハンドリングやリトライの必要性を最小限に抑えます。

Scrapelessプロキシは、グローバルなカバレッジ、透明性、非常に安定したパフォーマンスを提供し、ビジネスクリティカルで信頼性のあるデータアプリケーションに特に適した、より強力で信頼できる選択肢となります—特にNode.jsによるユニバーサルスクレイピング [2]とプロダクトソリューション [3]が必要な場合には。

結論

node-fetchとプロキシを統合するには、https-proxy-agentやsocks-proxy-agentのような専門のエージェントライブラリを使用する必要があります。Scrapelessプロキシのような高品質のプロキシプロバイダーでこれらのエージェントを正しく構成することで、あなたのNode.jsアプリケーションがデータ取得に必要な匿名性、速度、信頼性を持ってウェブリクエストを行うことを保証できます。

参考文献

[1] Node.jsドキュメント: クラス: http.Agent
[2] npm: node-fetch
[3] npm: https-proxy-agent
[4] npm: socks-proxy-agent
[5] IETF RFC 1928: SOCKSプロトコルバージョン5