如何使用代理与 node-fetch：完整指南

node-fetch 库是 Node.js 中一个流行的 HTTP 请求工具，提供了一种类似于现代网页浏览器中可用的熟悉的 fetch API。对于网络抓取、地理定位或绕过速率限制等任务，集成代理是必不可少的。

然而，与其他一些 HTTP 客户端不同，node-fetch 并不原生支持代理配置。此指南将指导您完成将代理成功集成到 node-fetch 中的必要步骤和工具，适用于 HTTP/HTTPS 和 SOCKS 协议。

前提条件

在开始之前，请确保您已设置 Node.js 环境并安装以下软件包：

1. node-fetch：主要的 HTTP 客户端。
2. https-proxy-agent：用于连接 HTTP/HTTPS 代理。
3. socks-proxy-agent：用于连接 SOCKS 代理。

您可以使用 npm 安装它们：

npm install node-fetch https-proxy-agent socks-proxy-agent

1. 使用 HTTP/HTTPS 代理与 node-fetch

要使用 HTTP 或 HTTPS 代理，您需要利用 https-proxy-agent 包。该包创建一个 Agent 对象，供 node-fetch 用来通过指定的代理路由其请求。

第一步：导入必要模块

import fetch from 'node-fetch';
import { HttpsProxyAgent } from 'https-proxy-agent';

第二步：定义代理 URL

代理 URL 应该采用格式：http://[username:password@]host:port。

// 替换为您的实际代理信息
const proxyUrl = 'http://username:password@proxy.scrapeless.com:8000'; 

第三步：创建代理

使用您的代理 URL 实例化 HttpsProxyAgent。

const agent = new HttpsProxyAgent(proxyUrl);

第四步：发起请求

在 fetch 选项中传入创建的 agent 对象。

const targetUrl = 'https://example.com/data';

fetch(targetUrl, { agent })
  .then(response => {
    console.log(`状态: ${response.status}`);
    return response.text();
  })
  .then(text => console.log(text.substring(0, 200) + '...'))
  .catch(error => console.error('抓取错误:', error));

这种方法确保此特定 fetch 调用的所有流量都通过您的代理路由，从而提供必要的匿名性和地理定位功能。

2. 使用 SOCKS 代理与 node-fetch

SOCKS 代理（SOCKS4 和 SOCKS5）因其处理所有类型流量（不仅仅是 HTTP）的能力和更高的匿名性而受到偏爱。要在 node-fetch 中使用它们，您需要 socks-proxy-agent 包。

第一步：导入必要模块

import fetch from 'node-fetch';
import { SocksProxyAgent } from 'socks-proxy-agent';

第二步：定义 SOCKS 代理 URL

SOCKS 代理的 URL 应以 socks:// 或 socks5:// 开头。

// 替换为您的实际 SOCKS5 代理信息
const socksProxyUrl = 'socks5://username:password@proxy.scrapeless.com:1080';

第三步：创建代理

使用您的 SOCKS 代理 URL 实例化 SocksProxyAgent。

const socksAgent = new SocksProxyAgent(socksProxyUrl);

第四步：发起请求

在 fetch 选项中传入 socksAgent。

const targetUrl = 'https://example.com/data';

fetch(targetUrl, { agent: socksAgent })
  .then(response => {
    console.log(`状态: ${response.status}`);
    return response.text();
  })
  .then(text => console.log(text.substring(0, 200) + '...'))
  .catch(error => console.error('抓取错误:', error));

推荐的代理解决方案：Scrapeless 代理

对于依赖 Node.js 进行网络抓取和数据收集的开发人员和企业，代理网络的质量至关重要。Scrapeless 代理 提供了一个强大、高性能的网络，完美适合与 node-fetch 及其代理代理集成。

Scrapeless 提供全球代理网络，包括住宅、静态 ISP、数据中心和 IPv6 代理，能够访问 超过 9000 万个 IP，成功率高达 99.98%。它支持广泛的用例 — 从网络抓取和 市场研究 [1] 到价格监测、SEO 跟踪、广告验证和品牌保护，非常适合商业和专业数据工作流程。

Scrapeless 代理：Node.js 开发者的关键特性

Scrapeless 的网络经过优化，能够满足 Node.js 应用程序对高并发性和可靠性的需求：

• 住宅代理： 超过9000万个真实住宅 IP，适合高匿名性的抓取。
• 数据中心代理： 高性能 IP，优化用于大规模自动化和大量并发。
• 协议支持： 完全支持 HTTP、HTTPS 和 SOCKS5，确保与 https-proxy-agent 和 socks-proxy-agent 的无缝集成。
• 高成功率： 99.98% 的平均成功率最小化了在 Node.js 代码中对复杂错误处理和重试的需求。

Scrapeless 代理 提供全球覆盖、透明性和高度稳定的性能，使其成为比其他替代方案更强大、更可靠的选择——尤其适用于需要可靠的 通用抓取 [2] 和 产品解决方案 [3] 的企业关键和专业数据应用，使用 Node.js。

结论

将代理与 node-fetch 集成需要使用像 https-proxy-agent 和 socks-proxy-agent 这样的专用代理库。通过正确配置这些代理与像 Scrapeless 代理这样高质量的代理提供商，您可以确保您的 Node.js 应用程序以进行数据获取所需的匿名性、速度和可靠性执行网络请求。

参考文献

[1] Node.js 文档：类：http.Agent
[2] npm: node-fetch
[3] npm: https-proxy-agent
[4] npm: socks-proxy-agent
[5] IETF RFC 1928：SOCKS 协议第 5 版