如何在Python中轮换代理

Michael Lee

Expert Network Defense Engineer

23-Sep-2025

介绍
在Python中轮换代理确保稳定、可靠的网络爬虫和自动化。使用单一IP可能导致封锁和速率限制。本指南涵盖了10种有效轮换代理的实用方法。对于更快速和简单的解决方案，考虑使用Srapeless，它自动处理代理轮换。

1. 手动使用代理列表

结论： 从列表中手动切换代理有助于避免检测。

步骤：

准备一个代理列表（proxies = ["http://ip:port", ...]）。
使用random.choice(proxies)为每个请求选择一个代理。
将代理传递给requests或httpx：

python Copy

import requests, random

proxies = ["http://111.111.111.111:8080", "http://222.222.222.222:8080"]
proxy = random.choice(proxies)
response = requests.get("https://example.com", proxies={"http": proxy, "https": proxy})
print(response.text)

应用： 小规模抓取或测试多个端点而不被封禁。

2. 使用Requests Session进行代理轮换

结论： 会话对象允许在多个请求中保持一致的代理使用。

步骤：

创建requests.Session()。
为每个会话分配列表中的一个代理。

python Copy

import requests, random

session = requests.Session()
proxies = ["http://111.111.111.111:8080", "http://222.222.222.222:8080"]
session.proxies.update({"http": random.choice(proxies), "https": random.choice(proxies)})
response = session.get("https://example.com")
print(response.status_code)

应用： 当抓取需要持久会话的页面时。

3. 使用第三方代理库

结论： requests-ip-rotator等库简化了代理轮换。

步骤：

python Copy

# 使用requests-ip-rotator的示例
from requests_ip_rotator import ApiGatewaySession
session = ApiGatewaySession("https://example.com")
response = session.get("https://example.com")
print(response.text)

应用： 最适合需要IP轮换的API或频繁请求。

4. 使用Tor进行代理轮换

结论： Tor通过电路提供免费的代理轮换。

步骤：

安装Tor（sudo apt install tor）和stem Python库。
通过Tor SOCKS代理连接（127.0.0.1:9050）。
使用Tor命令更改IP。

python Copy

import requests

proxies = {"http": "socks5h://127.0.0.1:9050", "https": "socks5h://127.0.0.1:9050"}
response = requests.get("https://example.com", proxies=proxies)
print(response.text)

应用： 抓取匿名数据而不需为代理付费。

5. 使用轮换代理提供商

结论： 付费提供商确保高可靠性和速度。

与Python抓取脚本集成
支持高并发和可靠性

应用： 适合寻求高效的新手和专业人士。

10. 使用环境变量进行旋转代理

结论： 使用环境变量动态更改代理配置。

步骤：

将代理存储在 .env 文件中。
在脚本中加载并随机选择代理。

python Copy

import os, random
from dotenv import load_dotenv
import requests

load_dotenv()
proxies = os.getenv("PROXIES").split(",")
proxy = random.choice(proxies)
response = requests.get("https://example.com", proxies={"http": proxy, "https": proxy})

应用： 对于可配置的抓取流水线很有用。

比较总结

方法	易用性	成本	可扩展性	最佳应用案例
手动列表	易于使用	免费	低	小型项目
请求会话	易于使用	免费	中等	持久会话
代理库	中等使用	免费/付费	中等	API调用
Tor	中等使用	免费	低	匿名抓取
付费服务	易于使用	付费	高	大规模抓取
Selenium	中等使用	免费/付费	中等	自动化任务
Scrapy	中等使用	免费	高	大型爬虫项目
Async httpx	较难使用	免费	高	高并发
Scrapeless	非常简单	付费	高	一体化解决方案
环境变量	中等使用	免费	中等	可配置流水线