如何使用代理与Python Requests：增强网络爬虫的10种解决方案

import requests

proxies = {
    'http': 'http://your_http_proxy:port',
    'https': 'http://your_https_proxy:port',
}

try:
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    print(f"您的IP：{response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")

import requests

proxies = {
    'http': 'http://your_username:your_password@your_http_proxy:port',
    'https': 'http://your_username:your_password@your_https_proxy:port',
}

try:
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    print(f"您的IP：{response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")

import os
import requests

os.environ['HTTP_PROXY'] = 'http://your_http_proxy:port'
os.environ['HTTPS_PROXY'] = 'http://your_https_proxy:port'

try:
    response = requests.get('http://httpbin.org/ip', timeout=10)
    print(f"您的IP：{response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")

# 清理环境变量（可选）
del os.environ['HTTP_PROXY']
del os.environ['HTTPS_PROXY']

import requests

session = requests.Session()
session.proxies = {
    'http': 'http://your_http_proxy:port',
    'https': 'http://your_https_proxy:port',
}

try:
    response = session.get('http://httpbin.org/ip', timeout=10)
    print(f"您的IP：{response.json()['origin']}")
    response = session.get('http://httpbin.org/headers', timeout=10)
    print(f"头信息：{response.json()['headers']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败：{e}")

import requests
import random

proxy_pool = [
    {'http': 'http://proxy1.example.com:8080', 'https': 'http://proxy1.example.com:8080'},
    {'http': 'http://proxy2.example.com:8080', 'https': 'http://proxy2.example.com:8080'},
    {'http': 'http://proxy3.example.com:8080', 'https': 'http://proxy3.example.com:8080'},
]

def get_random_proxy():
    return random.choice(proxy_pool)

url = 'http://httpbin.org/ip'

for _ in range(5): # 使用轮换代理进行 5 次请求
    current_proxy = get_random_proxy()
    print(f"正在使用代理: {current_proxy['http']}")
    try:
        response = requests.get(url, proxies=current_proxy, timeout=10)
        print(f"你的 IP: {response.json()['origin']}")
    except requests.exceptions.RequestException as e:
        print(f"使用代理 {current_proxy['http']} 的请求失败: {e}")

pip install requests[socks]

import requests

proxies = {
    'http': 'socks5://your_socks_proxy:port',
    'https': 'socks5://your_socks_proxy:port',
}

try:
    response = requests.get('http://httpbin.org/ip', proxies=proxies, timeout=10)
    print(f"你的 IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

class CustomProxyAdapter(HTTPAdapter):
    def __init__(self, proxy_list, *args, **kwargs):
        self.proxy_list = proxy_list
        super().__init__(*args, **kwargs)

    def send(self, request, **kwargs):
        proxy = random.choice(self.proxy_list) # 自定义代理选择逻辑
        request.url = request.url.replace('http://', f'http://{proxy}/')
        request.url = request.url.replace('https://', f'https://{proxy}/')
        return super().send(request, **kwargs)

proxy_pool_for_adapter = [
    'proxy1.example.com:8080',
    'proxy2.example.com:8080',
]

session = requests.Session()
# 为所有 HTTP/HTTPS 请求安装自定义适配器
session.mount('http://', CustomProxyAdapter(proxy_pool_for_adapter))
session.mount('https://', CustomProxyAdapter(proxy_pool_for_adapter))

try:
    response = session.get('http://httpbin.org/ip', timeout=10)
    print(f"你的 IP: {response.json()['origin']}")
except requests.exceptions.RequestException as e:
    print(f"请求失败: {e}")

import requests

proxies_to_test = [
    {'http': 'http://good_proxy:8080', 'https': 'http://good_proxy:8080'},
    {'http': 'http://bad_proxy:8080', 'https': 'http://bad_proxy:8080'}, # 模拟一个坏代理
]

working_proxies = []

for proxy in proxies_to_test:
    try:

response = requests.get('http://httpbin.org/ip', proxies=proxy, timeout=5)
if response.status_code == 200:
    print(f"代理 {proxy['http']} 正在工作。IP: {response.json()['origin']}")
    working_proxies.append(proxy)
else:
    print(f"代理 {proxy['http']} 返回状态码 {response.status_code}")
except requests.exceptions.RequestException as e:
    print(f"代理 {proxy['http']} 失败: {e}")

print(f"有效代理: {working_proxies}")

import requests

# 替换为您实际的 Scrapeless API 端点和 API 密钥
SCRAPELESS_API_ENDPOINT = 'https://api.scrapeless.com/scrape'
SCRAPELESS_API_KEY = 'YOUR_SCRAPELESS_API_KEY'

url_to_scrape = 'https://www.example.com'

headers = {
    'X-Scrapeless-Api-Key': SCRAPELESS_API_KEY,
    'Content-Type': 'application/json'
}

payload = {
    'url': url_to_scrape,
    'proxy_type': 'residential',  # 指定住宅代理
    # 根据需要添加其他 Scrapeless 参数，例如，地理定位
}

try:
    response = requests.post(SCRAPELESS_API_ENDPOINT, headers=headers, json=payload, timeout=30)
    if response.status_code == 200:
        print("抓取成功！")
        # 根据需要处理 response.json() 或 response.text
        print(response.json())
    else:
        print(f"抓取失败，状态码: {response.status_code}")
        print(response.text)
except requests.exceptions.RequestException as e:
    print(f"请求 Scrapeless API 失败: {e}")

# 这是一个概念示例。与 requests-toolbelt 的实际实现可能有所不同。
# from requests_toolbelt import sessions

# session = sessions.BaseUrlSession(base_url='http://httpbin.org/')
# session.proxies = {
#     'http': 'http://proxy1.example.com:8080',
#     'https': 'http://proxy2.example.com:8080',
# }

# try:
#     response = session.get('ip')
#     print(f"您的 IP: {response.json()['origin']}")
# except requests.exceptions.RequestException as e:
#     print(f"请求失败: {e}")

电子商务企业需要监控全球各大在线商店的竞争对手定价。这需要从不同地理区域抓取产品页面，这通常涉及地理限制。通过使用具有地理定位能力的住宅代理，企业可以模拟来自特定国家的请求，以确保准确的价格数据收集。代理轮换在这里至关重要，以避免被监控单个IP地址请求模式的反机器人系统检测到。像Scrapeless这样的强大代理解决方案，拥有广泛的住宅IP池，将非常适合这一任务，使企业能够不间断地收集竞争情报。要深入了解特定的抓取任务，请阅读[如何抓取亚马逊产品数据](https://www.scrapeless.com/blog/how-to-scrape-amazon-product-data)。

### 案例研究 2：房地产市场分析

一家房地产分析公司想要从多个本地房地产门户网站收集房产 listings。这些门户网站通常有速率限制，可能会阻止来自同一来源发送过多请求的IP。实施具有自动轮换的代理池可以确保该公司能够持续收集数据而不被阻止。此外，如果某些门户网站有验证码挑战，则集成验证码解决能力的代理服务（通常在高级代理API中找到）将是非常有益的，简化数据收集过程。

### 案例研究 3：社交媒体数据收集用于情感分析

进行公众社交媒体帖子情感分析的研究人员需要从那些积极检测和阻止自动访问的平台收集大量数据。在这种情况下，使用移动代理非常有效，因为社交媒体平台高度优化了移动流量，并且更倾向于信任移动IP。将移动代理与Python Requests中的会话管理结合使用，使研究人员能够保持登录状态，并在较长时间内收集数据，而不会触发安全警报。

## 为什么选择Scrapeless满足您的代理需求？

在寻找可靠且高效的网络抓取代理解决方案时，Scrapeless脱颖而出，尤其是其专注于高质量的住宅代理。正如所讨论的，住宅代理对于需要高度匿名和绕过复杂反机器人措施的任务至关重要。Scrapeless提供一个庞大的真实住宅IP地址网络，确保您的抓取活动看起来合法，并且不太可能被检测或阻止。

**Scrapeless的主要优势：**

- **广泛的住宅IP池**：全球数百万个真实住宅IP的访问权限，允许精准的地理定位和高度匿名。
- **自动代理轮换**：Scrapeless处理代理轮换和管理的复杂性，让您可以专注于数据提取而不是基础设施。
- **高成功率**：旨在绕过甚至最先进的反机器人系统，确保您的抓取请求的成功率更高。
- **可扩展性**：轻松扩展您的操作，而无需担心管理大型代理基础设施。
- **性价比高**：虽然住宅代理是一项投资，但Scrapeless通过提供高质量、可靠的代理在长远上节省您的时间和资源，降低被封锁和重试的概率，从而提供竞争优势。

通过将Scrapeless整合到您的Python Requests工作流中，您可以显著提高网络抓取项目的稳健性和效率，确保持续访问所需数据。

## 结论

掌握使用Python Requests的代理是任何涉及网络抓取或数据提取的人的必备技能。从基本的字典配置到高级的会话管理和代理轮换，本指南中列出的解决方案提供了一整套工具包，用于应对网络的复杂性。通过理解不同代理类型的细微差别——住宅、数据中心和移动，并实施强大的错误处理，您可以显著提高抓取操作的效率、可靠性和隐蔽性。对于那些寻求简化和高效解决方案的人来说，利用像Scrapeless这样的专门代理服务，凭借其高端住宅IP网络，提供无与伦比的优势，能够绕过复杂的反机器人措施，并确保持续访问宝贵数据。采用这些技术，将您的网络抓取挑战转变为成功的数据获取努力。
<div class="text-sm text-gray-500"> login_scrapeless.json </div>
          <div class="text-sm text-gray-500" style="margin-left: 6px">
            • 37 KB
          </div>
        </div>
      </div>
      <img src="https://app.scrapeless.com/assets/logo.svg" class="w-10 h-10" style="border: none; margin: 0"
        alt="Scrapeless" />
    </div>
  </a>

## 常见问题

### 问1：在Python Requests中使用代理的主要好处是什么？

答1：主要好处是绕过IP禁令、访问地理限制内容，并在网络爬取过程中保持匿名。代理通过不同的IP地址路由您的请求，使网站更难检测和阻止您的自动化活动。

### 问2：住宅代理和数据中心代理之间有什么区别？

答2：住宅代理使用分配给家庭用户的互联网服务提供商（ISP）的真实IP地址，使其高度合法且不易被检测。数据中心代理是托管在数据中心的人工创建IP，比住宅代理速度更快、成本更低，但更容易被复杂的反机器人系统检测到。

### 问3：我如何在Python Requests中处理代理认证？

答3：您可以通过将用户名和密码直接嵌入代理URL中来处理代理认证，例如，在定义Python Requests中的代理字典时，使用`http://username:password@host:port`格式。

### 问4：为何代理轮换对网络爬取很重要？

答4：代理轮换对于大规模网络爬取至关重要，以避免IP禁令和速率限制。通过在不同的IP地址池中循环使用，您的请求看起来像是来自多个来源，模拟人类行为，从而降低被检测和阻止的可能性。

### 问5：我可以在Python Requests中使用SOCKS代理吗？

答5：可以，您可以在Python Requests中使用SOCKS代理，但您需要首先安装`requests[socks]`扩展（`pip install requests[socks]`）。安装后，您可以在代理URL中指定SOCKS协议（例如，`socks5://`）。

## 参考文献

[1] <a href="https://www.researchandmarkets.com/report/global-residential-proxy-server-market?srsltid=AfmBOop4yk7MwBnwaiY9TzPRLcv9AWqqqtxUowor5T5js4sMwLJnltsD" rel="nofollow">**ResearchAndMarkets: 全球住宅代理服务器市场**</a>

[2] <a href="https://www.zenrows.com/blog/python-requests-proxy" rel="nofollow">**ZenRows: 如何在Python Requests中设置代理**</a>

[3] <a href="https://scrapfly.io/blog/posts/introduction-to-proxies-in-web-scraping" rel="nofollow">**Scrapfly: 网络爬取中使用代理的完整指南**</a>