Các Khách Hàng HTTP Python Tốt Nhất Cho Lập Trình Web Scraping: Một So Sánh Thực Tế

TL;DR:

• Requests phù hợp với các công việc đồng bộ đơn giản. Sử dụng một phiên khi luồng công việc cần cấu hình liên tục và tái sử dụng kết nối.
• HTTPX hỗ trợ cả ứng dụng đồng bộ và bất đồng bộ. Các giao diện khách hàng kết hợp của nó có thể giảm khoảng cách khái niệm giữa hai phong cách.
• aiohttp phù hợp với các ứng dụng đã được xây dựng xung quanh asyncio. Tái sử dụng một phiên khách hàng và công việc đồng thời một cách có chủ đích.
• urllib3 phơi bày các điều khiển vận chuyển cấp thấp hơn. Nó hữu ích khi hành vi của pool là một phần trong thiết kế của ứng dụng.
• Một khách hàng HTTP không thực thi JavaScript trên trang. Sử dụng dịch vụ truy cập quản lý hoặc hiển thị khi nội dung cần thiết bị thiếu từ phản hồi.

Giới thiệu: Phù Hợp Khách Hàng với Ứng Dụng

Một khách hàng HTTP Python gửi yêu cầu và phơi bày phản hồi. Ứng dụng quyết định những gì cần lấy, liệu nội dung trả về có hữu ích hay không, và cách chuyển đổi nó thành hồ sơ.

Sự phân chia đó giải thích tại sao việc thay thế một thư viện đồng bộ bằng một cái bất đồng bộ không tự động sửa chữa một công việc thu thập dữ liệu. Công việc có thể đang chờ đợi mục tiêu, phân tích một tài liệu lớn, hoặc nhận một trang cần JavaScript. Mỗi vấn đề cần một sự can thiệp khác nhau.

So sánh này đề cập đến Requests, HTTPX, aiohttp và urllib3 với tư cách là thư viện khách hàng. Scrapeless Web Unlocker xuất hiện sau này như một dịch vụ mà các thư viện đó có thể gọi. Nó không phải là một thư viện HTTP Python. Đối với một luồng công việc liên quan cần tương tác trình duyệt và xử lý tệp, luồng làm việc tải xuống tệp minh họa một lớp thực thi khác.

Các Khách Hàng HTTP Python Trong Nháy Mắt

Chọn khách hàng có mô hình thực thi phù hợp với mã bao quanh nó. Bảng so sánh các giao diện, không phải kết quả chuẩn.

Không thư viện nào trong số này biến cơ thể phản hồi thành trang trình duyệt được hiển thị. Chúng có thể lấy HTML, JSON và các đại diện khác; một trình phân tích hoặc trình duyệt thực hiện giai đoạn tiếp theo.

Những Gì Tái Sử Dụng Kết Nối Thực Sự Thay Đổi

Tái sử dụng kết nối cho phép các yêu cầu tương thích tái sử dụng các kết nối hiện có thay vì thiết lập mỗi kết nối từ đầu. Việc tái sử dụng có thể giảm công việc thiết lập, nhưng lợi ích phụ thuộc vào mục tiêu, mẫu yêu cầu và hành vi của máy chủ.

Một đối tượng khách hàng tồn tại lâu dài cũng cung cấp cho ứng dụng một nơi cho các thiết lập và cookie được chia sẻ. Giữ cho đối tượng đó được giới hạn trong thời gian làm việc hoặc phục vụ mong muốn. Tạo một khách hàng mới cho mỗi URL loại bỏ nhiều lý do để sử dụng một pool.

Xác thực trạng thái HTTP và nội dung vẫn tách rời. Mô hình đại diện HTTP mô tả những gì mà một phản hồi đại diện; trình thu thập dữ liệu vẫn phải kiểm tra rằng đại diện chứa dữ liệu cần thiết.

Requests: Bắt Đầu Với Mã Đồng Bộ Có Thể Đọc

Requests là một lựa chọn thiết thực khi mã tuần tự phù hợp với khối lượng công việc và nhóm đánh giá cao một dòng chảy yêu cầu-phản hồi quen thuộc. Giao diện phiên của nó giữ cho việc tái sử dụng kết nối và các thiết lập liên tục có thể truy cập mà không cần giới thiệu vòng lặp sự kiện.

Một thời gian chờ là rất cần thiết. Nếu không có ràng buộc rõ ràng, một hoạt động bị treo có thể chiếm dụng một công nhân lâu hơn mức mà công việc mong đợi. Một kiểm tra trạng thái thành công nên được theo sau bởi việc xác thực nội dung phản hồi, không phải là giả định ngay lập tức rằng việc trích xuất đã thành công.

Thực thi đồng bộ không có nghĩa là không phù hợp với sản xuất một cách tự nhiên. Một công việc thu thập nhỏ đã được phê duyệt có thể dễ dàng hơn để vận hành như các yêu cầu tuần tự hơn là một hệ thống đồng thời. Đo lường nút thắt thực tế trước khi thay đổi mô hình ứng dụng.

HTTPX: Giữ Giao Diện Đồng Bộ và Bất Đồng Bộ Liên Quan

HTTPX cung cấp cả khách hàng đồng bộ và bất đồng bộ, điều này hữu ích khi một cơ sở mã có các môi trường thực thi khác nhau. Các khái niệm chung như tùy chọn yêu cầu và kiểm tra phản hồi làm cho việc di chuyển dễ dàng hơn, mặc dù các trang gọi bất đồng bộ vẫn yêu cầu kiểm soát cẩn thận vòng đời của khách hàng.

HTTPX cũng cung cấp hỗ trợ HTTP/2 tùy chọn. Cấu hình HTTPX HTTP/2 yêu cầu thiết lập rõ ràng; chỉ chọn thư viện không đồng nghĩa với việc mọi kết nối đều đàm phán giao thức đó.

Đừng giả định rằng mỗi cài đặt đều có ý nghĩa giống hệt nhau giữa các thư viện. So sánh hành vi chuyển hướng, các giai đoạn thời gian chờ, cấu hình proxy và các loại ngoại lệ trước khi thay thế một khách hàng hiện có.

aiohttp: Sử Dụng Một Phiên Bất Đồng Bộ Chia Sẻ

Aiohttp cung cấp một khách hàng bất đồng bộ được xây dựng xung quanh asyncio. Nó phù hợp với một dịch vụ đã lập lịch cho các I/O bất đồng bộ khác và cần các yêu cầu HTTP để tham gia vào mô hình đó.

Sử dụng ClientSession và đặt một thời gian hết hạn tổng thể cho hoạt động dự kiến. Ràng buộc công việc ở cấp ứng dụng để chương trình không tạo ra một tập hợp các tác vụ không giới hạn. Một hàng đợi tác vụ lớn hơn không tạo thêm quyền để thu thập từ một mục tiêu.

Thực thi bất đồng bộ cải thiện cơ hội lập lịch trong khi ứng dụng chờ đợi I/O. Nó không làm cho việc phân tích HTML miễn phí, loại bỏ các giới hạn của máy chủ hoặc đảm bảo độ trễ end-to-end thấp hơn. Giữ các tuyên bố đó riêng biệt khi đánh giá khách hàng.

urllib3: Chọn Kiểm Soát Hồ Bơi Trực Tiếp Một Cách Cẩn Thận

Urllib3 phơi bày việc quản lý kết nối và cấu hình vận chuyển ở cấp độ thấp hơn. Nó hữu ích khi một ứng dụng hoặc thư viện cần quản lý những chi tiết đó trực tiếp thay vì thông qua một giao diện tiện ích cấp cao hơn.

Kiểm soát thêm đi kèm với nhiều trách nhiệm hơn về xử lý phản hồi. Quyết định cách byte trở thành văn bản, khi nào nội dung được tiêu thụ và cách tài nguyên hồ bơi được giải phóng. Một API cấp thấp hơn nên được chọn cho một yêu cầu cụ thể, không phải vì ít sự trừu tượng hơn được cho là nhanh hơn.

Bắt Đầu Thu Thập Dữ Liệu Với Scrapeless

Nhanh chóng nâng cao công việc thu thập dữ liệu trên web và quy trình tự động của bạn với Scrapeless!
Đăng ký ngay hôm nay và nhận $5 tín dụng miễn phí — không yêu cầu thẻ tín dụng.

Nhận tín dụng miễn phí của bạn ngay bây giờ trong Bảng Điều Khiển Scrapeless.

Chạy Kiểm Tra Nội Dung Giống Nhau Với Mỗi Khách Hàng

Một sự so sánh chức năng công bằng thu thập cùng một nguồn và kiểm tra cùng một dấu hiệu nội dung. Đoạn mã dưới đây yêu cầu một tài liệu giao thức công khai một lần cho mỗi khách hàng, sau đó báo cáo xem chủ đề dự kiến có mặt hay không. Đây là một kiểm tra chức năng, không phải là một xếp hạng tốc độ.

Các yêu cầu tiên quyết và Cài đặt

Sử dụng một môi trường Python được hỗ trợ và cài đặt các phiên bản dưới đây. Ví dụ này yêu cầu truy cập HTTPS ra ngoài nhưng không cần thông tin xác thực Scrapeless. Yêu cầu sau đó từ Web Unlocker yêu cầu riêng một khóa API Scrapeless hợp lệ và vẫn đang chờ xác minh trực tiếp mà không có một khóa nào.

Cài đặt các gói vào một môi trường ảo:

python3 -m pip install requests==2.32.5 httpx==0.28.1 aiohttp==3.13.5 urllib3==2.6.3

Lưu điều này dưới dạng compare_clients.py, sau đó chạy nó bằng Python. Các yêu cầu được làm theo thứ tự một cách có chủ đích, bao gồm cả các ví dụ về khách hàng bất đồng bộ, vì vậy đoạn mã không ngụ ý một chuẩn mực đồng thời.

import asyncio
import json
import ssl
import certifi
import requests
import httpx
import aiohttp
import urllib3

URL = 'https://www.rfc-editor.org/rfc/rfc9114.html'
MARKER = 'HTTP/3'
HEADERS = {'User-Agent': 'ContentComparison/1.0'}


def report(name, status, body):
    text = body.decode('utf-8')
    if status != 200 or MARKER not in text:
        raise ValueError(f'{name}: expected document missing')
    print(json.dumps({'client': name, 'status': status,
                      'bytes': len(body), 'topic_present': True}))


with requests.Session() as client:
    response = client.get(URL, headers=HEADERS, timeout=30)
    response.raise_for_status()
    report('requests', response.status_code, response.content)

with httpx.Client(timeout=30, follow_redirects=True) as client:
    response = client.get(URL, headers=HEADERS)
    response.raise_for_status()
    report('httpx', response.status_code, response.content)

pool = urllib3.PoolManager(cert_reqs='CERT_REQUIRED',
                           ca_certs=certifi.where())
try:
    response = pool.request('GET', URL, headers=HEADERS,
                            timeout=urllib3.Timeout(total=30))
    report('urllib3', response.status, response.data)
finally:
    pool.clear()


async def run_async():
    context = ssl.create_default_context(cafile=certifi.where())
    connector = aiohttp.TCPConnector(ssl=context)
    async with aiohttp.ClientSession(
        connector=connector, timeout=aiohttp.ClientTimeout(total=30)
    ) as client:
        async with client.get(URL, headers=HEADERS) as response:
            response.raise_for_status()
            report('aiohttp', response.status, await response.read())

asyncio.run(run_async())

Đoạn mã kiểm tra nội dung phản hồi thực tế và giữ xác thực chứng chỉ TLS. Số byte có thể thay đổi nếu tài liệu nguồn thay đổi. Một kiểm tra dấu hiệu thành công xác nhận công việc thu thập hạn chế này; nó không thiết lập chất lượng trích xuất cho các trang web khác.

So Sánh Khối Tải Trước Khi So Sánh Tốc Độ

Một thí nghiệm hiệu suất hữu ích giữ cho tập hợp mục tiêu, giới hạn đồng thời, chính sách thời gian hết hạn và kiểm tra chấp nhận không đổi. Báo cáo các bản ghi hữu ích hoàn thành, thời gian đã trôi qua và việc sử dụng tài nguyên. Bao gồm cả thất bại thay vì loại bỏ chúng khỏi mẫu.

Bắt đầu với một khối tải nhỏ được cho phép. Đo lường việc thực hiện theo thứ tự trước khi giới thiệu song song giới hạn. Đối với một ứng dụng bất đồng bộ, cũng kiểm tra thời gian chi tiêu cho việc phân tích và lưu trữ; công việc CPU chặn trong vòng lặp sự kiện có thể che giấu lợi ích của mạng bất đồng bộ.

Bảo toàn các loại khi đọc các phản hồi có cấu trúc. Các loại giá trị JSON phân biệt các chuỗi, số và giá trị null. Việc chuyển đổi một giá trị giá thiếu thành số không thay đổi ý nghĩa của bản ghi bất kể khách hàng nào đã lấy nó.

Nơi Các Khách Hàng HTTP Dừng Lại: Truy Cập Trang Được Quản Lý

Một khách hàng HTTP dừng lại ở việc đại diện cho phản hồi; nó không thực thi các kịch bản của trang hoặc tự động biến một thử thách thành nội dung dự kiến. Đầu tiên kiểm tra xem dữ liệu mục tiêu có tồn tại trong HTML trả về hay không. Thuật toán phân tích HTML xây dựng một cây tài liệu từ markup, điều này khác với việc chạy trang như một trình duyệt.

Scrapeless Web Unlocker cung cấp một điểm truy cập được quản lý mà một khách hàng Python có thể gọi. Giữ cùng một kỷ luật xác thực phản hồi tại ranh giới đó. Cấu hình yêu cầu Web Unlocker hiện tại tài liệu điểm truy cập và hợp đồng đầu vào; các tùy chọn nội suy nên được chọn từ tài liệu hiện tại của họ khi cần.

Lưu ý: Yêu cầu dịch vụ sau cần SCRAPELESS_API_KEY. Việc truy xuất đã xác thực đang chờ xác minh trực tiếp mà không có thông tin xác thực đó; không có HTML trả về hoặc kết quả hoàn thành nào bị chế tạo ở đây.

import os
import requests

response = requests.post(
    'https://api.scrapeless.com/api/v2/unlocker/request',
    headers={'x-api-token': os.environ['SCRAPELESS_API_KEY']},
    json={
        'actor': 'unlocker.webunlocker',
        'input': {'url': 'https://httpbin.io/get',
                  'method': 'GET', 'redirect': False},
        'proxy': {'country': 'ANY'}
    },
    timeout=60
)
response.raise_for_status()
print(response.text)

Cuộc gọi này minh họa ranh giới dịch vụ đã được tài liệu, không phải là một sự thay thế cho client Python hoặc một cuộc trình diễn render JavaScript. Kiểm tra phản hồi thực tế và trạng thái ứng dụng trước khi phân tích nó. Xem xét giá cả Scrapeless riêng biệt với thư viện client: việc cài đặt thư viện và cuộc gọi dịch vụ được quản lý có mô hình chi phí khác nhau.

Kết luận: Chọn Client Đơn Giản Nhất Phù Hợp Với Runtime

Sử dụng Requests cho một quy trình đồng bộ, HTTPX khi các giao diện đồng bộ và bất đồng bộ liên quan giúp ích, aiohttp cho một ứng dụng tập trung vào asyncio, và urllib3 khi cần kiểm soát pool trực tiếp. Giữ cho các kiểm tra nội dung ổn định trên toàn bộ so sánh. Thêm một lớp render hoặc truy cập được quản lý chỉ khi đại diện trả về không thể thỏa mãn nhiệm vụ.

Sẵn sàng Xây Dựng Quy Trình Dữ Liệu Web của Bạn?

Tham gia các nhà phát triển thảo luận về quy trình thu thập thực tế: Discord · Telegram.

Tạo một tài khoản tại app.scrapeless.com và bắt đầu với một nhiệm vụ đã được ủy quyền mà bạn có thể xác thực đầu ra.

Câu Hỏi Thường Gặp

Q: Client HTTP Python nào nên được một người mới bắt đầu chọn?

Requests là một điểm khởi đầu đơn giản cho một công việc đồng bộ nhỏ. Thiết lập thời gian chờ, kiểm tra trạng thái, và xác thực nội dung trước khi thêm cơ sở hạ tầng nhiều hơn.

Q: HTTPX có luôn nhanh hơn Requests không?

Không có thứ hạng tốc độ phổ quát nào theo tên thư viện. Việc tái sử dụng kết nối, đồng thời, hành vi mục tiêu, và công việc phân tích quyết định kết quả quan sát được.

Q: Aiohttp có thể render JavaScript không?

Aiohttp lấy phản hồi HTTP và không chạy một engine render trình duyệt. Sử dụng trình duyệt hoặc dịch vụ render được quản lý phù hợp khi dữ liệu yêu cầu được tạo ra bởi các script trang.

Q: Việc thay đổi client có khắc phục được trang bị từ chối truy cập không?

Việc thay đổi client không thiết lập quyền hạn hoặc đảm bảo truy cập. Kiểm tra phản hồi, xác nhận quy trình được phép, và chọn một con đường truy cập phù hợp mà không xử lý một trang thách thức như dữ liệu.

Q: Scrapeless Web Unlocker có phải là một thư viện Python không?

Web Unlocker là một dịch vụ được quản lý mà các client HTTP Python có thể gọi tới. Client xử lý yêu cầu cục bộ, trong khi dịch vụ xử lý công việc truy cập từ xa được tài liệu.