Niquests Web Scraping: Các yêu cầu HTTP/2 hiện đại cho Python

pip install "niquests==3.20.1"

export SCRAPELESS_API_KEY="sk_your_scrapeless_key"

# direct.py - truyền tải hiện đại, thiếu nội dung
import niquests

session = niquests.Session()
resp = session.get("https://quotes.toscrape.com/js/", timeout=30)

print("phiên bản http:", resp.conn_info.http_version)
print("khối trích dẫn trên trang js:", resp.text.count('class="quote"'))

phiên bản http: HttpVersion.h2
khối trích dẫn trên trang js: 0

# rendered.py - niquests gọi API render, sau đó trích xuất
import os
import re

import niquests

session = niquests.Session()
resp = session.post(
    "https://api.scrapeless.com/api/v2/unlocker/request",
    headers={"x-api-token": os.environ["SCRAPELESS_API_KEY"]},
    json={"actor": "unlocker.webunlocker", "input": {"url": "https://quotes.toscrape.com/js/", "js_render": True}},
    timeout=120,
)
resp.raise_for_status()
html = resp.json()["data"]

authors = re.findall(r'<small class="author">(.*?)</small>', html)
print("khối trích dẫn đã render:", html.count('class="quote"'))
print("tác giả được trích xuất:", len(authors))
print("tác giả đầu tiên:", authors[0])

khối trích dẫn đã render: 10
tác giả được trích xuất: 10

Đó là toàn bộ scraper, và nó không bao giờ rời khỏi niquests: một `Session` thực hiện yêu cầu trực tiếp nơi mà điều đó hoạt động và một yêu cầu Scrapeless nơi mà việc kết xuất là cần thiết. [Universal Scraping API](https://www.scrapeless.com/vi/product/universal-scraping-api?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=niquests-web-scraping) thực hiện việc kết xuất; niquests xử lý HTTP.

> Nhận khóa API của bạn trên gói miễn phí: [app.scrapeless.com](https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=niquests-web-scraping)

## Các mẫu nâng cao

- **Di chuyển chỉ với một dòng.** `import niquests as requests` cho phép một mã nguồn `requests` hiện có áp dụng HTTP/2 và multiplexing mà không cần thay đổi khác; API là giống nhau.
- **Tái sử dụng phiên.** Một `niquests.Session()` đơn lẻ tạo nhóm và multiplexing các kết nối, đây là nơi mà lợi thế vận chuyển xuất hiện qua nhiều yêu cầu — xây dựng một lần và truyền nó xung quanh.
- **Thêm một phân tích cú pháp thực sự khi bạn vượt qua regex.** Regex ở đây giữ ví dụ ở một phụ thuộc; đối với bất cứ điều gì ngoài danh sách phẳng, cung cấp `resp.json()["data"]` cho một thư viện chọn lựa và chọn các trường có cấu trúc.
- **Để nó đàm phán.** Niquests chọn HTTP/2 hoặc HTTP/3 khi máy chủ cung cấp và trở lại sạch sẽ khi nó không; bạn không cấu hình phiên bản, bạn đọc nó từ `conn_info` khi bạn muốn xác nhận.

## Khắc phục sự cố

- **`conn_info.http_version` là HTTP/1.1.** Máy chủ không cung cấp HTTP/2 cho yêu cầu đó, hoặc một trung gian đã hạ cấp nó. Điều này là bình thường và không phải là lỗi; niquests sử dụng phiên bản tốt nhất có sẵn.
- **Không có khối nào từ một trang bạn có thể thấy trong trình duyệt.** Nội dung được kết xuất bằng JavaScript và việc lấy trực tiếp trả về HTML đã được kết xuất trước — trường hợp `js-page quote blocks: 0`. Chuyển hướng URL đó qua cuộc gọi Scrapeless với `js_render` thay vào đó.
- **`json()` bị lỗi trên phản hồi Scrapeless.** Yêu cầu đã thất bại trước khi kết xuất. Gọi `raise_for_status()` trước, và xác nhận rằng khóa đã được thiết lập và tác nhân cùng đầu vào được hình thành như đã chỉ ra.
- **Thời gian chờ trên các trang chậm.** Kết xuất mất nhiều thời gian hơn so với việc lấy tĩnh. Đưa vào POST Scrapeless một `timeout` hào phóng, như ví dụ làm, thay vì mặc định ngắn mà bạn sẽ sử dụng cho một yêu cầu trực tiếp.

## Kết luận

Niquests xứng đáng có chỗ đứng như là một HTTP client mà một scraper cần: API `requests` với giao thông hiện đại, xử lý cả yêu cầu lấy trực tiếp và cuộc gọi đến API kết xuất. Lớp biến một trang xây dựng bằng mã thành nội dung là việc lấy — kết quả không có khối của yêu cầu trực tiếp giải quyết điều đó — và một POST Scrapeless, được niquests thực hiện, thu hẹp khoảng cách. Kết nối hai con đường vào một phiên duy nhất và mười tác giả từ trang demo quay trở lại qua HTTP mà bạn không phải viết lại.

[Tạo một tài khoản Scrapeless miễn phí](https://app.scrapeless.com/passport/login?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=niquests-web-scraping) để nhận khóa API, và [tài liệu phát triển](https://docs.scrapeless.com?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=niquests-web-scraping) đề cập đến các tham số `unlocker.webunlocker`. Kiểm tra [giá Scrapeless](https://www.scrapeless.com/vi/pricing?utm_source=website&utm_medium=blog&utm_campaign=universalscrapingapi&utm_term=niquests-web-scraping) khi bạn lên kế hoạch cho một công việc định kỳ.

## Câu hỏi thường gặp

**H: Niquests có thể tự động thu thập các trang render bằng JavaScript không?**

Không. Niquests là một HTTP client, không phải trình duyệt; nó trả lại mã mà máy chủ gửi và không chạy bất kỳ kịch bản nào. Trên một trang mà xây dựng nội dung của nó bên phía khách hàng, yêu cầu lấy trực tiếp trở về với nội dung thiếu — kết quả không có khối của hướng dẫn. Chuyển hướng những trang đó qua Universal Scraping API của Scrapeless, cái sẽ kết xuất chúng, và niquests cũng thực hiện cuộc gọi đó.

**H: Niquests khác gì so với requests?**

Cùng API, vận chuyển mới hơn. Niquests là một nhánh của `requests` thêm HTTP/2, HTTP/3, multiplexing kết nối, và DNS-over-HTTPS trong khi giữ `Session`, `get`, `post`, và `json()` giống hệt. `import niquests as requests` thường là toàn bộ di chuyển.

**H: Tôi có cần một phân tích cú pháp riêng không?**

Đối với danh sách các trường phẳng, một regex hoặc thư viện tiêu chuẩn là đủ, như đã chỉ ra. Đối với việc trích xuất lồng hoặc có cấu trúc, kết hợp niquests với một thư viện chọn lựa — niquests lấy, trình phân tích chọn. Hướng dẫn này giữ chỉ một phụ thuộc với mục đích.

**H: HTTP/2 có giúp thu thập các khối không?**

Đó là một nâng cấp vận chuyển, không phải là một biện pháp chống khối. Multiplexing HTTP/2 cải thiện băng thông qua nhiều yêu cầu, nhưng nó không kết xuất JavaScript hoặc giải quyết các thách thức truy cập — đó là công việc của lớp lấy, đó là lý do mà con đường kết xuất đi qua Scrapeless.

**H: Việc thu thập với niquests có hợp pháp không?**
Khách hàng HTTP không thay đổi các quy tắc thu thập. Chỉ lấy các trang công khai, tôn trọng các điều khoản của trang web và các chỉ thị của robot được tiêu chuẩn hóa bởi <a href="https://datatracker.ietf.org/doc/html/rfc9309" rel="nofollow"><strong>Giao thức loại trừ Robot</strong></a>, giữ cho khối lượng dữ liệu có giới hạn và xử lý bất kỳ dữ liệu cá nhân nào theo các luật áp dụng cho bạn.