Cách đặt User Agent

Scrapeless Agent Browser cung cấp một trình duyệt trên đám mây cho tự động hóa web với dấu vân tay trình duyệt có thể cấu hình.

Đặt user agent bằng cách cấu hình header yêu cầu User-Agent trong HTTP client hoặc thiết lập danh tính trình duyệt được hỗ trợ trong môi trường trình duyệt. Sau đó xác minh giá trị mà máy chủ nhận được. Một giá trị cấu hình chỉ hiển thị trong mã của bạn không đủ làm bằng chứng rằng header dự định đã đến được đích.

Trường User-Agent mô tả phần mềm đang gửi yêu cầu. Nó có thể giúp một dịch vụ nhận diện client hoặc chọn bản biểu diễn phù hợp, nhưng nó không xác thực client và không tái tạo toàn bộ một trình duyệt. Vì vậy, một cấu hình hữu ích bao gồm cả một giá trị được lựa chọn có chủ ý và một hiểu biết rõ ràng về những gì thay đổi đó có thể ảnh hưởng.

Chuỗi User-Agent có ý nghĩa gì?

Chuỗi User-Agent là một mô tả phần mềm client do chính nó khai báo, được mang trong một trường yêu cầu HTTP. Trường HTTP User-Agent field definition mô tả các định danh sản phẩm và các chú thích tùy chọn. Máy chủ có thể sử dụng giá trị này cho xử lý tương thích, phân tích hoặc chẩn đoán.

Chuỗi của trình duyệt thường bao gồm các token tương thích mang tính lịch sử. Việc tìm thấy một tên sản phẩm quen thuộc trong chuỗi không chứng minh rằng engine tương ứng đang chạy. Một client có thể chọn một chuỗi khác, và nhiều trình duyệt có thể chia sẻ các phần của cùng một cú pháp.

Mô hình User-Agent header model cũng phản ánh nỗ lực của trình duyệt nhằm giảm thông tin nhận dạng chi tiết. Tránh thiết kế một bộ thu thập phụ thuộc vào việc mọi phiên bản hệ điều hành hoặc trình duyệt nhỏ đều được lộ ra theo cùng một định dạng mãi mãi.

Đối với một bộ kiểm tra nội bộ có thể nhận diện, một tên ứng dụng súc tích và số phiên bản có thể hữu ích hơn là sao chép một chuỗi trình duyệt dài. Hãy sử dụng một danh tính phù hợp với nhiệm vụ được cho phép. Không được tự nhận là bot của công cụ tìm kiếm hoặc ứng dụng của tổ chức khác để lấy quyền truy cập gắn với danh tính đó.

Trước khi bạn chạy các ví dụ

Các ví dụ dưới đây yêu cầu curl hoặc Python với gói Requests, cùng với quyền truy cập mạng tới endpoint echo header HTTP công khai. Chúng gửi một yêu cầu GET duy nhất và in ra giá trị được endpoint đó quan sát. Chúng không cần tài khoản Scrapeless, proxy, hoặc phiên trình duyệt.

CatalogAudit/1.0 là một danh tính ứng dụng minh họa được chọn cho phần trình diễn này. Hãy thay nó bằng một danh tính phù hợp cho ứng dụng của riêng bạn. Giá trị kỳ vọng là giá trị bạn cố ý gửi, chứ không phải là tuyên bố về bất kỳ phiên bản trình duyệt nào.

Một dịch vụ echo là một đích đến phục vụ chẩn đoán. Đừng gửi các header xác thực, cookie hoặc URL riêng tư tới đó. Các ví dụ chỉ gửi header user-agent dùng để minh họa, giúp việc kiểm tra tập trung vào hành vi đang được hướng dẫn.

Đặt User Agent trong curl

curl đặt trường User-Agent thông qua tùy chọn --user-agent, cũng có dạng rút gọn -A. Các curl command-line options xác định thiết lập đó tách biệt với cấu hình proxy và các header yêu cầu khác.

Chạy yêu cầu đơn lẻ này để kiểm tra giá trị mà endpoint echo nhận được:

curl --silent --show-error --fail --max-time 20 \
  --user-agent 'CatalogAudit/1.0' \
  'https://httpbin.org/user-agent'

Phản hồi chứa một trường user-agent với giá trị được curl gửi. Giới hạn thời gian rõ ràng giới hạn vòng đời truyền tải của lệnh, trong khi --fail làm cho các phản hồi lỗi HTTP hiển thị dưới dạng lỗi lệnh. Đây là một kiểm tra header nhỏ, không phải bài kiểm tra toàn bộ pipeline thu thập.

Đặt chuỗi trong dấu ngoặc để dấu cách hoặc dấu câu vẫn thuộc về một tham số shell duy nhất khi bạn dùng một danh tính dài hơn. Giữ thông tin xác thực nằm ngoài chuỗi. User agent là siêu dữ liệu mô tả yêu cầu và có thể xuất hiện trong log của máy chủ.

Đặt User Agent trong Python Requests

Python Requests chấp nhận các header tùy chỉnh thông qua tham số headers. Đặt trường này một cách tường minh trên yêu cầu và kiểm tra phản hồi của endpoint nhận trước khi áp dụng cùng thiết lập đó cho một quy trình lớn hơn.

Ví dụ hoàn chỉnh này thực hiện một yêu cầu và xác nhận rằng giá trị echo khớp với giá trị đã cấu hình:

import requests

user_agent = "CatalogAudit/1.0"
response = requests.get(
    "https://httpbin.org/user-agent",
    headers={"User-Agent": user_agent},
    timeout=20,
)
response.raise_for_status()
received = response.json()["user-agent"]
assert received == user_agent
print(received)

timeout của yêu cầu giới hạn thời gian chờ mạng theo hành vi timeout của client; nó không phải là tuyên bố rằng mọi thao tác nghiệp vụ xung quanh đều hoàn thành trong khoảng thời gian đó. Câu lệnh assert kiểm tra hành vi cụ thể mà ví dụ này minh họa: endpoint đã nhận được giá trị header đã chọn.

Đối với các yêu cầu liên quan, một Requests Session có thể giữ các header và cookie dùng chung. Hãy quyết định xem một header thuộc về toàn bộ phiên hay chỉ một yêu cầu. Ghi đè ở cấp yêu cầu hữu ích cho việc so sánh có kiểm soát, nhưng các thay đổi vô tình bên trong một phiên có thể làm suy yếu cách diễn giải kết quả.

Xác minh yêu cầu gửi đi thực tế

Việc xác minh nên so sánh giá trị đã cấu hình với quan sát của máy chủ hoặc một bản ghi đáng tin cậy của yêu cầu gửi đi. Chỉ kiểm tra biến trong script của bạn không thể phát hiện việc bị ghi đè về sau, một lớp bao tạo thêm yêu cầu khác, hoặc một trung gian thay đổi header.

Trong trình duyệt, bảng network có thể hiển thị các request header cho từng yêu cầu riêng lẻ. Hãy chọn đúng tài liệu hoặc yêu cầu API đang được kiểm tra, vì một lần tải trang có thể bao gồm nhiều yêu cầu khác nhau. Giá trị hiển thị cho một tài nguyên không chứng minh được rằng mọi yêu cầu trong trang đều dùng cùng giá trị đó.

Hãy lưu ý các lần chuyển hướng (redirect). URL ban đầu có thể dẫn đến một đích khác, và các thiết lập phía client có thể được áp dụng khác nhau trong toàn bộ chuỗi đó. Ghi lại URL cuối cùng và kiểm tra yêu cầu đã tạo ra nội dung bạn đang đánh giá. Một header đúng trên yêu cầu đầu tiên không chứng minh được rằng bản thể hiện cuối cùng khớp với bài kiểm tra bạn dự định.

Nếu kết quả echo khác với giá trị đã cấu hình, hãy thu hẹp đường đi. Kiểm tra cấu hình client và bất kỳ thiết lập proxy do môi trường cung cấp. So sánh yêu cầu đơn giản với yêu cầu đã được ứng dụng bọc lại. Thay đổi từng yếu tố một để quan sát có thể xác định nguyên nhân.

Vì Sao Thay Đổi User-Agent Không Mô Phỏng Được Thiết Bị

Việc thay đổi User-Agent chỉ thay đổi danh tính được khai báo, trong khi mô phỏng thiết bị có thể bao gồm viewport, khả năng nhập liệu, các API của trình duyệt và hành vi render. Một thư viện mạng trên desktop gửi một chuỗi trông giống thiết bị di động vẫn không có được môi trường thực thi của trình duyệt di động.

Các hạn chế của việc dò User-Agent giải thích vì sao dò tính năng (feature detection) thường đáng tin cậy hơn cho hành vi ứng dụng web. Một trang có thể kiểm tra các khả năng thực tế thay vì tin vào một mã sản phẩm trong header.

Đối với một bài kiểm tra bố cục di động, hãy xác định viewport và các điều kiện tương tác yêu cầu cũng như danh tính được khai báo. Đối với một bài kiểm tra thương lượng nội dung (content negotiation), hãy tập trung vào các header và bản thể hiện được trả về. Đây là các bài kiểm tra khác nhau và không nên gộp lại thành một tuyên bố rằng một yêu cầu đến từ một chiếc điện thoại thật.

Hành vi TLS cũng tách biệt. Một client HTTP bằng Python không tiếp nhận việc triển khai tầng truyền tải của trình duyệt chỉ vì nó khai báo tên trình duyệt đó. Nếu tính tương thích phụ thuộc vào ngăn xếp mạng hoặc việc thực thi trang, hãy kiểm tra trực tiếp lớp đó thay vì thử nhiều chuỗi header không liên quan.

Ảnh Hưởng Của Client Hints Đến Các Kiểm Tra Danh Tính

User-agent client hints cung cấp thêm thông tin danh tính có cấu trúc trong các trình duyệt hỗ trợ cơ chế này. Một trang có thể dùng các hint đó cùng với chuỗi User-Agent. Thay đổi một trường có thể khiến môi trường được khai báo tổng thể trở nên không nhất quán.

Các công cụ trình duyệt và framework tự động hóa khác nhau ở việc giá trị nào được cập nhật bởi các điều khiển danh tính của chúng. Hãy dùng bề mặt cấu hình được ghi nhận cho chính trình duyệt đó và kiểm tra cả thuộc tính trên network và thuộc tính hiển thị trên trang khi phù hợp. Tránh giả định rằng một thao tác ghi đè chỉ trên header cũng cập nhật mọi thuộc tính JavaScript.

Giữ phạm vi bài kiểm tra rõ ràng. Nếu yêu cầu chỉ là xác minh một HTTP header, ví dụ echo là đủ. Nếu yêu cầu là xác thực cấu hình danh tính trình duyệt, hãy kiểm tra môi trường trình duyệt và hành vi của đích đến như các bằng chứng riêng biệt.

Sử Dụng Agent Browser Cho Công Việc Ở Cấp Độ Trình Duyệt

Scrapeless Agent Browser có liên quan khi tác vụ đòi hỏi một trình duyệt trên đám mây thay vì chỉ là một phiên truyền HTTP. Tính năng cấu hình fingerprint tùy chỉnh của nó bao gồm User-Agent và các thiết lập danh tính được hỗ trợ khác, với các giới hạn đã được ghi rõ.

Các thiết lập đó không ngụ ý quyền kiểm soát không giới hạn đối với mọi đặc tính thiết bị. Tính năng đã được mô tả không biến một phiên đám mây thành phần cứng vật lý tùy ý. Hãy khớp cấu hình được hỗ trợ với tác vụ tương thích hoặc thu thập dữ liệu và kiểm tra các thuộc tính quan trọng đối với tác vụ đó.

Bài viết liên quan Python Requests user-agent walkthrough bao quát phía client HTTP của sự phân biệt này. Hãy dùng Scrapeless pricing khi đánh giá công việc dựa trên trình duyệt, vì một phiên trình duyệt có mô hình vận hành khác với một lần kiểm tra header cục bộ đơn giản.

Các ví dụ trong bài viết này xác minh cấu hình header của curl và Requests cục bộ. Chúng không minh họa một phiên Agent Browser đã xác thực hoặc chứng minh trang đích cụ thể sẽ phản hồi thế nào với một danh tính trình duyệt được tùy chỉnh.

Giữ Danh Tính Phiên Ổn Định Và Kết Quả Dễ Diễn Giải

Một cấu hình danh tính ổn định giúp chuỗi yêu cầu dễ diễn giải hơn khi các yêu cầu đó thuộc về một phiên. Việc thay đổi user agent một cách ngẫu nhiên giữa các thao tác liên quan có thể làm thay đổi lựa chọn nội dung phía server mà không phản ánh hành trình người dùng mà bài kiểm tra định mô phỏng.

Đối với một so sánh tương thích giả định, hãy định nghĩa các phiên riêng biệt cho hai hồ sơ client dự định. Giữ tài nguyên được yêu cầu và các điều kiện khác được kiểm soát, sau đó so sánh bản thể hiện thực tế. Ghi lại khác biệt về bố cục hoặc trường dữ liệu thay vì giả định rằng chỉ cần đổi header là chắc chắn đổi được phản hồi.

Nếu server trả về một hạn chế truy cập, hãy tôn trọng ranh giới đó. Thiết lập user-agent là một cơ chế tương thích và nhận dạng, không phải cơ chế phân quyền. Hãy dùng đường truy cập được dịch vụ hỗ trợ cho tác vụ.

Kết Luận

Hãy thiết lập User-Agent thông qua một tùy chọn được hỗ trợ của client và xác minh nó ở phía nhận. Giữ vai trò của header tách biệt với hành vi TLS, việc render của trình duyệt và khả năng thiết bị. Đối với các tác vụ ở cấp độ trình duyệt, hãy dùng cấu hình trình duyệt được ghi nhận và kiểm tra trực tiếp môi trường kết quả.