User Agent là gì?

Định nghĩa

User agent là phần mềm hoạt động thay mặt cho một người dùng hoặc một chương trình khác khi giao tiếp với một máy chủ. Các trình duyệt web là những user agent nổi tiếng nhất, nhưng các công cụ dòng lệnh, ứng dụng di động, trình thu thập thông tin tìm kiếm, trình đọc tin, công cụ truy cập và khách hàng API cũng phù hợp với định nghĩa. Trong HTTP, tiêu đề yêu cầu User-Agent là một cách mà một khách hàng có thể xác định sản phẩm và phiên bản của mình. Tiêu đề là bối cảnh hữu ích, nhưng chỉ là một chuỗi tự khai báo và không nên được coi là danh tính đã được xác minh.

Câu hỏi thực tế không chỉ là thuật ngữ có nghĩa gì, mà còn là bằng chứng nào hỗ trợ nhãn hiệu, quyết định nào phụ thuộc vào nó, và cách một người điều hành xử lý sự không chắc chắn. Hướng dẫn này phân tách hành vi quan sát được khỏi giả định để các nhà phát triển, đội ngũ an ninh, kỹ sư dữ liệu, và người mua kỹ thuật có thể sử dụng khái niệm một cách chính xác.

User Agent như Phần mềm và như một Tiêu đề

Thuật ngữ user agent mô tả chương trình khách, trong khi User-Agent thường đề cập đến một tiêu đề HTTP.

Sự phân biệt đó ngăn ngừa một sự hiểu lầm phổ biến. Một trình duyệt là một user agent ngay cả khi chuỗi xác định của nó vắng mặt hoặc bị giảm. Tiêu đề chỉ đơn giản là một trường tin nhắn mà khách hàng gửi kèm theo một yêu cầu. Tiêu chuẩn ngữ nghĩa HTTP định nghĩa ngữ pháp của nó như các định danh sản phẩm với các chú thích tùy chọn và khuyên khách hàng nên hạn chế chi tiết không cần thiết vì thông tin thừa làm tăng nguy cơ dấu vân tay.

Trong cuộc trò chuyện thông thường, mọi người cũng nói user agent khi họ muốn nói đến chuỗi chính xác sao chép từ các công cụ phát triển. Bối cảnh quyết định nghĩa nào được áp dụng. Khi gỡ lỗi, hãy ghi lại cả hai: tên triển khai khách hàng và giữ nguyên giá trị tiêu đề đã đến máy chủ. Điều đó giữ cho một vấn đề phiên bản phần mềm tách biệt khỏi một trung gian đã viết lại tiêu đề.

Cách một Chuỗi User-Agent được Cấu trúc

Một chuỗi user-agent là một chuỗi các mã sản phẩm và chú thích tương thích.

Chuỗi trình duyệt thường chứa nhiều tên lịch sử vì các trang web một lần phục vụ nội dung bằng cách cố gắng khớp các mã cụ thể. Một trình duyệt hiện đại do đó có thể đề cập đến một gia đình trình duyệt cũ hơn, một mã động cơ, một hệ điều hành, và phiên bản sản phẩm thực của nó trong một dòng. Định dạng trông có vẻ dư thừa vì sự tương thích tích lũy qua nhiều thập kỷ. Tiêu đề MDN User-Agent header reference tài liệu hóa các mẫu trình duyệt thông thường và cho thấy lý do tại sao các kiểm tra chuỗi con đơn giản là dễ vỡ.

Các khách hàng không phải trình duyệt có thể sử dụng các định danh ngắn gọn, mô tả. Một trình thu thập thông tin hoạt động tốt có thể bao gồm một tên sản phẩm ổn định, phiên bản, và trang thông tin công khai hoặc lộ trình liên hệ nơi chính sách của trang web mục tiêu cho phép nó. Tránh đưa bí mật, dữ liệu cá nhân, ID phiên hoặc tên máy chủ nội bộ vào tiêu đề. Mọi trung gian và nguồn gốc ghi lại yêu cầu có thể giữ lại giá trị đó.

Máy chủ làm gì với Dữ liệu User-Agent

Các máy chủ sử dụng dữ liệu user-agent cho tính tương thích, phân tích, chính sách và quyết định an ninh.

Một trang có thể chọn bố cục di động, xử lý một lỗi khách hàng được biết, nhóm lưu lượng cho số liệu, hoặc đánh dấu một chuỗi liên quan đến tự động hóa. Các trình thu thập thông tin tìm kiếm thường tự xác định để các nhà điều hành có thể áp dụng chính sách robot và xác thực trình thu thập thông tin bằng các phương tiện khác. Tiêu chuẩn hóa robot.txt protocol in RFC 9309 việc phân tích robots.txt, nhưng tiêu đề một mình không cấp quyền cũng không chứng minh rằng một yêu cầu đến từ trình thu thập thông tin được tuyên bố.

Phát hiện tính năng thường an toàn hơn phát hiện tên trình duyệt cho các ứng dụng web. Tiêu chuẩn WHATWG HTML phát triển hành vi trình duyệt độc lập với nhãn phiên bản tiếp thị, và giảm user-agent có thể loại bỏ chi tiết theo thời gian. Một máy chủ giả định một hình dạng chuỗi tĩnh sẽ cuối cùng phân loại sai một khách hàng. Kiểm tra khả năng, tăng cường tiến bộ, và các phiên bản API được xác định rõ có thể già đi tốt hơn.

User Agent so với Dấu vân tay Trình duyệt

Một chuỗi user-agent là một tín hiệu; một dấu vân tay trình duyệt kết hợp nhiều tín hiệu quan sát được.

Tiêu đề được tuyên bố có thể được so sánh với các thuộc tính JavaScript, gợi ý khách hàng, hành vi TLS, các codec được hỗ trợ, thông tin màn hình, ngôn ngữ, khu vực thời gian, và đầu ra kết xuất. Một sự không khớp có thể chỉ ra một sự viết lại proxy, một cấu hình trình duyệt bất thường, một webview nhúng, hoặc tự động hóa. Đó là bằng chứng để điều tra, không phải là bằng chứng kết luận của ý định ác độc.

Đối với tự động hóa được ủy quyền, tính nhất quán nội bộ quan trọng hơn sự biến đổi ngẫu nhiên. Động cơ trình duyệt, tuyên bố nền tảng, ngôn ngữ, viewport, và hành vi điều hướng nên mô tả một phiên hợp lý. Thay đổi liên tục chỉ trường User-Agent có thể tạo ra những mâu thuẫn. Các nhà điều hành cũng nên phân biệt giữa các trình duyệt bảo vệ quyền riêng tư, công nghệ hỗ trợ, và cấu hình doanh nghiệp với lưu lượng lạm dụng.

Những sai lầm phổ biến về User-Agent

Hầu hết các vấn đề về user-agent đến từ việc quá tin tưởng vào chuỗi hoặc thay đổi nó mà không hiểu phần còn lại của khách hàng.

Một sai lầm là chặn tất cả các chuỗi không quen thuộc, điều này có thể loại bỏ các trình duyệt mới và các công cụ hợp pháp. Một sai lầm khác là phân tích các vị trí phiên bản chính xác với một biểu thức chính quy mà bị hỏng khi các token thay đổi. Một sai lầm thứ ba là sử dụng tiêu đề như một cơ chế xác thực. Vì các khách hàng kiểm soát nó, việc ủy quyền phải phụ thuộc vào thông tin xác thực, chữ ký, chính sách mạng, hoặc một kiểm soát có thể xác minh khác.

Các nhóm tự động hóa đôi khi xoay chuyển một danh sách các chuỗi trong khi giữ nguyên mọi đặc điểm của trình duyệt khác. Điều này không tạo ra các trình duyệt thực sự khác biệt và có thể giảm tính nhất quán. Một cách tiếp cận chẩn đoán tốt hơn là nắm bắt yêu cầu xuất ra, so sánh nó với các giá trị trình duyệt trong trang, và xác minh rằng trang web nhận được tiêu đề mong muốn sau khi các proxy hoặc cửa ngõ xử lý nó.

Sử dụng Có Trách Nhiệm trong Tự Động Hóa Web

Một ajent người dùng mô tả và nhất quán hỗ trợ tự động hóa có trách nhiệm.

Khi một trang web công bố hướng dẫn về công cụ thu thập thông tin, hãy tuân theo định dạng nhận dạng yêu cầu và quy tắc robots. Giữ khối lượng yêu cầu trong giới hạn đã thỏa thuận, sử dụng API của trang web khi nó đáp ứng nhu cầu, và cung cấp một lộ trình liên lạc cho việc thu thập lặp lại đáng kể. Đừng bắt chước một công cụ thu thập thông tin được ưu tiên hoặc một trình duyệt đáng tin cậy để có được quyền truy cập mà người điều hành chưa cấp.

Trình Duyệt Lấy Dữ Liệu Không Rác tiết lộ các điều khiển cho các đặc điểm của phiên trình duyệt, điều này có thể giúp tái tạo các vấn đề tương thích và thực hiện các quy trình hợp pháp. Sử dụng những điều khiển đó để phù hợp với yêu cầu thử nghiệm thực tế, chẳng hạn như một viewport di động hoặc một ngôn ngữ khu vực, không phải để tạo ra những mâu thuẫn tùy ý. Ghi lại cấu hình với công việc thu thập thông tin để kết quả có thể được giải thích sau này.

So Sánh Nhanh

Các sự phân biệt sau đây giúp đặt khái niệm vào một quy trình làm việc hoạt động mà không hợp nhất các điều khiển khác nhau vào một nhãn.

Một Danh Sách Kiểm Tra Đánh Giá Thực Tế

Một triển khai đáng tin cậy bắt đầu bằng cách đặt tên cho bề mặt được bảo vệ hoặc thu thập một cách chính xác. Ghi lại URL hoặc điểm cuối, hành động của người dùng dự định, các trường dữ liệu liên quan, điều khoản quản lý, khách hàng dự kiến, và chủ sở hữu có thể phê duyệt quyền truy cập. Sau đó xác định bằng chứng có thể thay đổi quyết định. Điều này ngăn chặn nhãn mơ hồ trở thành một cái cớ cho việc thu thập rộng rãi hoặc một khối vĩnh viễn.

Xem xét những gì là ajent người dùng bất cứ khi nào một bản phát hành trình duyệt, chính sách bảo mật, nguồn dữ liệu, sơ đồ, hoặc mục đích kinh doanh thay đổi. Một mẫu theo lịch trình nhỏ hơn thì hữu ích hơn một bài thăm dò lớn không kiểm soát: so sánh kết quả mong đợi với kết quả quan sát được, phân loại sự khác biệt, và chuyển nó đến chủ sở hữu có thể sửa chữa nguồn hoặc chính sách. Giữ các trường thử nghiệm có phiên bản cho quyền truy cập thông thường, một trường hợp biên mơ hồ, một tình huống khả năng tiếp cận, và một thất bại rõ ràng. Ngừng sử dụng các trường và quy tắc không còn ảnh hưởng đến quyết định. Nhịp độ này biến một định nghĩa một lần thành một điều khiển hoạt động có thể được kiểm toán, giải thích và cải tiến mà không thu thập nhiều dữ liệu hơn mức cần thiết cho quy trình làm việc.

• Xác nhận mục đích. Liên kết mọi tín hiệu và trường với một nhu cầu an ninh, tính tương thích, xuất bản hoặc chất lượng dữ liệu được tài liệu.
• Thay đổi một biến tại một thời điểm. Các so sánh có kiểm soát tạo ra các giải thích tốt hơn so với nhiều thay đổi cấu hình đồng thời.
• Đo lường chi phí người dùng. Theo dõi việc từ chối sai, bỏ qua, nhu cầu hỗ trợ, độ trễ, và tác động đến khả năng tiếp cận bên cạnh kết quả an ninh.
• Giữ một dấu vết bằng chứng. Bảo tồn các nhật ký tối thiểu, URL nguồn, các phiên bản sơ đồ, và các loại quyết định mà không thu thập dữ liệu cá nhân không liên quan.
• Cung cấp xem xét. Người dùng bị ảnh hưởng, đối tác, và các nhà thu thập được phê duyệt cần một lộ trình để sửa chữa một phân loại sai.

Kết luận

Khái Niệm Ajent Người Dùng dễ hiểu nhất khi định nghĩa, bằng chứng, quyết định, và giới hạn luôn tách biệt. Khái niệm này mô tả một cơ chế kỹ thuật hoặc mô hình dữ liệu có thể quan sát được; nó hiếm khi chứng minh danh tính, ý định, chất lượng hoặc quyền hạn tự nó. Các triển khai tốt sử dụng những tín hiệu tối thiểu cần thiết, xác thực chúng trong ngữ cảnh, theo dõi lỗi, và giữ một lộ trình xem xét rõ ràng cho con người.

Đối với công việc dữ liệu web, ưu tiên các API và xuất bản chính thức, chỉ thu thập thông tin công khai cần thiết cho mục đích được nêu, và thiết kế một sơ đồ ổn định trước khi mở rộng. Khi việc kết xuất trình duyệt hoặc thu thập có quản lý là cần thiết hợp pháp, hãy sử dụng Scrapeless trong phạm vi được phê duyệt và giữ quy trình làm việc có thể tái tạo.

Tài liệu tham khảo

• Tài liệu của Scrapeless liên quan
• Tổng quan về sản phẩm Scrapeless Scraping Browser
• Tùy chỉnh Dấu vân tay của Scrapeless Browser
• Các dự án mã nguồn mở của Scrapeless trên GitHub