Akamai Bot Manager là gì?

Trình duyệt Scraping không có rác cung cấp việc thực thi trình duyệt được quản lý cho các quy trình thu thập dữ liệu công khai cần hiển thị trang động.

Akamai Bot Manager là một sản phẩm quản lý bot giúp các nhà điều hành website xác định lưu lượng truy cập tự động và áp dụng các chính sách cho nó. Mục đích của nó bao gồm việc quản lý tự động hóa hữu ích cũng như hạn chế hoạt động không mong muốn. Một quyết định về quản lý bot liên quan đến tính chất và ngữ cảnh của lưu lượng truy cập, trong khi chủ sở hữu website quyết định hoạt động nào được phép.

Đối với các nhà phát triển thu thập thông tin công khai, các câu hỏi quan trọng là nội dung của trang được trả về là gì, liệu quy trình làm việc dự kiến có được ủy quyền hay không, và phần nào của trình duyệt hoặc chuỗi yêu cầu là cần thiết. Việc nhìn thấy cơ sở hạ tầng Akamai không chứng minh rằng mọi phản hồi đều được sản xuất bởi Bot Manager.

Akamai Bot Manager làm gì?

Akamai Bot Manager đánh giá lưu lượng truy cập tự động và cho phép các nhà điều hành chọn cách xử lý cho các loại bot khác nhau. Mô tả sản phẩm Akamai Bot Manager bao gồm phân tích hành vi, nhận dạng dấu vân tay trình duyệt, phân loại bot và báo cáo, bao gồm quản lý các bot hữu ích đã biết.

Quản lý bot rộng hơn một nhãn nhị phân “người hay bot”. Một trình thu thập thông tin tìm kiếm, một trình giám sát khả dụng được phê duyệt, và một quy trình tự động về lạm dụng tài khoản có những tác động kinh doanh khác nhau. Một trang web có thể cho phép hai điều đầu tiên dưới những điều kiện rõ ràng trong khi hạn chế cái thứ ba. Việc nhận diện tự động hóa không tự động xác lập ý định ác ý.

Tương tự, một yêu cầu có vẻ bình thường không tự động được quyền truy cập vào mọi tài nguyên. Một trang web có thể yêu cầu xác thực hoặc thực thi các quy tắc kinh doanh một cách độc lập với việc đánh giá bot của nó. Hãy giữ các quyết định về quyền truy cập đó riêng biệt khi giải thích một yêu cầu bị từ chối.

Nơi Quản lý Bot Phù Hợp trong Yêu Cầu Web

Quản lý bot nằm trong một lộ trình phân phối ứng dụng và bảo mật rộng lớn hơn, cùng với các chức năng như phân phối nội dung, lọc ứng dụng và xử lý nguồn gốc. Sự hiện diện của một mạng lưới phân phối không phải là bằng chứng đủ để khẳng định rằng một sản phẩm quản lý bot cụ thể đã đưa ra quyết định.

Để điều tra, lập bản đồ đường đi yêu cầu có thể quan sát thay vì đoán toàn bộ triển khai. Xác định tên máy chủ đã yêu cầu, phản hồi thực tế nhận được và liệu nội dung ứng dụng mong đợi có xuất hiện hay không. Nếu bạn điều hành trang web, hãy sử dụng các tích hợp đã cấu hình và sự kiện bảo mật để xác định thành phần chịu trách nhiệm.

Đối với một du khách, chi tiết phản hồi công khai có thể cung cấp một manh mối hữu ích nhưng hiếm khi tiết lộ chính sách hoàn chỉnh. Mô tả kết quả như một thách thức quan sát hoặc sự từ chối trừ khi bạn có bằng chứng liên kết nó với Bot Manager. Phân loại sản phẩm và phân loại lỗi nên là các trường riêng biệt trong bản ghi sự cố.

Cách đèn giao thông trở thành quyết định chính sách

Đánh giá bot kết hợp những quan sát về yêu cầu và khách hàng với chính sách được cấu hình của trang web. Akamai tài liệu phân tích trình duyệt và hành vi, nhưng điểm số cho một khách truy cập cụ thể không nên được suy ra từ một cookie, header hoặc màn hình phản hồi.

Quan sát của Khách hàng và Trình duyệt

Một trình duyệt cung cấp một môi trường thực thi cũng như các yêu cầu mạng. Các thuộc tính quan sát có thể giúp phân biệt các khách hàng, như đã mô tả trong tổng quan mô hình dấu vân tay trình duyệt. Điều này không có nghĩa là mọi thuộc tính đều được kiểm tra trên mỗi trang hoặc rằng một lỗi công khai tiết lộ trọng số của tính năng.

Một lệnh fetch HTTP trực tiếp có thể lấy shell của trang trong khi bỏ qua việc thực thi của trình duyệt mà ứng dụng mong đợi. Nếu trang là công khai và tự động hóa được phép, hãy xác định xem có cần một trình duyệt cho quy trình làm việc bình thường hay không. Đừng cho rằng một bộ tiêu đề thực tế hơn cung cấp runtime còn thiếu.

Hành vi và Bối cảnh Kinh doanh

Yêu cầu hoạt động có ý nghĩa trong một quy trình làm việc. Đọc các trang danh mục công khai khác với việc tạo tài khoản hoặc thao tác với hàng tồn kho. Phân loại mối đe dọa web tự động của OWASP giúp phân biệt các mục tiêu lạm dụng chứ không chỉ giảm tất cả lưu lượng tự động về một danh mục.

Đối với việc lập kế hoạch thu thập, hãy xác định mục đích kinh doanh, các tuyến đường được phép và khối lượng dự kiến. Những thông tin này hỗ trợ một cuộc thảo luận hữu ích với chủ sở hữu trang web và giúp ngăn chặn một nhiệm vụ đã được phê duyệt là chế độ chỉ đọc mở rộng sang các hoạt động không liên quan.

Tại sao một kết nối thành công vẫn có thể tạo ra trang sai

Một cuộc trao đổi mạng hoàn thành không đảm bảo rằng một công cụ thu thập thông tin đã nhận được trang công khai dự kiến. Phản hồi có thể chứa một thách thức, luồng đồng ý, lựa chọn vị trí, hoặc từ chối thay vì dữ liệu kinh doanh.

Xác thực một kết quả với các dấu hiệu cụ thể trên trang. Một người thu thập sản phẩm nên xác nhận mã nhận dạng mặt hàng yêu cầu và thị trường liên quan, không chỉ đơn giản là tìm một chuỗi có hình dạng giá ở bất kỳ đâu trong tài liệu. Một người thu thập tìm kiếm nên xác nhận ngữ cảnh truy vấn và chứa kết quả trước khi diễn giải một danh sách trống.

Bảo tồn URL cuối cùng, tiêu đề, loại nội dung và lý do ngắn gọn khi việc thu nhận không tạo ra trang mong đợi. Tránh ghi lại giá trị cookie hoàn chỉnh hoặc tiêu đề ủy quyền. Bằng chứng hỗ trợ của bạn nên giải thích thất bại mà không trở thành một nguồn dữ liệu nhạy cảm mới.

Đối với một quy trình làm việc của nhà bán lẻ minh họa, một trang có thể có thể truy cập trong khi yêu cầu lựa chọn khu vực trước khi hiển thị tình trạng sẵn có. Nếu người thu thập bỏ qua bước đó, họ có thể nhận nội dung hợp lệ nhưng không đầy đủ. Việc phân biệt trạng thái đó với một chặn bảo mật rõ ràng ngăn chặn những thay đổi không cần thiết cho khách hàng.

Liên tục phiên trong các quy trình làm việc của trình duyệt được phép

Một quy trình làm việc của trình duyệt được phép nên bảo tồn trạng thái cần thiết cho chuỗi điều hướng riêng của nó. Các định nghĩa cookie HTTP cung cấp một cơ chế để mang trạng thái giữa các yêu cầu; ý nghĩa cookie riêng lẻ vẫn là cụ thể của ứng dụng.

Giữ điều hướng liên quan trong một phiên nhất quán khi trang công khai yêu cầu nó. Ghi lại các lựa chọn rõ ràng như ngôn ngữ hoặc vị trí, và sử dụng cùng một ngữ cảnh trong khi đọc nội dung kết quả. Đừng suy luận ý nghĩa của mã thông báo bảo mật độc quyền từ tên của nó hoặc công khai mô tả chưa được xác minh về cấu trúc nội bộ của nó.

Liên tục phiên không phải là sự thay thế cho ủy quyền. Một phiên tài khoản riêng tư có thể lộ thông tin mà một khách truy cập ẩn danh không thể truy cập. Chỉ thu thập trong phạm vi phê duyệt, và không chuyển tài liệu phiên của người dùng khác vào một người thu thập.

Sử dụng Trình duyệt Thu thập thông tin Scrapeless Với Giới hạn Rõ Ràng

Trình duyệt Thu thập thông tin Scrapeless cung cấp thời gian thực quản lý cho các trang công khai cần thực thi trình duyệt. Nó có thể hỗ trợ một quy trình làm việc điều hướng được ủy quyền mà không yêu cầu đội của bạn duy trì cơ sở hạ tầng trình duyệt riêng của mình.

Sử dụng tài liệu Trình duyệt Thu thập thông tin Scrapeless để chọn các tính năng thời gian thực cần thiết và xác định thành công theo nội dung mà ứng dụng của bạn cần. Giữ trạng thái phiên, thị trường đã chọn và mục đích thu thập rõ ràng. Dừng lại khi bị từ chối truy cập và tìm kiếm đánh giá của chủ sở hữu khi quy trình làm việc không được chấp nhận.

Bài viết liên quan về thu thập trang công khai được bảo vệ bởi Akamai thảo luận về kiểm tra đại diện và tính liên tục của trình duyệt. Những thực hành này giúp chẩn đoán trang đã trả về, nhưng chúng không hứa hẹn quyền truy cập qua mọi cấu hình của Akamai Bot Manager.

Xem lại giá Scrapeless so với khối lượng công việc giới hạn. Năng lực nên theo thể tích được phép của đích đến và yêu cầu độ tươi của dữ liệu của bạn. Một tính năng cơ sở hạ tầng không nên trở thành lý do để tăng áp lực lên một ứng dụng được bảo vệ.

Các câu hỏi cần giải quyết với chủ sở hữu website

Một thỏa thuận tự động được phê duyệt nên xác định danh tính, phạm vi, kỳ vọng lưu lượng và thang tiến. Những thông tin này hữu ích hơn việc yêu cầu một sự miễn trừ chung cho một công cụ thu thập thông tin.

Xác định các lộ trình công khai và trường mà công việc sẽ đọc, lịch sử, và mục đích của tập dữ liệu kết quả. Hỏi xem có giao diện xuất khẩu hoặc đối tác nào có sẵn không. Đồng ý về cách mà chủ sở hữu sẽ xác định tích hợp và cách đội của bạn sẽ dừng thu thập nếu điều kiện truy cập thay đổi.

Nếu bạn vận hành ứng dụng được bảo vệ, đánh giá cả các trường hợp dương tính giả và hoạt động không mong muốn bị bỏ lỡ. Một thay đổi có thể giúp một công cụ giám sát có thể ảnh hưởng đến các yêu cầu khác chia sẻ danh tính của nó. Giữ ngoại lệ hẹp và quan sát xem liệu các trang quan trọng đối với kinh doanh vẫn hoạt động như dự kiến đối với khách truy cập thông thường.

Kết luận

Akamai Bot Manager giúp các nhà điều hành phân loại và quản lý tự động hóa, bao gồm các bot hữu ích. Đối với một người thu thập dữ liệu, cách tiếp cận đáng tin cậy là thiết lập quyền, kiểm tra đại diện đã được cung cấp, và sử dụng hành vi trình duyệt và phiên mà trang công khai yêu cầu. Giữ bằng chứng ghi công dựa trên và để các quyết định truy cập rõ ràng định hướng thang tiến.