DataDome là gì?

Trình duyệt Scraping không có nhược điểm cung cấp thực thi trình duyệt đám mây cho việc thu thập ủy quyền từ các trang web công cộng động.

DataDome là một nền tảng bảo mật cung cấp phát hiện và bảo vệ bot cho các dịch vụ trực tuyến. Sản phẩm Bot Protect của nó đánh giá lưu lượng truy cập để các nhà điều hành có thể quản lý tự động hóa không mong muốn trong khi hỗ trợ việc sử dụng hợp pháp. Đối với một bộ thu thập dữ liệu, một thách thức liên quan đến DataDome là một sự kiện xác thực truy cập và khách hàng cần phải được phân biệt với một trang dữ liệu bình thường.

Tên gọi không mô tả một trang khối phổ quát duy nhất hoặc một quy tắc cố định. Kết quả hiển thị phụ thuộc vào việc tích hợp và chính sách của trang web. Điều tra phản hồi thực tế trước khi quyết định rằng một trường bị thiếu, một kết quả trống, hoặc một sự trì hoãn trong tải là do DataDome gây ra.

DataDome Bot Protection là gì?

DataDome Bot Protect là một dịch vụ quản lý bot được sử dụng để phát hiện và phản hồi lại lưu lượng tự động không mong muốn trên các trang web, ứng dụng và API. Nó là một phần của con đường bảo mật của trang web hơn là một công cụ trích xuất dữ liệu cho người truy cập.

Bảo vệ bot cung cấp cho các nhà điều hành cách kiểm soát hoạt động ảnh hưởng đến khả năng sẵn sàng hoặc quy trình kinh doanh. Các Mô hình mối đe dọa tự động OWASP phân biệt tự động hóa lạm dụng bằng mục đích của nó, điều này hữu ích hơn là giả định rằng mọi bot đều có cùng một mục đích.

Một trang web có thể cho phép một trình thu thập tìm kiếm, chấp thuận một sự tích hợp đối tác và hạn chế một nhà thu thập khác. Những quyết định này thuộc về chủ sở hữu. Một yêu cầu được đưa ra với mục đích thiện chí vẫn có thể nằm ngoài chính sách tự động hóa được phép của trang, trong khi một yêu cầu hợp lệ đã được chấp thuận cũng có thể bị ảnh hưởng bởi một vấn đề tích hợp.

Cách mà thẻ JavaScript phù hợp với quy trình bảo vệ

Mã Tag JavaScript bên phía trình duyệt của DataDome thu thập tín hiệu từ khách hàng, giúp quản lý trạng thái phiên, và hiển thị các trang phản hồi khi các yêu cầu trình duyệt bị bảo vệ bị chặn. Nó Mô tả tích hợp thẻ JavaScript giải thích vai trò của nó bên cạnh một tích hợp phía máy chủ.

Thẻ có thể quan sát thông tin trình duyệt và hệ điều hành cũng như các tín hiệu tương tác. Mô tả tích hợp cụ thể nói rằng việc thu thập của nó không bao gồm việc định danh dấu vân tay canvas. Tránh việc sao chép các danh sách tín hiệu chống bot chung vào một giải thích về DataDome như thể mọi kỹ thuật đều được sử dụng bởi mọi sản phẩm.

Sự tích hợp tương tự cũng cần quyền truy cập vào cookie DataDome liên quan để hoạt động bình thường. Đối với chủ sở hữu trang web, điều này có nghĩa là cấu hình cookie và việc cung cấp kịch bản là một phần của đánh giá tính tương thích. Đối với khách truy cập, điều này không có nghĩa là cookie là một thông tin xác thực truy cập di động hoặc rằng việc thay đổi nó sẽ sửa chữa yêu cầu bị từ chối.

Thực thi máy chủ và hành vi trình duyệt là những lớp khác nhau

Hành vi của trình duyệt và việc thi hành ở phía máy chủ liên quan đến nhau nhưng là những phần riêng biệt của một ứng dụng được bảo vệ. Một khách hàng có thể thực thi các tập lệnh một cách chính xác nhưng vẫn nhận được sự từ chối truy cập có chủ đích.

Một vấn đề ở phía trình duyệt có thể ngăn cản luồng ứng dụng bình thường hoàn tất. Một quyết định thực thi có thể từ chối một yêu cầu mặc dù trình duyệt vẫn hoạt động. Giữ những giả thuyết này tách biệt cho đến khi trang được trả về và bằng chứng từ phía chủ sở hữu xác định nguyên nhân.

Chung tổng các nguyên tắc nhận dạng dấu vân tay trình duyệt Giải thích tại sao một số đặc điểm có thể quan sát được có thể phân biệt các khách hàng. Họ không tiết lộ trọng số quyết định độc quyền của DataDome hoặc chứng minh tín hiệu nào quan trọng cho một yêu cầu. Nêu rõ những gì bằng chứng hỗ trợ và để lại sự không chắc chắn còn lại rõ ràng.

Ví dụ, một trình duyệt có thể hiển thị một trang công khai trong khi một yêu cầu ứng dụng sau đó nhận được phản hồi xác thực. Một trình phân tích chỉ tập trung vào tài liệu ban đầu có thể bỏ lỡ sự chuyển tiếp đó. Kiểm tra hoạt động cụ thể đã thất bại và liệu dữ liệu dự kiến có bao giờ được cung cấp hay không.

Nhận diện một Thách thức mà không Làm hỏng tập dữ liệu

Một thách thức hoặc từ chối cần được phân loại trước khi trang web tiếp cận bộ phân tích dữ liệu doanh nghiệp. Nếu không, người thu thập có thể lưu một thông báo bảo mật dưới dạng tiêu đề hoặc chuyển đổi nội dung không khả dụng thành một bản ghi rỗng gây hiểu lầm.

Định nghĩa một hợp đồng trang tối thiểu cho mỗi nhiệm vụ thu thập. Một trang sản phẩm công khai có thể yêu cầu mã định danh mặt hàng được yêu cầu, tiêu đề sản phẩm, và thị trường đã chọn. Một trang thư mục có thể yêu cầu danh mục đã yêu cầu và một bộ chứa kết quả dễ nhận diện. Đây là những ví dụ về thiết kế xác thực, không phải là các bộ chọn toàn cầu.

Giữ riêng biệt kết quả cho nội dung hợp lệ, kết quả rỗng hợp lệ, kết xuất không hoàn chỉnh, và một sự từ chối rõ ràng. Sự phân biệt cho phép một nhà phân tích hiểu liệu nguồn đã báo cáo không có dữ liệu hay liệu người thu thập đã không quan sát được nó.

Lưu giữ bằng chứng ngắn gọn nhất có thể giải thích cho sự phân loại. Một tiêu đề trang, URL cuối cùng, thông điệp phản hồi rõ ràng và mã định danh yêu cầu có thể là đủ. Các bản sao lưu mạng đầy đủ có thể chứa bí mật hoặc thông tin cá nhân, vì vậy hãy làm sạch chúng trước khi chia sẻ với một nhóm khác.

Chẩn đoán một Quy trình Làm việc Bảo vệ DataDome Được Ủy quyền

Một quy trình làm việc được ủy quyền cần được chẩn đoán bằng cách so sánh điều hướng dự kiến và đầu ra thực tế của nó, với sự cho phép của trang web và chính sách lưu lượng truy cập được giữ nguyên. Tránh thay đổi nhiều thuộc tính của khách hàng cùng một lúc.

1. Xác nhận rằng URL được yêu cầu là công khai hoặc được bao phủ rõ ràng bởi thỏa thuận thu thập.
2. Đọc phản hồi thực tế và xác định hoạt động thất bại.
3. Kiểm tra xem trang có cần thực thi trình duyệt, lựa chọn vị trí, hoặc một bước trang công khai khác được phép hay không.
4. Bảo tồn điều hướng liên quan trong phiên làm việc của quy trình.
5. Xem xét tổng khối lượng yêu cầu trên các công việc chia sẻ cùng một thỏa thuận truy cập.
6. Dừng lại ở một sự từ chối rõ ràng và gửi cho chủ sở hữu một bản ghi sự kiện ngắn gọn, đã được biên tập.

Một đặc tả quản lý trạng thái HTTP định nghĩa cách mà cookie mang trạng thái, nhưng nó không định nghĩa ngữ nghĩa của cookie bảo mật của một nhà cung cấp. Hãy coi những giá trị như vậy là mờ đục. Đừng tuyên bố rằng việc sao chép một cookie từ một phiên khác tạo ra một tích hợp ổn định hoặc được ủy quyền.

Giả sử một người thu thập danh mục được phê duyệt nhận được một trang lựa chọn vị trí thay vì dữ liệu sản phẩm. Hành động thích hợp là đại diện cho lựa chọn vị trí được phép và xác thực ngữ cảnh kết quả. Nếu phản hồi là một sự từ chối bảo mật rõ ràng, hành động thích hợp là xem xét quyền truy cập. Cả hai kết quả có thể tạo ra một trường giá rỗng, nhưng chúng là những vấn đề khác nhau.

Những gì Chủ sở hữu Web Nên Xác thực

Các chủ sở hữu web nên xác thực việc cung cấp kịch bản, hành vi cookie và yêu cầu ứng dụng được bảo vệ cùng nhau khi họ cài đặt hoặc thay đổi DataDome. Một trang có thể trông như hoạt động trong khi một yêu cầu dữ liệu sau đó theo một con đường tích hợp khác.

Sử dụng những hành trình hợp lệ đại diện, bao gồm một chuyến thăm ẩn danh đầu tiên và các bước điều hướng công khai mà người dùng của bạn cần. Kiểm tra rằng trang phản hồi đúng xuất hiện khi một hoạt động bị từ chối và nội dung ứng dụng được phép vẫn tải. Bao gồm các khác biệt thông thường của trình duyệt và nhu cầu tiếp cận trong việc xem xét tính tương thích.

Nếu một tích hợp được phê duyệt bị chặn, hãy xem xét con đường và chính sách chính xác thay vì tạo ra một ngoại lệ không được xem xét một cách rộng rãi. Ghi lại lý do của sự thay đổi, danh tính người yêu cầu dự kiến, và một con đường quay lại. Một ngoại lệ nên có thể hiểu được với người tiếp theo bảo trì hệ thống.

Giữ telemetry bảo mật tách biệt với phân tích doanh nghiệp khi có thể. Một yêu cầu bị chặn có thể quan trọng đối với các hoạt động bảo mật nhưng không nên làm tăng số lượng mua hàng hoàn tất, tìm kiếm thành công, hoặc quan sát danh mục hợp lệ.

Sử dụng Scrapeless mà không Giả định Quyền Truy cập Toàn cầu

Trình duyệt thu thập Scrapeless cung cấp một môi trường trình duyệt được quản lý cho các luồng công khai dữ liệu được ủy quyền. Sử dụng thực thi trình duyệt khi trang cần, và giữ lại các kiểm tra ở cấp ứng dụng cho nội dung được yêu cầu.

Đặc điểm kỹ thuật của Trình duyệt thu thập Scrapeless mô tả thời gian chạy, trong khi thu thập trang công khai DataDome với Scrapeless thảo luận về các kiểm tra đại diện cho ngữ cảnh này. Không cái nào thay thế chính sách truy cập của chủ sở hữu trang web hoặc đảm bảo được chấp nhận bởi mọi triển khai DataDome.

Định nghĩa một phạm vi được phép nhỏ trước khi mở rộng. Xem xét giá cả Scrapeless cùng với nhu cầu thời gian chạy của trình duyệt và khối lượng được phép của đích. Giữ yêu cầu về độ tươi dữ liệu rõ ràng để người thu thập không yêu cầu nhiều trang hơn mức cần thiết cho trường hợp sử dụng.

Khi tập dữ liệu cần thiết không thể được thu thập trong quy trình làm việc được chấp nhận của trang, hãy tìm kiếm một xuất công khai, giao diện đối tác, hoặc thỏa thuận quyền truy cập bằng văn bản. Một thay đổi rõ ràng đối với hợp đồng truy cập dữ liệu dễ bảo trì hơn là một người thu thập được xây dựng trên các giả định không được tài liệu về trạng thái bảo mật.

Kết luận

DataDome kết hợp thông tin phía trình duyệt với các quyết định bảo vệ phía máy chủ. Chẩn đoán hoạt động và phản hồi mà bạn có thể quan sát, tránh quy kết các kỹ thuật dấu vân tay chưa được xác minh, và bảo tồn sự phân biệt giữa các kết quả bảo mật và dữ liệu doanh nghiệp. Đối với các trang được phép, sử dụng luồng trình duyệt cần thiết và coi một sự từ chối rõ ràng như một sự kiện xem xét quyền truy cập.