Thách thức Cloudflare và Turnstile: Giải thích những khác biệt chính
Specialist in Anti-Bot Strategies
Tóm tắt:
- Chúng là hai thứ khác nhau nhưng nhìn giống nhau. Cloudflare Challenge là biện pháp bảo vệ tại điểm biên, kiểm soát quyền truy cập vào toàn bộ trang web; Turnstile là một widget mà trang web nhúng để xác minh một hành động đơn lẻ, chẳng hạn như đăng nhập.
- Challenge được triển khai bởi Cloudflare ở cấp độ vùng. Bạn gặp nó dưới dạng một màn hình xen giữa toàn trang ("Xin chờ một chút…") trước nội dung, và việc xóa nó sẽ lưu trữ một cookie
cf_clearance. - Turnstile được triển khai bởi chủ sở hữu trang web, bên trong. Nó nằm trên một mẫu, và khi vượt qua, nó tạo ra một token
cf-turnstile-responsemà trang web xác minh ở phía máy chủ. - Đối với một công cụ thu thập dữ liệu, cách xử lý khác nhau. Một Challenge cần một trình duyệt thực sự để hiển thị và chờ đợi màn hình xen giữa xóa; một Turnstile cần widget chạy và token của nó được đọc từ callback.
- Một công cụ bao phủ cả hai. Scrapeless Scraping Browser hiển thị mỗi cái trong một trình duyệt đám mây thực — trong một lần chạy trực tiếp, nó đã xóa được một trang Cloudflare challenge trong khoảng 20 giây.
- Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm thời gian chạy Scraping Browser miễn phí — đăng ký tại app.scrapeless.com.
Giới thiệu: cùng thương hiệu, hai cơ chế khác nhau
Màn hình xen giữa "Xin chờ một chút…" của Cloudflare và widget Turnstile của nó đều mang tên Cloudflare, chúng đứng giữa một yêu cầu và nội dung, và cả hai đều được gọi là "Cloudflare CAPTCHA" trong lúc nói. Chúng không phải là cùng một cơ chế, và việc coi chúng là một lý do mà nhiều mã thu thập dữ liệu xử lý một cái thì hoạt động, còn cái kia thì bị hỏng.
Một Cloudflare Challenge là điều mà Cloudflare thực hiện tại điểm biên, thay mặt cho một trang web mà nó đại diện, để quyết định xem liệu một yêu cầu có đạt được nguồn gốc hay không. Turnstile là một widget mà chủ sở hữu trang web cố tình nhúng trên một trang — người kế nhiệm của CAPTCHA checkbox — để xác minh một hành động cụ thể. Hướng dẫn này đặt hai cái cạnh nhau: cái nào là gì, nơi bạn gặp nó, cái nó tạo ra, và cách mà một công cụ thu thập dữ liệu xử lý từng cái.
Mỗi cái là gì
Cloudflare Challenge là bảo vệ cấp độ vùng. Khi việc quản lý bot của Cloudflare không chắc chắn rằng một yêu cầu là từ một trình duyệt thực sự, nó sẽ hiển thị một màn hình xen giữa chạy một kiểm tra JavaScript và chỉ chuyển tiếp yêu cầu đến nguồn gốc sau khi nó vượt qua. Cloudflare tài liệu hóa một số loại thử thách — một phát hiện JavaScript tự động giải quyết, một thử thách được quản lý tự động quyết định và một thử thách tương tác yêu cầu người dùng hành động. Người dùng không chọn tham gia; cấu hình Cloudflare của trang web làm điều đó.
Turnstile là một widget có thể nhúng. Chủ sở hữu trang web thêm một <div class="cf-turnstile" data-sitekey="…"> (hoặc hiển thị nó trong JavaScript) trên một mẫu, và Turnstile chạy một loạt các kiểm tra không xâm nhập để xác nhận rằng người dùng là con người. Nó là một lựa chọn thay thế cho CAPTCHA checkbox, giới hạn vào hành động mà nó bảo vệ thay vì toàn bộ trang.
Đối chiếu
| Cloudflare Challenge | Turnstile | |
|---|---|---|
| Nó là gì | Bảo vệ điểm biên kiểm soát quyền truy cập vào một trang | Một widget xác minh một hành động đơn lẻ |
| Ai triển khai nó | Cloudflare, ở cấp độ vùng | Chủ sở hữu trang web, trên một mẫu cụ thể |
| Nơi bạn gặp nó | Một màn hình xen giữa toàn trang trước nội dung | Trong một mẫu (đăng nhập, đăng ký, thanh toán) |
| Kích hoạt | Đánh giá của Cloudflare về yêu cầu | Tải trang/mẫu nhúng nó |
| Nó tạo ra gì | Một cookie cf_clearance cho phiên làm việc |
Một token cf-turnstile-response cho mỗi lần gửi |
| Cách xác minh nó | Tại điểm biên của Cloudflare, minh bạch | Ở phía máy chủ chống lại điểm xác minh của Cloudflare |
| Phạm vi | Toàn bộ trang web phía sau vùng | Chỉ hành động mà widget bảo vệ |
Dấu hiệu rõ ràng nhất: một Challenge là một bức tường trước toàn bộ ngôi nhà bạn phải vượt qua để thấy bất kỳ điều gì; Turnstile là một khóa trên một cánh cửa bên trong một ngôi nhà mà bạn đã có thể đi xung quanh rồi.
Nơi chúng chồng chéo
Sự nhầm lẫn là hoàn toàn dễ hiểu, vì hai cái này chia sẻ công nghệ. Turnstile và Challenge tương tác sử dụng cùng một công nghệ widget cơ bản, vì vậy một Challenge tương tác có thể trông giống hệt như một checkbox Turnstile. Sự khác biệt là ai đã đặt nó ở đó và nó kiểm soát điều gì: Challenge là Cloudflare kiểm soát nguồn gốc; Turnstile là trang web kiểm soát một mẫu. Cả hai cuối cùng tạo ra một token chứng minh rằng kiểm tra đã vượt qua — một cookie cf_clearance cho Challenge, một cf-turnstile-response cho Turnstile, cả hai đều được điều chỉnh bởi cookie và các thông số header trong quy định quản lý trạng thái HTTP.
Cách mà một công cụ thu thập dữ liệu xử lý từng cái
Cả hai đều yêu cầu chạy một trình duyệt thực, nhưng điều kiện thành công thì khác nhau.
Đối với một thử thách, bạn sẽ hiển thị trang và chờ đợi sự xuất hiện của nội dung thực tế — tiêu đề trang sẽ chuyển từ "Vui lòng chờ một chút…" sang tiêu đề thực tế, và một cookie cf_clearance sẽ được thiết lập trên phiên làm việc. Các tín hiệu mà Cloudflare cân nhắc tương tự như các tín hiệu quyết định bất kỳ yêu cầu tự động nào: xem JavaScript có thực sự được thực thi không, xem dấu vân tay có nhất quán không, và xem địa chỉ IP ra có danh tiếng không, đó là lý do tại sao egress dân cư quan trọng. Hướng dẫn đầy đủ nằm trong tài liệu về giải quyết các thử thách của Cloudflare.
Đối với Turnstile, bạn sẽ hiển thị biểu mẫu, để widget chạy, và đọc token cf-turnstile-response từ callback trước khi gửi biểu mẫu — token sau đó sẽ được kiểm tra ở phía máy chủ theo kiểm tra máy chủ của Cloudflare. Bởi vì token liên kết với cấu hình của widget, nên rất hữu ích nếu bạn biết các tham số của widget; cách đọc chúng đã được đề cập trong hướng dẫn về phát hiện các tham số Turnstile.
Các mẫu lưu lượng tự động mà cả hai cơ chế phòng thủ được xây dựng để phát hiện đã được lập danh sách trong dự án Mối đe dọa Tự động OWASP — đó là lý do tại sao cùng một cách tiếp cận trình duyệt thực có thể giải quyết cả hai.
Bạn đang đối diện với cái nào?
Một hướng dẫn quyết định nhanh:
- Một trang đầy đủ hiển thị "Vui lòng chờ một chút…" hoặc "Xác minh bạn là người" trước khi bất kỳ nội dung nào tải lên → một Thử thách Cloudflare. Hiển thị trang và chờ cho đến khi nội dung xuất hiện; chú ý đến egress dân cư.
- Một ô kiểm hoặc widget vô hình trên một biểu mẫu, với phần còn lại của trang đã hiển thị → Turnstile. Hiển thị biểu mẫu, đọc token từ callback, gửi đi.
- Một ô kiểm ngăn cả trang web → một Thử thách tương tác sử dụng giao diện UI kiểu Turnstile. Xem nó như một Thử thách (nó ngăn chặn nguồn gốc), nhưng cơ chế widget là như nhau.
Một trình duyệt đám mây quản lý sẽ bao phủ cả ba — Trình duyệt Scraping hiển thị mỗi cái trong một trình duyệt thực với egress dân cư, và tài liệu bao quát toàn bộ quy trình. Trong một lần chạy thực tế, nó đã xóa một trang thử thách Cloudflare trong khoảng 20 giây.
Kết luận: biết cơ chế nào bạn đang đối mặt
Thử thách Cloudflare và Turnstile giải quyết các vấn đề khác nhau cho trang web: Thử thách quyết định xem một yêu cầu có đến được nguồn gốc hay không, trong khi Turnstile xác nhận một người đã thực hiện một hành động cụ thể. Chúng chia sẻ công nghệ widget và đều kết thúc với một token chứng minh đã vượt qua, nhưng nơi bạn gặp chúng, ai triển khai chúng, và các thứ chúng ngăn chặn là khác nhau — và điều đó quyết định cách bạn xử lý chúng. Hiển thị trong một trình duyệt thực theo bất kỳ cách nào; chờ cho đến khi có sự đồng ý trên một Thử thách, đọc token trên một Turnstile, và chú ý đến egress dân cư để yêu cầu trông giống như những gì nó là. Xem trang giá cả để mở rộng bất kỳ dòng chảy nào.
Sẵn sàng xây dựng đường ống dữ liệu AI của bạn?
Tham gia cộng đồng của chúng tôi để nhận một gói miễn phí và kết nối với các nhà phát triển xử lý các lưu lượng chống bot: Discord · Telegram.
Đăng ký tại app.scrapeless.com để nhận runtime miễn phí Trình duyệt Scraping, và điều chỉnh cách tiếp cận trên cho các cơ chế Thử thách hoặc Turnstile mà các mục tiêu của bạn sử dụng.
Câu hỏi thường gặp
Q: Thử thách Cloudflare và Turnstile có phải là một thứ không?
Không. Thử thách là biện pháp bảo vệ biên mà Cloudflare áp dụng để ngăn chặn truy cập vào toàn bộ trang web; Turnstile là một widget mà chủ sở hữu trang web nhúng để xác minh một hành động duy nhất. Chúng chia sẻ công nghệ widget, nhưng chúng được triển khai bởi các bên khác nhau và ngăn chặn những thứ khác nhau.
Q: Làm thế nào tôi biết tôi đang đối diện với cái nào?
Nếu một trang đầy đủ chặn tất cả nội dung với "Vui lòng chờ một chút…", thì đó là một Thử thách. Nếu một ô kiểm hoặc widget vô hình nằm trên một biểu mẫu trong khi phần còn lại của trang hiển thị, thì đó là Turnstile. Một ô kiểm ngăn cả trang web là một Thử thách tương tác sử dụng cùng một giao diện widget.
Q: Mỗi cái sản xuất gì?
Một Thử thách thiết lập một cookie cf_clearance xóa phiên làm việc; Turnstile tạo ra một token cf-turnstile-response cho mỗi lần gửi mà trang web xác minh ở phía máy chủ.
Q: Tôi có xử lý chúng theo cùng một cách không?
Cả hai đều cần một trình duyệt thực. Đối với Challenge, bạn sẽ tạo và chờ cho trang phụ hiện lên biến mất; đối với Turnstile, bạn sẽ tạo biểu mẫu, đọc token từ callback và gửi đi. Việc thoát khỏi mạng gia đình giúp ích trong cả hai trường hợp.
Q: Có một công cụ nào có thể xử lý cả hai không?
Có. Một trình duyệt đám mây được quản lý sẽ tạo mỗi cái trong một trình duyệt thực — làm sạch trang phụ Challenge và cho phép widget Turnstile chạy — vì vậy bạn không cần thiết lập xử lý riêng cho từng cái.
Tại Scrapless, chúng tôi chỉ truy cập dữ liệu có sẵn công khai trong khi tuân thủ nghiêm ngặt các luật, quy định và chính sách bảo mật trang web hiện hành. Nội dung trong blog này chỉ nhằm mục đích trình diễn và không liên quan đến bất kỳ hoạt động bất hợp pháp hoặc vi phạm nào. Chúng tôi không đảm bảo và từ chối mọi trách nhiệm đối với việc sử dụng thông tin từ blog này hoặc các liên kết của bên thứ ba. Trước khi tham gia vào bất kỳ hoạt động cạo nào, hãy tham khảo ý kiến cố vấn pháp lý của bạn và xem xét các điều khoản dịch vụ của trang web mục tiêu hoặc có được các quyền cần thiết.
