Thách thức Cloudflare: So sánh Công cụ Trình duyệt

TL;DR:

• Giải quyết thử thách Cloudflare trong môi trường sản xuất là một vấn đề IP trước khi là vấn đề trình duyệt. Một trình duyệt đã được sửa trên một địa chỉ IP máy chủ bị đánh dấu bị kẹt tại giao diện ngắt quãng; một trình duyệt thực sự trên đường truyền dân cư sạch sẽ hiển thị trang.
• Trình duyệt Scraping không bị phát hiện đã vượt qua thử thách Cloudflare trong 7 trên 8 lần chạy trong một bài kiểm tra mở và có thể tái tạo — cao nhất trong số mọi công cụ được đo lường, và là công cụ duy nhất hoạt động khi yêu cầu ra khỏi một địa chỉ IP hộ gia đình đến một địa chỉ IP trung tâm dữ liệu.
• Ba trong số bốn công cụ trình duyệt mã nguồn mở được thử nghiệm — patchright, camoufox, và nodriver — không vượt qua được trong 8 lần chạy, bên cạnh nền tảng plain-HTTP; tại cùng một mục tiêu và thử nghiệm, mỗi công cụ đều dừng lại ở "Chỉ một chút…".
• Công cụ mã nguồn mở duy nhất cạnh tranh — SeleniumBase UC với 6 trên 8 — chỉ làm được điều đó trên một địa chỉ IP dân cư, trường hợp thuận lợi nhất cho một ngăn xếp tự lưu trữ. Chuyển đến các địa chỉ IP trung tâm dữ liệu thực mà các pipeline chạy trên đó và lợi thế đó sẽ biến mất.
• Mỗi con số ở đây đều có thể tái tạo. Công cụ thử nghiệm là một bài kiểm tra Cloudflare mã nguồn mở trên GitHub: mục tiêu giống nhau, một cố gắng mỗi thử nghiệm, không có cố gắng thứ hai, một người chấm cho tất cả các công cụ. Nhân bản nó và thử nghiệm lại bằng chính bạn.
• Miễn phí để bắt đầu. Các tài khoản Scrapeless mới bao gồm thời gian chạy Trình duyệt Scraping miễn phí — đăng ký tại app.scrapeless.com.

---

Giới thiệu: điều gì thực sự giải quyết Cloudflare trong môi trường sản xuất

Thử thách của Cloudflare là một vấn đề hiển thị mang vẻ bề ngoài của một vấn đề mạng. Giao diện ngắt quãng — "Chỉ một chút…", một vòng quay, "Đang xác minh bạn là người" — thực hiện một khối lượng công việc JavaScript và đọc ba tín hiệu cùng một lúc: liệu một trình duyệt thực sự có thực hiện thử thách hay không, liệu dấu vân tay có nhất quán nội bộ hay không, và liệu địa chỉ IP ra có danh tiếng sạch hay không. Bỏ qua bất kỳ tín hiệu nào và trang sẽ không bao giờ được hiển thị.

Hầu hết các bài viết trả lời "làm thế nào tôi có thể vượt qua điều này?" bằng cách khuyên dùng một thư viện và một plugin ẩn danh. Câu trả lời đó có thể được kiểm nghiệm, và nó thường thất bại ở nơi nó quan trọng: một máy chủ sản xuất. Một công cụ vượt qua thử thách từ một chiếc laptop trên Wi-Fi gia đình hoạt động rất khác khi nó chạy từ một phiên bản đám mây, vì địa chỉ IP ra chuyển từ dân cư sang trung tâm dữ liệu và tín hiệu danh tiếng sụp đổ.

Bài viết này đo lường sự khác biệt thay vì khẳng định nó. Nó đi qua một bài kiểm tra mở chạy Trình duyệt Scraping không bị phát hiện chống lại bốn công cụ chống phát hiện mã nguồn mở và một nền tảng plain-HTTP, trên cùng một thử thách Cloudflare, và báo cáo tỷ lệ thành công, độ trễ, và sự ổn định từ dữ liệu thô cho mỗi thử nghiệm mà bất kỳ ai cũng có thể tái tạo.

Bạn có thể đo lường gì với nó

• Tỷ lệ thành công theo công cụ — nó có hiển thị trang thực hay hết thời gian tại giao diện ngắt quãng?
• Độ trễ của một lần vượt qua — p50 và p95 của thời gian từ yêu cầu đến nội dung được hiển thị.
• Sự ổn định qua các lần chạy lặp lại — khả năng trải rộng của tỷ lệ thành công qua các khoảng thời gian thử nghiệm, tín hiệu cho biết liệu một công cụ có bền vững hay không.
• Chi phí cho mỗi yêu cầu thành công — số byte được chuyển cho mỗi lần vượt qua so với các mức phí ra đã công bố, vì vậy một công cụ "miễn phí" mà hiếm khi thành công sẽ cho thấy chi phí thực sự của nó.
• Tác động IP — cùng những công cụ trên một địa chỉ IP dân cư so với một địa chỉ IP trung tâm dữ liệu, nơi mà sản xuất thực sự chạy.

Tại sao lại là Trình duyệt Scraping không bị phát hiện

Trình duyệt Scraping không bị phát hiện là một trình duyệt đám mây tùy chỉnh, chống phát hiện được thiết kế cho các trình thu thập dữ liệu web và các tác nhân AI. Để giải quyết các thử thách có hoạt động cụ thể, nó mang lại:

• Chromium tự phát triển thực thi mã JavaScript thử thách giống như một trình duyệt thực sự, không phải là một khách hàng HTTP đoán các tiêu đề.
• Proxy dân cư tại hơn 195 quốc gia như là đường truyền mặc định, vì vậy tín hiệu danh tiếng đọc sạch thay vì bị đánh dấu trung tâm dữ liệu — tín hiệu quyết định kết quả của hầu hết các thử thách.
• Dấu vân tay chống phát hiện theo phiên (tác nhân người dùng, múi giờ, canvas, WebGL) được giữ nhất quán nội bộ, vì vậy việc kiểm tra dấu vân tay thông qua.
• Xử lý bản địa các loại thử thách phổ biến — reCAPTCHA v2, Cloudflare Turnstile, và giao diện ngắt quãng của Cloudflare — mà không cần một bộ giải riêng biệt được kết nối.
• Tính liên tục phiên giữ một phiên đã được làm sạch ấm, vì vậy một phiên được xác thực được tái sử dụng thay vì được xác thực lại trên mỗi yêu cầu.

Nhận khóa API của bạn trên kế hoạch miễn phí tại app.scrapeless.com.

Cách bài kiểm tra đo lường một "lần vượt qua"

Sự công bằng là điểm mấu chốt, vì vậy các quy tắc là giống nhau cho mọi công cụ:

• Một mục tiêu, một định nghĩa về thành công. Mỗi công cụ tải cùng một trang thách thức Cloudflare công khai và được đánh giá bởi một chức năng không thuộc nhà cung cấp: trang chỉ được xóa khi tiêu đề hình chèn chuyển sang tiêu đề và nội dung thực tế được hiển thị. "Chờ một chút..." là một thất bại, và một trang không bao giờ rời khỏi vòng xoay cũng vậy.
• Một lần thử mỗi bài kiểm tra, không có cơ hội thứ hai. Không có công cụ nào được cấp phát lại hoặc một vòng kết nối lại để che giấu một lần chạy tồi. Điều này phản ánh cách một yêu cầu sản xuất đơn lẻ hoạt động và giữ cho so sánh trung thực — một ngân sách thử nghiệm thứ hai sẽ làm đẹp không đồng đều mọi công cụ.
• Một khoảng thời gian giới hạn cho tất cả mọi người. Giới hạn thời gian giống nhau áp dụng cho toàn trường, vì vậy một công cụ "thành công" sau hai phút làm việc sẽ được chấm điểm giống như cách một đường ống thực sự sẽ cho điểm.
• Chi phí được đo lường, không được khẳng định. Số byte truyền tải cho mỗi lần xóa thành công được ghi lại ở phía khách hàng và nhân với tỷ lệ ra của từng công cụ đã công bố. Các công cụ mã nguồn mở trên IP của riêng chúng chuyển byte miễn phí — nhưng một công cụ mà hiếm khi xóa có một chi phí khắc nghiệt cho mỗi thành công, mà tỷ lệ thô đã che giấu.

Lĩnh vực: Trình duyệt Scraping Không rác; nodriver, patchright, camoufox, và SeleniumBase (chế độ không bị phát hiện) như các công cụ trình duyệt mã nguồn mở; và một khách hàng HTTP thông thường như mức sàn. Từ vựng về mối đe dọa tự động mà những thách thức này được xây dựng để ngăn chặn được ghi lại trong dự án Mối đe dọa Tự động đối với Ứng dụng Web OWASP, và ba tín hiệu ánh xạ rõ ràng lên nó: quá trình bắt tay TLS được mô tả trong đặc tả TLS 1.3, dấu vân tay trình duyệt, và cookie xóa được thiết lập theo đặc tả Quản lý Trạng thái HTTP. Mô tả của Cloudflare về các loại thách thức mà nó phục vụ được tìm thấy trong tài liệu thách thức Cloudflare.

Nhận khóa API của bạn trên kế hoạch miễn phí: app.scrapeless.com

Kết quả trên IP dân cư (trường hợp tốt nhất của các công cụ mã nguồn mở)

Chạy từ một IP dân cư — độ thoát có lợi nhất mà một công cụ tự lưu trữ có thể có — trường hợp phân chia rõ ràng. Tám thử nghiệm cho mỗi công cụ, một lần thử mỗi, thời gian chờ giống nhau:

Đánh giá sử dụng thang bốn cấp độ qua tám thử nghiệm: Rất Cao = 7–8/8 đã xóa · Cao = 5–6/8 · Trung Bình = 3–4/8 · Thấp = 0–2/8. Số lượng chính xác cho mỗi bài kiểm tra có trong bảng kết quả của tiêu chí đánh giá nên mỗi đánh giá đều có nguồn gốc từ lần chạy.

Công cụ	Đã xóa thách thức	Ghi chú
Trình duyệt Scraping Không rác	Rất Cao	cao nhất trong lĩnh vực; đã xóa thách thức trong hầu hết các thử nghiệm
SeleniumBase (chế độ không bị phát hiện)	Cao	công cụ mã nguồn mở duy nhất cạnh tranh — trên IP dân cư này
patchright	Thấp	đối mặt với thách thức trong mỗi lần chạy, không xóa được lần nào
camoufox	Thấp	đối mặt với thách thức trong mỗi lần chạy, không xóa được lần nào
nodriver	Thấp	đối mặt với thách thức trong mỗi lần chạy, không xóa được lần nào
HTTP thông thường (sàn)	Thấp	403 trên mỗi yêu cầu

Hai điều nổi bật. Đầu tiên, ngay cả trên địa bàn ưu ái cho một stack tự lưu trữ nhất, Trình duyệt Scraping Không rác dẫn đầu và xóa một cách đồng bộ hơn. Thứ hai, "sử dụng trình duyệt chống phát hiện" không phải là câu trả lời đầy đủ: ba trong số bốn công cụ trình duyệt mã nguồn mở đã không xóa thách thức một lần nào, và không thất bại nhanh chóng — chúng giữ hình chèn cho đến khi hết thời gian.

IP trung tâm dữ liệu là câu chuyện sản xuất

Wi-Fi dân cư không phải là nơi mà các trình thu thập dữ liệu hoạt động. Các đường ống sản xuất chạy trên máy chủ đám mây, và một máy chủ đám mây xuất hiện qua một IP trung tâm dữ liệu mà tín hiệu danh tiếng của Cloudflare đối xử rất khác biệt. Thay đổi duy nhất đó là điều phân tách trường.

Được đo lường trong CI (IP trung tâm dữ liệu, GitHub Actions), cùng một mục tiêu, cùng tám thử nghiệm cho mỗi công cụ, cùng một quy tắc một lần thử:

Công cụ	Đã xóa thách thức	p50	p95	KB trung bình / xóa	$/1k thành công	Độ ổn định σ
Trình duyệt Scraping Không rác	Cao	14,274 ms	26,009 ms	153.9	$0.063	43.3%
seleniumbase-uc	Thấp	58,993 ms	65,390 ms	—	—	—
camoufox	Thấp	56,574 ms	59,348 ms	—	—	—
patchright	Thấp	51,920 ms	52,302 ms	—	—	—
nodriver	Thấp	51,830 ms	52,886 ms	—	—	—
HTTP thông thường (sàn)	Thấp	100 ms	254 ms	—	—	—
Kết quả kiểm tra residential 6-of-8 mà SeleniumBase (chế độ không bị phát hiện) đăng tải không có gì để đứng vững ở đây — trên IP trung tâm dữ liệu, nó không vượt qua thử thách lần nào, và các cột p50/p95 cho thấy lý do: mỗi công cụ trình duyệt mã nguồn mở tiêu tốn khoảng 52–65 giây cho mỗi lần thử trong việc xử lý trang trung gian trước khi thời gian hết hạn, sau đó không trả về gì cả. Sàn plain-HTTP "thất bại nhanh" ở mức 100 ms p50 vì nó không bao giờ chạy thử thách — nó nhận mã 403 và thoát ra. Các cột chi phí và byte đều trống cho các công cụ 0% vì không có sự làm sạch thành công để chia byte hay tiền; một công cụ "miễn phí" không có lần làm sạch nào có chi phí cho mỗi thành công không xác định, không phải là rẻ.

Trên một IP trung tâm dữ liệu, các công cụ tự lưu trữ mất đi một lợi thế mà họ có — một lối ra residential sạch — vì họ không có lối ra sạch riêng để dựa vào. Trình duyệt thu thập dữ liệu Scrapeless không bị ảnh hưởng về mặt này: nó vẫn vượt qua thử thách vì các yêu cầu của nó ra ngoài qua các proxy residential bất kể nơi quy trình đánh giá diễn ra, đạt 6 trên 8 (Cao) với p50 là 14,3 giây và chi phí đo được là 0,063 USD cho mỗi nghìn lần làm sạch thành công. Kết quả là phiên bản của bài test này phù hợp với sản xuất — chỉ có công cụ mang lối ra residential riêng của nó mới tiếp tục vượt qua thử thách, và nó làm như vậy trong khi phần còn lại của lĩnh vực trả về 0%.

Đó là trường hợp chân thực cho một trình duyệt đám mây được quản lý. Không phải là các công cụ mã nguồn mở không bao giờ vượt qua được Cloudflare — một trong số đó có thể, trên IP đúng. Điều quan trọng là độ tin cậy trong môi trường mà bạn thực sự triển khai là thuộc tính tồn tại, và thuộc tính đó đến từ lối ra và tính nhất quán, không phải từ một bản vá lén lút.

Cách đọc điều này cho ngăn xếp của riêng bạn

• Nếu bạn chạy trên một laptop hoặc đã sử dụng một proxy residential, và khối lượng thấp, một trình duyệt không bị phát hiện tự lưu trữ có thể hoạt động — chấp nhận việc bảo trì và sự khác biệt giữa các lần chạy.
• Nếu bạn triển khai trên các máy chủ đám mây, cần tính nhất quán, hoặc chạy với bất kỳ mức độ đồng thời thực sự nào, vấn đề về danh tiếng ra đi là bức tường, và một trình duyệt đám mây mà giao lối ra residential riêng của nó là con đường đi tiếp. So sánh giá cả với thời gian kỹ thuật mà một ngăn xếp tự lưu trữ chi phí để duy trì.
• Dù bằng cách nào, hãy đo lường nó trên mục tiêu của bạn. Trang thử thách được sử dụng ở đây là một mục tiêu thực hành công khai; trang web của bạn có thể nằm sau một cấu hình nghiêm ngặt hơn. Bộ dụng cụ được xây dựng để chỉ vào bất cứ điều gì bạn cần thử nghiệm.

Đối với cơ chế điều khiển trình duyệt đám mây — tạo phiên, quốc gia proxy và đọc DOM đã được tạo ra — tài liệu Scraping Browser bao gồm toàn bộ quy trình, và cách tiếp cận chống bot được phân tích chi tiết hơn trong hướng dẫn anh em về vượt qua bảo vệ Cloudflare và Turnstile.

Kết luận: độ tin cậy là thuộc tính ra đi

Vượt qua Cloudflare trong sản xuất giảm xuống ba tín hiệu — một trình duyệt thực, một dấu vân tay nhất quán và một IP ra đi sạch — và yếu tố thứ ba là nơi mà các ngăn xếp tự lưu trữ âm thầm gặp khó khăn. Trên một IP residential, lĩnh vực trông có vẻ cạnh tranh; trên IP trung tâm dữ liệu mà các đường ống thực sự sử dụng, thì không. Trình duyệt thu thập dữ liệu Scrapeless đã vượt qua thử thách nhiều nhất và nhất quán nhất, và nó là công cụ duy nhất được đo lường mà sự thành công không phụ thuộc vào nơi mà quy trình diễn ra. Các con số không phải là một tuyên bố để tin tưởng — chúng là một bộ dụng cụ để vận hành. Ghi nhớ lối ra residential của Mỹ, giữ phiên nhiệt bằng cách tải trang trước khi vào trang mục tiêu, giữ mức độ đồng thời vừa phải trên mỗi máy chủ, và để tỷ lệ thành công đo được giải quyết tranh luận.

---

Sẵn sàng để vượt qua Cloudflare trong sản xuất?

Tham gia cộng đồng của chúng tôi để nhận gói miễn phí và kết nối với các nhà phát triển xây dựng các đường ống chống bot: Discord · Telegram.

Đăng ký tại app.scrapeless.com để nhận thời gian chạy Scraping Browser miễn phí và hướng quy trình đánh giá về các trang được bảo vệ bởi Cloudflare mà đường ống của bạn cần.

Câu hỏi thường gặp

H: Tôi có cần một proxy để vượt qua thử thách không?
Có — lối ra sạch là tín hiệu quyết định phần lớn các kết quả. Trình duyệt thu thập dữ liệu Scrapeless sử dụng các proxy residential của Mỹ theo mặc định; một công cụ tự lưu trữ cần có lối ra residential riêng, và trên một IP trung tâm dữ liệu mà không có, thử thách hiếm khi được vượt qua.

H: Trang hiển thị "Xin đợi một chút..." hoặc Truy cập bị từ chối. Làm thế nào để tôi có được một bản render sạch?
Ghim IP dân cư của Mỹ và khởi động phiên trước: tải trang chính của trang web trong cùng một phiên trước khi yêu cầu trang mục tiêu, để cookie xóa được thiết lập trên một phiên đã được xác thực. Giữ độ đồng thời ở mức vừa phải — ba worker cho mỗi host là giới hạn an toàn cho các lần chạy song song.

Q: Tại sao các công cụ mã nguồn mở xóa thách thức trên laptop của tôi nhưng lại thất bại trên máy chủ của tôi?
Laptop của bạn xuất từ một IP dân cư; máy chủ của bạn xuất từ một IP trung tâm dữ liệu với danh tiếng tệ hơn. Cùng một công cụ, cùng một mã — IP xuất đã thay đổi, và đó là tín hiệu mà Cloudflare cân nhắc nặng nề nhất. Đây là lý do lớn nhất tại sao một stack hoạt động trong thử nghiệm lại thất bại trong sản xuất.

Q: Các công cụ mã nguồn mở có bao giờ xóa nó không?
Có — SeleniumBase trong chế độ không bị phát hiện đã xóa thách thức trên một IP dân cư trong lần kiểm tra này. Điểm mấu chốt không phải là các công cụ tự lưu trữ không bao giờ hoạt động; mà là sự thành công của chúng phụ thuộc vào một điều kiện IP mà sản xuất thường loại bỏ, cùng với việc duy trì liên tục khi các công cụ và thách thức đều thay đổi.

Q: Làm thế nào để tôi tái tạo những số liệu này?
Công cụ là một tiêu chuẩn Cloudflare mã nguồn mở trên GitHub. Nhân bản nó, cài đặt các công cụ, đặt một khóa API Scrapeless, và chạy cùng một ma trận — cùng mục tiêu, cùng thử nghiệm, cùng quy tắc một lần thử. Nó viết một bảng kết quả cộng với JSON thô cho mỗi lần thử, vì vậy mỗi số liệu đều có thể truy lại phiên chạy đã tạo ra nó, và các số liệu IP trung tâm dữ liệu có nguồn gốc trực tiếp từ phiên chạy GitHub Actions của nó.