Trình duyệt đám mây là gì?

Trình duyệt Scrapeless Scraping là một trình duyệt đám mây chống phát hiện được quản lý, dùng để tạo hình, trích xuất, kiểm tra và tự động hóa theo tác nhân.

Trình duyệt đám mây là gì?

Một trình duyệt đám mây là một trình duyệt mà thực thi chính diễn ra trên cơ sở hạ tầng từ xa hơn là trên máy cục bộ của người dùng. Một người hoặc chương trình gửi các lệnh điều hướng và tương tác đến môi trường đó, trong khi dịch vụ trả về một luồng hình ảnh, dữ liệu trình duyệt có cấu trúc, ảnh chụp màn hình hoặc sự kiện giao thức. Thiết bị cục bộ trở thành một bộ điều khiển thay vì là bộ hiển thị chính.

Sản phẩm trình duyệt đám mây rơi vào các loại khác nhau. Cách ly trình duyệt từ xa tập trung vào việc tách mã web không đáng tin cậy khỏi các điểm cuối. Dịch vụ tự động hóa trình duyệt phơi bày các trình duyệt từ xa ra mã. Màn hình máy tính đám mây tương tác phát trực tiếp một cửa sổ trình duyệt bình thường. Một sản phẩm có thể kết hợp các mô hình này, nhưng người mua nên xác định hợp đồng thực thi, cách ly và điều khiển mà họ thực sự cần.

Một định nghĩa chính xác giúp các nhóm chọn công cụ và chẩn đoán sự cố. Nếu các kỹ sư sử dụng một từ cho vài lớp, một vấn đề cookie có thể bị nhầm với một vấn đề trình duyệt, một sự không khớp vùng nhìn có thể bị nhầm với dữ liệu thiếu, và một kết nối điều khiển đã đóng có thể bị nhầm với trạng thái hồ sơ bị mất. Đặt tên cho ranh giới làm cho việc sửa lỗi nhỏ hơn.

Cách mà trình duyệt đám mây xử lý thực thi từ xa

Cách mà trình duyệt đám mây xử lý thực thi từ xa có thể được hiểu như một chuỗi các chuyển tiếp trạng thái được điều khiển bởi trình duyệt và khách hàng tự động hóa. API chính xác khác nhau, nhưng điều hướng, tạo hình, lưu trữ, đầu vào, quan sát và dọn dẹp vẫn là những phần chịu lực.

Phân bổ và kiểm soát

Dịch vụ phân bổ một môi trường trình duyệt và trả về một điểm cuối điều khiển, định danh phiên làm việc hoặc URL xem trực tiếp. Khách hàng điều khiển trình duyệt thông qua một giao thức hoặc API sản phẩm.

Phân bổ và kiểm soát nên được quan sát trong sản xuất. Ghi lại cấu hình ảnh hưởng đến nó, ghi lại bằng chứng tại điểm mà trang đạt được trạng thái yêu cầu và đóng tài nguyên một cách có chủ ý. Thực tiễn đó biến một lần chạy trình duyệt thành một hoạt động có thể giải thích thay vì một chuỗi chỉ hoạt động trên một máy tính.

Tạo hình từ xa

HTML, CSS, JavaScript, hình ảnh, phông chữ và hoạt động mạng được xử lý trong môi trường đám mây. Dịch vụ có thể trả về nội dung DOM, ảnh chụp màn hình, tải xuống, ghi âm hoặc một cái nhìn tương tác.

Tạo hình từ xa nên được quan sát trong sản xuất. Ghi lại cấu hình ảnh hưởng đến nó, ghi lại bằng chứng tại điểm mà trang đạt được trạng thái yêu cầu và đóng tài nguyên một cách có chủ ý. Thực tiễn đó biến một lần chạy trình duyệt thành một hoạt động có thể giải thích thay vì một chuỗi chỉ hoạt động trên một máy tính.

Vòng đời và cách ly

Nền tảng tách biệt khách hàng và phiên làm việc, thực thi giới hạn thời gian và tài nguyên, và giải phóng thời gian chạy khi công việc kết thúc. Hồ sơ tùy chọn bảo tồn dữ liệu được chọn giữa các phân bổ.

Vòng đời và cách ly nên được quan sát trong sản xuất. Ghi lại cấu hình ảnh hưởng đến nó, ghi lại bằng chứng tại điểm mà trang đạt được trạng thái yêu cầu và đóng tài nguyên một cách có chủ ý. Thực tiễn đó biến một lần chạy trình duyệt thành một hoạt động có thể giải thích thay vì một chuỗi chỉ hoạt động trên một máy tính.

Thuật ngữ trình duyệt dễ sử dụng hơn khi nó gắn liền với các định nghĩa chính. Hướng dẫn cách ly trình duyệt CISA mô tả khái niệm cốt lõi một cách trực tiếp nhất, đặc tả WebDriver W3C xác định một ranh giới điều khiển hoặc kiến trúc lân cận, và chế độ Chrome Headless cung cấp một góc nhìn thực hiện thứ hai. Những nguồn này mô tả tiêu chuẩn và hành vi của trình duyệt; các lựa chọn sản phẩm vẫn phụ thuộc vào quy trình làm việc, mô hình bảo mật và môi trường mục tiêu.

Trình duyệt đám mây, Trình duyệt cục bộ, và HTTP API

Trình duyệt đám mây, Trình duyệt cục bộ, và HTTP API tách biệt các thuật ngữ thường bị trộn lẫn trong thảo luận thường ngày. Bảng tập trung vào quyền sở hữu và tác động hoạt động hơn là tên API cụ thể của thương hiệu.

Các danh mục này có thể đồng tồn tại trong một kiến trúc. Một phân bổ đám mây có thể chạy một quá trình Chromium không đầu, tạo một bối cảnh riêng biệt, mở nhiều trang, áp dụng một khung nhìn cho mỗi trang, và đính kèm một hồ sơ dai dẳng. Kiến trúc chỉ có thể hiểu được khi mỗi danh từ giữ công việc riêng của nó.

Cách sử dụng phổ biến của Trình duyệt Đám mây

Trình duyệt Đám mây hữu ích khi ranh giới cụ thể của nó giảm thiểu rủi ro hoạt động hoặc làm cho hành vi của trình duyệt có thể đo lường được. Những cách sử dụng phổ biến này cho thấy yêu cầu mà mỗi mẫu thực sự đáp ứng.

Mô hình trạng thái phía sau Trình duyệt Đám mây

Một quy trình làm việc của trình duyệt đám mây đáng tin cậy tách biệt cấu hình, trạng thái thời gian chạy, trạng thái trang web, và bằng chứng. Cấu hình là những gì người vận hành chọn trước khi khởi động: bản dựng trình duyệt, chế độ khởi động, ngôn ngữ địa phương, múi giờ, quyền truy cập, khung nhìn và lộ trình mạng. Trạng thái thời gian chạy bao gồm quá trình đã phân bổ, bối cảnh, trang, bộ nhớ, kết nối mở, và kênh điều khiển. Trạng thái trang web bao gồm cookie, lưu trữ nguồn gốc, hồ sơ tài khoản phía máy chủ, và tài liệu hiện đang được hiển thị. Bằng chứng là ghi chép được sử dụng để giải thích những gì đã xảy ra.

Các lớp này có thời gian sống khác nhau. Một trang có thể đóng trong khi cookie bối cảnh của nó vẫn còn. Một bối cảnh có thể đóng trong khi một hồ sơ dai dẳng vẫn tồn tại trên đĩa. Kết nối điều khiển từ xa có thể biến mất trong khi dịch vụ vẫn sở hữu trình duyệt trong một thời gian ngắn. Đăng nhập trang web có thể vẫn hợp lệ sau khi phiên tự động hóa kết thúc. Do đó, dọn dẹp cần một hành động rõ ràng cho mỗi lớp mà quy trình làm việc tạo ra.

Quyền sở hữu trạng thái cũng kiểm soát độ song song. Hai trang trong một bối cảnh có thể cố ý chia sẻ chứng thực, nhưng hai công việc độc lập thường không nên. Hai bối cảnh trong một trình duyệt có thể cách ly cookie trong khi cạnh tranh các tài nguyên quá trình giống nhau. Hai lần khởi động trình duyệt dai dẳng không nên chỉ vào cùng một thư mục dữ liệu người dùng đang hoạt động. Đơn vị an toàn của độ đồng thời được xác định bởi cả sự cách ly và giới hạn tài nguyên chung.

Sử dụng các định danh tương quan mà không tiết lộ bí mật điều khiển. Một ID công việc có thể kết nối nhật ký ứng dụng, sự kiện trình duyệt, ảnh chụp màn hình và đầu ra cuối cùng. Một điểm cuối phiên, giá trị cookie, tiêu đề xác thực, hoặc lưu trữ hồ sơ không bao giờ được đóng vai trò đó vì bất cứ ai đọc nhật ký có thể truy cập vào trình duyệt hoặc tài khoản. Xoá các giá trị tại ranh giới ghi nhật ký thay vì dựa vào việc dọn dẹp sau này.

Khả năng quan sát cho trình duyệt đám mây

Khả năng quan sát nên trả lời bốn câu hỏi: môi trường nào đã chạy, trình duyệt đã thấy gì, hành động nào mà bộ điều khiển đã gửi, và tại sao quy trình làm việc cho rằng nhiệm vụ đã hoàn tất. Một bản ghi sự kiện hữu ích bao gồm một dấu thời gian, ID tương quan, URL trang sau khi điều hướng, tên hành động, các tham số không bí mật, thời gian, kết quả và một phân loại lỗi ngắn. Nó tránh nội dung trang trừ khi những nội dung đó là bằng chứng cần thiết.

Chọn các mảnh ghép theo chế độ lỗi. Sự kiện mạng hữu ích khi một tài nguyên bị chặn hoặc chuyển hướng. Một ảnh chụp DOM hữu ích khi phần tử mong đợi vắng mặt hoặc khác biệt về cấu trúc. Một ảnh chụp màn hình hữu ích khi một lớp phủ che khuất một điều khiển, thay đổi bố cục phản hồi, hoặc phông chữ thay đổi hình học. Siêu dữ liệu lưu trữ hữu ích khi trạng thái đăng nhập biến mất. Một bản ghi hữu ích khi thứ tự của một số tương tác là quan trọng, nhưng nên được giữ lại một cách tiết kiệm vì nó có thể thu thập thông tin nhạy cảm.

Kiểm tra hoàn thành nên nằm cạnh hành động mà chúng xác thực. Sau khi điều hướng, xác minh một URL, phản hồi, hoặc đánh dấu trang. Sau khi nhập, xác minh giá trị trường hoặc trạng thái kết quả. Sau khi nhấp, xác minh lộ trình, hộp thoại, yêu cầu mạng, hoặc sự thay đổi tài liệu mà nó nên gây ra. Sau khi trích xuất, xác thực các trường và kiểu dữ liệu cần thiết. Một lệnh trả về mà không có ngoại lệ không phải là bằng chứng cho rằng kết quả hiển thị cho người dùng dự kiến đã xảy ra.

Bảng điều khiển hoạt động nên phân biệt sức khỏe sản phẩm khỏi sự biến thiên trang mục tiêu. Các lỗi phân bổ trình duyệt, lỗi kênh điều khiển, sự cố bộ render, phản hồi HTTP mục tiêu, trạng thái trống ở cấp ứng dụng, và sự không phù hợp của bộ chọn cần nhãn khác nhau. Kết hợp chúng thành một tỷ lệ lỗi chung ẩn lớp mà cần chú ý và khuyến khích các thay đổi rộng rãi cho một vấn đề hẹp.

Giới hạn và Chế độ Lỗi

Thực thi từ xa chuyển giao niềm tin thay vì loại bỏ nó. Nhà cung cấp có thể xử lý nội dung trang, thông tin xác thực, tải xuống và bản ghi, vì vậy việc xem xét bảo mật phải bao gồm mã hóa, cách ly người thuê, kiểm soát truy cập, giữ lại, vùng miền, xử lý sự cố, và xóa bỏ. Hiệu suất cũng phụ thuộc vào độ trễ lệnh, vị trí trang, phương pháp phát trực tiếp, và giới hạn song song.

Hầu hết các lỗi trở nên dễ phân loại hơn khi bằng chứng được ghi lại ở lớp chính xác. Phản hồi điều hướng giải thích hành vi vận tải và máy chủ. DOM giải thích cấu trúc được hiển thị. Ảnh chụp màn hình giải thích bố cục có thể nhìn thấy. Kiểm tra lưu trữ giải thích cookie và trạng thái nguồn gốc. Nhật ký phiên giải thích vòng đời. Không có món đồ nào trong số này có thể thay thế cho tất cả những món khác.

Sự trì hoãn cố định là một tín hiệu hoàn thành yếu bởi vì các trang không hoàn thành trong một khoảng thời gian chung nào. Ưu tiên một điều kiện liên kết với nhiệm vụ: một tuyến đường được cố định, một tiêu đề xuất hiện, một yêu cầu đã biết hoàn thành, một điều khiển được kích hoạt, hoặc dữ liệu dự kiến tồn tại. Đặt một thời hạn giới hạn để điều kiện bị thiếu kết thúc với bằng chứng hữu ích.

Phát triển, staging và sản xuất

Phát triển ưa thích khả năng hiển thị và chẩn đoán nhanh. Chạy một trường hợp đại diện nhỏ, công khai trạng thái trình duyệt và giữ ảnh chụp màn hình hoặc dấu vết gần gũi với mã. Staging nên phản chiếu cấu hình sản xuất trong khi sử dụng các tài khoản và mục tiêu có kiểm soát. Sản xuất ưu tiên đầu vào xác định, quyền hạn tối thiểu, sử dụng tài nguyên có giới hạn, telemetry có cấu trúc và dọn dẹp tự động. Việc di chuyển qua các môi trường này nên thay đổi cấu hình, không viết lại logic điều hướng.

Kiểm soát phiên bản áp dụng cho hành vi trình duyệt cũng như mã ứng dụng. Ghim các phiên bản trình duyệt và khách hàng tự động tương thích khi nền tảng cho phép, xem xét ghi chú phát hành trước khi nâng cấp, và chạy một bộ thử nghiệm tương thích tập trung. Bộ thử nghiệm nên bao gồm điều hướng, lưu trữ, đầu vào, tải xuống nếu sử dụng, ảnh chụp màn hình và bất kỳ đặc điểm giao thức nào mà quy trình làm việc phụ thuộc vào. Kiểm tra tiêu đề trang vượt qua thì quá nông cho một lần nâng cấp trình duyệt.

Kế hoạch năng lực bắt đầu với trang thay vì một con số trình duyệt toàn cầu cho mỗi máy. Đo bộ nhớ, CPU, lưu lượng mạng, độ dài trang, và kích thước đối tượng cho công việc đại diện. Các ứng dụng nặng phía khách, video, các bản vẽ lớn, và nhiều trang mở thay đổi hồ sơ chi phí. Đặt độ đồng thời từ việc sử dụng tài nguyên được quan sát và giới hạn dịch vụ, sau đó để lại không gian dự phòng để một trang tốn kém không làm bất ổn các phiên không liên quan.

Dọn dẹp sản xuất nên là idempotent: gọi nó sau một lỗi một phần vẫn nên đóng các trang, ngữ cảnh, phiên và tệp tạm thời mà tồn tại. Nhật ký dọn dẹp nên xác nhận các tài nguyên nào đã được giải phóng mà không in ra các giá trị bí mật của chúng. Các hồ sơ tồn tại được xử lý riêng biệt vì việc xóa một hồ sơ bền bỉ có chủ đích không phải là dọn dẹp công việc thông thường.

Bảo mật, quyền riêng tư và sử dụng có trách nhiệm

Môi trường trình duyệt có thể chứa thông tin xác thực, dữ liệu cá nhân, tải xuống và nội dung chỉ có thể nhìn thấy bởi một tài khoản được ủy quyền. Áp dụng quyền tối thiểu cho các tài khoản và người vận hành, giữ bí mật ra khỏi các tệp nguồn, hạn chế truy cập vào các bản ghi, và xóa trạng thái theo chính sách bảo quản được tài liệu. Một đối tượng gỡ lỗi tiện lợi có thể trở thành một lỗ hổng dữ liệu nếu nó được chia sẻ mà không qua kiểm tra.

Tự động hóa không nên được sử dụng để truy cập thông tin riêng tư, bí mật, hoặc bị hạn chế mà không có sự cho phép. Xem xét các điều khoản của trang web, hướng dẫn robot khi có thể, nghĩa vụ hợp đồng, và các luật điều chỉnh dữ liệu và quyền tài phán. Khả năng kỹ thuật không thiết lập quyền hạn.

Cấu hình liên quan đến dấu vân tay cần được chú ý đặc biệt. Các đặc điểm trình duyệt như ngôn ngữ, hiển thị, codec, phông chữ, và cài đặt có thể góp phần vào việc nhận diện, như được mô tả trong các tiêu chuẩn và hướng dẫn quyền riêng tư đã trích dẫn. Sử dụng các điều khiển như vậy cho tính tương thích, sự cô lập và kiểm tra được phê duyệt; đừng sử dụng chúng để mạo danh một người hoặc che giấu hoạt động lạm dụng.

Cách chọn cấu hình đúng

Chọn trình duyệt đám mây khi hạ tầng quản lý, sự cô lập từ xa, thực thi địa lý, hoặc khả năng quan sát tập trung tạo ra giá trị rõ ràng. Giữ các trình duyệt cục bộ cho phát triển nhanh và các công việc cần tích hợp thiết bị trực tiếp. Sử dụng một khách hàng HTTP khi việc tạo ra toàn bộ làm tăng chi phí mà không thay đổi kết quả.

• Bắt đầu với kết quả yêu cầu. Định nghĩa trạng thái trang, dữ liệu, tương tác, hoặc bằng chứng mà quy trình làm việc phải sản xuất.
• Chọn ranh giới trạng thái nhỏ nhất. Một trang, ngữ cảnh, phiên, hoặc hồ sơ không nên tồn tại lâu hơn hoặc chia sẻ nhiều dữ liệu hơn yêu cầu của nhiệm vụ.
• Làm cho đầu vào môi trường rõ ràng. Xây dựng trình duyệt, địa phương, múi giờ, khung nhìn, quyền hạn và lộ trình mạng có thể thay đổi kết quả.
• Thiết kế khả năng quan sát trước quy mô. Ghi lại đủ bằng chứng để phân biệt các lỗi mạng, tạo ra, bộ chọn, lưu trữ và vòng đời.
• Đóng và dọn dẹp có chủ đích. Giải phóng tài nguyên từ xa, xóa trạng thái tạm thời, và giữ lại chỉ các đối vật được phê duyệt.

Cái Tài liệu Trình duyệt Gỡ lỗi không có chất thải mô tả bề mặt phiên được quản lý, trong khi Trang sản phẩm Trình duyệt Gỡ lỗi không có chất thải giải thích vai trò của sản phẩm trong tự động hóa trình duyệt đám mây. Các tham chiếu sản phẩm này bổ sung các liên kết tiêu chuẩn thay vì thay đổi định nghĩa chung.

Kết luận

một Trình duyệt Đám mây hữu ích nhất như một thuật ngữ kiến trúc chính xác, không phải là một nhãn tiếp thị. Giá trị của nó đến từ trạng thái nó sở hữu, hành vi trình duyệt mà nó cho phép, và ranh giới hoạt động mà nó tạo ra. Giữ những thuộc tính đó rõ ràng và sự lựa chọn giữa thực thi cục bộ, từ xa, bền bỉ, cô lập, có thể nhìn thấy và không có người can thiệp trở nên đơn giản.

Đối với công việc sản xuất, ghép nối định nghĩa đó với bằng chứng cụ thể: một trạng thái khởi đầu đã biết, một điều kiện hoàn thành có ý nghĩa, nhật ký được bảo vệ, và dọn dẹp có chủ đích. Sự kết hợp đó làm cho việc tự động hóa trình duyệt dễ dàng hơn để xem xét, gỡ lỗi và bảo trì.