Trình duyệt Đám mây so với Trình duyệt Cục bộ

Scrapeless Agent Browser lưu trữ các phiên trình duyệt mà ứng dụng có thể điều khiển từ xa để tự động hóa web và kiểm tra trang động.

Xác định Nơi Tiến trình Trình duyệt Chạy

Một trình duyệt đám mây chạy trên hạ tầng từ xa, trong khi một trình duyệt cục bộ chạy trong môi trường bạn vận hành trực tiếp. Client tự động hóa có thể chạy ở nơi khác trong cả hai thiết kế. Hãy phân biệt tiến trình client với tiến trình trình duyệt trước khi so sánh các phương án triển khai.

Do đó, Trình duyệt Đám mây so với Trình duyệt Cục bộ là một so sánh về triển khai. Nó tách biệt với headless so với headful, vốn mô tả việc trình duyệt có hiển thị cửa sổ hay không. Một trình duyệt từ xa có thể cung cấp giao diện kiểm tra trực quan, và một trình duyệt cục bộ có thể chạy không giám sát mà không cần cửa sổ.

Mô hình điều khiển trình duyệt WebDriver tách một client điều khiển khỏi hành vi tự động hóa trình duyệt. Một đường dẫn thực thi từ xa bổ sung các ranh giới truyền tải và vòng đời xung quanh mối quan hệ đó. Trình duyệt vẫn điều hướng trang đích, trong khi ứng dụng của bạn vẫn quyết định hành động và đầu ra nào là hợp lệ.

Hãy bắt đầu với các ràng buộc của tác vụ: quyền truy cập nguồn cho phép, xử lý dữ liệu, yêu cầu về trình duyệt và quyền sở hữu vận hành dự kiến. Một trình duyệt được lưu trữ hữu ích khi thực thi được quản lý giải quyết một vấn đề cụ thể. Một trình duyệt cục bộ hữu ích khi việc kiểm soát môi trường trực tiếp hoặc truy cập tài nguyên cục bộ là quan trọng.

So sánh Trách nhiệm Triển khai

So sánh hữu ích là hỏi ai sở hữu mỗi trách nhiệm vận hành và bằng chứng được tạo ra ở đâu. Không cột nào tự thân an toàn hơn hoặc đáng tin cậy hơn nếu không có cấu hình.

Một trình duyệt được triển khai trên máy chủ riêng của bạn là từ xa đối với laptop nhưng vẫn có thể hoàn toàn do chính bạn quản lý. Hãy mô tả quyền sở hữu một cách chính xác thay vì coi mọi tiến trình không chạy trên máy để bàn đều là cùng một dịch vụ đám mây được quản lý.

Tách Kết nối Điều khiển khỏi Điều hướng Mục tiêu

Một quy trình trình duyệt từ xa có ít nhất hai mối quan hệ mạng liên quan: client kết nối đến dịch vụ trình duyệt, và trình duyệt kết nối đến trang đích. Thành công ở ranh giới thứ nhất không chứng minh thành công ở ranh giới thứ hai.

Client có thể kết nối thành công trong khi điều hướng đến mục tiêu nhận thử thách hoặc tải nhầm trang. Ngược lại, sự cố kết nối client cục bộ có thể ngăn việc kiểm tra ngay cả khi trình duyệt từ xa trước đó đã truy cập mục tiêu. Giữ lại ranh giới gặp lỗi trong log.

Các ngữ nghĩa yêu cầu và phản hồi HTTP áp dụng cho các trao đổi tại những người nhận tương ứng của chúng. Một lỗi từ dịch vụ điều khiển trình duyệt không nên được ghi nhận là phản hồi HTTP của trang đích. Giữ các sự kiện kết nối dịch vụ và các sự kiện nội dung mục tiêu ở các trường riêng biệt.

Vị trí mạng cũng ảnh hưởng đến DNS và phạm vi truy cập. Một tên máy (hostname) có thể truy cập được trên một máy trạm có thể sẽ không phân giải được từ một môi trường từ xa. Một địa chỉ loopback đề cập đến chính máy đang diễn giải nó. Trước khi di chuyển một quy trình làm việc, hãy xác minh những tài nguyên nào mà trình duyệt phải truy cập và liệu môi trường đã chọn có được ủy quyền để truy cập chúng hay không.

Đặt Trạng Thái Phiên Là Một Yêu Cầu Rõ Ràng

Trạng thái phiên cần có quyền sở hữu bất kể vị trí lưu trữ. Cookie, bộ nhớ, bộ lọc đã chọn và ngữ cảnh ứng dụng có thể thay đổi trang được trình duyệt quan sát.

Xác định tác vụ nào tạo phiên, những hành động nào thuộc về phiên đó và khi nào nó kết thúc. Tách biệt người dùng hoặc tenant khi trạng thái của họ không được phép trộn lẫn. Việc tái sử dụng một tiến trình trình duyệt tự nó không thiết lập ranh giới cách ly như mong muốn; các ngữ cảnh và hồ sơ trình duyệt cần được thiết kế một cách có chủ đích.

Đối với một việc thu thập dữ liệu công khai, hãy giữ nguyên ngữ cảnh thị trường và bộ lọc đã chọn trong kết quả đầu ra. Nếu một lời nhắc về vị trí ảnh hưởng đến trang, hãy ghi lại vị trí đã được chấp nhận thay vì giả định rằng địa lý của mạng hoàn toàn quyết định kết quả. Nếu một tác vụ sử dụng quyền truy cập tài khoản đã được phê duyệt, hãy giữ thông tin đăng nhập và trạng thái tài khoản được giới hạn trong phạm vi tác vụ đó.

Không tự động lưu hồ sơ vì tính năng lưu trữ đã có sẵn. Một số tác vụ cần tính liên tục; những tác vụ khác cần ngữ cảnh sạch. Hãy quyết định trạng thái nào là cần thiết và nó sẽ được xóa hay giữ lại như thế nào. Yêu cầu về vòng đời hữu ích hơn là một lời hứa chung chung rằng phiên làm việc sẽ được lưu trữ.

Lên Kế Hoạch Ranh Giới Tệp Trước Khi Di Chuyển Công Việc

Tải xuống do trình duyệt quản lý diễn ra trong môi trường trình duyệt. Nếu môi trường đó là từ xa, tệp có thể sẽ không tự động xuất hiện trên máy khách.

Xác định cách tệp trở thành đầu ra của ứng dụng. Quy trình làm việc có thể cần một đường dẫn truy xuất được nhà cung cấp hỗ trợ, một kho đối tượng đã được ủy quyền hoặc một cơ chế truyền phía client. Xác minh đường dẫn đã chọn và xác nhận tệp cuối cùng tồn tại ở đúng đích dự định trước khi báo cáo hoàn tất.

Ngoài ra, hãy xem xét các tệp đầu vào. Một đường dẫn tải lên cục bộ có ý nghĩa đối với môi trường chạy cục bộ, trong khi một trình duyệt từ xa có thể yêu cầu một cơ chế tải lên được hỗ trợ khác. Đừng cho rằng một đường dẫn tuyệt đối trên máy khách sẽ xác định cùng một tệp trong container của trình duyệt.

Xác thực loại tệp và nội dung sau khi truyền. Một tệp tải xuống có tên có thể chứa trang lỗi hoặc kết quả không đầy đủ. Giữ nguyên ngữ cảnh nguồn với tệp đã được chấp nhận và tránh để lộ thông tin xác thực trong các URL đã ký hoặc nhật ký chung.

Tái tạo môi trường trình duyệt trong quá trình gỡ lỗi

Một lần thành công cục bộ và một lần thất bại từ xa chỉ hữu ích làm bằng chứng khi sự khác biệt giữa chúng được ghi lại. So sánh phiên bản trình duyệt, khung nhìn, ngôn ngữ/địa phương, trạng thái đã chọn, tuyến đích và các điều kiện sẵn sàng.

Một hồ sơ trạm làm việc có thể chứa các quyền hoặc cookie không có trong một phiên điều khiển từ xa mới. Một bản dựng máy chủ có thể có các phông chữ hoặc khả năng hiển thị khác nhau. Một tuyến mạng có thể dẫn đến một trang khu vực khác. Những khác biệt này nên được điều tra trước khi quy kết kết quả cho chính việc lưu trữ trên đám mây.

The Mô hình xử lý tài liệu HTML vẫn phù hợp trong cả hai môi trường. Một trình duyệt từ xa không hoàn tất việc kết xuất theo từng ứng dụng tại một sự kiện điều hướng. Hãy sử dụng cùng một điều kiện chấp nhận nội dung khi so sánh các lần triển khai.

Giữ các dữ liệu chẩn đoán đủ để xem xét: URL cuối cùng, danh tính trang, ảnh chụp màn hình, thông báo bảng điều khiển liên quan và bản ghi đã trích xuất. Giảm thiểu nội dung nhạy cảm trong các bản ghi lại. Giao diện trực quan từ xa có thể hỗ trợ việc kiểm tra, nhưng sự hiện diện của nó không phải là bằng chứng cho thấy quy trình làm việc đã hoàn thành chính xác.

So sánh Chi phí cho mỗi Nhiệm vụ Được Chấp nhận

Chi phí triển khai cần bao gồm cả công việc cần thiết để tạo ra các kết quả được chấp nhận. Cơ sở hạ tầng cục bộ bao gồm tài nguyên runtime và bảo trì. Thực thi từ xa được quản lý bao gồm việc sử dụng dịch vụ và bất kỳ công việc nào ở phía ứng dụng xung quanh nó.

Nêu rõ liệu tác vụ có tái sử dụng một phiên, tải xuống tệp, hay thu thập nhiều trang. Thời gian tồn tại của trình duyệt có thể khác biệt đáng kể giữa một lượt đọc ngắn và một quy trình tương tác kéo dài. Một bài đo hiệu năng với truy vấn ngắn không phản ánh được chi phí của toàn bộ quy trình.

Đo lường các kết quả thất bại hoặc không hoàn chỉnh một cách riêng biệt. Việc loại trừ các tác vụ không thành công có thể khiến một lần triển khai trông có vẻ tiết kiệm, trong khi che giấu chi phí vận hành của các bản ghi không thể sử dụng được. So sánh các đầu ra được chấp nhận, thời gian đã trôi qua và nỗ lực bảo trì trong các điều kiện tương đương.

Bảng giá Scrapeless là tài liệu tham khảo hiện tại cho thành phần dịch vụ. Trang này không gán một lựa chọn chi phí tối ưu mang tính phổ quát vì hình dạng tác vụ và quyền sở hữu vận hành quyết định phép so sánh.

Sử dụng Agent Browser với sự phân chia trách nhiệm rõ ràng

Trình duyệt Tác nhân Không cần Thu thập Dữ liệu là một tùy chọn trình duyệt từ xa được quản lý. Giới thiệu về Agent Browser mô tả dịch vụ thực thi; ứng dụng khách vẫn chịu trách nhiệm về các mục tiêu điều hướng, các hành động được cho phép và các bản ghi được chấp nhận.

The các ví dụ về quy trình làm việc với trình duyệt đám mây cung cấp ngữ cảnh liên quan cho quản lý phiên và kiểm tra. Khi áp dụng thực thi được quản lý, hãy xác định những gì nhà cung cấp đảm nhiệm và những gì nhóm của bạn giữ lại. Giữ việc uỷ quyền nguồn, các quy tắc trích xuất và chính sách lưu trữ hạ nguồn trong thiết kế ứng dụng.

Một chương trình thử nghiệm di trú nhỏ có thể sử dụng một trang được ủy quyền mang tính đại diện và một hợp đồng đầu ra cố định. Hãy kiểm tra điều hướng mục tiêu, mức độ đầy đủ của các trường, việc dọn dẹp phiên làm việc và đích đến của tệp trước khi mở rộng khối lượng công việc. Kết nối thành công là một điểm kiểm tra trong chương trình thử nghiệm đó, chứ không phải kết quả cuối cùng.

Kết luận: Chọn môi trường mà nhiệm vụ của bạn yêu cầu

Sử dụng thực thi cục bộ khi việc kiểm soát trực tiếp môi trường và tài nguyên cục bộ là quan trọng. Sử dụng thực thi đám mây được quản lý khi việc lưu trữ trình duyệt từ xa đáp ứng nhu cầu vận hành của bạn. Trong cả hai trường hợp, hãy xác định quyền sở hữu phiên, đường mạng, việc truyền tệp và tiêu chí chấp nhận đầu ra để các thay đổi triển khai vẫn có thể chẩn đoán được.