Sử Dụng Máy Tính Là Gì?
Trình Duyệt Tác Nhân Không Rác cung cấp các phiên trình duyệt được quản lý mà trong đó các tác nhân sử dụng máy tính có thể quan sát và tương tác với các giao diện web.
Tóm tắt ngắn
- Sử dụng máy tính là hành động ở cấp độ giao diện. Một tác nhân quan sát một màn hình hoặc trạng thái UI có cấu trúc và thực hiện các cú nhấp, gõ, cuộn hoặc hành động phím.
- Nó bổ sung cho các API thay vì thay thế chúng. Các thao tác có kiểu ổn định vẫn được ưa chuộng khi chúng phơi bày khả năng cần thiết.
- Vòng lặp là nhận thức, hành động và xác minh. Một quan sát mới nên theo sau mỗi thay đổi giao diện vật chất.
- Cơ sở hạ tầng phiên rất quan trọng. Sự cách ly, danh tính, thời gian chờ, chứng tích và dọn dẹp xác định liệu các lần chạy lặp lại có an toàn hay không.
- Các hành động hậu quả cần các điểm kiểm soát. Mua hàng, nộp đơn, tin nhắn và nhập thông tin xác thực nên sử dụng các phê duyệt rõ ràng và quyền hạn hẹp.
Tại Sao Chủ Đề Này Quan Trọng
Sử dụng máy tính là một khả năng AI để vận hành các giao diện đồ họa thông qua các quan sát và hành động nhập liệu. Tài liệu sử dụng máy tính OpenAI mô tả một vòng lặp mà trong đó mô hình đề xuất các hành động máy tính, ứng dụng thực hiện chúng, và các ảnh chụp màn hình cập nhật trả về mô hình. Hướng dẫn sử dụng máy tính Google cũng nhấn mạnh sự giám sát chặt chẽ đối với các nhiệm vụ quan trọng và sự cẩn trọng xung quanh các hành động nhạy cảm hoặc khó đảo ngược.
Khả năng này hữu ích khi phần mềm không cung cấp API phù hợp hoặc khi giao diện nhìn thấy được là đối tượng đang được kiểm tra. Nó cũng kém định lượng hơn một tích hợp có kiểu. Các thay đổi bố cục, cửa sổ bật lên, hoạt ảnh, tiêu điểm ẩn, quyền hạn và trạng thái tài khoản có thể thay đổi ý nghĩa của một cú nhấp chuột. Các hệ thống sản xuất do đó cần một trình duyệt hoặc môi trường làm việc trên desktop, một lớp chính sách, các bộ điều hợp quan sát và một dấu vết hành động bền vững.
Vòng Lặp Sử Dụng Máy Tính
Tác nhân nhận một quan sát như một ảnh chụp màn hình, cây truy cập, đại diện DOM hoặc sự kết hợp của những thứ này. Nó diễn giải trạng thái hiện tại và đề xuất một hành động có giới hạn: di chuyển, nhấp, gõ, cuộn, nhấn phím hoặc đợi một sự thay đổi rõ ràng. Máy chủ kiểm tra hành động với chính sách, thực hiện nó và trả về một quan sát mới.
Xác minh không thể đợi đến cuối. Sau khi nhấp một nút, hệ thống nên xác nhận URL hiện tại, hộp thoại, trạng thái đã chọn hoặc bản ghi kết quả trước khi tiếp tục. Tọa độ không phải là bằng chứng vì cùng một vị trí màn hình có thể đại diện cho các điều khiển khác nhau sau khi thay đổi bố cục. Ngữ nghĩa giao diện và xác nhận rõ ràng mạnh mẽ hơn điều kiện hình học được giả định.
Sử dụng máy tính có thể là đặc thù cho trình duyệt hoặc vận hành một desktop lớn hơn. Các phiên trình duyệt cung cấp ranh giới URL, DOM, tab, cookie và mạng rõ ràng hơn. Kiểm soát desktop có thể kéo dài qua nhiều ứng dụng và do đó cần nhắm mục tiêu cửa sổ chặt chẽ hơn, chính sách clipboard, quy tắc tệp và xác nhận trước khi di chuyển dữ liệu giữa các ứng dụng.
Các Lớp Trong Hệ Thống Sử Dụng Máy Tính
- Người Lập Kế Hoạch. Chọn hành động tiếp theo từ nhiệm vụ, quan sát hiện tại, hành động trước đó và ngân sách chính sách còn lại.
- Thời Gian Chạy. Sở hữu phiên trình duyệt hoặc desktop, viewport, danh tính, tab, quy trình, lưu trữ và dọn dẹp.
- Bộ điều hợp quan sát. Trả về các ảnh chụp màn hình và trạng thái giao diện có cấu trúc với URL hiện tại, cửa sổ, lỗi và dấu thời gian.
- Trình thực thi hành động. Áp dụng các thao tác nhấp chuột, bàn phím, điều hướng, tải lên hoặc đợi đã được xác minh vào mục tiêu dự định.
- Chính sách và bằng chứng. Hạn chế các hành động, yêu cầu phê duyệt và lưu trữ dấu vết và chứng tích cần thiết cho việc xem xét.
Sử Dụng Máy Tính so với API và Tự Động Hóa Trình Duyệt
Chọn giao diện cấu trúc nhất phù hợp với yêu cầu. Sử dụng máy tính mang lại giá trị của nó khi UI là bề mặt thực tế duy nhất hoặc khi chính bố cục quan trọng.
| Cách Tiếp Cận | Sức Mạnh | Hạn Chế Chính |
|---|---|---|
| API có kiểu | Lược đồ ổn định và ủy quyền rõ ràng | Có thể không phơi bày quy trình làm việc hướng tới người dùng cần thiết |
| Tự động hóa DOM | Selector chính xác và trạng thái trình duyệt | Selector có thể thay đổi và có thể không phản ánh ý nghĩa trực quan |
| Tự động hóa truy cập | Vai trò ngữ nghĩa và nhãn | Độ bao phủ phụ thuộc vào chất lượng truy cập giao diện |
| Sử dụng máy tính hình ảnh | Hoạt động với các giao diện hiển thị | Các điểm ảnh mơ hồ, sự dịch chuyển bố cục và chi phí xác minh cao hơn |
| Cách tiếp cận lai | Kết hợp trạng thái cấu trúc với dự phòng hình ảnh | Cần phải đối chiếu cẩn thận nhiều quan sát |
Xây dựng quy trình sử dụng máy tính an toàn hơn
Thiết kế xung quanh các phiên rõ ràng và các bước có thể đảo ngược. Mô hình nên thấy trạng thái mà nó cần mà không nhận được quyền truy cập môi trường vào các ứng dụng hoặc bí mật không liên quan.
- Tạo một phiên làm việc tách biệt. Gán một nhiệm vụ và chủ sở hữu vào ngữ cảnh trình duyệt hoặc desktop, với chính sách duy trì và dọn dẹp rõ ràng.
- Tuyên bố các hành động được phép. Tách biệt quyền đọc, điều hướng, nhập dữ liệu, tải lên, nộp và giao dịch.
- Xin chào! I'm sorry, but I need the text that you would like to have translated. Please provide the text to proceed.
- Xin vui lòng cung cấp văn bản bạn muốn dịch từ tiếng Anh sang tiếng Việt. Ghi lại URL kết quả, trạng thái điều khiển hiển thị, văn bản xác nhận hoặc bản ghi đã được tạo trước khi lên kế hoạch cho hành động tiếp theo.
- Chèn cổng phê duyệt. Dừng lại trước khi gửi tin nhắn, chấp nhận điều khoản, nhập dữ liệu nhạy cảm, tải xuống tệp hoặc thực hiện giao dịch.
Đánh giá Độ Chính Xác Hơn Cả Lượt Nhấp
Một tiêu chuẩn sử dụng máy tính nên ghi lại kết quả nhiệm vụ, lộ trình hành động, an toàn và chất lượng của các chứng cứ còn lại.
- Hoàn thành. Kết quả hiển thị dự kiến có xảy ra trong ứng dụng và tài khoản đúng không?
- Độ chính xác hành động. Hệ thống đã nhắm đến điều khiển chính xác bao nhiêu lần trong hành động được xác thực lần đầu?
- Độ dài đường đi. Có bao nhiêu quan sát và hành động đã được sử dụng so với một con đường tham chiếu hợp lý?
- Chất lượng can thiệp. Hệ thống có dừng lại ở các ranh giới phê duyệt với đủ ngữ cảnh cho một người để quyết định không?
- Theo dõi tính toàn vẹn. Người đánh giá có thể tái tạo lại ảnh chụp màn hình, URL, hành động, lỗi và trạng thái cuối cùng không?
Rủi ro an toàn khi sử dụng máy tính
Giao diện kết hợp nội dung không đáng tin cậy với các điều khiển thực tế. Nội dung này bao gồm một loạt các tiêu đề, danh sách, liên kết và bảng để truyền đạt thông tin một cách hiệu quả. Khung Quản Lý Rủi Ro AI NIST cung cấp một khung vòng đời để lập bản đồ, đo lường, quản lý và giám sát những rủi ro này. Hệ thống phải giữ những gì trang nói riêng biệt với những gì đại lý được quyền làm.
- Tiêm nhiễm nhắc lại. Văn bản hiển thị trên trang có thể cố gắng chuyển hướng đại lý. Hợp đồng nhiệm vụ và chính sách hành động phải giữ tính quyền lực.
- Hành động sai mục tiêu. Tập trung, cuộn, lớp phủ và thay đổi bố cục có thể di chuyển các điều khiển. Theo dõi lại ngay lập tức trước các cú nhấp quan trọng.
- Tiết lộ bí mật. Ảnh chụp màn hình, clipboard, điền tự động và thông báo có thể tiết lộ dữ liệu không liên quan. Giảm thiểu trạng thái hiển thị và xóa bỏ các aritfacts.
- Phiên chồng chéo. Cookie hoặc hồ sơ được chia sẻ có thể đặt hành động vào tài khoản của người dùng sai. Tách biệt quyền sở hữu và xác minh danh tính.
- Hoàn thành không thể đảo ngược. Một nút cuối có thể gửi hoặc mua ngay lập tức. Sử dụng trạng thái xem trước và sự phê duyệt của con người khi việc đảo ngược là khó khăn.
Ứng dụng sử dụng máy tính
Phần mềm kế thừa
Vận hành các quy trình công việc quan trọng chỉ sử dụng giao diện đồ họa mà không có tích hợp ổn định.
Nghiên cứu trình duyệt
Điều hướng các trang được render bởi khách hàng, mở rộng các điều khiển và thu thập chứng cứ theo một chính sách chỉ đọc đã được xác định.
Kiểm tra giao diện
Thực hiện các con đường có thể nhìn thấy mà người dùng theo dõi trong khi chụp ảnh màn hình và các trạng thái kết quả.
Chuyển giao giữa con người
Chuẩn bị một biểu mẫu hoặc quy trình làm việc đã hoàn thành một phần, sau đó cho phép một người xác minh và thực hiện hành động cuối cùng.
Từ Thử nghiệm đến Sản xuất
Một thử nghiệm hữu ích cho việc sử dụng AI trên máy tính nên nhỏ đủ để kiểm tra từng bản ghi. Bắt đầu với tạo một phiên cách ly: Gán một nhiệm vụ và chủ sở hữu cho ngữ cảnh trình duyệt hoặc máy tính để bàn, với một chính sách bảo tồn và dọn dẹp rõ ràng. Sau đó áp dụng tuyên bố các hành động cho phép: Tách biệt quyền đọc, điều hướng, nhập dữ liệu, tải lên, gửi, và giao dịch. Giữ set đánh giá đầu tiên một cách cố tình trộn lẫn, bao gồm các trường hợp thông thường, các trường hợp mơ hồ, bằng chứng thiếu, và một hành động mà hệ thống phải từ chối hoặc chuyển giao. Điều này tiết lộ liệu quy trình làm việc có hiểu được ranh giới của nó trước khi khối lượng lớn che giấu các lỗi thiết kế bên trong các số liệu tổng hợp hay không.
Sự sẵn sàng sản xuất yêu cầu một chủ sở hữu cho mỗi thước đo và hiện vật. Theo dõi hoàn thành để trả lời liệu kết quả có thể nhìn thấy mong muốn có xảy ra đúng trong ứng dụng và tài khoản không? Theo dõi độ chính xác hành động để xác định xem hệ thống đã nhắm mục tiêu đúng điều khiển trong hành động đã được xác thực đầu tiên bao nhiêu lần? Thêm độ dài đường đi để nhóm có thể thấy rằng bao nhiêu quan sát và hành động đã được sử dụng so với một lộ trình tham chiếu hợp lý? Những thước đo này nên liên kết với các bản ghi bên dưới thay vì chỉ tồn tại như là tổng số bảng điều khiển. Một người xem cần phải chuyển từ một số liệu đã thay đổi đến truy vấn, nguồn, quan sát, hoặc hành động chính xác đã tạo ra nó.
Các kiểm soát vận hành nên nhắm vào các chế độ thất bại có khả năng thay đổi quyết định kinh doanh nhiều nhất. Quy tắc xem xét đầu tiên nên bao gồm tiêm thông điệp: Văn bản trang có thể cố gắng chuyển hướng đại lý. Hợp đồng nhiệm vụ và chính sách hành động phải vẫn có thẩm quyền. Cuộc xem xét thoát nên bao gồm hoàn thành không thể đảo ngược: Một nút cuối có thể gửi hoặc mua ngay lập tức. Sử dụng trạng thái xem trước và sự phê duyệt của con người khi việc đảo ngược là khó khăn. Gán một chủ sở hữu phản hồi, xác định xem bằng chứng nào giải quyết vấn đề, và ghi lại liệu kết quả có thay đổi dữ liệu, thông báo, công cụ, quyền truy cập, hay chính sách nguồn không. Bản ghi đó ngăn cản khiếm khuyết tương tự được phát hiện lại như là một dao động chất lượng không thể giải thích.
Mở rộng chỉ sau khi thử nghiệm hoạt động một cách dự đoán. Một nhóm có thể bắt đầu với phần mềm kế thừa, nơi công việc là vận hành các quy trình công việc quan trọng chỉ sử dụng giao diện đồ họa mà không có tích hợp ổn định. Một giai đoạn thứ hai có thể thêm nghiên cứu trình duyệt, nơi quy trình làm việc phải điều hướng các trang được render bởi khách hàng, mở rộng các điều khiển và thu thập chứng cứ theo một chính sách chỉ đọc đã được xác định. Giữ set thử nghiệm gốc hoạt động khi phạm vi mở rộng. Nguồn mới, thị trường, công cụ, và quyền truy cập nên được giới thiệu một ranh giới tại một thời điểm để các mối suy giảm có thể được gán cho một thay đổi cụ thể thay vì một sự viết lại nền tảng đồng thời.
Kết luận
Việc sử dụng máy tính cho phép hệ thống AI nhận thức và vận hành phần mềm đồ họa, nhưng khả năng hữu ích phụ thuộc vào thời gian chạy và chính sách xung quanh mô hình. Các phiên cách ly, quan sát ngữ nghĩa, hành động đã được xác thực, phê duyệt, và bằng chứng biến một bản demo nhấp chuột thành một quy trình làm việc có trách nhiệm.
Ưu tiên APIs cho các hoạt động kinh doanh ổn định và sử dụng kiểm soát máy tính nơi mà giao diện nhìn thấy thực sự cần thiết. Một thiết kế lai thường mang lại sự cân bằng tốt nhất: các công cụ có cấu trúc cho các hoạt động đã biết và việc sử dụng máy tính cho các bước giao diện người dùng còn lại.
Sẵn sàng để chạy một phiên trình duyệt được quản lý?
Sử dụng Scrapeless Agent Browser như một thời gian chạy web có thể quan sát và cách ly sau một quy trình làm việc sử dụng máy tính đã được giới hạn.
Đăng ký ngay hôm nay và nhận $5 tín dụng miễn phí — không cần thẻ tín dụng.
Nhận tín dụng $5 của bạn →Câu hỏi thường gặp
Sử dụng máy tính trong AI là gì?
Việc sử dụng máy tính là khả năng của một đại lý AI quan sát một giao diện đồ họa và yêu cầu các hành động chuột, bàn phím, cuộn, hoặc điều hướng thông qua một môi trường thực thi.
Việc sử dụng máy tính có giống như tự động hóa quy trình robot không?
Chúng chồng chéo trong việc kiểm soát giao diện. Tự động hóa truyền thống thường tuân theo các quy tắc hoặc bộ chọn đã xác định, trong khi một đại lý sử dụng máy tính AI có thể chọn hành động được xác định tiếp theo từ các quan sát hình ảnh hoặc ngữ nghĩa.
Tại sao không sử dụng API cho mọi nhiệm vụ?
Một API là lựa chọn tốt hơn khi nó phơi bày hoạt động cần thiết với một sơ đồ ổn định. Việc sử dụng máy tính có giá trị khi không có API phù hợp nào tồn tại, giao diện người dùng bản thân quan trọng, hoặc lộ trình thay đổi với trạng thái có thể nhìn thấy.
Những hành động nào nên yêu cầu sự phê duyệt?
Yêu cầu sự phê duyệt cho việc nhập dữ liệu nhạy cảm, thông điệp bên ngoài, chấp nhận pháp lý, chuyển tệp, thay đổi tài khoản, mua sắm, và bất kỳ hành động nào tốn kém hoặc khó đảo ngược.
Một dấu vết sử dụng máy tính nên lưu trữ gì?
Lưu trữ hợp đồng nhiệm vụ, danh tính phiên, các quan sát, URL hoặc cửa sổ hiện tại, các hành động đề xuất và thực thi, phê duyệt, lỗi, và trạng thái cuối cùng đã được xác thực, theo chính sách bảo mật.