Set-of-Mark Prompting là gì?

Scrapeless Scraping Browser cung cấp một thời gian chạy trình duyệt được quản lý có thể cung cấp các trang đã được kết xuất và hình ảnh chụp màn hình cho các quy trình làm việc của tác nhân trình duyệt trực quan.

Định nghĩa Nhắc nhở Tập hợp-Mark

Set-of-Mark prompting là một phương pháp gợi ý trực quan đặt các dấu hiệu rõ ràng, có thể nói được - thường là số hoặc chữ cái - lên các khu vực ứng viên trong một bức tranh. Mô hình đa phương thức nhìn thấy hình ảnh được chú thích và trả lời bằng dấu hiệu tương ứng với đối tượng được yêu cầu. Phương pháp này được giới thiệu trong bài báo Set-of-Mark Prompting Giải Phóng Nền Tảng Hình Ảnh Phi Thường Trong GPT-4V, nơi mà các mô hình phân đoạn có sẵn phân chia một hình ảnh và lớp phủ khiến mỗi khu vực dễ đặt tên.

Vấn đề chính là định vị hình ảnh. Một mô hình có thể hiểu câu “nhấp vào menu tài khoản” và có thể nhận diện menu trong một ảnh chụp màn hình, nhưng vẫn cần một cách đáng tin cậy để diễn đạt vị trí của mục tiêu. Ngôn ngữ tự nhiên như “biểu tượng gần góc trên bên phải” trở nên mơ hồ khi có nhiều biểu tượng gần nhau. Một dấu hiệu tạo ra một định danh tạm thời: mô hình có thể trả về “17,” và bộ điều khiển có thể liên kết 17 với hình học khu vực đã lưu.

SoM không thay đổi trang nền, không đào tạo mô hình mới, hay định nghĩa một giao thức tự động. Nó thay đổi sự quan sát được trình bày cho mô hình. Sự phân biệt này quan trọng bởi vì các nhóm có thể thêm hoặc loại bỏ lớp phủ vào thời điểm suy luận. Nghiên cứu ban đầu trình bày SoM như một phương pháp gợi ý không cần đào tạo, và công chúng Triển khai Microsoft SoM hiển thị các giai đoạn riêng biệt được sử dụng để tạo mặt nạ và hiển thị dấu.

Một ảnh chụp màn hình đã đánh dấu vì vậy là một giao diện nhỏ giữa thị giác máy tính và lý luận ngôn ngữ. Phía thị giác đề xuất các vùng có thể chọn. Phía hiển thị gán các nhãn duy nhất. Mô hình ngôn ngữ suy luận dựa trên bức tranh và những nhãn đó. Lớp hành động chuyển đổi nhãn đã chọn trở lại thành tọa độ hoặc tham chiếu phần tử có cấu trúc. Mỗi giai đoạn có thể được đánh giá riêng biệt thay vì đối xử với toàn bộ agent như một kết quả mờ đục.

Cách Hoạt Động của Nhắc Nhở Set-of-Mark

Giai đoạn đầu tiên tạo ra các vùng ứng cử viên. Trên một hình ảnh tự nhiên, một mô hình phân đoạn có thể tạo ra các mặt nạ đối tượng ở nhiều mức độ chi tiết. Trên một trang web, các vùng ứng cử viên có thể đến từ các điều khiển đã phát hiện, hộp OCR, nút truy cập, hình học DOM, hoặc một sự kết hợp. Sự lựa chọn xác định những gì mô hình được cho phép chọn. Nếu bộ tạo vùng bỏ lỡ một mũi tên tiết lộ nhỏ, không có nhắc nhở đánh dấu nào có thể khôi phục mục tiêu đó sau này.

Giai đoạn thứ hai lọc và sắp xếp các vùng. Các mặt nạ chồng chéo có thể tạo ra nhiều nhãn cho cùng một đối tượng, trong khi các hình dạng trang trí nhỏ có thể làm ngập bản chụp màn hình với những con số không liên quan. Các hệ thống thực tế loại bỏ các vùng dưới ngưỡng kích thước, sáp nhập các bản sao, ưu tiên các điều khiển có khả năng, và giữ cho các nhãn ổn định trong suốt một quan sát. Tính ổn định giảm thiểu sai sót khi mô hình tham chiếu đến một nhãn trong một bước lý luận sau đó.

Giai đoạn ba vẽ một nhãn có độ tương phản cao gần hoặc bên trong mỗi khu vực. Nhãn phải giữ được độ rõ ràng mà không che khuất chứng cứ cần thiết để chọn đối tượng. Một nút thanh toán, chẳng hạn, có thể chứa giá hoặc văn bản trạng thái phân biệt nó với nút khác. Đặt một dấu trên văn bản đó đánh đổi độ rõ ràng không gian để lấy mất mát ngữ nghĩa. Các trình vẽ tốt chọn một khu vực trống, dịch nhãn ra, hoặc cung cấp cả hình ảnh gốc và hình ảnh đã đánh dấu.

Giai đoạn cuối cùng yêu cầu mô hình đưa ra một câu trả lời có hạn chế và xác thực nó. Một bộ điều khiển có thể chấp nhận một định danh ký hiệu cộng thêm một loại hành động, thay vì một đoạn văn không bị hạn chế. Định danh được chọn sẽ được kiểm tra so với quan sát hiện tại trước khi có bất kỳ cú nhấp nào xảy ra. Nếu trang đã thay đổi sau khi chụp màn hình, bộ điều khiển nên lấy một quan sát mới; một nhãn đúng từ một khung cũ có thể chỉ đến điều khiển sai trong trạng thái mới.

SoM So Sánh Với Các Phương Pháp Định Hình Khác

Việc gợi ý Set-of-Mark dễ hiểu nhất khi đầu ra, phụ thuộc và các chế độ thất bại của nó được tách biệt khỏi các kỹ thuật lân cận.

Nơi mà Đặt-thành-Dấu Hỗ trợ

SoM đạt được vị trí của nó khi một nhiệm vụ cần tham chiếu chính xác đến các khu vực hình ảnh và cấu trúc trang đơn thuần không diễn đạt đủ ý nghĩa.

Thiết kế một Quy trình SoM Đáng Tin Cậy

Bắt đầu với một danh sách hành động rõ ràng. Một hệ thống duyệt có thể cần các hành động nhấp, gõ, cuộn, di chuột và kiểm tra, nhưng không phải mọi khu vực được đánh dấu đều hỗ trợ mỗi hành động. Lưu trữ các hành động được phép bên cạnh định danh khu vực. Một trường văn bản có thể chấp nhận gõ; một đoạn văn có thể chỉ hỗ trợ kiểm tra. Hợp đồng đơn giản này ngăn chặn mô hình chọn một khu vực hình ảnh dễ tin cho một hoạt động không thể thực hiện được.

Giữ nguyên quan sát gốc bên cạnh phiên bản đã đánh dấu. Khung đã đánh dấu rất hữu ích cho việc tham khảo, trong khi khung gốc bảo tồn kiểu chữ, màu sắc, ranh giới và văn bản trạng thái nhỏ. Một lời nhắc hai chế độ cho phép mô hình lập luận từ bằng chứng rõ ràng và trả lời bằng định danh đã đánh dấu. Nó cũng giúp việc gỡ lỗi dễ dàng hơn vì một người đánh giá có thể thấy liệu lớp phủ có che khuất mục tiêu hay không.

Kết nối mọi dấu hiệu với nguồn gốc. Đối với một giao diện web, bản ghi có thể bao gồm biên giới ảnh chụp màn hình, kích thước viewport, độ lệch cuộn, danh tính nút DOM khi có sẵn, tên có thể tiếp cận và dấu thời gian quan sát. Chỉ số kiểm tra WebArena chứng minh lý do tại sao các nhiệm vụ trình duyệt có trạng thái cần môi trường tái tạo và đánh giá chức năng thay vì chỉ những ảnh chụp màn hình hấp dẫn. Nguồn gốc cho phép một bộ điều khiển kiểm tra xem khu vực đã chọn vẫn thuộc về trạng thái trang hiện tại hay không.

Đánh giá quy trình theo giai đoạn. Đo lường độ hồi tưởng của ứng viên trước khi chính xác lựa chọn mô hình: liệu bộ tạo khu vực có đánh dấu điều khiển cần thiết không? Sau đó đo lường tính dễ đọc của nhãn, chính xác lựa chọn mô hình, thực hiện hành động và độ chính xác cuối cùng của nhiệm vụ. Tỷ lệ thành công cuối cùng có thể ẩn hai vấn đề rất khác nhau—định vị hình ảnh kém và định vị đúng tiếp theo là một hành động sai.

Hạn chế và Chế độ Thất bại

Các trang dày đặc có thể vượt quá ngân sách nhãn hữu ích. Hàng trăm dấu hiệu cạnh tranh với văn bản trang và với nhau. Lọc chỉ bằng diện tích hiếm khi đủ vì một biểu tượng nhỏ có thể khả thi hơn một hình ảnh trang trí lớn. Vai trò giao diện, khả năng nhìn thấy, che khuất và khả năng liên quan đến nhiệm vụ cung cấp bộ lọc tốt hơn. Đánh dấu theo cấp bậc là một lựa chọn khác: chọn một bảng trước, sau đó đánh dấu các điều khiển bên trong nó.

SoM kế thừa các lỗi từ hệ thống đề xuất khu vực. Phân đoạn có thể chia một điều khiển thành nhiều phần hoặc hợp nhất các đối tượng lân cận. Các hình chữ nhật DOM có thể bao gồm các lớp vô hình. OCR có thể bỏ lỡ văn bản cách điệu. Cây khả năng tiếp cận có thể bỏ qua nội dung canvas. Kết hợp các nguồn cải thiện độ bao phủ, nhưng giải quyết trùng lặp phải vẫn quyết định để cùng một điều khiển có thể thấy không nhận được nhiều nhãn cạnh tranh.

Một dấu hiệu chỉ hợp lệ cho khung hình đã tạo ra nó. Hoạt hình, bố cục tương ứng, tải lười và cuộn có thể di chuyển mục tiêu sau khi quan sát. Các hệ thống tác nhân trình duyệt nên gán một tập hợp các dấu hiệu cho URL trang, viewport, vị trí cuộn và một định danh trạng thái ngắn hạn. Các hành động có tác động lớn xứng đáng có một quan sát mới và một ranh giới phê duyệt ngay cả khi lựa chọn hình ảnh trông có vẻ chắc chắn.

Kỹ thuật này cũng đặt ra các câu hỏi về khả năng tiếp cận và bảo mật. Các lớp phủ không nên trở thành một phần của trang người dùng, và các khu vực nhạy cảm của trang nên được biên tập trước khi ảnh chụp màn hình rời khỏi một ranh giới đã phê duyệt. Các lời nhắc về dấu hiệu là các quan sát cho một mô hình, không phải là sự cho phép để gửi một biểu mẫu, tiết lộ thông tin xác thực, mua một món hàng hoặc thay đổi trạng thái tài khoản.

Cách Đánh giá Đặt-thành-Dấu

Xây dựng một tập hợp đánh giá với độ dày khác nhau, kích thước văn bản, chủ đề, chiều rộng viewport, vị trí cuộn và loại tương tác. Ghi lại xem mục tiêu có được đề xuất, nhãn của nó có giữ nguyên khả năng đọc, mô hình có chọn nó hay không, và liệu hành động kết quả có đạt hiệu ứng mong muốn hay không. Bản ghi tầng này cho thấy nơi mà một sự cải thiện thực sự xảy ra.

So sánh SoM với một tiêu chuẩn ngữ nghĩa. Nếu một tham chiếu cây khả năng tiếp cận chọn cùng một điều khiển với ít mã thông báo hơn và ít sai sót hơn, con đường ngữ nghĩa nên thắng. Nếu một canvas, biểu đồ hoặc hình ảnh không chứa nút ngữ nghĩa đáng tin cậy nào, con đường hình ảnh đã đánh dấu có thể là quan sát tốt hơn. Một tác nhân lai có thể chọn đại diện đáng tin cậy rẻ nhất cho mỗi bước.

Xem xét sự thiên lệch vị trí nhãn. Các mô hình có thể ưu tiên các số sớm, khu vực trung tâm hoặc màu sắc nổi bật. Xáo trộn các phân bổ dấu hiệu qua các ví dụ lặp lại trong khi giữ ảnh chụp màn hình cố định. Một kết quả ổn định nên theo đối tượng, không phải định danh. Cũng thử nghiệm các mục tiêu gần giống nhau như thẻ sản phẩm lặp lại hoặc biểu tượng thanh công cụ giống hệt nhau, nơi định vị không gian làm phần lớn công việc.

Báo cáo ảnh hưởng của nhiệm vụ tách biệt khỏi độ chính xác định vị. Một điểm số lựa chọn cao hơn chỉ quan trọng nếu nó giảm thiểu các hành động sai hoặc rút ngắn con đường hoàn thành. Ghi lại số lượng quan sát, cuộc gọi mô hình, lựa chọn đã được sửa, từ chối khung lỗi thời và phê duyệt của con người. Những biện pháp đó biến SoM từ một lớp phủ thông minh thành một thành phần có trách nhiệm của hệ thống tác nhân.

Kết luận

Việc gợi ý Set-of-Mark cung cấp cho một mô hình đa phương thức một ngôn ngữ compact để chỉ định. Nó hoạt động bằng cách gán nhãn cho các vùng hình ảnh được đề xuất, yêu cầu mô hình chọn một nhãn và ánh xạ câu trả lời đó trở lại hình học đã lưu trữ. Kỹ thuật này hữu ích vì nó có thể được thêm vào trong thời gian suy diễn và vì quyết định cơ sở của nó dễ dàng được kiểm tra.

Các giới hạn của nó cũng cụ thể: các vùng thiếu vẫn thiếu, các nhãn đông đúc che giấu bằng chứng, và mỗi dấu hiệu hết hạn khi màn hình thay đổi. Các đội thu được kết quả tốt nhất bằng cách giữ cho các quan sát sạch và có đánh dấu cùng nhau, xác thực các lựa chọn so với trạng thái hiện tại và so sánh SoM với các định vị ngữ nghĩa thay vì giả định rằng một phương pháp hình ảnh phải kiểm soát từng bước.