コンピュータ使用とは？

スクリプレスエージェントブラウザは、コンピュータ使用エージェントがウェブインターフェースを観察し、対話できる管理されたブラウザセッションを提供します。

なぜこのトピックが重要なのか

コンピュータ使用は、観察と入力アクションを通じてグラフィカルインターフェースを操作するためのAI機能です。 OpenAIのコンピュータ使用に関するドキュメント は、モデルがコンピュータアクションを提案し、アプリケーションがそれを実行し、更新されたスクリーンショットがモデルに戻るループを説明します。 Googleのコンピュータ使用ガイダンス も重要なタスクに対する密接な監視と、敏感または反転が難しいアクションに対する注意を強調しています。

この機能は、ソフトウェアが適切なAPIを提供しない場合や、可視のインターフェースがテスト対象である場合に有用です。また、型付き統合よりも決定論的でない場合もあります。レイアウトの変更、ポップアップ、アニメーション、隠れたフォーカス、権限、アカウント状態がクリックの意味を変える可能性があります。したがって、製品システムにはブラウザまたはデスクトップランタイム、ポリシーレイヤー、観察アダプター、および耐久性のあるアクショントレースが必要です。

コンピュータ使用のループ

エージェントは、スクリーンショット、アクセシビリティツリー、DOM表現、またはこれらの組み合わせのような観察を受け取ります。現在の状態を解釈し、限定されたアクションを提案します：移動、クリック、タイピング、スクロール、キーを押す、または目に見える変化を待つ。ホストはポリシーに対してアクションを確認し、実行し、新しい観察を返します。

検証は終了まで待つことはできません。ボタンをクリックした後、システムは現在のURL、ダイアログ、選択状態、または結果のレコードを確認すべきです。座標は証拠ではありません。なぜなら、同じ画面位置がレイアウトの変化後に異なるコントロールを表す可能性があるからです。インターフェースの意味と目に見える確認は、想定されたジオメトリよりも強力です。

コンピュータ使用はブラウザ特有であったり、より広範なデスクトップを操作したりすることがあります。ブラウザセッションは、より明確なURL、DOM、タブ、クッキー、ネットワーク境界を提供します。デスクトップ制御は複数のアプリケーションにわたる場合があり、したがって、より厳密なウィンドウターゲティング、クリップボードポリシー、ファイルルール、クロスアプリケーションデータ移動の前に確認が必要です。

コンピュータ使用システムの層

• プランナー。 タスク、現在の観察、以前のアクション、および残りのポリシー予算から次のアクションを選択します。
• ランタイム。 ブラウザまたはデスクトップセッション、ビューポート、アイデンティティ、タブ、プロセス、ストレージ、およびクリーンアップを所有します。
• 観察アダプター。 現在のURL、ウィンドウ、エラー、およびタイムスタンプを含むスクリーンショットと構造化されたインターフェース状態を返します。
• アクションエグゼキューター。 検証されたマウス、キーボード、ナビゲーション、アップロード、または待機操作を対象に適用します。
• ポリシーと証拠。 アクションを制限し、承認をリクエストし、レビューに必要なトレースとアーティファクトを保存します。

コンピュータ使用とAPIおよびブラウザ自動化

要求を満たす最も構造化されたインターフェースを選択します。コンピュータ使用は、UIが唯一実用的な表面であるか、レイアウト自体が重要であるときにそのコストを正当化します。

安全なコンピューター使用ワークフローを構築する

明示的なセッションと可逆的なステップを中心に設計する。モデルは、無関係なアプリケーションや秘密にアクセスすることなく、必要な状態を確認できるべきである。

1. 孤立したセッションを作成する。 ブラウザまたはデスクトップコンテキストに1つのタスクと所有者を割り当て、明確な持続性とクリーンアップポリシーを設定する。
2. 許可されたアクションを宣言する。 読み取り、ナビゲーション、データ入力、アップロード、提出、および取引の権限を分離する。
3. 意味論的ターゲティングを優先する。 利用可能な場合は役割、ラベル、DOM、またはアクセシビリティ情報を使用し、視覚的座標を検証されたフォールバックとして使用する。
4. 状態の変更後に検証する。 次のアクションを計画する前に、結果のURL、可視コントロール状態、確認テキスト、または作成された記録をキャプチャする。
5. 承認ゲートを挿入する。 メッセージを送信する前、条件を受け入れる前、機密データを入力する前、ファイルをダウンロードする前、または取引を行う前に一時停止する。

クリック精度以上を評価する

コンピューター使用ベンチマークは、タスクの結果、アクションパス、安全性、および残された証拠の質をキャプチャする必要がある。

• 完了。 意図された可視結果は正しいアプリケーションとアカウントで発生しましたか？
• アクションの精度。 システムが最初の検証されたアクションで正しいコントロールをターゲットにした頻度はどのくらいですか？
• パスの長さ。 合理的な参照パスと比較して、いくつの観察結果とアクションが使用されましたか？
• 介入の質。 システムは、人が決定するための十分なコンテキストを持った承認境界で一時停止しましたか？
• トレースの整合性。 レビュアーは、スクリーンショット、URL、アクション、エラー、および最終状態を再構築できますか？

コンピューター使用の安全リスク

インターフェースは信頼できないコンテンツをリアルコントロールと組み合わせる。 NIST AIリスク管理フレームワーク は、これらのリスクをマッピング、測定、管理、統治するためのライフサイクルフレームを提供する。システムは、ページが言っていることとエージェントが許可されたことを区別して保持しなければならない。

• プロンプトインジェクション。 可視のページテキストはエージェントをリダイレクトしようとすることができる。タスク契約およびアクションポリシーは権威を持ち続けなければならない。
• 対象外のアクション。 フォーカス、スクロール、オーバーレイ、レイアウトの変更はコントロールを移動させる。重要なクリックの前に再観察する。
• 秘密情報の露出。 スクリーンショット、クリップボード、自動入力、通知は無関係なデータを明らかにする可能性がある。可視状態を最小限に抑え、アーティファクトを赤色化する。
• セッションの交差。 共有クッキーやプロフィールはアクションを誤ったユーザーのアカウントに置く可能性がある。所有権を隔離し、アイデンティティを確認する。
• 不可逆的な完了。 最終ボタンは、すぐに送信または購入することができます。復旧が難しい場合は、プレビュー状態と人間の承認を使用してください。

コンピュータ利用アプリケーション

パイロットから生産へ

コンピュータ利用AIの有用なパイロットは、レコードごとに検査するのに十分小さくする必要があります。始めるには、 孤立したセッションを作成する：ブラウザまたはデスクトップコンテキストに1つのタスクとオーナーを割り当て、明確な永続性とクリーンアップポリシーを設けます。次に、 許可されたアクションを宣言する：読み取り、ナビゲーション、データ入力、アップロード、送信、取引権限を分離します。最初の評価セットを意図的に混合し、通常のケース、あいまいなケース、証拠の欠如、システムが辞退または引き渡しなければならないアクションを含めます。これにより、ワークフローがその境界を理解しているかどうかを明らかにします。

生産準備には、各測定値とアーティファクトのオーナーが必要です。トラックし、 完了 が正しいアプリケーションとアカウントで意図した可視的な結果が発生したかどうかを確認するために？トラックし、 アクション精度 がシステムが最初の検証されたアクションで正しいコントロールをターゲットにする場合にどれくらいの頻度があったのかを測定します。追加する パスの長さ により、チームは観察とアクションが合理的な参照パスと比較してどのくらい使用されたかを見ることができます。これらの測定値は、ダッシュボードの合計としてのみ存在するのではなく、基礎となるレコードにリンクする必要があります。レビューアは、変更された測定値から、正確なクエリ、ソース、観察、またはそれを生成したアクションに移動する必要があります。

運用制御は、ビジネスの意思決定を変更する可能性が最も高い障害モードをターゲットにする必要があります。最初のレビュー規則は、 プロンプトインジェクション：表示されるページテキストはエージェントをリダイレクトしようとすることがあります。タスク契約とアクションポリシーは権威を保つ必要があります。終了レビューは、 不可逆的な完了をカバーする必要があります：最終ボタンはすぐに送信または購入することができます。復旧が難しい場合は、プレビュー状態と人間の承認を使用してください。応答オーナーを割り当て、問題を解決する証拠を定義し、結果がデータ、プロンプト、ツール、権限、またはソースポリシーを変更するかどうかを記録します。その記録は、同じ欠陥が説明のない品質の変動として再発見されるのを防ぎます。

パイロットが予測可能に動作した後にのみ拡張します。チームは、重要なワークフローを操作し、グラフィカルインターフェースのみを公開し、安定した統合のないレガシーソフトウェアで開始することができます。第二段階では、ブラウザリサーチを追加することができます。ワークフローは、クライアントレンダリングされたページをナビゲートし、コントロールを拡張し、定義された読み取り専用ポリシーの下で証拠を収集する必要があります。スコープが拡大するにつれて、元のテストセットを実行し続けます。新しいソース、市場、ツール、および権限は、一度に1つの境界で導入され、回帰が特定の変更に割り当てられるようにする必要があります。

結論

コンピュータ利用はAIシステムにグラフィカルソフトウェアを認知し操作させることができますが、有用な機能はランタイムとモデルに関するポリシーに依存します。孤立したセッション、意味的観察、検証されたアクション、承認、および証拠は、クリックデモを説明可能なワークフローに変えます。

安定したビジネスオペレーションにはAPIを優先し、可視インターフェースが本当に必要な場合にコンピュータ制御を使用します。ハイブリッドデザインは、既知の操作に対して構造化されたツールと、残りのUIステップに対してコンピュータ利用を提供するため、最良のバランスを提供することがよくあります。