ブラウザエージェントとは何ですか？

Scrapeless Agent Browserは、エージェントがウェブ実行環境として使用できるクラウドブラウザセッションを提供します。

ブラウザエージェントは、ブラウザからの観察を使用して、ユーザーの目標に向けてアクションを選択するソフトウェアです。AI駆動の実装では、モデルがページを解釈し、次に何をするかを決定することがあります。ブラウザツールは選択されたアクションを実行し、新しい観察がエージェントにタスクが進行したかどうかを伝えます。

固定されたスクリプトはブラウザを制御しますが、その決定は主に事前に指定されています。ブラウザエージェントは実行時にパスを選択できます。その柔軟性は可変インターフェースにとって便利ですが、選択されたアクションと結果の解釈に関する不確実性をもたらします。エージェントは完了テストとクリックする方法の両方を必要とします。

エージェントが目標をブラウザ作業に変える方法

ブラウザエージェントは、要求された結果を観察、意思決定、ツールアクションのシーケンスに変換します。目標は、最初のインタラクションの前に範囲と制約を定義する必要があります。「これらの場所の公開営業時間を収集する」というのは、「会社を調査する」よりも明確です。なぜなら、期待される証拠と停止点が特定できるからです。

コントローラーは最初に現在のブラウザの状態を確立します。次に、許可されたアクションを選択し、それを実行し、結果として得られた状態を読み取ります。このループは、成功条件が満たされる、定義された制限に達する、またはエージェントが情報または承認を必要とするまで続きます。これらの停止条件は、システムの設計の一部です。

モデル生成の計画は、ブラウザがそれを遵守した証拠ではありません。システムは、主張された各アクションを実際のツール結果に結び付け、その後関連する変更を加えたページを検査する必要があります。元の計画を繰り返すだけの最終的な回答では、中心的な問いが未解決のまま残ります：アプリケーションで何が起こったのですか？

エージェントが観察できること

エージェントは、ツールに応じてページテキスト、構造化されたブラウザ情報、またはスクリーンショットを観察することができます。各表現は異なる証拠を示します。スクリーンショットは視覚的なレイアウトを明らかにすることができますが、構造化された表現はコントロールやラベルに対処しやすくすることができます。どちらの表現もすべての状況で完全ではありません。

The WebVoyagerのマルチモーダルウェブエージェントに関する研究 実際のウェブサイトと視覚的観察を通じて相互作用するエージェントを研究します。これは、ブラウザエージェントが単なる文書を取得できるチャットボットとしてではなく、認知を行動に結びつけるシステムとして理解されるべき理由を示しています。

観察の品質はページの状態に依存します。ダイアログが開く前に撮影されたスナップショットは、ダイアログのコントロールを説明することができません。誤ったタブのビューは内部的には正確であっても、タスクにとっては無関係である可能性があります。エージェントは、現在の観察、アクティブなブラウジングコンテキスト、および次に提案されたアクションとの明示的な関連付けを維持する必要があります。

ブラウザツールがアクションを基盤とする方法

ブラウザツールはエージェントが選択した操作を実際のブラウザのインタラクションに変換します。ツールレイヤーは、フィールドに入力するなどの高レベルのアクションや、座標をクリックするなどの低レベルのアクションを公開する可能性があります。コントローラーは、ツールのセマンティクスを理解し、すべての命令がページにきれいにマッピングされると仮定するのではなく、その結果を検査しなければなりません。

セマンティック情報は、行動を具体化するのに役立ちます。 WAI-ARIA の役割と状態モデル 制御とその現在の状態を区別する特性を説明します。特定のダイアログ内の「保存」ボタンにラベルが付いている方が、最も近いボタンをクリックするという無条件の指示よりも、より情報を提供します。

座標アクションには一致する視覚的参照が必要です。ページがスクロールしたり、バナーがレイアウトを変更すると、以前のスクリーンショットから選択された座標は別の場所を指すことがあります。構造化されたターゲットには、あいまいなラベルや置き換えられた要素など、独自の失敗モードがあります。どの表現が使用されるにせよ、アクションは現在の証拠に基づくべきです。

成功したクリックがタスクの完了を証明しない理由

タスクの完了には、要求された結果が存在するという証拠が必要です。入力イベントが配信されたという証拠だけでは不十分です。ブラウザツールは「エクスポート」を正しくクリックできますが、アプリケーションがリクエストを拒否することがあります。エージェントは、成功を報告する前に、結果として得られたアーティファクトやアプリケーションの状態を検査する必要があります。

The WebArenaベンチマークの機能タスク評価 タスクが現実的なウェブ環境で完了しているかどうかに焦点を当てています。この区別は、自分のチェックを設計する際に役立ちます。ユーザーにとって重要な状態を評価し、単に信頼性がありそうに見えるシーケンスに報酬を与えないようにしてください。

仮定的な閲覧専用研究タスクでは、完了するためには、要求されたすべての場所にソースURLと観察された営業時間の記述が必要です。もし1ページに公開された時間がない場合、結果にはその旨を記載する必要があります。不足している営業時間を推測することは、不完全な取得を不正確な完了に変えてしまいます。

承認された編集タスクでは、対象となるレコードの保存された値を確認してください。エージェント自身が生成したテキストは独立したチェックではありません。インターフェースが変更が成功したかどうかを確認できない場合、結果はその不確実性を保持し、未解決のまま残るものを特定する必要があります。

自律を制限する方法

制約された自律性は、エージェントが何を行えるか、どのリソースにアクセスできるか、そして人間の入力のためにいつ停止しなければならないかを定義します。これらの制限は、タスクの結果を反映するべきです。公のページを読むことと購入を提出することは、どちらもブラウザのボタンを含んでいても、異なるアクションのカテゴリです。

エージェントに認可されたタスクに必要な権限を与え、無関係なアカウントへの不必要なアクセスを避けてください。許可された宛先とアクションカテゴリを実用的な範囲で明示してください。狭いタスクは、一般的なブラウジング環境が提供するよりも少ない機能で完了することが多いです。

ページのコンテンツは信頼できない入力でもあります。ウェブページには、ユーザーのリクエストと矛盾する指示が含まれていたり、エージェントにデータを開示するように求めることがあります。システムは、その素材を検査すべきコンテンツとして扱い、タスクを変更する権限として扱ってはなりません。指示のソースと事実のソースを区別してください。

セッション状態とメモリは異なるポリシーを必要とします

ブラウザセッションの状態はウェブサイトとのインタラクションをサポートし、エージェントメモリはタスクについて推論するために使用される情報を記録します。ログインクッキーと完了したステップの要約は異なる目的に役立ちます。それらを無差別に組み合わせると、機密情報が露出したり、次の実行が隠れた状態に依存する可能性があります。

十分なタスク履歴を保持して、現在の状況を説明できるようにし、すべてのページを無期限に保存しないでください。確認済みの行動や未解決の質問の簡潔な記録は、フィルタリングされていないトランスクリプトよりも有用である可能性があります。認証状態は、ブラウザの適切なセッションメカニズムとアクセス制御を通じて処理されるべきです。

タスクが複数のセッションにまたがる場合、何が持続するかを定義します。ブラウザには保存されたプロファイルが必要な場合がありますが、エージェントには最後に確認されたタスクの状態が必要です。ブラウザを再開することは、アプリケーションが同じログインをまだ認識しているという証拠にはならず、要約を復元することは以前の仮定が真であるという証拠にはなりません。

スクリプトの方が良い選択肢である場合

決定論的スクリプトは、ワークフローが安定しており、次のアクションを明確に指定できる場合に最適です。ブラウザエージェントは、解釈や分岐がタスクの中心であるときに便利です。これらは競合する現代自動化の定義ではなく、設計の選択です。

ハイブリッドデザインは、エージェントを使用して制約された操作を選択し、それを実行するための決定論的なルーチンを使用することができます。これにより、重要なステップ中に残された決定の数が減ります。最終結果に基づいて、エージェントが進むべきではなく、停止すべきケースを含めて、統合システムを評価します。

ブラウザランタイムはエージェントの一部です。

スクレイプレスエージェントブラウザ サプライクラウドブラウザ実行；それを取り巻くアプリケーションは、計画とタスクポリシーを提供します。 エージェントブラウザランタイムの概要 ブラウザ層について説明します。「Agent」を含む製品名は、すべての接続されたセッションが自律的にユーザーの目標を理解していることを意味するわけではありません。

討論のa コンピュータ使用 ブラウザ エージェント ループ レイヤーがどのように組み立てられるかを説明します。システム全体の観察品質、停止動作、およびアーティファクトを評価します。ブラウザの実行と別のモデルの使用の両方について予算を立てます; ブラウザサービスの料金 それはそのデザインのブラウザ部分だけです。

結論

ブラウザエージェントは、目標、ページ観察、意思決定、およびブラウザツールを組み合わせたものです。その価値は、これらの部分がユーザーの権限内で検証された結果を生み出すかどうかに依存します。エージェントが自分の道を選ぶ自由を増やす前に、完了の証拠と行動の境界を定義してください。