AIエージェントはウェブをどのように使用しますか？

Scrapeless Agent Browserは、検索、レンダリング、読み取り、及び公開ウェブページと対話するための管理されたブラウザランタイムをAIエージェントに提供します。

なぜこのトピックが重要なのか

AIエージェントは、より一生懸命に考えることでウェブに到達するのではなく、ホストアプリケーションが定義された入力と出力を持ったツールを提供することでウェブに到達します。 OpenAIウェブ検索ドキュメント はウェブ検索をモデルに現在の情報源を返すツールと記述しています。ブラウザツールは別のレイヤーを追加します: 選択されたページをロードし、レンダリングされたインターフェイスを観察し、許可されたアクションを実行できます。モデルは次に何が起こるべきかを提案しますが、周囲のシステムは認証情報、ネットワーキング、実行、およびポリシーの執行を所有します。

役立つメンタルモデルはループです：目標を理解し、ツールを選択し、結果を観察し、状態を更新し、タスクが完了しているかどうかを決定します。ループは1回の検索コールまたは多くのブラウザアクションのいずれかで続く可能性があります。信頼できるシステムは各遷移を明示的にします。それは長いクリックの鎖を1つの不明なイベントとして扱わず、プラウザに実行された間に収集された弱いまたは欠落した証拠を消すような可​​能性のある最終的な文を許可しません。

ウェブ使用ループ

ウェブ使用ループはタスク契約から始まります。契約は目標、許可されたサイト、受け入れ可能なデータ、必要な証拠、および人が介入する必要がある条件を名付けます。研究タスクは公開読みにのみ許可される場合があります。アカウントタスクはナビゲーションを許可するかもしれませんが、提出前に承認を必要とします。これらの境界はオープンエンドのプロンプトをテスト可能な作業に変えます。

エージェントは次に小さな能力セットから選択します。関数呼び出しは1つの一般的なモデル向けパターンを提供します：スキーマが利用可能な操作を記述し、モデルはコードを実行するのではなく構造化された引数を出力します。 OpenAI関数呼び出しドキュメント はその分離を明確にします。検索、直接HTTP取得、ブラウザナビゲーション、抽出、及びファイル書き込みは、異なるコスト、リスク、および証拠を持つため、別々のツールのままであるべきです。

実行後、ツールは観察を返します。検索ツールはランク付けされた候補とソースURLを返します。取得ツールはページの内容と応答メタデータを返します。ブラウザはスクリーンショット、DOMスナップショット、アクセシビリティツリー、現在のURL、またはアクション結果を返すことができます。エージェントはその観察を目標と比較し、有用な状態を記録し、停止するか別の制約されたアクションを選択します。この観察-アクションサイクルは、エージェントがウェブを使用する実際の意味です。

エージェントが組み合わせる5つの能力

• 発見する。 クエリを形成し、候補ソースを取得し、結果の順序を保持し、生成されたサブクエリの横に元のクエリを保持します。
• 獲得する。 選択されたソースをHTTPクライアントまたはレンダリングされたブラウザを通じて開き、JavaScript、セッション、及びインタラクションのニーズに応じて。
• 理解する。 URLおよびそれらを支えるページのコンテキストを失うことなく、文、エンティティ、リンク、表、または構造化されたフィールドを抽出します。
• 行動する。 タスク契約がその行動クラスを認可する場合にのみ、クリック、タイピング、スクロール、アップロード、またはAPIを呼び出します。
• 検証する。 エージェントが成功を宣言する前に、最終URL、必要なフィールド、ソースのサポート、および完了条件を確認します。

フィットする最も軽量なウェブツールを選ぶ

ツールの選択は、ブラウザの自動化に対する好みではなく、ページの動作とタスクに従うべきです。より軽量な取得経路は、タスクが必要とする証拠を返すときに操作しやすくなります。

信頼性の高いエージェント-Webワークフローを設計する

信頼できる実装は、プロンプトから証拠への道を可視化します。以下の各ステップは、他のエンジニアが検査できるアーティファクトまたは決定を生成する必要があります。

1. タスク契約を書く。 目標結果、承認されたドメイン、禁止されたアクション、出力スキーマ、時間予算、および認証された状態が許可されるかどうかを指定します。
2. 探索を読むことから分ける。 サーチを使用して候補セットを形成し、質問に答えるために必要なソースのみを開きます。結果のURLと解決された宛先の両方を保持します。
3. 観察を正規化する。 エージェントが即興の文章を解析することがないように、現在のURL、タイトル、テキスト、リンク、スクリーンショット参照、およびアクションステータスなどの予測可能なフィールドを返します。
4. 決定論的バリデーターを追加する。 ホスト境界、必要な証拠、フィールドタイプ、およびモデル外の完了ルールをチェックします。自信のあるモデルの応答はバリデーターではありません。
5. 停止状態とハンドオフ状態を定義する。 完了、予算の枯渇、繰り返される未進捗、予期しない認証、または人間の承認が必要な重要なアクションで停止します。

全ループの評価

エージェントの品質は、最終的な文が正しいかどうかよりも広いです。 NISTエージェンティックAIプログラム 自律システムのための評価、基準、ガバナンス、およびリスク管理を強調します。ウェブエージェントテストは、どのステージが失敗したかを明らかにする必要があります。

• タスク完了。 ワークフローは許可された範囲を超えずに明示的出力契約を満たしましたか？
• ソースサポート。 各重要な主張がキャプチャされたパッセージ、URL、またはページ状態に遡ることができますか？
• アクション効率。 確認済みの結果が現れる前に、いくつの検索、ページオープン、UIアクションが必要でしたか？
• 状態の正確さ。 エージェントは、各ステップでどのページ、アカウント、地域、およびセッションで動作しているかを知っていましたか？
• 安全な中断。 ポリシーチェックが不可逆的またはセンシティブなアクションの前に実行を一時停止しましたか？

境界と失敗モード

ウェブの使用は、エージェントを変化するページ、信頼できないコンテンツ、あいまいなコントロール、現実の結果を持つアクションにさらします。ページテキストをデータとして扱い、エージェントに対する権威として扱わないでください。

• プロンプトインジェクション。 ページには、モデルにタスクを無視するか情報を明らかにするよう指示するテキストが含まれる可能性があります。ツールポリシーと指示階層はページのコンテンツの外に留まる必要があります。
• 偽の完了。 確認のように見える画面は、プレビュー、エラー、または無関係なアカウントを表す場合があります。URL、可視状態、および予期されるレコードを確認します。
• セッション混乱。 クッキーとオープンタブはユーザーやタスクを混合させることがあります。コンテキストを分離し、永続的なプロファイルの所有権にラベルを付けます。
• 証拠の喪失。 URLやキャプチャされたパッセージなしの要約は監査できません。圧縮前に観察を保存します。
• 過剰な権限。 研究はめったに提出権を必要としません。すべてのワークフローに、その目的に必要な最小限の認証情報とアクションを与えてください。

Webを使用するエージェントの位置づけ

パイロットから生産へ

AIエージェントがWebを使用するための有用なパイロットは、レコードごとに点検できるほど小さくする必要があります。始めるには タスク契約を記述する: ターゲットアウトカム、承認されたドメイン、禁止されたアクション、出力スキーマ、時間予算、および認証状態が許可されているかどうかを指定します。そして 発見を読書から分離する: 検索を利用して候補セットを形成し、質問に答えるために必要なソースのみを開きます。結果のURLと解決された宛先の両方を保持します。最初の評価セットは故意に混合された状態に保ち、普通のケース、曖昧なケース、証拠の欠如、およびシステムが拒否または手渡さなければならないアクションを含みます。これにより、高いボリュームでデザインミスが集計メトリクスの中に隠れる前に、ワークフローがその境界を理解しているかどうかが明らかになります。

生産準備には、すべての測定とアーティファクトのオーナーが必要です。追跡します タスクの完了 ワークフローが明示的な出力契約を満たしたかどうかを回答するために、その許可された範囲を超えていないかどうかを追跡します。追跡します ソースのサポート 各重要な主張がキャプチャされたパッセージ、URL、またはページ状態に追跡できるかどうかを判断します。追加します アクションの効率 チームが、確認された結果が表示される前に必要だった検索、ページのオープン、およびUIアクションの数を確認できるようにします。これらの測定は、ダッシュボードの合計だけでなく、基礎となる記録にリンクする必要があります。レビュアーは、変更されたメトリクスから、それを生成した正確なクエリ、ソース、観察、またはアクションに移動する必要があります。

運営上のコントロールは、ビジネス意思決定を変える可能性の最も高い失敗モードを対象とするべきです。最初のレビューのルールはカバーすべきです プロンプトインジェクション: ページは、モデルにタスクを無視させるか、情報を開示させるテキストを含むことができます。ツールポリシーと指示階層は、ページコンテンツの外に留まる必要があります。終了レビューはカバーすべきです 過剰な権限: 研究はめったに提出権を必要としません。すべてのワークフローに、その目的に必要な最小限の認証情報とアクションを与えてください。応答オーナーを割り当て、問題を解決する証拠を定義し、結果がデータ、プロンプト、ツール、権限、またはソースポリシーを変更するかどうかを記録します。その記録は、同じ欠陥が説明されていない品質変動として再発見されるのを防ぎます。

パイロットが予測可能に振る舞った後にのみ拡張します。チームは現在の研究から始めることができ、仕事は最近の情報源を検索し、主要なページを開き、主張を比較し、引用された要約を返すことです。第二段階では市場監視を追加し、ワークフローは定義された公的な情報源セットを訪問し、変更を抽出し、レビューのために材料の違いをキューに入れなければなりません。範囲が広がるにつれて、元のテストセットを実行し続けます。新しい情報源、市場、ツール、権限は、一度に一つの境界を持って導入されるべきであり、回帰は同時にプラットフォームの書き換えに割り当てられるのではなく、特定の変更に割り当てられるべきです。

結論

AIエージェントは、モデルの決定と外部実行ツールの間で交互に切り替えることによってWebを使用します。検索が情報源を見つけ、取得がそれを読み取り、ブラウザがレンダリングされたインターフェースを処理し、バリデーターが証拠とアクションが契約を満たしているかどうかを決定します。モデルはこれらの機能を調整します; それはそれらを置き換えるものではありません。

狭いタスク、短いツールリスト、および証拠を持つ出力スキーマから始めます。単純な取得では要件を満たせない場合にのみブラウザアクションを追加します。その設計は、Webへのアクセスが増加するにつれてシステムを理解可能に保ちます。