Scrapeless MCPサーバーでDatabricksを強化する

TL;DR:

• Databricksエージェントはデータを推論できますが、ツールを接続しない限りライブウェブにアクセスできません — Scrapeless MCPサーバーは最もクリーンな方法です。 Agent BricksとMosaic AIエージェントは、モデル、Unity Catalog関数、および登録したツールに基づいて計画を立てます。これをScrapeless MCPサーバーに向けると、エージェントは手動でスクレーパーを作成することなく、ライブGoogle検索、JavaScriptレンダリング、完全な非検出クラウドブラウザを得ることができます。
• DatabricksはUnity Catalog HTTP接続と管理されたプロキシを通じて外部MCPサーバーに到達します。 https://api.scrapeless.com/mcpを「Is mcp connection」オプション付きのUnity Catalog接続として登録し、Scrapelessのx-api-tokenを接続資格情報として保存します。Databricksはこれをエージェントコードにhttps://<workspace-host>/api/2.0/mcp/external/<connection_name>で公開します。
• DatabricksMCPClient.list_tools()はエージェントコードにサーフェスを接続します。 プロキシURLとWorkspaceClientを使用してDatabricksMCPClientを構築し、list_tools()を呼び出して結果をエージェントフレームワークのツールタイプに変換すると、エージェントはGoogle SERPスクレーパー、トレンドスクレーパー、HTML/Markdown/スクリーンショットヘルパー、および16のブラウザ自動化ツールを取得します。
• Scrapeless MCPサーバーは21のツールを公開しています。 https://api.scrapeless.com/mcpに対してライブtools/listを実行すると、google_search、google_trends、scrape_html、scrape_markdown、scrape_screenshot、および16のbrowser_*ツールが返されます — サーバーはそれらを生の名前として出力し、各クライアントは読み込むときに独自の名前空間を追加します。
• 住宅用プロキシと非検出はクラウド側で実行されます。 すべてのツール呼び出しは、195か国以上の住宅用プロキシを有するScrapeless非検出クラウドブラウザを通過するため、エージェントはDatabricksランタイム内部にプロキシやフィンガープリントの設定をせずに、商業サイトからレンダリングされた使える応答を得られます。
• stdioまたはHTTPストリーミングトランスポート。 ローカルエージェント開発のために、npxを使用してサーバーを起動できます; デプロイされたMosaic AIエンドポイントにはストリーミングHTTPエンドポイントを指し示しますが、これが正にUnity Catalog接続によってラップされたものです。
• 無料で開始。 新しいScrapelessアカウントには無料のスクレイピングブラウザランタイムが含まれています — app.scrapeless.comでサインアップしてください。

はじめに：Databricksエージェントにウェブのライブビューを提供する

Databricks Agent BricksおよびMosaic AI Agent Frameworkを使用すると、Lakehouseのデータ — Unity Catalogテーブル、ベクトルインデックス、ガバナンスされた関数を推論するエージェントを構築できます。エージェントは、登録したツールのみを呼び出します。自分自身でできないことは、今現在のウェブを見ることです。その知識はモデルのトレーニングカットオフおよび前に置かれた内容までで止まっているため、「この競合相手は今日何を請求しているか」や「このクエリに対する現在のトップ結果は何か」といった質問にはワークスペース内での答えがありません。

その境界は故意です：エージェントが外部世界に対して持つアクセスは、付随するツールのセットによって正確に決まります。したがって、ツールレイヤーはリアルタイムのウェブアクセスを追加する場所であり、モデルコンテキストプロトコル（MCP）はそれを行うための標準でフレームワークに依存しない方法です。Databricksは最初級のMCPサポートを提供します — Unity Catalog関数やベクトル検索用の管理されたサーバー、及び外部のサードパーティMCPサーバーのための管理されたプロキシ経路です。外部MCPサーバーは、エージェントが呼び出すことのできるツールのセットとなり、ワークスペースの残りの部分と同じUnity Catalog接続モデルによってガバナンスされます。

この記事では、Scrapeless MCPサーバーをその外部サーバーペスを通じてDatabricksエージェントに接続しています。1つのUnity Catalog接続とDatabricksMCPClientが、エージェントにGoogle検索、JavaScriptレンダリング、そして同じプロンプトを通じてアクセス可能な完全な非検出クラウドブラウザを提供します。TypeScriptクライアントを通じて同じScrapelessサーフェスについては、Mastra統合を参照してください。

それで何ができるのか

• Mosaic AIエージェント内でのライブSERPリサーチ。 エージェントにクエリのためのgoogle_searchを実行させ、トップのオーガニック行をJSONとして返すようにし、調査が別のブラウザタブではなくDatabricksアプリ内で行われるようにします。
• デルタテーブルにフィードする競合相手と価格のスナップショット。 プロンプトにURLを渡し、エージェントにページをレンダリングさせ、プラン名、価格、および機能を構造化されたレコードに抽出して、自分のジョブがLakehouseに書き戻します。
• 応答を基にしたドキュメントと変更ログの検索。 エージェントに特定のライブラリの現在のドキュメントやリリースノートをクリーンなMarkdownとして取得させ、生成されたテキストに基づいて推論することができます。
• 計画エージェントのための市場とトレンドチェック。 google_trendsを使用してターゲット地域のトピックに対する関心信号を引き出し、現在の証拠をもとに予測、コンテンツプラン、または実験アイデアを種まきします。
• JavaScriptページからの型付きレコードへの抽出。 エージェントをシングルページアプリに向け、クラウドブラウザがそれを水和させ、エージェントが結果を下流のタスクが消費するオブジェクトに解析します。
• マルチステップのブラウザフロー。 browser_goto、browser_click、browser_type、browser_scrollを連鎖させ、エージェントがページネーションを歩き、パネルを展開したり、抽出前にウィザードを通過します。
• 検索後に読むパイプラインを1つのエージェントターンで。 google_searchとscrape_markdownを組み合わせ、エージェントがトップの結果を見つけ、各結果を読み、エージェントループを離れることなく要約します。

Scrapeless MCPサーバーの理由

Scrapeless MCPサーバーは、AIエージェントとライブウェブの間のカスタマイズ可能なアンチ検出ブリッジです。具体的にはDatabricksエージェントに対して、次のような利点があります：

• JavaScriptレンダリングを備えたアンチ検出クラウドブラウザ。 ページは抽出前に完全なScrapeless Scraping Browserとして水和され、SPA、無限スクロールフィード、レイジーロードされたパネルがbrowser_gotoとbrowser_get_htmlのファーストクラスターゲットになります。
• 195以上の国におけるレジデンシャルプロキシ。 地理制約のあるクエリは、ローカルユーザーが見るリスティングを返し、プロキシの出口処理は完全にScrapeless側で行われ、Databricksのネットワーク内ではありません。
• 1つの外部エンドポイント、ホストするスクレイパーコードなし。 サーバーはhttps://api.scrapeless.com/mcpで管理されたHTTPエンドポイントとして動作し、DatabricksはUnity Catalog接続でそれをラップしているため、接続自体を超えて構築、展開、またはメンテナンスする必要はありません。
• SERP、ステートレススクレイピング、完全なブラウザ自動化をカバーする21のツール。 google_searchとgoogle_trendsはSERPデータをカバーし、scrape_html、scrape_markdown、scrape_screenshotはワンショットページ取得をカバーし、16のbrowser_*ツールがステートフルなナビゲーション、クリック、タイピング、スクロール、スクリーンショットをカバーします。
• その他のDatabricksツールと同様に管理される。 サーバーはUnity Catalog HTTP接続を通じて到着するため、アクセスは他の接続と同じ権限モデルで管理され、APIトークンはエージェントコードではなく接続に存在します。

無料プランでは接続を登録し、実際のプロンプトを実行するのに十分です；成長した際に料金ページでクォータを比較します。無料プランでAPIキーを取得するにはapp.scrapeless.comを訪れてください。

前提条件

• Mosaic AIエージェントフレームワークが利用可能なDatabricksワークスペースおよびUnity Catalog接続を作成する権限。外部MCPパスは、登録した接続の前にある管理されたプロキシを使用します。
• エージェントのLLM用のモデル提供エンドポイント。 エージェントループは、ツールコールを実行する前に作動するモデルが必要です — Databricks Foundation Modelエンドポイントまたは外部モデル。
• ScrapelessアカウントとAPIキー — 無料プランでサインアップし、設定 → APIキー管理からキーをコピーします。
• ノートブックまたはジョブにインストールされたエージェントの依存関係：mcp、databricks-mcp、databricks-sdk、databricks-agents、mlflow。
• PythonおよびDatabricksノートブックの基本的な知識 — セットアップは1つの接続と小さなクライアント定義です。

注意：Unity Catalog接続を登録し、管理されたプロキシを呼び出すには、アクティブなDatabricksワークスペースが必要です。以下の手順は文書化されたフローを示しており、彼らが露出するScrapelessツールの表面は、検証セクションでhttps://api.scrapeless.com/mcpに対して直接確認されています。

ScrapelessをDatabricksエージェントに接続する

セットアップは5つのステップから成り、それぞれは独立して検証可能です。

1. クライアントパッケージのインストール

ノートブックまたはエージェントプロジェクトに、MCPクライアントとDatabricksエージェントの依存関係をインストールします：

pip install mcp databricks-mcp "databricks-sdk[openai]" databricks-agents mlflow

databricks-mcpは管理プロキシと通信するDatabricksMCPClientを提供し、mcpは基礎となるモデルコンテキストプロトコルのプリミティブ（ClientSession、ストリーミングHTTPトランスポート）を提供します — これは、エンドポイントに直接接続する際に使用されるすべてのツールコールをJSON-RPC 2.0リクエストとしてフレーム化します。

2. ScrapelessをUnity Catalog接続（ストレージ認証情報）として登録する

Databricksエージェントは、Unity Catalog HTTP接続を介して外部MCPサーバーに到達します。Scrapelessエンドポイントを指す接続を作成し、MCP接続としてマークし、Scrapelessキーをベアラースタイルのヘッダー認証情報として保存します。ホストはワークスペース間で変更される唯一のフィールドです：

-- Scrapeless MCPサーバーのためのUnity Catalog HTTP接続。
-- UIでそれをMCP接続としてマークし（「MCP接続ですか」）、 
-- Scrapelessキーをx-api-tokenヘッダー認証情報として提供します。
CREATE CONNECTION scrapeless_mcp
TYPE HTTP
OPTIONS (
  host 'https://api.scrapeless.com',
  base_path '/mcp',
  bearer_token 'your_api_token_here'
);

登録後、Databricksはその管理プロキシを介してhttps://<workspace-host>/api/2.0/mcp/external/scrapeless_mcpでサーバーをエージェントコードに公開します。エージェントコードはScrapelessトークンを保持せず、Databricksに対して認証し、Databricksがプロキシを通じてScrapelessに保存された認証情報を添付します。

3. もしくはHTTPストリーミングでエンドポイントに直接接続する

デプロイされたエージェントの外で統合をプロトタイピングしている場合（ローカルスクリプト、ノートブックのスパイクなど）、プロキシの代わりに標準MCP SDKを使ってScrapelessエンドポイントに直接接続できます。ストリーミングHTTPトランスポートでキーをx-api-tokenヘッダーとして渡します：

# pip install mcp
import asyncio, os
from mcp import ClientSession
from mcp.client.streamable_http import streamablehttp_client

URL = "https://api.scrapeless.com/mcp"

async def main():
    headers = {"x-api-token": os.environ["SCRAPELESS_KEY"]}
    async with streamablehttp_client(URL, headers=headers) as (read, write, _):
        async with ClientSession(read, write) as session:
            await session.initialize()
            tools = await session.list_tools()
            print([t.name for t in tools.tools])

asyncio.run(main())

Scrapeless MCPサーバーは、stdio起動時の**SCRAPELESS_KEY**からキーを読み取りますが、HTTPストリーミングにおいて同じ値がx-api-tokenヘッダーとして送信されます。両方とも同一のキーを持ちます。それをハードコーディングするのではなく、環境に保持してください（export SCRAPELESS_KEY=...）。サーバーのソースは、Scrapeless MCPサーバーリポジトリにあります。

4. ツールをリストし、エージェントにアタッチする

エージェントコード内で、管理プロキシのURLに対してDatabricksMCPClientとWorkspaceClientを構築し、次にツールをリストします。返されたツール定義をエージェントフレームワークのツールタイプに変換します。Mosaic AIエージェントは通常、LangGraphグラフ上のMLflow ChatAgentとして作成されるため、各MCPツールはChatDatabricksモデル上のバウンドツールになります：

from databricks.sdk import WorkspaceClient
from databricks_mcp import DatabricksMCPClient

workspace = WorkspaceClient()
proxy_url = f"{workspace.config.host}/api/2.0/mcp/external/scrapeless_mcp"

mcp_client = DatabricksMCPClient(server_url=proxy_url, workspace_client=workspace)
tools = mcp_client.list_tools()  # 接続によって管理された21のScrapelessツール

# エージェントのモデルにツールスキーマをバインドし、エージェントグラフを構築します。
tool_specs = [
    {"name": t.name, "description": t.description, "input_schema": t.inputSchema}
    for t in tools
]

DatabricksMCPClient.list_tools()はサーバーが報告する同じツール定義を返します — 名前、説明、および入力スキーマ — したがって、エージェントのプランナーはScrapelessの全体像を確認できます。それらのスキーマを、どのようにMosaic AIツールにバインドするかに応じてモデルにバインドし、モデルがツールを選択した際にmcp_client.call_tool(name, arguments)を呼び出します。

5. 21のツールを列挙して確認する

ツールをリストし、その名前を印刷することで、ハンドシェイクが完了し、サーバーがその全体像を報告していることを確認できます：

tools = mcp_client.list_tools()
print(len(tools), [t.name for t in tools])

出力は、サーバーの21のツールを単独の名前でリストします — Googleデータツール（google_search、google_trends）、ワンショットページヘルパー（scrape_html、scrape_markdown、scrape_screenshot）、およびクラウドブラウザープリミティブ（browser_create、browser_goto、browser_get_html、browser_get_text、browser_click、browser_type、browser_press_key、browser_scroll、browser_scroll_to、browser_screenshot、browser_snapshot、browser_wait、browser_wait_for、browser_go_back、browser_go_forward、browser_close）。サーバーはそれらをプレフィックスなしで出力します。ロードするクライアント — Databricksプロキシ、生のMCP SDK、TypeScriptアダプタ — は独自のネームスペースを適用します。

実際にこれを使用する方法：エージェントにプロンプトする

以下の接続が登録され、ツールがバインドされると、手動でツール呼び出しを行うのではなく、Databricksエージェントと会話をすることでリアルタイムのWebデータを取得できます。エージェントは、Scrapeless MCPサーバーが公開するツールリストを読み取り、必要に応じてgoogle_search、scrape_markdown、またはbrowser_*ツールを選択し、自然言語のタスクからそれらを順番に組み立てます。あなた側で作成するツールJSONはありません；エージェントを呼び出す方法は、すでにMosaic AIエージェントを呼び出すのと同じであり、ノートブックのセルやデプロイされたエンドポイントに対して行います。

貼り付け可能なプロンプト

実際の例

あなたが書く (ノートブックのセルにおける単一のエージェント呼び出し):

response = agent.predict({
    "messages": [{
        "role": "user",
        "content": "google_searchを使って‘databricks mosaic ai agent framework’のトップ結果を見つけて、"
                   "上位3つを{title, link}のJSON配列として返して。",
    }]
})
print(response)

エージェントの計画（平易な英語）:

1. google_searchをq: "databricks mosaic ai agent framework", hl: "en", gl: "us"で呼び出す。
2. 結果行の配列を受け取り、position、title、およびlinkフィールドを読み取る。
3. positionでソートし、最初の3行を保持する。
4. 各行を{title, link}オブジェクトにマッピングする。
5. エージェントの回答としてJSON配列を返す。

あなたが受け取るもの (説明的な形状 - エージェントは以下のような行から作業します):

[
  { "title": "Mosaic AI Agent Framework — Databricks docs", "link": "https://example.com/agent-framework" },
  { "title": "Build and deploy an agent on Databricks", "link": "https://example.com/build-agent" },
  { "title": "Agent Bricks overview", "link": "https://example.org/agent-bricks" }
]
// フィールド名はgoogle_searchの行の形状と一致しており；値は例です。

ステートレスデータツールは、ペイロードをResponse:\n\nで接頭辞されたボディとして返します；エージェントはその接頭辞をJSON解析前に取り除くので、あなたは答えの中でそれを見ることはありません。

プロンプトを形作る

無料プランのAPIキーを取得: app.scrapeless.com

以下は、内部参照です — ツールの表面、正確な戻り値の形状、そのエージェントがあなたのために処理する動作です。

Scrapeless MCPツールの表面

接続がライブになると、エージェントはSERPデータ、ステートレススクレイピング、およびフルアンチ検出クラウドブラウザ制御を分ける21のツールを確認します。以下の名称はサーバーの単なる名称であり、どのクライアントがそれらをロードしても独自の名前空間が適用されます。

Q: DatabricksはScrapelessのような外部MCPサーバーにどのように接続するのですか？

Unity Catalog HTTP接続としてMCP接続を示します。 https://api.scrapeless.com/mcpを接続として登録し、Scrapelessのx-api-tokenをその資格情報として保存します。そして、Databricksはそれをhttps://<workspace-host>/api/2.0/mcp/external/<connection_name>でエージェントコードに公開します。エージェントコードは、そのプロキシURLに対してDatabricksMCPClientを使用するため、Scrapelessトークンは接続の中に留まり、エージェント内には表示されません。

Q: どの環境変数またはヘッダーがScrapelessキーを保持していますか？

サーバーのstdio起動はSCRAPELESS_KEYを読み取ります。HTTPエンドポイントはx-api-tokenヘッダーから同じ値を読み取ります。Unity Catalog接続を登録する際、そのキーを一度接続資格情報として保存するため、デプロイされたエージェントコードはそれを直接扱いません。

Q: Scrapeless MCPサーバーは何種類のツールを提供し、何がありますか？

21のツールがあります：SERPデータ用のgoogle_searchとgoogle_trends；ワンショットページ取得用のscrape_html、scrape_markdown、scrape_screenshot；およびステートフルクラウドブラウザ制御用の16のbrowser_*ツール（browser_create、browser_goto、browser_get_html、browser_get_text、browser_click、browser_type、browser_press_key、browser_scroll、browser_scroll_to、browser_screenshot、browser_snapshot、browser_wait、browser_wait_for、browser_go_back、browser_go_forward、browser_close）。サーバーはそれらを素の名前として出力し、それを読み込むクライアントが独自の名前空間を適用します。

Q: ScrapelessをDatabricksアプリとしてホストする必要がありますか？

いいえ。MCPサーバーをDatabricksアプリとしてホストするのは、自分で実行するサーバーのためのものです。Scrapelessは管理された外部エンドポイントであるため、Unity Catalog HTTP接続として登録し、管理された外部MCPプロキシを通じてアクセスします — 貴方側でデプロイしたり、運用し続ける必要はありません。

Q: デプロイされたエージェントの外で接続をテストできますか？

はい。標準のMCP Python SDKをhttps://api.scrapeless.com/mcpにx-api-tokenヘッダーを付けてポイントし、initializeを呼び出した後、list_tools()を呼び出すと、デプロイされたエージェントがプロキシ経由で取得するのと同じ21のツールが表示されます。その直接のパスは、Unity Catalog接続を登録する前にキーとエンドポイントを確認するための最も迅速な方法です。

Q: 特定のモデルが必要ですか？

いいえ。エージェントのモデルは、Databricksのサービングエンドポイントとして配線したものであり、Foundation Modelエンドポイントや外部モデルでも構いません。Scrapelessツールはモデルに依存しないため、ツールコールを上手に扱うモデルを選択し、エージェントはプロバイダーに関係なくScrapelessツールを同じ方法で構成します。

Q: エージェントを介したウェブスクレイピングは合法ですか？

公に入手可能なデータをスクレイプすることは一般的に許可されていますが、それをどのように使用するかについてはあなたが責任を負います。各サイトのサービス利用規約を確認し、robots.txtを尊重し、個人データやアクセスに関するルールは管轄区域によって異なることを覚えておいてください。疑問がある場合は、特定の利用ケースについて法的アドバイスを受けてください。

Q: Databricksなしでこれを使用できますか？

はい。Scrapeless MCPサーバーは標準のMCPサーバーであるため、MCP互換クライアントはそれを呼び出すことができます — またはJSON-RPC（initialize、その後tools/listとtools/call）を介して直接操作することもできます。Databricksはそのホストの一つであり、必須ではありません。