このトピックでは、ApsaraDB RDS for PostgreSQL Supabase のサンドボックスで Browser-Use (ブラウザ自動化) を使用し、e2b-code-interpreter SDK と Chrome DevTools Protocol (CDP) を通じてブラウザの DOM を直接操作する AI エージェントを駆動する方法を説明します。ここでは、4 つの典型的なシナリオを紹介します。
前提条件
RDS Supabase インスタンスが作成済みであり、インスタンスが実行中の状態であることを確認してください。
インスタンスが、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深圳)、または中国 (成都) の 5 つのリージョンのいずれかに存在することを確認してください。
AliyunServiceRoleForRDSAISupabaseサービスリンクロールが承認されていることを確認してください。RDS コンソールの [サンドボックスとエッジ関数] ページでサンドボックス機能が有効になっていることを確認してください。詳細については、「サンドボックスとエッジ関数の使用」をご参照ください。
制限
Browser-Use はブラウザ シナリオのみを対象とし、ブラウザの DOM を直接操作します。任意のデスクトップアプリケーションはサポートされていません。デスクトップ シナリオについては、「RDS For PostgreSQL Supabase サンドボックスでの Computer-Use の使用」をご参照ください。
デフォルトのサンドボックスのタイムアウトは 3600 秒で、
timeoutパラメーターで調整できます。タイムアウト後にサンドボックスを再作成してください。
Browser-Use の設定
Browser-Use ランタイムを準備するために、以下の 6 つの設定項目を順番に完了してください。
ステップ 1:steel-browser サンドボックス テンプレートの作成
RDS Supabase インスタンスの詳細ページで steel-browser パブリック テンプレートを作成し、後のコードで使用するためにテンプレート ID を記録してください。
インスタンス詳細ページの左側メニューで、[コンポーネント] > [サンドボックスとエッジ関数] を選択します。
[サンドボックスとエッジ関数を有効にする] トグルがオンになっていることを確認してください。
[サンドボックス テンプレート] セクションで、[テンプレートマーケットプレイス] をクリックします。
右側に表示される [テンプレートマーケットプレイス] パネルで、[テンプレート名] 列が
steel-browserで、[説明] 列がImage used in browser-use scenarios.である行を見つけ、その行の [操作] 列にある [作成] をクリックします。テンプレートが作成された後、[サンドボックス テンプレート] リストに戻ります。[設定項目] が
steel-browserである行を見つけ、[テンプレート ID] 列の完全な値をコピーします。形式はsteel-browser-<6-character-random-suffix>です。このテンプレート ID は、後続のコードでSandbox.create(template="<template-id>")パラメーターの値として使用されます。後で使用するために保存しておいてください。
ステップ 2:ドメイン名のバインド
Supabase インスタンスの IP アドレスにドメイン名をバインドします。
インスタンス詳細ページから、インスタンスのパブリックエンドポイントの IP アドレスを取得します。
ローカルの
/etc/hostsファイルにドメイン名マッピング エントリを追加します。次の例では、ドメイン名として<instance-id>.sb.rds.comを使用します。<instance-ip> <instance-id>.sb.rds.com
開発およびテスト シナリオでは、/etc/hosts に直接書き込みます。本番環境では、DNS 解決を使用してください。
ステップ 3:e2b SDK パッチコードのダウンロード
GitHub リポジトリから e2b SDK パッチコードをダウンロードしてください。このパッチは RDS Supabase のルーティングに適応します。
ステップ 4:(オプション) HTTPS アクセスのための SSL 設定
HTTPS 経由でサンドボックスにアクセスするには、まず Supabase インスタンスに SSL 証明書を設定し、次に以下の環境変数を設定してください。
# rootCA.pem は、Supabase インスタンス用に生成された SSL 証明書の CA 証明書です。
export SSL_CERT_FILE="/xxx/rootCA.pem"
export REQUESTS_CA_BUNDLE="/xxx/rootCA.pem"後続の Python コードで patch_e2b() を呼び出すと、パッチが e2b SDK に適用されます。パラメーター True または False は、サンドボックスに HTTPS 経由でアクセスするかどうかを示します。True を渡すと HTTPS を使用します。この場合、まず RDS Supabase インスタンスで HTTPS を有効にし、「サンドボックスとエッジ関数の使用」で説明されているように HTTPS 関連の環境変数を設定する必要があります。False を渡すと HTTP を使用します。
ステップ 5:環境変数の設定
e2b SDK が Supabase インスタンスに接続し、AI エージェントが LLM を呼び出すために、以下の環境変数を設定してください。
# E2B_DOMAIN: 「ステップ 2:ドメイン名のバインド」でバインドしたドメイン名。
export E2B_DOMAIN=<instance-id>.sb.rds.com
# E2B_API_KEY: Supabase インスタンスのサービスキー。
export E2B_API_KEY=<your-service-key>
# LLM_API_KEY: LLM (Tongyi Qianwen や OpenAI 互換プロバイダーなど) の API キー。
export LLM_API_KEY=<your-llm-api-key>
# LLM_BASE_URL: LLM API のベース URL。
export LLM_BASE_URL=<your-llm-base-url>サービスキーの取得方法:インスタンス詳細ページで、右上隅にある [API キーの取得] をクリックします。ダイアログボックスで、[ServiceKey] の値をコピーします。
Browser-Use シナリオは、AI エージェントがブラウザを駆動するため、タスクの分析と意思決定には LLM の呼び出しが必要です。したがって、LLM_API_KEY と LLM_BASE_URL は両方とも必須です。LLM_BASE_URL は、OpenAI 互換のエンドポイント (Tongyi Qianwen の OpenAI 互換モードなど) を指している必要があります。
ステップ 6:依存関係のインストール
次のコマンドを実行して、Browser-Use SDK とサンドボックスランタイムをインストールします。
pip install browser-use e2b-code-interpreterBrowser-Use の例
Browser-Use のコアワークフローは、「ユーザー指示の受信、ブラウザ サンドボックスの作成、CDP を介したブラウザへの接続、AI エージェントによるページ DOM の解析、操作 (クリック、入力、ナビゲートなど) の実行、タスク完了までのループ」です。Computer-Use の「スクリーンショット、視覚分析、操作」パターンとは異なり、Browser-Use はブラウザのページ DOM を直接操作するため、より高い精度と高速な実行が可能です。以下の 4 つのシナリオはそれぞれ、完全に自己完結した実行可能な Python スクリプトを提供します。スクリプトをコピーし、「サンプルコードの実行」に従って .py ファイルとして保存し、直接実行してください。
シナリオ 1:基本的な Web ブラウジングと情報抽出
AI エージェントに指定された Web ページを訪問させ、重要な情報を抽出させます。これは最も基本的な Browser-Use パターンです。
import asyncio
import json
import os
from browser_use import Agent, BrowserSession
from browser_use.llm import ChatOpenAI
from e2b_code_interpreter import Sandbox
from patch_e2b import patch_e2b
# SSL が設定されていない場合は False を渡します。「Browser-Use の設定」のステップ 4 で SSL を設定した後に True に変更してください。
patch_e2b(False)
async def get_cdp_url(sbx, debug_port: int = 9222, proxy_port: int = 9223) -> str:
"""サンドボックス内の Chromium の CDP WebSocket URL を取得します。
Chromium はサンドボックス内で debug_port (デフォルトは 9222) をリッスンします。この関数は、
curl を介して webSocketDebuggerUrl を読み取り、それを sbx.get_host(proxy_port) を通じて
外部から到達可能なアドレスにマッピングします。
"""
result = sbx.commands.run(f'curl -s http://127.0.0.1:{debug_port}/json/version')
if not result.stdout.strip():
raise Exception("CDP URL の取得に失敗しました。サンドボックス内で Chromium が起動していることを確認してください。")
version_info = json.loads(result.stdout)
ws_path = version_info['webSocketDebuggerUrl'].split('/', 3)[-1]
return f"ws://{sbx.get_host(proxy_port)}/{ws_path}"
async def main():
# 「Browser-Use の設定」のステップ 1 で記録した steel-browser テンプレート ID を使用してサンドボックスを作成します。
sandbox = Sandbox.create(template="<template-id>", timeout=3600)
try:
cdp_url = await get_cdp_url(sandbox)
browser_session = BrowserSession(
cdp_url=cdp_url,
headers={"X-API-Key": os.getenv('E2B_API_KEY')},
)
await browser_session.start()
agent = Agent(
task="Alibaba Cloud の Web サイトにアクセスし、ApsaraDB RDS for PostgreSQL Supabase の製品ページを見つけて、その主な機能を要約してください。",
llm=ChatOpenAI(
api_key=os.getenv("LLM_API_KEY"),
base_url=os.getenv("LLM_BASE_URL"),
model="qwen3-vl-plus",
temperature=1,
),
browser_session=browser_session,
)
result = await agent.run()
print(f"タスク結果: {result}")
await browser_session.close()
finally:
sandbox.kill()
asyncio.run(main())シナリオ 2:フォーム入力と送信
AI エージェントに Web フォームを自動的に入力させ、送信させます。タスクの説明を、構造化された指示を持つ複数行の文字列として与えると、AI がフィールドを操作にマッピングしやすくなります。決定性を高めるために、temperature は 0 に設定されています。
import asyncio
import json
import os
from browser_use import Agent, BrowserSession
from browser_use.llm import ChatOpenAI
from e2b_code_interpreter import Sandbox
from patch_e2b import patch_e2b
patch_e2b(False)
async def get_cdp_url(sbx, debug_port: int = 9222, proxy_port: int = 9223) -> str:
result = sbx.commands.run(f'curl -s http://127.0.0.1:{debug_port}/json/version')
if not result.stdout.strip():
raise Exception("CDP URL の取得に失敗しました。サンドボックス内で Chromium が起動していることを確認してください。")
version_info = json.loads(result.stdout)
ws_path = version_info['webSocketDebuggerUrl'].split('/', 3)[-1]
return f"ws://{sbx.get_host(proxy_port)}/{ws_path}"
async def main():
sandbox = Sandbox.create(template="<template-id>", timeout=3600)
try:
cdp_url = await get_cdp_url(sandbox)
browser_session = BrowserSession(
cdp_url=cdp_url,
headers={"X-API-Key": os.getenv('E2B_API_KEY')},
)
await browser_session.start()
agent = Agent(
task="""
https://example.com/contact ページを開き、
「名前」に「田中太郎」と入力し、
「メールアドレス」に「taro.tanaka@example.com」と入力し、
「メッセージ」に「こんにちは、これはテストメッセージです。」と入力し、
その後、送信ボタンをクリックしてください。
""",
llm=ChatOpenAI(
api_key=os.getenv("LLM_API_KEY"),
base_url=os.getenv("LLM_BASE_URL"),
model="qwen3-vl-plus",
temperature=0, # フォームタスクでは、ランダム性を減らすために temperature を 0 にします。
),
browser_session=browser_session,
)
result = await agent.run()
print(f"フォーム送信結果: {result}")
await browser_session.close()
finally:
sandbox.kill()
asyncio.run(main())フォーム タスクには高い決定性が求められます。temperature を 0 に設定して、モデルのばらつきがフィールド値に影響を与えるのを防ぎます。
シナリオ 3:マルチステップの複雑なタスク
AI エージェントは、検索、フィルタリング、比較などを含むマルチステップのブラウジングタスクを処理できます。タスクの説明を番号付きリストとして構造化すると、AI はそれを段階的に実行します。
import asyncio
import json
import os
from browser_use import Agent, BrowserSession
from browser_use.llm import ChatOpenAI
from e2b_code_interpreter import Sandbox
from patch_e2b import patch_e2b
patch_e2b(False)
async def get_cdp_url(sbx, debug_port: int = 9222, proxy_port: int = 9223) -> str:
result = sbx.commands.run(f'curl -s http://127.0.0.1:{debug_port}/json/version')
if not result.stdout.strip():
raise Exception("CDP URL の取得に失敗しました。サンドボックス内で Chromium が起動していることを確認してください。")
version_info = json.loads(result.stdout)
ws_path = version_info['webSocketDebuggerUrl'].split('/', 3)[-1]
return f"ws://{sbx.get_host(proxy_port)}/{ws_path}"
async def main():
sandbox = Sandbox.create(template="<template-id>", timeout=3600)
try:
cdp_url = await get_cdp_url(sandbox)
browser_session = BrowserSession(
cdp_url=cdp_url,
headers={"X-API-Key": os.getenv('E2B_API_KEY')},
)
await browser_session.start()
agent = Agent(
task="""
1. 検索エンジンを開き、「RDS Supabase」を検索します。
2. 上位 3 件の検索結果のタイトルと要約を記録します。
3. 最初の結果をクリックして、その詳細ページに移動します。
4. 詳細ページの主要な内容を要約します。
""",
llm=ChatOpenAI(
api_key=os.getenv("LLM_API_KEY"),
base_url=os.getenv("LLM_BASE_URL"),
model="qwen3-vl-plus",
temperature=1,
),
browser_session=browser_session,
)
result = await agent.run()
print(f"マルチステップタスクの結果: {result}")
await browser_session.close()
finally:
sandbox.kill()
asyncio.run(main())シナリオ 4:スクリーンショットコールバック付きエージェント
on_step_end コールバックを使用して、各ステップの後にページのスクリーンショットをキャプチャします。このスクリプトは、現在の作業ディレクトリに ./screenshots/ ディレクトリを作成し、Unix タイムスタンプで名前を付けたスクリーンショットをステップごとに保存します。これはデバッグや監査に役立ちます。
import asyncio
import base64
import json
import os
import time
from browser_use import Agent, BrowserSession
from browser_use.llm import ChatOpenAI
from e2b_code_interpreter import Sandbox
from patch_e2b import patch_e2b
patch_e2b(False)
async def get_cdp_url(sbx, debug_port: int = 9222, proxy_port: int = 9223) -> str:
result = sbx.commands.run(f'curl -s http://127.0.0.1:{debug_port}/json/version')
if not result.stdout.strip():
raise Exception("CDP URL の取得に失敗しました。サンドボックス内で Chromium が起動していることを確認してください。")
version_info = json.loads(result.stdout)
ws_path = version_info['webSocketDebuggerUrl'].split('/', 3)[-1]
return f"ws://{sbx.get_host(proxy_port)}/{ws_path}"
async def screenshot(agent: Agent):
"""各ステップの後にブラウザ ページをキャプチャし、./screenshots/ に保存します。"""
try:
page = await agent.browser_session.get_current_page()
if page is None:
print("スクリーンショットをスキップしました: アクティブなページがありません。")
return
b64_data = await page.screenshot(format='png')
screenshots_dir = os.path.join(".", "screenshots")
os.makedirs(screenshots_dir, exist_ok=True)
screenshot_path = os.path.join(screenshots_dir, f"{time.time()}.png")
with open(screenshot_path, "wb") as f:
f.write(base64.b64decode(b64_data))
print(f"スクリーンショットを {screenshot_path} に保存しました")
except Exception as e:
print(f"スクリーンショットの保存に失敗しました: {e}")
async def main():
sandbox = Sandbox.create(template="<template-id>", timeout=3600)
try:
cdp_url = await get_cdp_url(sandbox)
browser_session = BrowserSession(
cdp_url=cdp_url,
headers={"X-API-Key": os.getenv('E2B_API_KEY')},
)
await browser_session.start()
agent = Agent(
task="Alibaba Cloud の Web サイトにアクセスし、ApsaraDB RDS for PostgreSQL Supabase の製品ページを見つけて、その主な機能を要約してください。",
llm=ChatOpenAI(
api_key=os.getenv("LLM_API_KEY"),
base_url=os.getenv("LLM_BASE_URL"),
model="qwen3-vl-plus",
temperature=1,
),
browser_session=browser_session,
)
# 各ステップの後に自動的にスクリーンショットを撮ります。
await agent.run(on_step_end=screenshot)
await browser_session.close()
finally:
sandbox.kill()
asyncio.run(main())サンプルコードの実行
前述の 6 つの設定ステップを完了した後、このトピックの Python サンプルを次のように実行してください。
ステップ 1:スクリプトファイルの作成
サンプルコードを .py ファイルとして保存します。ファイルは、「Browser-Use の設定」のステップ 3 でダウンロードした patch_e2b のソースコードと同じディレクトリにある必要があります。そうしないと、ModuleNotFoundError: No module named 'patch_e2b' エラーが発生します。ディレクトリ構造の例:
e2b-sdk-patch/
├── patch_e2b/ # 「Browser-Use の設定」のステップ 3 でダウンロードしたパッチのソースコード
└── demo.py # あなたのサンプルスクリプトスクリプトを別のディレクトリに配置する場合は、patch_e2b のソースパスを PYTHONPATH に追加してください。
export PYTHONPATH="/path/to/e2b-sdk-patch:$PYTHONPATH"/path/to/e2b-sdk-patch はプレースホルダーです。ローカルの patch_e2b ソースの実際の絶対パス (例:/Users/yourname/code/e2b-sdk-patch) に置き換えてください。:$PYTHONPATH は既存のパスを保持し、上書きされるのを防ぎます。設定後、設定を有効にするために同じターミナルウィンドウでスクリプトを実行してください。
ステップ 2:コード内のプレースホルダーの置換
サンプルコード内の <template-id> を、「Browser-Use の設定」のステップ 1 で記録したテンプレート ID (形式:steel-browser-<suffix>) に置き換えてください。
ステップ 3:環境変数が有効であることの確認
スクリプトを実行するターミナルで、次のコマンドを実行して、「Browser-Use の設定」のステップ 5 で設定した 4 つの環境変数がロードされていることを確認してください。
echo $E2B_DOMAIN # <instance-id>.sb.rds.com と表示されるはずです
echo $E2B_API_KEY # Supabase の ServiceKey が表示されるはずです
echo $LLM_API_KEY # LLM の API キーが表示されるはずです
echo $LLM_BASE_URL # LLM のベース URL が表示されるはずですステップ 4:スクリプトの実行
python3 demo.py