このトピックでは、RDS For PostgreSQL Supabase サンドボックスで Computer-Use (デスクトップコントロール) を使用し、E2B Desktop SDK と AI ビジョンモデルで「観察、理解、操作」の自動化エージェントを構築する方法を説明します。5 つの典型的な例が含まれています。
前提条件
RDS Supabase インスタンスが作成されており、インスタンスが 実行中 の状態であることを確認してください。
インスタンスが、中国 (北京)、中国 (上海)、中国 (杭州)、中国 (深圳)、または中国 (成都) の 5 つのリージョンのいずれかに存在することを確認してください。
AliyunServiceRoleForRDSAISupabaseサービスリンクロールが承認されていることを確認してください。RDS コンソールの サンドボックスとエッジ関数 ページでサンドボックス機能が有効になっていることを確認してください。詳細については、「サンドボックスとエッジ関数の使用」をご参照ください。
使用制限
デスクトップサンドボックスは Ubuntu Linux ベースです。Windows および macOS のデスクトップはサポートされていません。
デフォルトの単一サンドボックスのタイムアウトは 300 秒で、
timeoutパラメーターで調整できます。タイムアウト後にサンドボックスを再作成してください。
Computer-Use の設定
Computer-Use ランタイムを準備するために、以下の 6 つの設定項目を順番に完了してください。
ステップ 1:デスクトップサンドボックスのテンプレート作成
RDS Supabase インスタンスの詳細ページで desktop パブリックテンプレートを作成し、後続のコードで使用するためにテンプレート ID を記録してください。
インスタンス詳細ページの左側メニューで、[コンポーネント] > サンドボックスとエッジ関数 を選択します。
[サンドボックスとエッジ関数を有効にする] のトグルがオンになっていることを確認します。
[サンドボックスのテンプレート] セクションで、テンプレートマーケットプレイス をクリックします。
右側に表示される テンプレートマーケットプレイス パネルで、[テンプレート名] 列が
desktopで、[説明] 列がImage used in computer-use scenariosの行を見つけ、その行の [操作] 列にある [作成] をクリックします。テンプレートが作成されたら、[サンドボックスのテンプレート] リストに戻ります。[設定項目] が
desktopの行を見つけ、[テンプレート ID] 列の完全な値をコピーします。形式はdesktop-<random-suffix>です。このテンプレート ID は、後続のコードでSandbox.create(template="<template-id>")パラメーターの値として使用します。後で使用するために保存しておいてください。
ステップ 2:ドメイン名のバインド
Supabase インスタンスの IP アドレスにドメイン名をバインドします。
インスタンス詳細ページから、インスタンスのパブリックエンドポイントの IP アドレスを取得します。
ローカルの
/etc/hostsファイルにドメイン名マッピングエントリを追加します。次の例では、<instance-id>.sb.rds.comをドメイン名として使用します。<instance-ip> <instance-id>.sb.rds.com
開発およびテストシナリオでは、/etc/hosts に直接書き込みます。本番環境では、DNS 名前解決を使用します。
ステップ 3:e2b SDK パッチコードのダウンロード
GitHub リポジトリから e2b SDK パッチコード をダウンロードします。このパッチは RDS Supabase のルーティングに対応します。
ステップ 4:(任意) HTTPS アクセス用の SSL 設定
サンドボックスに HTTPS 経由でアクセスするには、まず Supabase インスタンスに SSL 証明書を設定します。次に、以下の環境変数を設定します。
# rootCA.pem は、Supabase インスタンス用に生成された SSL 証明書の CA 証明書です。
export SSL_CERT_FILE="/xxx/rootCA.pem"
export REQUESTS_CA_BUNDLE="/xxx/rootCA.pem"SSL が設定されていない場合、アクセスは HTTP にフォールバックします。
ステップ 5:環境変数の設定
e2b SDK が Supabase インスタンスに接続するために、以下の環境変数を設定してください。
# E2B_DOMAIN: 「ステップ 2:ドメイン名のバインド」でバインドしたドメイン名。
export E2B_DOMAIN=<instance-id>.sb.rds.com
# E2B_API_KEY: Supabase インスタンスのサービスキー。
export E2B_API_KEY=<your-service-key>サービスキーの取得方法:インスタンス詳細ページの右上隅にある [API キーの取得] をクリックします。ダイアログボックスで、[ServiceKey] の値をコピーします。
後続の Python コードで patch_e2b() を呼び出すと、パッチが e2b SDK に適用されます。パラメーターの True または False は、サンドボックスに HTTPS 経由でアクセスするかどうかを示します。True を渡すと HTTPS を使用します。この場合、まず RDS Supabase インスタンスで HTTPS を有効にし、「サンドボックスとエッジ関数の使用」で説明されているように HTTPS 関連の環境変数を設定する必要があります。False を渡すと HTTP を使用します。
ステップ 6:Desktop SDK のインストール
次のコマンドを実行して Desktop SDK をインストールします。
pip install e2b-desktopComputer-Use の例
Computer-Use のコアワークフローは、「ユーザーの指示を受け取り、Ubuntu デスクトップサンドボックスを作成し、画面をキャプチャし、スクリーンショットを AI ビジョンモデルに送信して分析し、モデルから返された操作 (クリック、入力、スクロールなど) を実行し、タスクが完了するまでループする」です。以下の 5 つの例は、それぞれ自己完結した実行可能な完全な Python スクリプトです。スクリプトをコピーし、「サンプルコードの実行」に従って .py ファイルとして保存し、直接実行できます。
例 1:デスクトップストリーミング (リモート表示)
インタラクティブなリモートデスクトップを起動し、ブラウザビューアの URL を取得して、ローカルブラウザでサンドボックスのデスクトップをリアルタイムに監視します。
from e2b_desktop import Sandbox
from patch_e2b import patch_e2b
patch_e2b(True)
desktop = Sandbox.create(template="<template-id>")
print(f"sandboxId: {desktop.sandbox_id}")
# 認証を有効にしてデスクトップストリーミングを開始します。
desktop.stream.start(require_auth=True)
auth_key = desktop.stream.get_auth_key()
print('Stream URL:', desktop.stream.get_url(auth_key=auth_key))
input("Enter キーを押して終了")
desktop.kill()出力された Stream URL をブラウザで開き、サンドボックスのデスクトップをリアルタイムで表示できます。
例 2:UI コントロール (キーボードとマウス)
ブラウザを自動的に開き、キーボード入力をシミュレートして、基本的な UI コントロールを実装します。
from e2b_desktop import Sandbox
from patch_e2b import patch_e2b
patch_e2b(True)
with Sandbox.create(template="<template-id>") as desktop:
# ブラウザを開きます。
desktop.launch('google-chrome')
# URL を入力します。
desktop.write('https://www.alibabacloud.com')
# Enter キーを押してアクセスします。
desktop.press('enter')
input("Enter キーを押して終了")例 3:カスタム解像度とスクリーンショット
指定された解像度と DPI でデスクトップサンドボックスを作成し、画面イメージをキャプチャします。
from e2b_desktop import Sandbox
from patch_e2b import patch_e2b
patch_e2b(True)
# 指定された解像度でデスクトップサンドボックスを作成します。
sandbox = Sandbox.create(
template="<template-id>",
resolution=(1024, 720),
dpi=96,
timeout=300,
)
# ストリーミングを開始し、ブラウザで表示します。
sandbox.stream.start()
print("View desktop at:", sandbox.stream.get_url())
# 画面をキャプチャします。
img_bytes = sandbox.screenshot()
with open("screenshot.png", "wb") as f:
f.write(img_bytes)
print("Screenshot saved.")
sandbox.kill()完全なデスクトップコントロール API
E2B Desktop SDK が提供するデスクトップコントロールメソッドは、次のように分類されます。
カテゴリ | メソッド |
マウス操作 |
|
キーボード操作 |
|
スクロール操作 |
|
スクリーンショット |
|
コマンドの実行 |
|
完全な呼び出し例:
from e2b_desktop import Sandbox
from patch_e2b import patch_e2b
patch_e2b(True)
sandbox = Sandbox.create(template="<template-id>")
# —— マウス操作 ——
sandbox.left_click(500, 300) # 左クリック
sandbox.right_click(500, 300) # 右クリック
sandbox.double_click(500, 300) # ダブルクリック
sandbox.middle_click(500, 300) # 中央クリック
sandbox.move_mouse(500, 300) # マウス移動
sandbox.drag([100, 200], [400, 500]) # ドラッグ
# —— キーボード操作 ——
sandbox.write("Hello, world!") # テキスト入力
sandbox.press('enter') # キープレス
# —— スクロール操作 ——
sandbox.scroll("down", 3) # 3 単位下にスクロール
sandbox.scroll("up", 3) # 3 単位上にスクロール
# —— スクリーンショット ——
img_bytes = sandbox.screenshot()
# —— コマンドの実行 ——
sandbox.commands.run("ls -la /home")
sandbox.kill()例 5:AI ビジョン駆動の自動化ループ
AI ビジョンモデル (OpenAI GPT-4o や Anthropic Claude など) と組み合わせて、「画面キャプチャ、AI 分析、操作実行」のクローズドな自動化ループを実装し、AI が人間のように画面を観察し、デスクトップを制御してタスクを完了できるようにします。
LLM から返される操作オブジェクトの仕様は次のとおりです。
操作タイプ | 例 |
クリック |
|
テキスト入力 |
|
キープレス |
|
スクロール |
|
ドラッグ |
|
タスク完了 |
|
自動化ループのコード例:
from e2b_desktop import Sandbox
from patch_e2b import patch_e2b
patch_e2b(True)
sandbox = Sandbox.create(
template="<template-id>",
resolution=(1024, 720),
dpi=96,
timeout=300,
)
def get_next_action_from_llm(screenshot):
"""
スクリーンショットを AI ビジョンモデルに送信し、次のアクションを取得します。
これはプレースホルダー関数です。独自の LLM 呼び出しに置き換えてください。
モデルは、前述の表で定義された形式の操作オブジェクトを返すか、
タスクの完了を示すために None を返す必要があります。
"""
pass
# 自動化ループ:画面キャプチャ、AI 分析、操作実行。
while True:
screenshot = sandbox.screenshot()
action = get_next_action_from_llm(screenshot)
if not action:
break
if action.type == "click":
sandbox.left_click(action.x, action.y)
elif action.type == "type":
sandbox.write(action.text)
elif action.type == "keypress":
sandbox.press(action.keys)
elif action.type == "scroll":
direction = "up" if action.scroll_y < 0 else "down"
sandbox.scroll(direction, abs(action.scroll_y))
elif action.type == "drag":
sandbox.drag(
[action.start_x, action.start_y],
[action.end_x, action.end_y]
)
sandbox.kill()プレースホルダー関数 get_next_action_from_llm は、独自の LLM サービス (OpenAI Vision、Anthropic Claude Vision など) と統合する必要があります。このトピックでは、LLM の統合の詳細については説明しません。詳細については、対応するモデルの公式ドキュメントをご参照ください。
サンプルコードの実行
上記 6 つの設定手順を完了した後、このトピックの Python サンプルを次のように実行してください。
ステップ 1:スクリプトファイルの作成
サンプルコードを .py ファイルとして保存してください。ファイルは、「Computer-Use の設定」のステップ 3 でダウンロードした patch_e2b ソースコードと同じディレクトリに配置する必要があります。そうしないと、ModuleNotFoundError: No module named 'patch_e2b' エラーが発生します。ディレクトリ構造の例:
e2b-sdk-patch/
├── patch_e2b/ # 「Computer-Use の設定」のステップ 3 でダウンロードしたパッチソースコード
└── demo.py # サンプルスクリプトスクリプトを別のディレクトリに配置するには、patch_e2b のソースパスを PYTHONPATH に追加してください。
export PYTHONPATH="/path/to/e2b-sdk-patch:$PYTHONPATH"/path/to/e2b-sdk-patch はプレースホルダーです。ローカルの patch_e2b ソースの実際の絶対パス (例:/Users/yourname/code/e2b-sdk-patch) に置き換えてください。:$PYTHONPATH は、既存のパスが上書きされないようにします。設定後、設定を有効にするには、同じターミナルウィンドウでスクリプトを実行してください。
ステップ 2:コード内のプレースホルダーの置換
サンプルコード内の <template-id> を、「Computer-Use の設定」のステップ 1 で記録したテンプレート ID (形式:desktop-<suffix>) に置き換えてください。
ステップ 3:環境変数が有効であることの確認
スクリプトを実行するターミナルで、次のコマンドを実行して、「Computer-Use の設定」のステップ 5 で設定した環境変数がロードされていることを確認してください。
# <instance-id>.sb.rds.com と表示されるはずです
echo $E2B_DOMAIN
# Supabase の ServiceKey が表示されるはずです
echo $E2B_API_KEYステップ 4:スクリプトの実行
python3 demo.py起動時の一般的な問題
Q1:エラー ModuleNotFoundError: No module named 'patch_e2b' が発生した場合はどうすればよいですか?
A:スクリプトが patch_e2b のソースディレクトリにありません。スクリプトをパッチのソースディレクトリに移動するか、PYTHONPATH 環境変数を設定してパッチのソースパスを指すようにしてください。
Q2:エラー ModuleNotFoundError: No module named 'e2b_desktop' が発生した場合はどうすればよいですか?
A:Desktop SDK がインストールされていません。pip install e2b-desktop を実行してください。
Q3:接続がタイムアウトするか、DNS 名前解決が失敗した場合はどうすればよいですか?
A:/etc/hosts ファイルにドメインマッピングが含まれていないか、E2B_DOMAIN 環境変数が設定されていない可能性があります。「Computer-Use の設定」のステップ 2 とステップ 5 を確認してください。
Q4:401 認証が失敗した場合はどうすればよいですか?
A:E2B_API_KEY が正しくありません。インスタンス詳細ページの右上隅にある [API キーの取得] をクリックして新しい ServiceKey を取得し、環境変数を更新してください。