AnalyticDB:インタラクティブな Jupyter ジョブの開発

AnalyticDB for MySQL 提供のイメージの JupyterLab を使用して Spark に接続する

1. Docker イメージをインストールして起動する。

2. AnalyticDB for MySQL の Jupyter イメージをプルします。次のコマンドを実行します。

   docker pull registry.cn-hangzhou.aliyuncs.com/adb-public-image/adb-spark-public-image:adb.notebook.0.5.pre

3. インタラクティブな JupyterLab 開発環境を起動します。

   コマンド構文:

   docker run -it 
     -p {ホストポート}:8888 
     -v {ホストファイルパス}:{Docker ファイルパス} 
     registry.cn-hangzhou.aliyuncs.com/adb-public-image/adb-spark-public-image:adb.notebook.0.5.pre
     -d {ADB インスタンス ID} 
     -r {リソースグループ名} 
     -e {API エンドポイント} 
     -i {AK ID} 
     -k {AK シークレット}
     -t {StsToken} # StsToken または AK のいずれかを選択

   次の表にパラメーターを示します。

   パラメーター	必須	説明
   -p	いいえ	ホストポートをコンテナポートにマップします。-p {ホストポート}:{コンテナポート} の形式でパラメーターを指定します。 ホストポートにランダムな値を指定し、コンテナポートを 8888 に設定します。例: -p 8888:8888。
   -v	いいえ	ホストパスをマウントせずに Docker コンテナを無効にすると、編集ファイルが失われる可能性があります。Docker コンテナを無効にすると、コンテナは実行中のすべてのインタラクティブ Spark ジョブを終了しようとします。編集ファイルの損失を防ぐには、次のいずれかの方法を使用できます。 インタラクティブな JupyterLab 開発環境を起動するときに、ホストパスを Docker コンテナにマウントし、ジョブファイルを対応するファイルパスに保存します。-v {ホストパス}:{Docker ファイルパス} の形式でパラメーターを指定します。Docker コンテナのファイルパスにランダムな値を指定します。推奨値: /root/jupyter。 Docker コンテナを無効にする前に、すべてのファイルがコピーされて保存されていることを確認してください。 例: -v /home/admin/notebook:/root/jupyter。この例では、/home/admin/notebook パスに保存されているホストファイルが Docker コンテナの /root/jupyter パスにマウントされます。 説明 編集中のノートブックファイルを /tmp フォルダに保存します。Docker コンテナを無効にした後、ホストの /home/admin/notebook パスで対応するファイルを表示できます。Docker コンテナを再度有効にすると、ファイルの実行を続行できます。詳細については、「ボリューム」をご参照ください。
   -d	はい	AnalyticDB for MySQL Enterprise Edition、Basic Edition、または Data Lakehouse Edition クラスタの ID。 AnalyticDB for MySQL コンソール にログインし、[クラスタ] ページに移動して、クラスタ ID を表示できます。
   -r	はい	AnalyticDB for MySQL クラスタのジョブリソースグループの名前。 AnalyticDB for MySQL コンソールにログインし、左側のナビゲーションウィンドウで[クラスター管理 > Resource Management] を選択し、[リソースグループ] タブをクリックすると、リソースグループ名を表示できます。
   -e	はい	AnalyticDB for MySQL クラスタのエンドポイント。 詳細については、「エンドポイント」をご参照ください。
   -i	はい (特定のシナリオ)	Alibaba Cloud アカウントまたは RAM ユーザーの AccessKey ID と AccessKey シークレット。 AccessKey ID と AccessKey シークレットの表示方法については、「アカウントと権限」をご参照ください。
   -k
   -t	はい (特定のシナリオ)	Security Token Service (STS) トークン。RAM ロールの 一時的な ID クレデンシャルです。 権限を持つ RAM ユーザーは、自身の AccessKey ペアを使用して AssumeRole - RAM ロールの 一時的な ID クレデンシャルを取得する API 操作を呼び出し、RAM ロールの STS トークンを取得し、STS トークンを使用して Alibaba Cloud リソースにアクセスできます。

   例:

   docker run -it  -p 8888:8888 -v /home/admin/notebook:/root/jupyter registry.cn-hangzhou.aliyuncs.com/adb-public-image/adb-spark-public-image:adb.notebook.0.5.pre -d amv-bp164l******** -r test -e adb.aliyuncs.com -i LTAI**************** -k ****************

   インタラクティブな JupyterLab 開発環境を起動すると、次の情報が返されます。http://127.0.0.1:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291 URL をコピーしてブラウザに貼り付け、JupyterLab を使用して AnalyticDB for MySQL Spark に接続できます。

   [I 2023-11-24 09:55:09.852 ServerApp] nbclassic | 拡張機能が正常にロードされました。
   [I 2023-11-24 09:55:09.852 ServerApp] sparkmagic 拡張機能が有効になりました!
   [I 2023-11-24 09:55:09.853 ServerApp] sparkmagic | 拡張機能が正常にロードされました。
   [I 2023-11-24 09:55:09.853 ServerApp] ローカルディレクトリ /root/jupyter からノートブックを提供しています
   [I 2023-11-24 09:55:09.853 ServerApp] Jupyter Server 1.24.0 は http://419e63fc7821:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291 で実行されています
   [I 2023-11-24 09:55:09.853 ServerApp] または http://127.0.0.1:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291
   [I 2023-11-24 09:55:09.853 ServerApp] Ctrl+C を使用してこのサーバーを停止し、すべてのカーネルをシャットダウンします (確認をスキップするには 2 回)。
   

   説明

   インタラクティブな JupyterLab 開発環境の起動時にエラーメッセージが表示された場合は、proxy_{timestamp}.log ファイルを参照してトラブルシューティングできます。

ローカルにインストールされた Jupyter Notebook を使用して Spark に接続する

jupyter lab

[I 2025-07-02 17:36:16.051 ServerApp] ローカルディレクトリ /home/newuser からノートブックを提供しています
[I 2025-07-02 17:36:16.052 ServerApp] Jupyter Server 2.16.0 は http://419e63fc7821:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291 で実行されています
[I 2025-07-02 17:36:16.052 ServerApp] http://127.0.0.1:8888/lab?token=1e2caca216c1fd159da607c6360c82213b643605f11ef291
[I 2025-07-02 17:36:16.052 ServerApp] Ctrl+C を使用してこのサーバーを停止し、すべてのカーネルをシャットダウンします (確認をスキップするには 2 回)。

リソースを起動し、ジョブの最大 ACU 使用量を定義する

1. Jupyter を使用して AnalyticDB for MySQL Spark に接続した後、ページの [PySpark] をクリックして新しい PySpark ジョブを作成します。Spark ジョブは次のデフォルトの構成パラメーターで実行されます。

   {
      "kind": "pyspark", // ジョブの種類
       "heartbeatTimeoutInSecond": "60", // ハートビートタイムアウト（秒）
       "spark.driver.resourceSpec": "medium", // ドライバーのリソース仕様
       "spark.executor.resourceSpec": "medium", // Executor のリソース仕様
       "spark.executor.instances": "1", // Executor のインスタンス数
       "spark.dynamicAllocation.shuffleTracking.enabled": "true", // シャッフルトラッキングの有効化
       "spark.dynamicAllocation.enabled": "true", // 動的割り当ての有効化
       "spark.dynamicAllocation.minExecutors": "0", // 最小 Executor 数
       "spark.dynamicAllocation.maxExecutors": "1", // 最大 Executor 数
       "spark.adb.sessionTTLSeconds": "1200" // セッションの TTL（秒）
   }

2. Spark アプリケーションの構成パラメーターを変更するには、%%configure -f ステートメントを使用します。

   1. カーネルを再起動します。

      トップナビゲーションバーで、[カーネル] > [カーネルの再起動とすべての出力のクリア] を選択します。実行中の Spark アプリケーションが Jupyter 開発ページに表示されていないことを確認してください。

      

   2. Jupyter Notebook セルにカスタム Spark アプリケーション構成パラメーターを入力します。

      重要

      カスタム Spark アプリケーション構成パラメーターを指定する場合、spark.dynamicAllocation.enabled パラメーターを false に設定する必要があります。

      例:

      この構成では、Spark ジョブに 32 個の Executor を割り当て、各 Executor の仕様は medium (2 コアおよび 8 GB メモリ) です。ジョブ全体で合計 64 ACU の計算リソースを割り当てることができます。

      %%configure -f
      {
         "spark.driver.resourceSpec":"large", // ドライバーのリソース仕様
         "spark.sql.hive.metastore.version":"adb", // Hive Metastore のバージョン
         "spark.executor.resourceSpec":"medium", // Executor のリソース仕様
         "spark.adb.executorDiskSize":"100Gi", // Executor のディスクサイズ
         "spark.executor.instances":"32", // Executor のインスタンス数
         "spark.dynamicAllocation.enabled":"false", // 動的割り当ての有効化
         "spark.network.timeout":"30000", // ネットワークタイムアウト
         "spark.memory.fraction":"0.75", // メモリの割合
         "spark.memory.storageFraction":"0.3" // ストレージメモリ の割合
      }

      Spark アプリケーション構成パラメーターの詳細については、「Spark アプリケーション構成パラメーター」および「Spark 公式 Web サイト」をご参照ください。

3. ボタンをクリックして、Spark アプリケーション構成パラメーターを変更します。

   重要

   • Jupyter Notebook ページを閉じると、指定したカスタム構成パラメーターは有効ではなくなります。 Jupyter Notebook ページを再度開いた後に Spark アプリケーション パラメーターを指定しないと、デフォルトの構成パラメーターを使用して Spark ジョブが実行されます。

   • Jupyter Notebook ページで Spark ジョブを実行すると、ジョブのすべての構成は、バッチジョブを送信するときに必要な JSON 構造の conf オブジェクトではなく、JSON 構造に直接書き込まれます。

ジョブを実行する

1. spark コマンドを入力して、SparkSession を開始します。

   説明

   戻り値にある [リンク] をクリックして Spark UI インターフェイスにアクセスし、Spark ジョブログなどの情報を表示します。

2. Jupyter Notebook セルで Spark SQL を実行して、AnalyticDB for MySQL クラスタで使用可能なデータベースのリストをクエリします。

   重要

   Spark SQL コードを実行する前に %%sql を追加する必要があります。追加しないと、デフォルトで Python コードとして解析されます。%%help を実行して、マジックコマンドとその使用方法の詳細を確認できます。

   %%sql
   show databases

   クエリ結果は AnalyticDB for MySQL の結果と一致しています。