DataWorks:ノートブックの基本開発

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• ワークスペースで新しい Data Studio が有効化されていること

• ノートブックを本番環境で実行するために必要な、サーバーレスリソースグループが作成済みであること

• ノートブックを開発環境で実行およびデバッグするために必要な、個人開発環境インスタンスが作成済みであること。まだ作成していない場合は、「個人開発環境インスタンスの作成」をご参照ください。

操作手順

1. ノートブックノードを作成する Data Studio で、ワークスペースディレクトリ の下にノートブックノードを作成します。名前として hello_notebook のような名前を入力し、送信します。

2. 個人開発環境を選択する 画面上部のナビゲーションバーで 個人開発環境 をクリックし、ドロップダウンリストからご利用の個人開発環境インスタンスを選択します。

3. Python 変数を定義する Python セルを追加し、以下のコードを入力します。これにより、次のステップで SQL クエリで使用する city 変数が定義されます。

   # 後続の SQL クエリで使用する変数を定義
   city = '北京'
   print(f"city 変数を定義しました：city = {city}")

4. 変数を参照する SQL セルを作成する Python セルの直後に SQL セルを追加します。セルの右下隅で SQL の種類を MaxCompute SQL に切り替え、以下の内容を入力します。

   -- Python で定義した変数を使用したクエリ
   SELECT '${city}' AS city;

   ${city} 構文により、上記の Python セルで定義された値が自動的に取得されます。

5. すべてのセルを実行して出力を確認する ノートブックツールバーの すべて実行 をクリックします。以下の 2 つの動作が行われます。

   • Python セルで city 変数を定義しました：city = 北京 と表示されます。

   • SQL セルでクエリ結果がその下の表形式で表示されます。

Python と SQL の間でデータをやり取りするノートブックの作成および実行が完了しました。

開発環境と本番環境の違い

計算リソースとカーネル

• 計算リソース：ノートブックに接続されるバックエンドのコンピュートエンジン（例：MaxCompute、EMR Serverless Spark）。SQL セルを実行するには、必ず計算リソースにバインドする必要があります。

• Python カーネル：Python コードを実行するバックエンド環境 — 通常はご利用の個人開発環境インスタンスです。Python セル内で %odps などのマジックコマンドを使用すると、計算リソースへの接続、タスクの送信、データ操作などが可能です。

フォルダーの種類

ノートブックを作成する場所によって、共同作業モデル、権限、デプロイメントパスが決まります。

セルの管理

セル間でのパラメーターの受け渡し

# Python セル
table_name = "dwd_user_info_d"
limit_num = 10

-- SQL セル
SELECT * FROM ${table_name} LIMIT ${limit_num};

SQL から Python への受け渡し

SQL セルで SELECT クエリを実行すると、その結果が自動的に DataFrame 変数として保存されます。以降の任意の Python セルでこの変数にアクセスできます。

• 変数名：デフォルトでは df_ で始まります。SQL セルの左下隅に表示される名前をクリックすると、変数名を変更できます。

• 変数の型：使用する SQL エンジンによって異なります。SQL セルの左下隅に表示される DataFrame ラベルをクリックすると、サポートされている複数の型の間で切り替えることができます。

SQL エンジン	サポートされる型
MaxCompute SQL	Pandas DataFrame、MaxCompute MaxFrame
AnalyticDB for Spark SQL	Pandas DataFrame、PySpark MaxFrame
その他の SQL 種別	Pandas DataFrame

重要

セルに複数の SQL ステートメントが含まれる場合、最後のステートメントの結果のみが DataFrame 変数に保存されます。

例：

DataWorks Copilot の使用

DataWorks Copilot は、コードの生成および説明を支援する組み込み AI プログラミングアシスタントです。起動するには、以下のいずれかの方法を使用します。

• 選択中のセルの左上隅にある Copilot アイコンをクリックします。

• SQL セル内を右クリックし、Copilot を選択します。

• Cmd+I（Mac）または Ctrl+I（Windows）を押します。

1. パラメーター化スケジュールの設定

パラメーター化スケジュールにより、ノートブックは実行ごとに異なる値を受け取ることができます。コードを変更せずに、異なる日次パーティションのデータを処理する場合などに便利です。

使用するタイミング：ノートブックが実行ごとに異なるデータスライス（例：毎日昨日のパーティションを読み込む）を処理する必要がある場合に、パラメーター化スケジュールを設定します。

1. パラメーター定義を含む Python セルの右上隅にある ... をクリックし、セルをパラメーターとしてマーク を選択します。parameters タグが表示され、これがパラメーターの入力ポイントとしてマークされます。

   

2. 右ペインで スケジューリング をクリックし、スケジューリングパラメーター を展開します。コード内で定義した変数（例：var）に値を割り当てます。

   

実行時には、スケジューリングシステムがコード内の変数を設定された値に置き換えます。

2. 実行環境の構成

1. イメージの選択：スケジューリング で、ノートブックに必要なすべての Python 依存関係を含むイメージを選択します。個人開発環境インスタンスで pip install を使用してパッケージをインストールした場合、その環境から DataWorks イメージを作成し、ここで選択します。

2. リソースグループの選択：タスク実行に使用するリソースグループを選択します。サーバーレスリソースグループの場合、起動失敗を回避するため、最大 16 CU までに設定してください。単一タスクでは最大 64 CU をサポートします。

3. RAM ロールの関連付け（任意）：詳細な権限制御を適用するには、ノードに関連付けられた Resource Access Management (RAM) ロールを設定します。ノードはそのロールの ID で実行されます。詳細については、「ノードへの関連ロールの設定」をご参照ください。

3. ノードのデプロイメント

ワークスペースディレクトリ内にあるノードのみがデプロイメントおよび定期スケジュール実行可能です。

• ワークスペースディレクトリ内のノートブック：ツールバーの デプロイ をクリックします。

• 個人ディレクトリ内のノートブック：保存 をクリックし、次に ワークスペースディレクトリへコミット をクリックしてから、デプロイメントを行います。

デプロイメント後は、オペレーションセンター の 自動トリガーされたノード ページで、ノートブックタスクをモニターおよび管理できます。