すべてのプロダクト
Search
ドキュメントセンター

DataWorks:高度なノートブック開発

最終更新日:Sep 25, 2026

コードの再利用、データセットのマウント、パラメーター管理により、開発効率を向上できます。MaxCompute Spark、EMR Serverless Spark、AnalyticDB for Spark などのコンピューティングエンジンに接続できます。

説明

「基本的なノートブック開発」をご参照いただくことを推奨します。

環境の違い

DataWorks ノートブックは、2 つの環境で実行される スケジューリング可能な開発・分析ツール です。

  • 開発環境:DataStudio の DataWorks ノートブック編集ページでセルを実行すると、コードは迅速な検証とデバッグのために個人の開発環境インスタンスで実行されます。

  • 本番環境:DataWorks ノートブックノードをコミットしてパブリッシュすると、定期スケジューリングまたはデータバックフィルが実行をトリガーし、安定した信頼性の高い本番実行のために、分離された一時的なタスクインスタンスで実行されます。

両方の環境で動作する必要があるコードを作成する際は、これらの違いに留意してください。

機能の違い

機能

開発環境 (セルの実行)

本番環境 (定期スケジューリング、データバックフィル)

プロジェクトリソースの参照 (.py)

  • 初回参照:リソースは自動的にダウンロードされ、有効になります。

  • 更新後:ツールバーの 再起動 ボタンをクリックして、更新された .py モジュールを再読み込みします。

    重要

    DataStudio の設定で、DataWorks›ノートブック›リソース参照: ダウンロードストラテジー の設定を autoOverwrite に変更します。

自動的に有効になります。

データセットの読み書き (OSS/NAS)

個人の開発環境 でデータセットをマウントします。

スケジューリング設定 でデータセットをマウントします。

ワークスペースパラメーターの参照 (${...})

コード実行前に、パラメーターは 自動的に その値に置換されます。

タスク実行前に、パラメーターは 自動的に その値に置換されます。

Spark セッション管理

Spark セッションには 2 時間のアイドルタイムアウトがあり、自動的に解放されます。

DataWorks は、各タスクインスタンスに対して短期間のセッションを自動的に作成および破棄します。

本番環境でのコードとデータの再利用

プロジェクトリソースの参照 (.py ファイル)

共通の関数またはクラスを .py ファイルにカプセル化し、##@resource_reference{"custom_name.py"} を使用して MaxCompute リソースとして参照します。

  1. Python リソースの作成と公開

    1. DataWorks の DataStudio の左側メニューで、image アイコンをクリックして [リソース管理] に移動します。

    2. リソース管理ツリーで、ターゲットディレクトリを右クリックするか、右上の [+] をクリックします。リソースの新規作成 > [MaxCompute Python] を選択し、リソースに my_utils.py という名前を付けます。

    3. ファイルの内容 セクションで、オンライン編集 をクリックし、デバッグ済みのユーティリティ関数コードをエディターに貼り付け、保存 をクリックします。

      # my_utils.py
      def greet(name):
          return f"Hello, {name} from resource file!"
    4. ツールバーで 保存 をクリックし、次に 公開 をクリックします。これにより、リソースは 開発タスクと本番タスクの両方から表示されるようになります。

  2. ノートブックでのリソースの参照

    ノートブックの Python セル の 最初の行 で、##@resource_reference 構文を使用して公開されたリソースを参照します。

    ##@resource_reference{"my_utils.py"}
    # リソースが my_folder/my_utils.py のようにディレクトリ内にある場合でも、ディレクトリ名なしで ##@resource_reference{"my_utils.py"} を使用します。
    from my_utils import greet
    message = greet('DataWorks')
    print(message)
  3. 開発環境でのデバッグと実行

    Python セルを実行します。次の結果が出力されます:

    Hello, DataWorks from resource file!
    重要

    開発環境でデバッグおよび実行すると、システムは ##@resource_reference 宣言を検出し、リソース管理からターゲットファイルを個人ディレクトリ内の workspace/_dataworks/resource_references にダウンロードします。

    ModuleNotFoundError エラーが発生した場合は、エディターのツールバーで 再起動 ボタンをクリックしてリソースをリロードしてから、再試行してください。

  4. 本番環境への公開と検証

    このノートブックノードを 保存 して 公開 した後、オペレーションセンター > 定期タスク に移動し、[テスト] をクリックして実行します。タスクが正常に実行されると、ログに出力 Hello, DataWorks from resource file! が表示されます。

    重要

    There is no file with id ... エラーが発生した場合は、まず Python リソースを本番環境に公開していることを確認してください。

その他の操作については、「MaxCompute リソースと関数」をご参照ください。

データセットの読み取りと書き込み (OSS/NAS)

ノートブックタスクの実行中に、OSS または NAS に保存されている大きなファイルを読み書きします。

開発環境でのデバッグ

  1. データセットのマウント:個人開発環境の詳細ページに移動し、ストレージ構成 > データセット でデータセットを設定します。

  2. コードでのアクセス:データセットは、個人開発環境のマウントパスにマウントされます。コード内でこのパスから直接読み取りまたは書き込みができます。

    # 個人開発環境でデータセットを /mnt/data/dataset にマウントしたと仮定します。
    import pandas as pd
    # マウントパスを直接使用します。
    file_path = '/mnt/data/dataset/testfile.csv'
    df = pd.read_csv(file_path)
    # PyODPS を使用してデータを MaxCompute に書き込みます。
    o = %odps
    o.write_table('mc_test_table', df, overwrite=True)
    print(f"Successfully wrote data to the MaxCompute table mc_test_table")

本番環境へのデプロイ

  1. データセットのマウント:ノートブックノードのエディターの右側のナビゲーションペインで、スケジューリング設定 > スケジューリングポリシー に移動し、同じデータセットを追加します。

  2. コードでのアクセス:ノートブックをコミットして公開すると、データセットは本番環境のマウントパスにマウントされます。コード内でこのパスから直接読み取りまたは書き込みができます。

    # データセットが本番環境の /mnt/data/dataset にマウントされていると仮定します。
    import pandas as pd
    # マウントパスを直接使用します。
    file_path = '/mnt/data/dataset/testfile.csv'
    df = pd.read_csv(file_path)
    # PyODPS を使用してデータを MaxCompute に書き込みます。
    o = %odps
    o.write_table('mc_test_table', df, overwrite=True)
    print(f"Successfully wrote data to the MaxCompute table mc_test_table")
その他の操作については、「個人開発環境でデータセットを使用する」をご参照ください。

ワークスペースパラメーターの参照

重要

この機能は、DataWorks Professional Edition 以降でのみ利用可能です。

スケジューリングパラメーターに加えて、DataWorks は、タスクやノード間でグローバル構成を再利用し、環境を分離するためのワークスペースパラメーターを提供します。SQL および Python セルで ${workspace.param} を使用して参照します。ここで、param はパラメーター名です。

1. ワークスペースパラメーターの作成:DataWorks で、オペレーションセンター > スケジュール設定 > ワークスペースパラメーター に移動してパラメーターを作成します。

2. ワークスペースパラメーターの参照:

  • SQL セルでワークスペースパラメーターを参照します。

    SELECT '${workspace.param}';

    クエリが正常に実行されると、パラメーターの解決された値が出力されます。

  • Python セルでワークスペースパラメーターを参照します。

    print('${workspace.param}')

    コードが正常に実行されると、パラメーターの解決された値が出力されます。

詳細については、「ワークスペースパラメーターを使用する」をご参照ください。

マジックコマンドによるコンピュートエンジンとの連携

マジックコマンド (% または %% プレフィックス) を使用すると、認証情報や接続の詳細をハードコーディングすることなく、Python セル をコンピューティングリソースに接続できます。

MaxCompute への接続

説明

MaxCompute コンピューティングリソースに接続する前に、MaxCompute コンピューティングリソースをバインドしていることを確認してください。

  • %odps: PyODPS エントリオブジェクトの取得

    AccessKey をハードコーディングする必要はありません。

    1. マジックコマンドを使用して MaxCompute 接続を作成します。 %odps を入力します。右下隅に MaxCompute コンピューティングリソースセレクターが表示され、自動的にコンピューティングリソースが選択されます。右下隅の MaxCompute プロジェクト名をクリックして、MaxCompute プロジェクトを切り替えることができます。

      o=%odps 
    2. 返された MaxCompute コンピューティングリソースを使用して、PyODPS スクリプトを実行します。

      例えば、現在のプロジェクトのすべてのテーブルを取得するには、次のようにします。

      with o.execute_sql('show tables').open_reader() as reader:
          print(reader.raw)
  • %maxframe: MaxFrame 接続の確立

    MaxCompute 上で pandas ライクな分散データ処理を行うための MaxFrame セッションを作成します。

    # MaxCompute MaxFrame セッションに接続してアクセスします。
    mf_session = %maxframe
    df = mf_session.read_odps_table('your_mc_table')
    print(df.head())
    # 開発・デバッグ後は、リソースを解放するためにセッションを破棄します。
    mf_session.destroy()

Spark コンピューティングリソースへの接続

DataWorks ノートブックは複数の Spark エンジンをサポートしており、それぞれ異なる接続方法、実行コンテキスト、リソースライフサイクルを持っています。

重要

1 つのノートブックノードでは、マジックコマンドを使用して 1 種類のコンピューティングリソースにのみ接続できます。

エンジンの比較

機能

MaxCompute Spark

EMR Serverless Spark

AnalyticDB for Spark

接続コマンド

%maxcompute_spark

%emr_serverless_spark

%adb_spark add

説明

コマンドを実行すると、ノートブックカーネル全体の実行コンテキストがリモート PySpark 環境に切り替わります。以降のセルでは、PySpark コードを直接記述できます。ただし、MaxCompute Spark を使用する場合は、セルマジック%%sparkを使用する必要があります。

前提条件

MaxCompute コンピューティングリソース のバインド。

EMR コンピューティングリソース のバインドと Livy ゲートウェイ の作成。

AnalyticDB for Spark コンピューティングリソース のバインド。

開発環境モード

Livy セッションを自動的に作成または再利用します。

既存の Livy ゲートウェイ に接続してセッションを作成します。

Spark Connect サーバーを自動的に作成または再利用します。

本番環境モード

Livy モード: Livy サービスを介して Spark ジョブを送信します。

spark-submit バッチモード: セッション状態を保持しない純粋なバッチ処理。

Spark Connect サーバー モード: Spark Connect サービスを介した連携。

本番環境でのリソース解放

タスクインスタンスの終了後、セッションは自動的に解放されます。

タスクインスタンスの終了後、リソースは自動的にクリーンアップされます。

タスクインスタンスの終了後、リソースは自動的に解放されます。

ユースケース

MaxCompute エコシステムと緊密に統合されたバッチ処理および ETL タスク。

Hudi や Iceberg などのオープンソースビッグデータエコシステムとの連携が必要な、柔軟な構成を持つ複雑な分析タスク。

AnalyticDB for MySQL の C-Store テーブル に対する高性能な対話型クエリと分析。

MaxCompute Spark

説明

MaxCompute コンピューティングリソースに接続する前に、MaxCompute コンピューティングリソースをバインドしていることを確認してください。

Livy を介して MaxCompute プロジェクトの組み込み Spark エンジンに接続します。

  1. 接続の確立: Python セル で次のコマンドを実行します。システムは自動的に Spark セッションを作成または再利用します。

    # Spark セッションを作成します。
    %maxcompute_spark
  2. PySpark コードの実行: 接続が確立された後、新しい Python セル で %%spark セルマジックを使用して PySpark コードを実行します。

    # MaxCompute Spark を使用する場合、Python セルは %%spark で始まる必要があります。
    %%spark
    df = spark.sql("SELECT * FROM your_mc_table LIMIT 10")
    df.show()
  3. 接続の手動解放: 開発・デバッグ後、セッションを手動で停止または削除できます。本番環境で実行する場合、システムは現在のタスクインスタンスの Livy セッションを自動的に停止して削除します。

    # Spark セッションをクリーンアップし、Livy セッションを停止します。
    %maxcompute_spark stop
    # Spark セッションをクリーンアップしてから、Livy 構成を停止して削除します。
    %maxcompute_spark delete

EMR Serverless Spark

説明

コンピューティングリソースに接続する前に、ワークスペースで EMR Serverless Spark コンピューティングリソースをバインドし、Livy ゲートウェイを作成しておく必要があります。

既存の Livy ゲートウェイを介して EMR Serverless Spark に接続します。

  1. 接続の確立: コマンドを実行する前に、セルの右下隅で EMR コンピューティングリソース と Livy ゲートウェイ を選択する必要があります。

    # 基本的な接続
    %emr_serverless_spark
    # または、接続時にカスタム Spark パラメーターを渡すには、2 つのパーセント記号 (%%) を使用します。
    %%emr_serverless_spark
    {
      "spark_conf": {
        "spark.emr.serverless.environmentId": "<EMR_Serverless_Spark_runtime_environment_ID>",
        "spark.emr.serverless.network.service.name": "<EMR_Serverless_Spark_network_connection_ID>",
        "spark.driver.cores": "1",
        "spark.driver.memory": "8g",
        "spark.executor.cores": "1",
        "spark.executor.memory": "2g",
        "spark.driver.maxResultSize": "32g"
      }
    }
    説明

    カスタムパラメーターとグローバル構成の関係

    • デフォルトの動作: ここで定義するカスタムパラメーターは、現在のセッションにのみ適用されます。カスタムパラメーターを指定しない場合、システムは [管理センター] で構成されたグローバルパラメーターを使用します。

    • 推奨される使用方法: 複数のタスクまたは複数のユーザーで再利用する必要がある構成については、[管理センター] > [Serverless Spark] > [SPARK パラメーター] でグローバルに構成し、一貫性を確保して管理を簡素化することを推奨します。

    • 優先順位ルール: 同じパラメーターがカスタムパラメーターとグローバル構成の両方で設定されている場合、[管理センター] の グローバル[構成優先度] オプションによって、どちらの設定が有効になるかが決まります。

      • 選択されている場合: グローバル構成がこのセッションのカスタムパラメーターを上書きします。

      • 選択されていない場合: このセッションのカスタムパラメーターがグローバル構成を上書きします。

  2. (オプション) 再接続: 管理者が誤って Livy ゲートウェイページからトークンを削除した場合、次のコマンドを実行してトークンを再作成できます。

    # 再接続し、現在の個人開発環境の Livy トークンを更新します。
    %emr_serverless_spark refresh_token
  3. PySpark または SQL コードの実行: 接続が成功すると、カーネルが切り替わります。Python セル で PySpark コードを直接記述するか、EMR Spark SQL セル で SQL を記述できます。

    1. EMR Spark SQL セルでコンピューティングリソース上の SQL コードを送信して実行

      %emr_serverless_spark を使用して接続を確立した後、EMR Spark SQL セルでセル内のコンピューティングリソースを選択することなく、SQL ステートメントを直接記述できます。

      EMR Spark SQL セルは %emr_serverless_spark からの接続を再利用し、コードをターゲットコンピューティングリソースに送信して実行します。

      INSERT INTO employees VALUES
          (6, 'Fiona', 'Engineering', 98000.0),
          (7, 'George', 'Sales', 77000.0),
          (8, 'Hannah', 'Marketing', 72000.0),
          (9, 'Ian', 'Engineering', 105000.0),
          (10, 'Julia', 'HR', 68000.0);
    2. Python を使用してコンピューティングリソース上の PySpark コードを送信して実行

      接続を確立するために %emr_serverless_spark を使用した後、新しい Python セルで PySpark コードを送信して実行できます。セルに %%spark プレフィックスを追加する必要はありません。

      df = spark.sql("SELECT * FROM employees;")
      df.show()
      +---+-------+-----------+--------+
      | id|   name| department|  salary|
      +---+-------+-----------+--------+
      |  1|  Alice|Engineering| 95000.0|
      |  2|    Bob|  Marketing| 75000.0|
      |  3|Charlie|Engineering|110000.0|
      |  4|  Diana|         HR| 70000.0|
      |  5|   Evan|      Sales| 80000.0|
      |  6|  Fiona|Engineering| 98000.0|
      |  7| George|      Sales| 77000.0|
      |  8| Hannah|  Marketing| 72000.0|
      |  9|    Ian|Engineering|105000.0|
      | 10|  Julia|         HR| 68000.0|
      +---+-------+-----------+--------+
  4. 接続の手動解放

    重要

    複数のユーザーが Livy ゲートウェイ を共有している場合、stop または delete コマンドはゲートウェイを使用しているすべてのユーザーに影響します。これらのコマンドは慎重に使用してください。

    # Spark セッションをクリーンアップし、Livy セッションを停止します。
    %emr_serverless_spark stop
    # Spark セッションをクリーンアップしてから、Livy 構成を停止して削除します。
    %emr_serverless_spark delete

AnalyticDB for Spark

説明

コンピューティングリソースに接続する前に、ワークスペースで AnalyticDB for Spark コンピューティングリソースをバインドしてください。

Spark Connect サーバーを作成して AnalyticDB for Spark エンジンに接続します。

  1. 接続の確立: ネットワーク接続を確保するには、接続パラメーターで vSwitch ID とセキュリティグループ ID を正しく構成する必要があります。コマンドを実行する前に、セルの右下隅で ADB Spark コンピューティングリソース を選択してください。

    # ネットワーク接続を確立するには、vSwitch ID とセキュリティグループ ID を構成する必要があります。
    %adb_spark add \
     --spark-conf spark.adb.version=3.5 \
     --spark-conf spark.adb.eni.enabled=true \
     --spark-conf spark.adb.eni.vswitchId=<vSwitch_ID_of_ADB> \
     --spark-conf spark.adb.eni.securityGroupId=<security_group_id_of_your_personal_development_environment>

    vSwitch ID とセキュリティグループ ID の確認方法

    • vSwitch ID (vswitchId): Alibaba Cloud [AnalyticDB for MySQL] コンソールに移動します。インスタンスの詳細ページの [ネットワーク情報] セクションで、[vSwitch ID] を確認します。

    • セキュリティグループ ID (securityGroupId): 個人開発環境の詳細ページに移動します。ネットワーク設定 セクションで、sg- で始まる、選択した セキュリティグループ の ID を見つけます。

      重要

      ネットワーク接続を確保するために、個人開発環境を作成する際には、AnalyticDB for Spark インスタンスと同じ VPC および vSwitch を選択することを推奨します。

  2. PySpark コードの実行: 接続が成功した後、新しい Python セル で PySpark コードを実行します。

    # C-Store テーブルに対してのみ操作を実行できます。
    df = spark.sql("SELECT * FROM my_adb_cstore_table LIMIT 10")
    df.show()
    注意: AnalyticDB for Spark エンジンは現在、'storagePolicy'='COLD' 属性を持つ C-Store テーブルのみを処理できます。
  3. 接続の手動解放: デバッグ後、手動で接続セッションをクリーンアップしてリソースを節約します。本番環境では、リソースは自動的にクリーンアップされます。

    %adb_spark cleanup

Lindorm Ray コンピューティングリソースへの接続

Lindorm コンピュートエンジンの Ray リソースグループ は、エンドツーエンドの AI ワークロード向けに分散コンピューティングを提供します。対話型ノートブック開発に使用し、その後スケジュールされた本番タスクとして公開します。

開始する前に、次の手順を完了してください。

  • Lindorm インスタンスを購入する際、[コンピュートエンジンを有効にする] で [はい] を選択します。

  • Lindorm クラスターを DataWorks コンピューティングリソースとして追加します。詳細については、「Lindorm コンピューティングリソースのバインド」をご参照ください。

  • Lindorm コンソールでクラスターの Ray リソースグループを有効化します。リソースグループを作成する際、[詳細設定] で正しいイメージを指定して、一貫した環境を確保します。

    Ray リソースグループのイメージを構成するにはどうすればよいですか?

    Lindorm コンソールで Ray リソースグループを作成する際は、[詳細設定] を探し、以下の JSON コンテンツを入力してください。 イメージアドレス内の region を、お使いの Lindorm クラスタが配置されているリージョンに置き換えてください。 たとえば、beijing を shanghai に置き換えます。

    {
      "IMAGE": "spark-repo-beijing-registry-vpc.cn-beijing.cr.aliyuncs.com/lindorm-compute/ray:2.39.0-0.7.0-py311-cpu"
    }
  • 個人開発環境とサーバーレスリソースグループは、ネットワーク接続を確保するために、Lindorm クラスターと同じ VPC 内にある必要があります。

  1. 接続の確立: Python セル で %lindorm_ray マジックコマンドを実行します。コマンドを実行すると、セルの右下隅にコンピューティングリソースセレクターが表示されます。Lindorm コンピューティングリソース と作成した Ray リソースグループ を選択します。

    # 指定された Lindorm Ray リソースグループに接続します。
    %lindorm_ray
    重要
    • Lindorm Ray コンピューティングリソースに接続した後、同じノートブック内で SQL セルを実行できなくなります。Lindorm Ray エンジンは、Python および Ray コードの実行に特化しています。

    • 同じコードセルを複数回実行すると、システムは自動的に前の Ray ジョブを終了し、新しいジョブを開始します。これにより、リソースの無駄とタスクの競合を防ぎます。

  2. Ray コードの実行: 接続が成功した後、新しい Python セル で Ray コードを直接記述して実行できます。ログがリアルタイムでセルの出力エリアにストリーミングされるため、対話型デバッグが可能です。

    次の例では、@ray.remote デコレーターを使用して簡単なリモートタスクを定義します。タスクは Ray クラスターで実行され、ログと最終結果はセルの出力エリアに返されます。

    import ray
    import time
    @ray.remote
    def hello_world():
      print("Hello from Lindorm Ray!")
      time.sleep(5)
      return "Task finished."
    # リモートタスクを送信します。
    result_ref = hello_world.remote()
    print(ray.get(result_ref))
  3. (オプション) カスタム起動パラメーターの指定: サードパーティの Python パッケージのインストールやローカルコードファイルのアップロードなど、Ray 環境の追加設定を構成するには、%%lindorm_ray を使用して接続を確立します。

    • 例 1: 依存関係のインストール

      pip パラメーターを使用して、Ray 環境に jieba パッケージをインストールします。

      %%lindorm_ray
      {
        "runtime_env": {
          "pip": ["jieba"]
        }
      }

      環境の準備が整ったら、後続の Ray タスクでパッケージをインポートして使用します。次の例では、リモート関数で jieba を呼び出して中国語の単語分割を行う方法を示します。

      import ray 
      @ray.remote
      def do_work(x):
          import jieba
          return "/".join(jieba.cut(x))
      print(ray.get(do_work.remote("Welcome to the DataWorks LindormRay solution")))
    • 例 2: DataWorks リソースのアップロードと使用

      working_dir パラメーターを使用して、タスクでインポートするためのリソースをリソース管理から Ray クラスターにアップロードします。

      重要
      • working_dir を使用してリソースをアップロードする場合、ファイルは開発環境から Ray クラスターに直接アップロードされます。 100 MB のサイズ制限が適用されます。リソースパッケージが大きすぎると、アップロードが失敗したり、Ray ノードが不安定になったりする可能性があります。

      • 大きなリソースや依存関係 (100 MB 以上) の場合は、OSS にアップロードしてコード内で OSS からダウンロードするか、カスタムイメージにパッケージ化して、より高い安定性とパフォーマンスを実現してください。

      # リソース管理からリソースを参照し、パスを宣言します。
      %%lindorm_ray
      {
          "runtime_env": {
              "working_dir": "/mnt/workspace/_dataworks/resource_references"
          }
      }

      DataWorks のリソース管理に ray_resource.py という名前のファイルをアップロードしたとします。次のセルを実行すると、システムは ##@resource_reference 宣言を解析し、対応するリソースを /mnt/workspace/_dataworks/resource_references にダウンロードします。

      ray_resource.py のコード例:

      def fun():
          print("This is a test function in ray_resource.py")
      重要

      開発環境では、##@resource_reference を含むセルを実行した後、その前の %%lindorm_ray セルを再実行する必要があります。このセルを再実行すると、ダウンロードされたリソースが working_dir に含まれ、Ray クラスターにアップロードされます。本番環境では、セルを再実行する必要はありません。

      import ray 
      ##@resource_reference{"ray_resource.py"}
      @ray.remote
      def do_work(x):
          print('Ray says:', x)
          from ray_resource import fun
          fun()
          return x
      worker = do_work.remote("Welcome to the DataWorks LindormRay solution")
      print(ray.get(worker))
  4. 本番スケジューリングと運用保守: 開発・デバッグ後、このノートブックノードをコミットして公開します。DAG 内の Lindorm Ray ノードとして定期的にスケジュールされます。

    • パラメータ化: お使いのコードで、${bizdate} などの標準 DataWorks スケジューリングパラメータを使用できます。

    • ログの表示: 本番環境では、パフォーマンスの問題を防ぐため、システムはデフォルトで最初の 1 MB のログのみを読み込みます。ログが切り捨てられた場合、出力には Lindorm コンソールで完全なタスクログを表示するためのリンクが表示されます。

    • リソースの解放: スケジュールされた本番タスクが終了すると、Lindorm Ray タスクは終了状態になり、リソースを解放します。対話型開発中は、カーネルを再起動するか、ノートブックを閉じることでタスクを終了します。

付録: マジックコマンドクイックリファレンス

マジックコマンド

説明

コンピュートエンジン

o = %odps

PyODPS エントリオブジェクトを取得します。

MaxCompute

mf_session = %maxframe

MaxFrame 接続を確立します。

%maxcompute_spark

Spark セッションを作成します。

MaxCompute Spark

%maxcompute_spark stop

Spark セッションをクリーンアップし、Livy セッションを停止します。

%maxcompute_spark delete

Spark セッションをクリーンアップしてから、Livy 構成を停止して削除します。

%%spark

Python セル内で PySpark コードを実行します。このコマンドは MaxCompute Spark で使用されます。

%emr_serverless_spark

Spark セッションを作成します。

EMR Serverless Spark

%emr_serverless_spark info

Livy ゲートウェイの詳細を表示します。

%emr_serverless_spark stop

Spark セッションをクリーンアップし、Livy セッションを停止します。

%emr_serverless_spark delete

Spark セッションをクリーンアップしてから、Livy 構成を停止して削除します。

%emr_serverless_spark refresh_token

個人開発環境の Livy トークンを更新します。

%adb_spark add

再利用可能な ADB Spark セッションを作成して接続します。

AnalyticDB for Spark

%adb_spark info

Spark セッション情報を表示します。

%adb_spark cleanup

現在の Spark 接続セッションを停止してクリーンアップします。

%lindorm_ray

Lindorm Ray 接続を確立します。

Lindorm Ray

%%lindorm_ray

Lindorm Ray 接続を確立し、依存関係のインストールやコードのアップロードなど、カスタムランタイム環境を構成します。

よくある質問

  • Q:ワークスペースリソースを参照する際に ModuleNotFoundError または There is no file with id ... というエラーが表示されるのはなぜですか?

    A:以下を確認してください:

    • [データ開発] > [リソース管理] に移動し、MaxCompute Python リソースが保存されていることを確認します。このエラーが本番環境で発生した場合は、リソースも公開されていることを確認してください。

    • ノートブックエディターツールバーの 再起動 ボタンをクリックして、リソースを再読み込みします。

  • Q:ワークスペースリソースを更新した後、ノートブックが古いバージョンを使い続けるのはなぜですか?

    A:DataStudio の設定で、DataWorks › ノートブック › リソース参照: ダウンロードストラテジー を autoOverwrite に設定し、ノートブックツールバーの [カーネルの再起動] をクリックします。

  • Q:開発環境でデータセットを参照すると FileNotFoundError が表示されるのはなぜですか?

    A:選択した個人用開発環境にデータセットがマウントされていることを確認してください。

  • Q: データセットの参照は開発環境では機能しますが、本番環境では次のエラーで失敗します: Execute mount dataset exception! Please check your dataset config。

    A: データセットが Notebook ノードの スケジューリング設定 でマウントされていること、および OSS データセットが承認されていることを確認してください。

    データセット設定エリアで、データセットドロップダウンリストの下に「現在の DataWorks リソースグループは承認されていません」という赤いメッセージが表示された場合は、右側にある[権限を承認]リンクをクリックして権限を付与してください。

  • Q:個人用開発環境のバージョンを確認するにはどうすればよいですか?

    A:個人用開発環境で、CMD+SHIFT+P を押し、「ABOUT」と入力すると現在のバージョンが表示されます。特定の機能でバージョン 0.5.69 以降が必要な場合は、表示されるアップグレードプロンプトの [ワンクリックアップグレード] オプションを使用できます。

  • Q:Spark エンジンへの接続が失敗するのはなぜですか?

    A:トラブルシューティングを行うには、次の手順に従ってください:

    • 一般的な確認事項:ワークスペースの詳細ページで、コンピューティングリソースリストに移動します。コンピューティングリソース (MaxCompute、EMR、または ADB) がワークスペースに関連付けられており、アカウントに必要な権限があることを確認してください。

    • EMR Serverless Spark:Livy Gateway が作成され、正常に実行されていることを確認してください。

    • AnalyticDB for Spark:ネットワークの問題のトラブルシューティングに重点を置いてください。vswitchId と securityGroupId が正しく設定されており、個人用開発環境と AnalyticDB for Spark インスタンス間にネットワーク接続が存在することを確認してください。セキュリティグループのルールをチェックして、必要なポートでの通信が許可されていることを確認してください。