DataWorks:イメージの管理

背景情報

デフォルトでは、DataWorks はデフォルトの標準イメージを使用してタスクを実行します。DataWorks は、実行するタスクのタイプに基づいて適切なイメージを提供します。公式イメージは、事前構成されたベースイメージとして機能し、特定タイプのタスクに標準化されたランタイム環境を提供します。カスタムイメージは、公式イメージに基づいて強化された機能と柔軟性を提供します。実際のアプリケーションシナリオに基づいてベースイメージを拡張し、オンデマンドの機能カスタマイズを実現できます。これにより、データ処理タスクの実行効率と柔軟性が向上します。

• カスタムイメージを作成する方法:

  • DataWorks 公式イメージに基づく

  • Alibaba Cloud Container Registry のイメージを参照する

  • 個人開発環境 に基づく

• カスタムイメージとイメージ作成方法をサポートするノードタイプ:

  ノードタイプ	Container Registry のイメージを参照して作成	DataWorks 公式イメージに基づいて作成
  PyODPS 2
  PyODPS 3
  EMR Spark
  EMR Spark SQL
  EMR Shell
  Shell
  Python
  Notebook

注意事項

• イメージ管理機能は、サーバーレスリソースグループとのみ併用できます。

  説明

  旧バージョンの専用スケジューリングリソースグループを使用して PyODPS ノードを実行する場合にサードパーティパッケージが必要な場合は、O&M アシスタント機能を使用してサードパーティパッケージをインストールできます。詳細については、「専用スケジューリングリソースグループを使用してサードパーティのオープンソースパッケージを設定する（非推奨）」をご参照ください。

• 作成できるカスタムイメージの最大数は、DataWorks エディションによって異なります。

  • DataWorks Basic Edition および Standard Edition：10

  • DataWorks Professional Edition：50

  • DataWorks Enterprise Edition：100

• DataWorks Professional Edition 以降のエディションのみが イメージビルド 機能をサポートしています。

• 各リージョンで同時にビルドできるイメージは最大 2 つです。

前提条件

• サーバーレスリソースグループが作成されていること。イメージ管理機能は、サーバーレスリソースグループと併用する必要があります。サーバーレスリソースグループの詳細については、「サーバーレスリソースグループを作成して使用する」をご参照ください。

• オプション。サーバーレスリソースグループが関連付けられている VPC（Virtual Private Cloud）がインターネットにアクセスできること。この前提条件は、タスクを実行する環境がインターネット経由でデプロイされたサードパーティパッケージに依存している場合に必要です。詳細については、「インターネット NAT ゲートウェイの SNAT 機能を使用してインターネットにアクセスする」をご参照ください。

• 使用するアカウントに、AliyunDataWorksFullAccess ポリシー、または ModifyResourceGroup 権限を含むポリシーがアタッチされていること。詳細については、「RAM ポリシーを使用して DataWorks サービスおよび DataWorks コンソール内のエンティティに対する権限を管理する」をご参照ください。

• Container Registry がアクティブ化されていること。この前提条件は、Container Registry のイメージを参照してカスタムイメージを作成する場合に必要です。Container Registry の詳細については、「Container Registry とは」をご参照ください。

ステップ 1：イメージ管理ページに移動する

1. DataWorks コンソール にログオンします。

2. イメージ管理ページに移動します。

   左側のナビゲーションウィンドウで、[イメージ管理] をクリックします。

   

ステップ 2：カスタムイメージを作成する

DataWorks コンソールでカスタムイメージを作成する場合は、「参照タイプ」パラメータを [DataWorks 公式イメージ] または [Alibaba Cloud Container Registry イメージ] に設定できます。カスタムイメージの作成のために構成されるパラメータは、選択した参照タイプによって異なります。

ステップ 3: カスタムイメージを公開する

作成したカスタムイメージを公開するには、次の操作を実行します。DataWorks コンソール にログオンします。左側のナビゲーションウィンドウで、[イメージ管理] をクリックします。[イメージ管理] ページで、[カスタムイメージ] タブをクリックします。次に、目的のカスタムイメージを見つけ、[テスト] し、[公開] します。テストおよび公開プロセスでは、次の項目に注意してください。

• テスト用にサーバーレス リソースグループを選択します。

• テストに合格した イメージのみを公開できます。

• Alibaba Cloud Container Registry のイメージを参照して、または 個人の開発環境に基づいて カスタムイメージを作成する場合は、テストおよび公開用に選択したサーバーレス リソースグループが 関連付けられている VPC が、Container Registry インスタンスが関連付けられている VPC と同じであることを確認する必要があります。

• インターネット経由でデプロイされるサードパーティ製パッケージをカスタムイメージとして構成し、長期間テストに合格できない場合は、選択した [テスト リソースグループ] が関連付けられている VPC がインターネットにアクセスできるかどうかを確認します。VPC がインターネットにアクセスできない場合は、VPC のインターネットアクセスを有効にします。

• イメージがテストに合格しない場合は、次の操作を実行してイメージ構成を変更できます。目的のカスタムイメージを見つけ、 列の アクション アイコンにポインターを移動し、[変更] を選択します。

手順 4: カスタム イメージをワークスペースに関連付ける

カスタムイメージを公開した後、カスタムイメージが関連付けられているワークスペースを変更して、カスタムイメージを異なるワークスペースで使用できるようにすることができます。公開済みのカスタムイメージをワークスペースに関連付けるには、次の操作を実行します。

1. [カスタム イメージ] タブで、公開されているカスタム イメージを見つけます。

2. アイコンの上にポインターを移動し、[アクション] 列で [ワークスペースの変更] を選択して、カスタムイメージをワークスペースに関連付けます。

ステップ 5: 永続イメージをビルドする

ステップ 4 の操作を完了すると、ビジネスでカスタムイメージを想定どおりに使用できます。ただし、カスタムイメージを使用するノードを実行するたびに、DataWorks はイメージ環境を再デプロイし、サードパーティ製パッケージをダウンロードします。その結果、ノードの実行時間が長くなり、より多くのコンピューティング料金が発生する可能性があります。この場合、DataWorks では、カスタムイメージを永続イメージとして作成できます。このように、ノードを実行するたびに同じイメージ環境を使用できるため、イメージ環境を繰り返しデプロイする必要がなくなります。これにより、ランタイム環境の一貫性が確保され、タスクの実行時間、コンピューティングコスト、およびトラフィックコストが削減されます。

永続イメージをビルドするには、次の手順を実行します。

1. DataWorks コンソール にログオンします。上部のナビゲーションバーで、目的のリージョンを選択します。次に、左側のナビゲーションウィンドウで [イメージ管理] をクリックします。

2. [イメージ管理] ページで、[カスタムイメージ] タブをクリックします。[カスタムイメージ] タブで、公開されているカスタムイメージを見つけます。

3. アイコンにポインターを合わせ、[アクション] 列で [作成] を選択します。

4. [イメージを作成するリソースグループ] ダイアログボックスで、ドロップダウンリストから使用するリソースグループを選択し、[続行] をクリックします。

   説明

   • イメージのビルドが完了するまで約 5 ～ 10 分かかります。必要な実際の時間は、ビルドするイメージのサイズによって異なります。

   • イメージを構築すると、コンピューティング料金が発生します。コンピューティング料金は、次の式を使用して計算されます。0.5 CUs × Duration for image building 。詳細については、「データコンピューティングの課金」をご参照ください。

   • ネットワークの例外により、イメージのビルドに失敗する場合があります。このような問題を防ぐために、[イメージを作成するリソースグループ] ダイアログボックスで選択したリソースグループが、このトピックの ステップ 3: カスタムイメージを公開する で選択した [テストリソースグループ] であることを確認してください。

ステップ 3：カスタムイメージを公開する

ステップ 4：イメージをビルドする（オプション）

問題が発生した場合は、次の手順を試してください。

1. テストデータを作成します。

   1. DataWorks ワークスペースを作成し、MaxCompute 計算リソースをワークスペースに関連付けます。詳細については、「ワークスペースを作成する」、「ワークスペースにデータソースを追加する、またはクラスターを登録する」、および「ワークスペースに計算リソースを関連付ける（Data Studioのパブリックプレビューへの参加が有効になっている）」をご参照ください。

   2. 旧バージョンの DataStudio で ODPS ノードを作成するか、新バージョンの Data Studio で MaxCompute SQL ノードを作成し、テストテーブルを作成してから、テストデータをテーブルに追加します。

      説明

      次の例では、スケジューリングパラメーターを使用しています。ノードの構成タブの右側ナビゲーションウィンドウにある [プロパティ] タブで、名前が bday で、値が $[yyyymmdd] のパラメーターを追加します。

      テストテーブルを作成します。

      -- テストテーブルを作成します。
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'テーブルコメント'
      PARTITIONED BY (ds STRING COMMENT 'パーティション')
      LIFECYCLE 90;
      
      -- テストテーブルにテストデータを挿入します。
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, '晚来天欲雪，能饮一杯无？ '),
      (2, '月落乌啼霜满天，江枫渔火对愁眠。 '),
      (3, '山重水复疑无路，柳暗花明又一村。 '),
      (4, '春眠不觉晓，处处闻啼鸟。 '),
      (5, '静夜思，床前明月光，疑是地上霜。 '),
      (6, '海上生明月，天涯共此时。 '),
      (7, '旧时王谢堂前燕，飞入寻常百姓家。 '),
      (8, '一行白鹭上青天，窗含西岭千秋雪。 '),
      (9, '人生得意须尽欢，莫使金樽空对月。 '),
      (10, '天生我材必有用，千金散尽还复来。 ');

   3. ノードを保存してデプロイします。

2. カスタムイメージを作成します。

   このトピックの 手順 2：カスタムイメージを作成する に記載されている手順に従って、カスタムイメージを作成します。主要なパラメーターの設定：

   • イメージ名/ID：dataworks_pyodps_task_pod を選択します。

   • サポートされているタスクタイプ：PyODPS 2 と PyODPS 3 を選択します。

   • インストールパッケージ：Python3 と jieba を選択します。

3. カスタムイメージを公開し、ワークスペースに関連付けます。詳細については、このトピックの 手順 3：カスタムイメージを公開する セクションと 手順 4：カスタムイメージをワークスペースに関連付ける セクションをご参照ください。

4. スケジューリングタスクでカスタムイメージを使用します。

   1. 旧バージョンの DataStudio または新バージョンの Data Studio で PyODPS 3 ノードを作成して構成します。

      カスタムイメージを使用する

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # テストテーブルからデータを読み取ります。
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # 抽出したテキストをセグメント化します。
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # デスティネーションテーブルを作成します。
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='セグメント化結果')], partitions=[Column(name='ds', type='string', comment='パーティションフィールド')])
          o.create_table("participle_tb", schema)
      
      # セグメント化結果をデスティネーションテーブルに書き込みます。
      # 出力パーティションと出力テーブルを定義します。
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # パーティションが存在しない場合は、最初にパーティションを作成します。
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # セグメント化結果を出力テーブルに書き込みます。
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. ノードの構成タブの右側ナビゲーションウィンドウにある [プロパティ] タブで、次の主要な設定を構成します。

      • 名前が bday で、値が $[yyyymmdd] の スケジューリングパラメーター を追加します。

      • [カスタムイメージを公開] したときに使用した [テストリソースグループ] であるサーバーレスリソースグループを、スケジューリング用リソースグループ として選択します。

      • 現在のワークスペースに公開および関連付けられているカスタム イメージ を選択します。

   3. オプション。旧バージョンの DataStudio でアドホッククエリを作成するか、新バージョンの Data Studio の [個人ディレクトリ] セクションで SQL ファイルを作成し、次の SQL 文を実行して、出力テーブルにデータが含まれているかどうかを確認します。

      SELECT * FROM participle_tb WHERE ds=<パーティション日付>;

      

   4. PyODPS ノードを本番環境にデプロイします。

      説明

      旧バージョンの DataStudio または新バージョンの Data Studio で選択されたイメージは、本番環境に同期できません。イメージを本番環境で有効にするには、ノードをデプロイする必要があります。詳細については、「ノードをデプロイする」または「ノードまたはワークフローのデプロイ」をご参照ください。

5. カスタムイメージを永続イメージとして作成します。詳細については、このトピックの 手順 5：永続イメージをビルドする セクションをご参照ください。

付録: 公式イメージを表示する

次の表に、DataWorks でサポートされている公式イメージを示します。 [イメージ管理] ページに移動して、公式イメージを表示することもできます。

参照資料

• サーバーレス リソースグループを作成して使用する

• セルフマネージド Hadoop クラスタに基づいてタスクを開発する

• PyODPS