DataWorks:カスタムイメージ

制限事項

• エディションの制限：

  • すべてのエディションでカスタムイメージの作成と使用がサポートされています。

  • イメージビルドは、Professional Edition 以上でのみサポートされています。

• リソースグループの制限：カスタムイメージ機能は、サーバーレスリソースグループのみをサポートします。

  レガシーリソースグループの場合は、クラウドアシスタントを使用して外部の依存関係をインストールしてください。

• 権限の制限：AliyunDataWorksFullAccess または ModifyResourceGroup 権限が必要です。

  権限付与の詳細については、「サービスおよびコンソールの権限に関する RAM ポリシー」をご参照ください。

クォータと制限

• イメージ数：作成できるカスタムイメージの数は、DataWorks のエディションによって異なります。

  • Basic Edition および Standard Edition：10

  • Professional Edition：50

  • Enterprise Edition：100

• ビルドの同時実行数：各リージョンで同時に最大 2 つのイメージをビルドできます。

• ACR イメージの要件：

  • インスタンスエディション：Alibaba Cloud Container Registry (ACR) の Enterprise Edition インスタンスのみがサポートされています。

  • インスタンスアーキテクチャ：AMD64 アーキテクチャのみがサポートされています。

  • イメージサイズ：単一のイメージは 5 GB を超えることはできません。

  • タイムゾーン設定：DataWorks とのタイムゾーンの不一致によるコンテナの障害を防ぐために、tzdata タイムゾーンパッケージをインストールする必要があります。

• イメージビルド：永続ビルドは、DataWorks 公式イメージに基づいて作成されたカスタムイメージでのみ利用可能です。ACR イメージを参照するカスタムイメージは永続ビルドをサポートしておらず、タスクが実行されるたびに再プルおよびデプロイする必要があります。

• サポートされるノードタイプとビルド方法：

  ノードタイプ	公式イメージからのビルド	ACR イメージからのビルド
  PyODPS2	サポート	非サポート
  PyODPS3	サポート	非サポート
  EMR Spark	サポート	非サポート
  EMR Spark SQL	サポート	非サポート
  EMR SHELL	サポート	非サポート
  Shell	サポート	サポート
  Python	サポート	サポート
  Notebook	非サポート	サポート
  CDH	サポート	非サポート
  Assignment Node	サポート	非サポート

操作手順

課金

イメージビルドには、CU 数 × ビルド時間 として計算されるコンピューティングコストが発生します。システムはデフォルトで 0.5 CU を割り当てます。課金の詳細については、「サーバーレスリソースグループの課金基準」をご参照ください。

本番環境での使用

本番環境でカスタムイメージが安定し、効率的で、コスト効率が高いことを保証するために、以下の推奨事項に従ってください。

• 永続イメージ：安定した設定を永続イメージにビルドします。これにより、各タスク実行時に依存関係を再インストールする必要がなくなり、起動時間が短縮され、コンピューティングコストが削減され、安定性が向上します。

• 環境の一貫性：特にプライベート ACR リポジトリやパブリックネットワークにアクセスする場合、テスト、ビルド、および本番スケジューリングに使用されるサーバーレスリソースグループ間で VPC およびネットワーク設定が一貫していることを確認してください。

• バージョン固定：スクリプトメソッドを使用して依存関係をインストールする場合、正確なバージョン番号を指定することを強く推奨します (例：pip install pandas==1.5.3)。この実践により、上流のライブラリアップデートによる予期しない動作を防ぎます。

• ロールバック計画：イメージの更新後に本番タスクが失敗した場合、タスクのデプロイ履歴を使用して以前のバージョンにロールバックするか、スケジュール設定でイメージを古い安定したバージョンに設定します。

ユースケース

このチュートリアルでは、PyODPS ノードでカスタムイメージを使用して中国語の単語分割を実行する方法を示します。MaxCompute テーブルの列から中国語のテキストを分割し、その結果をダウンストリームタスクのために別のテーブルに保存する必要があるとします。カスタムイメージに jieba 単語分割ツールキットを事前にインストールし、このイメージを使用して PyODPS タスクでテキストを処理できます。結果は新しいテーブルに保存され、ダウンストリームのスケジューリングワークフローにシームレスに統合されます。

1. テストデータを作成します。

   1. DataWorks ワークスペースを作成し、MaxCompute コンピュートリソースに関連付けます。詳細については、「ワークスペースの作成」および「コンピュートリソースの管理」をご参照ください。

   2. Data Studio で、ODPS ノード (以前の Data Studio) または MaxCompute SQL ノード (新しい Data Studio) を作成して、テストテーブルを作成し、データを入力します。

      説明

      以下の例では、スケジューリングパラメーターを使用します。右側の Scheduling Settings で、パラメーター名を bday に、値を $[yyyymmdd] に設定します。

      テストテーブルを作成します。

      -- テストテーブルを作成します。
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT 'partition')
      LIFECYCLE 90;
      -- テストデータをテーブルに挿入します。
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, '夜来雪の気配、一杯どうだい？'),
      (2, '月落ち烏啼きて霜天に満つ、江楓漁火愁眠に対す。'),
      (3, '山重水複路無きかと疑う、柳暗花明又一村。'),
      (4, '春眠暁を覚えず、処処啼鳥を聞く。'),
      (5, 'ベッドの前には明るい月の光、まるで地面に降りた霜のよう。'),
      (6, '海上に明月昇り、我ら天涯を隔てどもこの時を共にす。'),
      (7, '昔日の王謝堂前の燕、今は尋常の百姓の家に飛来す。'),
      (8, '一行の白鷺が青空に昇り、窓は西嶺の千年の雪を額縁のように切り取る。'),
      (9, '人生得意の時には須らく歓を尽くすべし、金樽をして空しく月に対せしむる莫れ。'),
      (10, '天の我を生ずるや必ず才あり、千金散じ尽くすも還た復た来らん。');

   3. ノードを保存してデプロイします。

2. カスタムイメージを作成します。

   詳細については、「カスタムイメージの作成」をご参照ください。主要なパラメーターを次のように設定します：

   • イメージ名/ID：PyODPS ノード用の DataWorks 公式イメージである dataworks_pyodps_task_pod を選択します。

   • サポートされるタスクタイプ：PyODPS2 と PyODPS 3 を選択します。

   • インストールパッケージ：Python3 と jieba を選択します。

3. カスタムイメージを公開し、ワークスペースに関連付けます。詳細については、「カスタムイメージを公開する」および「イメージのワークスペースとの関連付けを変更する」をご参照ください。

4. 定期タスクでカスタムイメージを使用します。

   1. Data Studio で、PyODPS 3 ノードを作成し、次のコードを追加します：

      カスタムイメージを使用します。

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      # テーブルからデータを読み取ります。
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      # 抽出したテキストを分割します。
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      # 送信先テーブルを作成します。
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='単語分割結果')], partitions=[Column(name='ds', type='string', comment='パーティションフィールド')])
          o.create_table("participle_tb", schema)
      # 分割結果を送信先テーブルに書き込みます。
      # 出力パーティションとテーブルを定義します。
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      # パーティションが存在しない場合は作成します。
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      # 分割結果をテーブルに書き込みます。
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. 右側のスケジューリング設定で、次の主要なパラメーターを設定します：

      • スケジューリングパラメーター：パラメーター名を bday に、値を $[yyyymmdd] に設定します。

      • スケジューリング用リソースグループ：ミラーの発行 時に テストリソースグループ で指定したのと同じサーバーレスリソースグループを選択します。

      • イメージ：現在のワークスペースに関連付けられている公開済みのカスタムイメージを選択します。

   3. ノードをデバッグします。

      • 以前の Data Studio を使用している場合は、ノードツールバーの Run with Parameters () をクリックします。リソースグループ名、CUs for Node Running、ミラー、および Custom Parameters を設定し、Run をクリックします。

      • 新しい Data Studio を使用している場合は、右側の Run Configuration パネルで、Computing Resources、Resource Group、Calculate CU、ミラー、および Script Parameters を設定します。その後、ノードツールバーの Run をクリックします。

   4. (オプション) アドホッククエリ (以前の Data Studio) または個人ディレクトリ内の SQL ファイル (新しい Data Studio) を作成し、次の SQL ステートメントを実行して出力テーブルのデータを確認します。

      -- <partition_date> を実際のパーティション日付に置き換えます。
      SELECT * FROM participle_tb WHERE ds=<partition_date>;

      クエリがデータを返した場合、結果には word_segment 列 (分割結果、単語は縦棒 | で区切られる) と ds 列 (パーティション日付) が含まれます。

   5. PyODPS ノードを本番環境にデプロイします。

      説明

      Data Studio で行われたイメージの変更は、本番環境に自動的に同期されません。変更を有効にするには、タスクをデプロイする必要があります。詳細については、「タスクのデプロイ (以前の Data Studio)」または「ノード/ワークフローのデプロイ (新しい Data Studio)」をご参照ください。

5. カスタムイメージから永続イメージをビルドします。詳細については、「永続イメージのビルド」をご参照ください。

よくある質問

Q：Python タスクで「urllib3 v2.0 only supports OpenSSL 1.1.1+」というエラーが報告されます。

A：urllib3 v2.0 パッケージには OpenSSL 1.1.1 以降が必要です。これを解決するには、urllib3 を互換性のあるバージョンにダウングレードします。例：/home/tops/bin/pip3 install urllib3==1.26.16。

関連ドキュメント

• DataWorks パブリックイメージ

• サーバーレスリソースグループの使用

• 自己管理 Hadoop クラスターでのタスク開発

• MaxCompute PyODPS での開発

付録：インストールコマンド

script メソッドを使用してカスタムイメージにパッケージをインストールするには、次のコマンドを使用します。

• PyODPS 2 ノードの場合は、次のコマンドを実行します。

  pip install <package-name> -i  https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <package-name>

  説明

  PIP のアップグレードを促された場合は、次のコマンドを実行します：pip install --upgrade pip。

• PyODPS 3 ノードの場合は、次のコマンドを実行します。

  /home/tops/bin/pip3 install <package-name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <package-name>

  説明

  • PIP のアップグレードを促された場合は、次のコマンドを実行します：/home/tops/bin/pip3 install --upgrade pip。

  • エラー /home/admin/usertools/tools/cmd-0.sh: line 3: /home/tops/bin/python3: No such file or directory が発生した場合は、チケットを送信して必要な権限をリクエストしてください。

  次の表に、パブリック Python ミラーソースをリストします。

  組織	ミラー URL
  Alibaba Cloud	https://mirrors.aliyun.com/pypi/simple/ 重要 インターネットアクセスを有効にせずに Alibaba Cloud から Python パッケージを取得できます。
  清華大学	https://pypi.tuna.tsinghua.edu.cn/simple
  中国科学技術大学 (USTC)	https://pypi.mirrors.ustc.edu.cn/simple/