DataWorks:カスタムイメージ

注意事項

• バージョン制限：

  • すべてのエディションで、カスタムイメージの作成および使用が可能です。

  • イメージ構築は、Professional Edition 以降のみサポートされています。

• リソースグループ制限：本機能は サーバーレスリソースグループのみをサポートします。

  旧式のリソースグループをご利用の場合、外部依存関係のインストールには O&M アシスタント をご使用ください。

• 権限制限：必要な権限は、AliyunDataWorksFullAccess または ModifyResourceGroup ポリシーです。

  権限付与の詳細については、「RAM ポリシーによる製品レベルおよびコンソールアクセスの管理」をご参照ください。

クォータおよび制限事項

• イメージ数：カスタムイメージの上限は DataWorks のエディションによって異なります。

  • Basic Edition および Standard Edition：10 個

  • Professional Edition：50 個

  • Enterprise Edition：100 個

• 同時構築数：リージョンあたり最大 2 個のイメージを同時に構築できます。

• ACR イメージの要件：

  • インスタンスエディション：Enterprise Edition の Alibaba Cloud ACR インスタンスのみサポートされます。

  • インスタンスアーキテクチャ：AMD64 アーキテクチャのみサポートされます。

  • イメージサイズ：単一イメージは 5 GB を超えてはなりません。

  • タイムゾーン設定：タイムゾーンの不整合によるコンテナー例外を防ぐため、tzdata パッケージをインストールしてください。

• イメージ構築：永続化構築をサポートするのは、DataWorks 公式イメージに基づくカスタムイメージのみです。Alibaba Cloud ACR イメージを参照するイメージは対象外であり、各タスク実行時に毎回プルおよびデプロイされます。

• サポートされるノードタイプおよび構築方法：

  ノードタイプ	公式イメージ構築	ACR イメージ構築
  PyODPS2	サポート	非サポート
  PyODPS3	サポート	非サポート
  EMR Spark	サポート	非サポート
  EMR Spark SQL	サポート	非サポート
  EMR SHELL	サポート	非サポート
  Shell	サポート	サポート
  Python	サポート	サポート
  Notebook	非サポート	サポート
  CDH	サポート	非サポート
  Assignment Node	サポート	非サポート

操作手順

課金

イメージ構築には、CU 数 × 構築時間 に基づくコンピューティング料金が発生します。システムはデフォルトで 0.5 CU を割り当てます。課金の詳細については、「サーバーレスリソースグループの課金基準」をご参照ください。

本番運用時の注意点

本番環境で安定的かつ効率的なカスタムイメージを運用するための推奨事項を以下に示します：

• 永続化イメージ：公開済みで安定したイメージについては、永続化イメージの構築を推奨します。これにより、タスク実行ごとに依存関係を再インストールする必要がなくなり、起動時間が短縮され、コンピューティングコストが削減され、安定性が向上します。

• 環境の一貫性：テスト、構築、本番スケジューリングで使用するサーバーレスリソースグループの VPC バインドおよびネットワーク構成を一貫して保つようにしてください。特に、プライベート ACR リポジトリやインターネットへのアクセスを行う場合に重要です。

• バージョン固定：スクリプト を使用して依存関係をインストールする場合、上流ライブラリの更新による予期しない動作変更を避けるため、バージョン番号を明示的に指定すること（例：pip install pandas==1.5.3）を強く推奨します。

• ロールバック計画：イメージ更新後に本番タスクが失敗した場合、タスク公開履歴から以前のバージョンへロールバックするか、スケジューリング構成でイメージを以前の安定バージョンに再設定できます。

ユースケース

この例では、PyODPS ノードで単語分割処理を行うためにカスタムイメージを使用する方法を示します。MaxCompute テーブル内のデータを処理し、結果を後続ノードで使用できるように格納します。カスタムイメージに jieba の形態素解析ツールパッケージを事前にインストールし、このイメージを PyODPS タスクで使用してデータを処理し、新しいテーブルに結果を格納することで、後続のスケジューリングフローにシームレスに統合できます。

1. テストデータを作成します。

   1. DataWorks ワークスペースを作成し、MaxCompute のコンピューティングリソースをバインドします。詳細については、「ワークスペースの作成」および「コンピューティングリソースの管理」をご参照ください。

   2. DataStudio で、ODPS ノード（旧式 DataStudio）または MaxCompute SQL ノード（新規 DataStudio）を作成し、テストテーブルを作成してテストデータを追加します。

      説明

      以下の例ではスケジューリングパラメーターを使用します。スケジューリング パネル（右側）で、パラメーター名を bday、パラメーター値を $[yyyymmdd] に設定します。

      テストテーブルの作成

      -- テストテーブルの作成
         CREATE TABLE IF NOT EXISTS custom_img_test_tb
         (
             c_customer_id BIGINT NOT NULL,
             c_customer_text STRING NOT NULL,
             PRIMARY KEY (c_customer_id)
         )
         COMMENT 'カスタムイメージデモ用テストテーブル'
         PARTITIONED BY (ds STRING COMMENT 'パーティション')
         LIFECYCLE 90;
      
         -- テストデータの挿入
         INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
         (1, '空が暗くなり、雪が降りそうですね。お酒はいかがですか？'),
         (2, '月が沈み、烏が鳴き、霜が空いっぱいに満ちています。川のマップルと漁火を見ながら、目を覚まして横たわっています。'),
         (3, '山と川が道を塞いでいるように見えますが、柳の木陰と明るい花の間には、もう一つの村が現れます。'),
         (4, '春の眠りから目覚めるとき、朝が来たことに気づきません。どこでも鳥のさえずりが聞こえます。'),
         (5, '静かな夜の思い。月明かりが私のベッドの前に輝いています。私はそれを床の霜と間違えました。'),
         (6, '明るい月が海の上に昇ります。私たちはこの瞬間を共有していますが、遠く離れていても。'),
         (7, 'かつて貴族の館を彩った燕は、今や一般市民の家に飛び込んでいます。'),
         (8, '一列の白鷺が青い空へと舞い上がります。私の窓枠には西の山々の古い雪が映っています。'),
         (9, '人生が良いときは、精一杯楽しみましょう。金色の盃が月に向かって空になるのを許してはいけません。'),
         (10, '天は私に才能を与えたのですから、それは必ず使われるべきです。千枚の金貨は、一度使ってしまっても、また稼げるのです。');

   3. 保存してデプロイします。

2. カスタムイメージを作成します。

   「1. カスタムイメージの作成」を参照してください。主なパラメーターは以下のとおりです：

   • Iメージ名／ID：dataworks_pyodps_task_pod（DataWorks PyODPS ノードの公式イメージ）を選択します。

   • サポートされるタスクタイプ：PyODPS2 および PyODPS 3 をサポートします。

   • パッケージ：Python3 および jieba を選択します。

3. カスタムイメージを公開し、所有者ワークスペースを変更します。詳細については、「カスタムイメージの公開」および「所有者ワークスペースの変更」をご参照ください。

4. スケジューリングタスクでカスタムイメージを使用します。

   1. DataStudio で PyODPS3 ノードを作成し、以下の内容を構成します：

      カスタムイメージの使用

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      
      # テーブルデータの読み取り
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      
      # 抽出されたテキストに対する単語分割処理
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      
      # 目的テーブルの作成
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='分割結果')], partitions=[Column(name='ds', type='string', comment='パーティションフィールド')])
          o.create_table("participle_tb", schema)
      
      # 分割結果を目的テーブルに書き込み
      # 出力パーティションおよびテーブルを定義
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      
      # パーティションが存在しない場合は作成
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      
      # 分割結果をテーブルに書き込み
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. 右側のスケジューリング構成で、以下の主要パラメーターを設定します：

      • スケジューリングパラメーター：パラメーター名 bday、パラメーター値 $[yyyymmdd]。

      • リソースグループ：サーバーレスリソースグループを選択します。これは、イメージの公開 時に選択したテスト用リソースグループと同じである必要があります。

      • イメージ：現在のワークスペースにバインドされた公開済みのカスタムイメージを選択します。

   3. ノードのデバッグ。

      • 旧式 DataStudio を使用する場合：ツールバーの上部にある パラメーター付きで実行 () をクリックし、リソースグループ名、実行 CU 数、イメージ、カスタムパラメーター を構成し、実行 をクリックします。

      • 新規 DataStudio を使用する場合：右側の Run Configuration パネルで、コンピュートリソース、リソースグループ、コンピュート CU 数、イメージ、スクリプトパラメーター を構成し、ツールバーの上部にある 実行 をクリックします。

   4. （任意）一時クエリ（旧式 DataStudio）を作成するか、個人ディレクトリに SQL ファイル（新規 DataStudio）を作成し、以下の SQL を使用して出力テーブルにデータが生成されたかを確認します。

      -- <パーティション日付> を具体的な日付に置き換えてください。
      SELECT * FROM participle_tb WHERE ds=<パーティション日付>;

   5. PyODPS ノードを本番環境にデプロイします。

      説明

      DataStudio でのイメージ変更は本番環境に同期されません。変更を本番環境で有効にするには、タスクを公開する必要があります。詳細については、「タスクの公開（旧式 DataStudio）」または「ノード／ワークフローの公開（新規 DataStudio）」をご参照ください。

5. カスタムイメージを永続化イメージとして構築します。詳細については、「5. 永続化イメージの構築」をご参照ください。

よくある質問

Q：Python タスクで「urllib3 v2.0 は OpenSSL 1.1.1+ のみをサポートします」というエラーが発生しました。

A：urllib3 v2.0 は OpenSSL 1.1.1+ のみをサポートします。OpenSSL との互換性を確保するために、urllib3 をスペックダウンできます。たとえば、サードパーティパッケージのインストール時に urllib3 のバージョンを強制指定します：/home/tops/bin/pip3 install urllib3==1.26.16。

参照

• DataWorks 公式イメージ

• サーバーレスリソースグループの使用

• 自己管理型 Hadoop クラスターに基づくタスク開発

• MaxCompute PyODPS 開発

インストールコマンド

カスタムイメージのインストールコマンドを構成する際に スクリプト メソッドを使用する場合、以下のコマンドを参照してください：

• PyODPS 2 ノードに依存する場合、以下のコマンドを実行します。

  pip install <package_name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <package_name>

  説明

  コマンドを実行した後、PIP のバージョンをアップグレードするよう求められた場合は、pip install --upgrade pip を実行してください。

• PyODPS 3 ノードに依存する場合、以下のコマンドを実行します。

  /home/tops/bin/pip3 install <package_name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <package_name>

  説明

  • コマンドを実行した後、PIP のバージョンをアップグレードするよう求められた場合は、/home/tops/bin/pip3 install --upgrade pip を実行してください。

  • エラー /home/admin/usertools/tools/cmd-0.sh: line 3: /home/tops/bin/python3: No such file or directory が発生した場合は、チケットを送信 して、権限の有効化を依頼してください。

  以下の Python 公開ミラーソースを参照し、必要に応じて切り替えてください。

  組織	ミラーアドレス
  Alibaba Cloud（Aliyun）	https://mirrors.aliyun.com/pypi/simple/ 重要 Alibaba Cloud から Python パッケージを取得するには、インターネットアクセス機能は不要です。
  清華大学（Tsinghua）	https://pypi.tuna.tsinghua.edu.cn/simple
  中国科学技術大学（USTC）	https://pypi.mirrors.ustc.edu.cn/simple/