DataWorks:DataWorks の公式イメージ

イメージ名

イメージの説明

適用可能なタスク

dataworks_pyodps_py311_task_pod

DataWorks PyODPS ノードの公式イメージ。このイメージは Python 3.11 を使用します。

PyODPS 3

dataworks_pairec_task_pod

公式の DataWorks PAI-Rec イメージ。PAI-Rec によって生成されたアルゴリズムを実行するために使用されます。feature_store ソフトウェア開発キット (SDK) と pyfg のバージョンについては、コンソールをご参照ください。

dataworks_pyodps_task_pod

DataWorks PyODPS ノードの公式イメージ。このイメージは Python 3.7 を使用します。

PyODPS 2

PyODPS 3

dataworks_emr_base_task_pod

EMR クラスターのベースイメージです。EMR Serverless Spark、EMR on ECS DataLake、EMR on ECS Custom のクラスタータイプをサポートします。

• このイメージには、DataWorks で EMR タスクを送信するための基本コンポーネントのみが含まれており、EMR コンポーネントの実行環境は含まれていません。DataLake や Custom などの半マネージドクラスターの場合、ご利用の EMR クラスターのバージョンに一致するコンポーネントをインストールするために、カスタムイメージを作成する必要があります。

• CUSTOM および DATALAKE クラスタータイプを使用する場合、まず EMR Gateway 環境を初期化する必要があります。クラスタータイプとバージョン番号を入力します。

  sh /home/admin/init_emr_component.sh DATALAKE EMR-バージョン番号

  説明

  EMR Gateway 環境の初期化に失敗した場合、クラスターのバージョンがイメージリポジトリにない可能性があります。サポートについては、チケットを起票してください。

• EMR Spark

• EMR Spark SQL

• EMR Shell

• Serverless Spark Batch

• Serverless Spark SQL

• Serverless Kyuubi

dataworks_shell_jdk17_task_pod

DataWorks Shell ノードの公式イメージ。このイメージは JDK 17 を提供します。

Shell

dataworks_shell_task_pod

DataWorks Shell ノードの公式イメージ。このイメージは JDK 7 を提供します。Subprocess パラメーターの受け渡しをサポートするカスタムランタイム環境が必要な場合は、このイメージをベースにカスタムイメージを作成します。

dataworks_python_task_pod

DataWorks Python ノードの公式イメージ。このイメージは Python 3.7 を使用します。

Python

dataworks_cdh_custom_task_pod

DataWorks CDH クラスターのベースイメージ。このイメージは直接使用できません。Data Studio でイメージを使用する前に、カスタムイメージを作成して CDH parcel をインストールする必要があります。

CDH

dataworks_controller_task_pod

代入ノードの公式イメージ。カスタムランタイム環境で代入ノードまたは代入パラメーターを使用して子孫ノードにパラメーターを渡すには、このイメージをベースにカスタムイメージを作成します。

代入ノード

dataworks-mcp

DataWorks Agent タスクを開発するため。システム情報: py3.11-ubuntu22.04。

個人開発環境

dataworks-notebook

Notebook タスクを開発するため。システム情報: py3.11-ubuntu22.04。

dataworks_notebook_task_pod

DataWorks Notebook の Ubuntu イメージです。ロールインジェクションをサポートします。

dataworks-maxcompute

個人開発環境用の MaxCompute イメージを作成するため。システム情報: py3.11-ubuntu20.04。