DataWorks：DataWorks官方鏡像

鏡像名稱

鏡像說明

適用任務

dataworks_pyodps_py311_task_pod

DataWorks PyODPS節點的官方鏡像，該鏡像的Python版本為3.11。

PyODPS 3

dataworks_pairec_task_pod

DataWorks PAI-Rec官方鏡像，用於運行PAI-Rec產生的演算法。feature_store sdk版本和pyfg版本以控制台顯示為準。

dataworks_pyodps_task_pod

DataWorks PyODPS節點的官方鏡像，該鏡像的Python版本為3.7。

PyODPS 2

PyODPS 3

dataworks_emr_base_task_pod

EMR叢集基礎鏡像，支援EMR Serverless Spark、EMR on ECS DataLake、EMR on ECS Custom叢集類型。

• 鏡像僅包括DataWorks提交EMR任務的基礎組件，但沒有EMR基礎組件的執行環境。對於DataLake和Custom這類半託管叢集，必須通過自訂鏡像安裝對應EMR叢集版本的組件。

• 使用CUSTOM和DATALAKE叢集類型時，必須先初始化EMR Gateway環境，需要輸入集群類型和版本號碼。

  sh /home/admin/init_emr_component.sh DATALAKE EMR-版本號碼

  說明

  如果遇到初始化EMR Gateway環境失敗的情況，一般是因為部分叢集版本不在鏡像庫中，請提交工單聯絡平台進行操作。

• EMR Spark

• EMR Spark SQL

• EMR Shell

• Serverless Spark Batch

• Serverless Spark SQL

• Serverless Kyuubi

dataworks_shell_jdk17_task_pod

DataWorks Shell節點的官方鏡像，該鏡像的JDK版本為JDK17。

Shell

dataworks_shell_task_pod

DataWorks Shell節點的官方鏡像，JDK版本為JDK7。若需要自訂運行環境並且該環境支援Subprocess傳參，可基於該鏡像構建自訂鏡像。

dataworks_python_task_pod

DataWorks Python節點的官方鏡像，Python版本為3.7。

Python

dataworks_cdh_custom_task_pod

DataWorks CDH叢集基礎鏡像，無法直接使用。必須通過自訂鏡像安裝CDH parcel後，才可在資料開發中使用。

CDH

dataworks_controller_task_pod

DataWorks賦值節點官方鏡像，若需要自訂運行環境並且需要使用賦值節點或賦值參數用於將參數傳遞到下遊節點的情境，請基於該鏡像構建自訂鏡像。

賦值節點

dataworks-mcp

適用於DataWorks Agent任務開發。相關係統資訊：py3.11-ubuntu22.04。

個人開發環境

dataworks-notebook

適用於Notebook開發任務開發。相關係統資訊：py3.11-ubuntu22.04。

dataworks_notebook_task_pod

DataWorks Notebook Ubuntu Image，支援關聯角色注入。

dataworks-maxcompute

適用於個人開發環境製作MaxCompute鏡像。相關係統資訊：py3.11-ubuntu20.04。