Imágenes oficiales de DataWorks - DataWorks - Centro de documentación de Alibaba Cloud

Las imágenes oficiales de DataWorks proporcionan entornos de ejecución comunes para los distintos tipos de nodos en Data Studio. Puede usar las imágenes oficiales directamente o compilar imágenes personalizadas a partir de ellas.

Descripción general

Si no se configura una imagen de entorno de ejecución para un nodo en Data Studio, se utiliza la imagen estándar Default. La imagen estándar Default solo ofrece un entorno de ejecución básico que podría no cumplir con los requisitos de tareas específicas. Las imágenes oficiales son imágenes base preconfiguradas que proporcionan entornos estandarizados para diferentes tipos de tareas. Puede create custom images based on them para ampliar la compatibilidad con más escenarios de entorno.

Lista de imágenes

Importante

Las versiones y regiones compatibles están sujetas a lo indicado en la consola de DataWorks. Las imágenes pueden tener varias versiones. La siguiente tabla describe únicamente las capacidades de las versiones más recientes.

DataWorks proporciona las siguientes imágenes:

Nombre de la imagen	Descripción de la imagen	Tareas aplicables
dataworks_pyodps_py311_task_pod	Imagen oficial para nodos PyODPS de DataWorks. Esta imagen usa Python 3.11.	PyODPS 3
dataworks_pairec_task_pod	Imagen oficial de PAI-Rec para DataWorks, usada para ejecutar algoritmos generados por PAI-Rec. Para consultar las versiones del SDK feature_store y pyfg, revise la consola.	PyODPS 3
dataworks_pyodps_task_pod	Imagen oficial para nodos PyODPS de DataWorks. Esta imagen usa Python 3.7.	PyODPS 2 PyODPS 3
dataworks_emr_base_task_pod	Imagen base para clústeres EMR. Admite los tipos de clúster EMR Serverless Spark, EMR on ECS DataLake y EMR on ECS Custom. Esta imagen incluye solo los componentes básicos para enviar tareas EMR desde DataWorks y no contiene el entorno de ejecución de los componentes base de EMR. Para clústeres semigestionados como DataLake y Custom, instale los componentes correspondientes a la versión del clúster EMR mediante Custom image. Para los tipos de clúster CUSTOM y DATALAKE, inicialice primero el entorno EMR Gateway al ingresar el tipo de clúster y el número de versión. `sh /home/admin/init_emr_component.sh DATALAKE EMR-VERSION_NUMBER` Nota Si falla la inicialización del entorno EMR Gateway, generalmente se debe a que algunas versiones de clúster no se encuentran en el repositorio de imágenes. Envíe un ticket para contactar al equipo de soporte y obtener asistencia.	EMR Spark EMR Spark SQL EMR Shell Serverless Spark Batch Serverless Spark SQL Serverless Kyuubi
dataworks_shell_jdk17_task_pod	Imagen oficial para nodos Shell de DataWorks. Esta imagen usa JDK 17.	Shell
dataworks_shell_task_pod	Imagen oficial para nodos Shell de DataWorks. Esta imagen usa JDK 7. Si necesita personalizar el entorno de ejecución y requiere paso de parámetros Subprocess, compile una Custom image basada en esta imagen.	Shell
dataworks_python_task_pod	Imagen oficial para nodos Python de DataWorks. Información del sistema: py3.11-ubuntu22.04.	Python
dataworks_cdh_custom_task_pod	Imagen base para clústeres CDH de DataWorks. No se puede usar directamente. Debe instalar `CDH parcel` mediante Custom image antes de usar esta imagen en Data Studio.	CDH
dataworks_controller_task_pod	Imagen oficial para nodos de asignación de DataWorks. Si necesita personalizar el entorno de ejecución y usar el nodo de asignación o los parámetros de asignación para pasar parámetros a nodos posteriores, compile una Custom image basada en esta imagen.	Assignment node
dataworks-mcp	Usada para el desarrollo de tareas de DataWorks Agent for third-party clients. Información del sistema: py3.11-ubuntu22.04.	Personal Development Environment Management
dataworks-notebook	Usada para el desarrollo de tareas de Basic notebook development. Información del sistema: py3.11-ubuntu22.04.
dataworks_notebook_task_pod	Imagen oficial para nodos Notebook de DataWorks. Información del sistema: py3.11-ubuntu22.04. Esta imagen es idéntica a las imágenes dataworks-notebook y dataworks-mcp en cuanto al entorno Python y al entorno de desarrollo personal.
dataworks-maxcompute	Usada para Create a MaxCompute custom image. Información del sistema: py3.11-ubuntu20.04.

Uso de imágenes

En Data Studio, puede usar imágenes oficiales o imágenes personalizadas asociadas al espacio de trabajo.

Use an image in the new DataStudio: En las secciones Run Configuration y Scheduling Settings, ubicadas en el lado derecho de la página de desarrollo de nodos, configure el resource group y la imagen para las ejecuciones de prueba y las ejecuciones posteriores al despliegue.
Use an image in legacy DataStudio: En el cuadro de diálogo que aparece tras hacer clic en Run with Parameters en la página de desarrollo de nodos, o bien en el panel Scheduling Settings del lado derecho de dicha página, configure el resource group y la imagen para la ejecución de prueba y la ejecución posterior al despliegue del nodo.
Use an image in the personal development environment: Al crear una instancia de entorno de desarrollo personal, seleccione una imagen oficial distinta en la lista desplegable Image Configuration.

Nota

Al configurar el resource group y la imagen, tenga en cuenta lo siguiente:

Resource Group for Scheduling: Seleccione un serverless resource group.
Image: Seleccione una imagen oficial o una imagen personalizada desplegada.