DataWorks:Gestión de imágenes

Las tareas de DataWorks se ejecutan dentro de contenedores. Use la gestión de imágenes para reemplazar el entorno de ejecución predeterminado con su propia imagen de Docker; así podrá instalar bibliotecas específicas, fijar versiones de dependencias o garantizar un entorno consistente en todo su equipo.

De forma predeterminada, DataWorks usa imágenes integradas que mantiene Alibaba Cloud. La gestión de imágenes le permite registrar imágenes de Docker personalizadas y vincularlas a resource groups, lo que le otorga control total sobre el entorno de ejecución.

Cuándo usar imágenes personalizadas

Las imágenes personalizadas son útiles cuando necesita:

• Instalar bibliotecas específicas: incluya paquetes de Python, dependencias del sistema o entornos de ejecución de lenguajes no disponibles en la imagen predeterminada.

• Fijar versiones de dependencias: bloquee su entorno con versiones exactas de paquetes para asegurar resultados reproducibles en distintas ejecuciones y entre los miembros del equipo.

• Aplicar un entorno estandarizado: distribuya una única imagen validada en varias tareas y resource groups para que todos los ingenieros usen la misma pila.

• Integrarse con su canalización de CI/CD: compile y envíe imágenes como parte de su flujo de trabajo de contenedores existente y, después, vincúlelas a las tareas de DataWorks.

Si las imágenes integradas cumplen con sus requisitos, no es necesario usar la gestión de imágenes.

Conceptos clave

A continuación se describen los términos usados en el flujo de trabajo de gestión de imágenes:

• Dockerfile: archivo de texto que define la imagen base, los paquetes instalados y la configuración del entorno para su imagen personalizada.

• Imagen de Docker: artefacto compilado generado a partir de un Dockerfile. Debe enviar esta imagen a un registro de contenedores antes de que DataWorks pueda usarla.

• Imagen de DataWorks: registro en DataWorks que hace referencia a una imagen de Docker almacenada en un registro de contenedores. Cada imagen de DataWorks rastrea una o más versiones.

• Versión de imagen: instantánea inmutable de una imagen de Docker en un momento específico. Una vez creada, la versión no se puede modificar; en su lugar, cree una nueva versión.

Tipos de imágenes

Las imágenes de DataWorks se dividen en dos categorías:

Elija las imágenes integradas cuando el entorno de ejecución predeterminado satisfaga sus necesidades. Opte por imágenes personalizadas cuando requiera bibliotecas, herramientas o configuraciones no incluidas en las opciones predeterminadas.

Cómo funciona

1. Escriba un Dockerfile que extienda una imagen base compatible e instale las dependencias necesarias.

2. Compile la imagen de Docker y envíela a un registro de contenedores compatible (Alibaba Cloud Container Registry, Docker Hub o un registro privado accesible desde su resource group de DataWorks).

3. Registre la imagen en DataWorks al proporcionar la URL del registro y las credenciales correspondientes.

4. Vincule la imagen a un resource group. Las tareas que se ejecuten en ese resource group usarán su imagen como entorno de ejecución.

Para actualizar el entorno, compile y envíe una nueva imagen de Docker y, después, cree una nueva versión de imagen en DataWorks.

Integre los cambios del entorno en la imagen

Evite modificar el entorno de ejecución mediante scripts de inicio siempre que pueda aplicar el mismo cambio directamente en el Dockerfile. Los scripts de inicio se ejecutan cada vez que se inicia un contenedor, lo que añade latencia y dificulta la reproducción del entorno. Reserve los scripts de inicio únicamente para tareas que realmente requieran ejecución durante el arranque del contenedor (por ejemplo, iniciar un daemon en segundo plano) y gestione todo lo demás durante la compilación de la imagen.

Registros de contenedores compatibles

DataWorks puede extraer imágenes de los siguientes registros:

Para registros privados, configure las credenciales cuando registre la imagen en DataWorks.

Solución de problemas con imágenes

Cuando una imagen personalizada no se vincula correctamente o una tarea falla durante el inicio, compruebe lo siguiente:

• Registro de compilación: salida sin procesar del proceso de compilación del contenedor. Busque errores de instalación de paquetes o capas faltantes en la imagen base.

• Errores de extracción de imagen: confirme que la URL del registro sea correcta, que la etiqueta de la imagen exista y que DataWorks tenga permiso para extraer imágenes del registro.

• Conflictos de entorno: si su Dockerfile instala paquetes de manera que entre en conflicto con los requisitos de DataWorks (por ejemplo, al sobrescribir una ruta del sistema obligatoria), la tarea fallará durante el inicio en lugar de durante la compilación.

Pasos siguientes

• [Crear una imagen personalizada]()

• [Vincular una imagen a un resource group]()

• [Actualizar una versión de imagen]()