DataWorks:Gerenciamento de imagens

As tarefas do DataWorks são executadas em containers. Use o gerenciamento de imagens para substituir o runtime padrão pela sua própria imagem docker e instale bibliotecas específicas, fixe versões de dependências ou garanta um ambiente consistente para toda a equipe.

Por padrão, o DataWorks usa imagens integradas mantidas pela Alibaba Cloud. O gerenciamento de imagens permite registrar imagens docker personalizadas e associá-las a grupos de recursos, o que oferece controle total sobre o ambiente de execução.

Quando usar imagens personalizadas

Imagens personalizadas são úteis quando você precisa:

• Instalar bibliotecas específicas: inclua pacotes Python, dependências de sistema ou runtimes de linguagem indisponíveis na imagem padrão.

• Fixar versões de dependências: vincule o ambiente a versões exatas de pacotes para assegurar resultados reproduzíveis entre execuções e membros da equipe.

• Garantir um ambiente padronizado: distribua uma única imagem validada em várias tarefas e grupos de recursos para que todos os engenheiros usem a mesma stack.

• Integrar ao pipeline de CI/CD: construa e envie imagens como parte do fluxo de trabalho de containers existente e associe-as às tarefas do DataWorks.

Se as imagens integradas atenderem aos seus requisitos, não será necessário usar o gerenciamento de imagens.

Conceitos principais

Os termos a seguir são usados no fluxo de trabalho de gerenciamento de imagens:

• Dockerfile: arquivo de texto que define a imagem base, os pacotes instalados e a configuração do ambiente da imagem personalizada.

• Imagem docker: artefato construído a partir de um Dockerfile. Envie essa imagem para um registro de containers antes de usá-la no DataWorks.

• Imagem do DataWorks: registro no DataWorks que referencia uma imagem docker armazenada em um registro de containers. Cada imagem do DataWorks rastreia uma ou mais versões.

• Versão da imagem: snapshot imutável de uma imagem docker em um determinado momento. Após a criação, uma versão não pode ser modificada; crie uma nova versão sempre que necessário.

Tipos de imagem

As imagens do DataWorks dividem-se em duas categorias:

Use imagens integradas quando o runtime padrão atender às suas necessidades. Prefira imagens personalizadas caso precise de bibliotecas, ferramentas ou configurações não incluídas nos padrões.

Como funciona

1. Escreva um Dockerfile que estenda uma imagem base compatível e instale as dependências necessárias.

2. Construa a imagem docker e envie-a para um registro de containers compatível (Alibaba Cloud Container Registry, docker Hub ou registro privado acessível pelo grupo de recursos do DataWorks).

3. Registre a imagem no DataWorks e forneça a URL do registro e as credenciais.

4. Associe a imagem a um grupo de recursos. As tarefas executadas nesse grupo usarão sua imagem como ambiente de execução.

Para atualizar o ambiente, construa e envie uma nova imagem docker e crie uma nova versão da imagem no DataWorks.

Incorpore alterações de ambiente na imagem

Evite modificar o ambiente de execução por meio de scripts de inicialização quando for possível aplicar a mesma alteração no Dockerfile. Scripts de inicialização rodam sempre que um container inicia, o que aumenta a latência e dificulta a reprodução do ambiente. Reserve esses scripts apenas para tarefas que realmente exijam execução na inicialização do container, como iniciar um daemon em segundo plano, e trate todo o restante durante a construção da imagem.

Registros de containers compatíveis

O DataWorks pode baixar imagens dos seguintes registros:

Para registros privados, configure as credenciais ao registrar a imagem no DataWorks.

Solucionar falhas de imagem

Quando uma imagem personalizada falhar ao ser associada ou uma tarefa apresentar erro na inicialização, verifique os itens abaixo:

• Log de construção: saída bruta do processo de construção do container. Procure erros de instalação de pacotes ou camadas ausentes na imagem base.

• Erros de pull de imagem: confirme se a URL do registro está correta, se a tag da imagem existe e se o DataWorks tem permissão para baixar do registro.

• Conflitos de ambiente: se o Dockerfile instalar pacotes de forma conflitante com os requisitos do DataWorks (por exemplo, sobrescrevendo um caminho de sistema obrigatório), a tarefa falhará na inicialização em vez de durante a construção.

Próximos passos

• [Criar uma imagem personalizada]()

• [Associar uma imagem a um grupo de recursos]()

• [Atualizar uma versão de imagem]()