MaxCompute:Custom images

Imagens base

O MaxCompute fornece duas imagens base:

Crie e compile a imagem

1. Crie um Dockerfile.

      vim DockerFile

2. Adicione o seguinte conteúdo ao Dockerfile:

      # Use the MaxCompute CentOS base image
      FROM registry.cn-zhangjiakou.aliyuncs.com/maxcompute_image/base_image:latest
   
      # If you use the Ubuntu image, replace the image address with registry.cn-zhangjiakou.aliyuncs.com/maxcompute_image/ubuntu_20.04:latest
   
      # Install system dependencies
      RUN yum install vi -y
   
      # Install third-party libraries
      RUN /usr/ali/python3.7/bin/python3 -m pip install --no-cache-dir pandas

3. Compile a imagem.

   • image_name: O nome da imagem personalizada.

   • tag: A versão da imagem personalizada.

      sudo docker build -f DockerFile -t <image_name>:<tag> .

Crie uma instância do ACR Enterprise Edition

1. Faça login no console do Container Registry e selecione uma região no canto superior esquerdo.

2. No painel de navegação à esquerda, selecione Instances.

3. Na página Instances, clique em Create ACR EE. Se já tiver criado uma instância, pule esta etapa.

   Importante

   Envie imagens personalizadas apenas para instâncias Standard Edition ou Premium Edition do ACR Enterprise Edition.

Crie um repositório

1. Na página Instances, localize a instância Enterprise Edition desejada e clique em Gerencie para abrir a página de visão geral da instância.

2. No painel de navegação à esquerda, selecione Repository > Repositories.

3. Na página Repository > Repositories, clique em Create Repository. Na caixa de diálogo Create Repository, insira as informações abaixo e clique em Next.

   Parâmetro	Obrigatório	Descrição
   Region	Sim	A região da instância atual é selecionada automaticamente.
   Namespace	Sim	Namespace do repositório de imagens. Este parâmetro não pode ser modificado após a definição. Crie um namespace correspondente a uma empresa, organização ou usuário individual, como Aliyun. Não crie um namespace correspondente a um módulo ou sistema, como Tomcat, CentOS, um aplicativo ou um módulo.
   Repository Name	Sim	O nome deve ter entre 2 e 120 caracteres e pode conter letras minúsculas, dígitos e separadores. Os separadores podem ser sublinhados (_), hífens (-), pontos (.) e barras (/). Um separador não pode ser o primeiro ou o último caractere.
   Repository Type	Não	Para fazer pull de uma imagem pública, faça login na instância Enterprise Edition. Para permitir pulls anônimos, ative os pulls anônimos na instância. Para fazer pull de uma imagem privada de uma instância Enterprise Edition, faça login na instância e tenha a permissão de pull. O valor padrão é Private.
   Tags	Não	Quando selecionado, todas as tags exceto a mais recente no repositório não podem ser sobrescritas, garantindo a consistência das imagens de contêiner.
   Accelerated Image	Não	Quando selecionado, todas as imagens no repositório geram automaticamente imagens aceleradas com o sufixo "_accelerated". Full Mode: Oferece um efeito de aceleração significativo. O tamanho de uma imagem acelerada é aproximadamente 130% do tamanho da imagem original. O sistema leva cerca de 25 segundos para gerar uma imagem acelerada de 1 GB. Se uma camada de imagem acelerada já foi gerada para uma camada de imagem, o sistema não gera novamente a camada acelerada para essa mesma camada. Index-only Mode (Public Preview): Fornece cerca de 70% do efeito de aceleração do modo completo. O tamanho da imagem acelerada é cerca de 3% do tamanho da imagem original. Leva aproximadamente 3 segundos para gerar uma imagem acelerada de 1 GB. Camadas de imagem para as quais um índice já foi gerado não são geradas novamente.
   Summary	Sim	Máximo de 100 caracteres.
   Description	Não	Suporta formato Markdown.

4. Configure a source do código:

   Para Code Source, selecione Local Repository e clique em Create Repository.

Fazer upload da imagem

1. Na página Repository Repositories, clique em Gerencie na coluna Actions do repositório alvo.

2. No painel de navegação à esquerda, selecione Details.

3. Siga as instruções em Instructions on Images na parte inferior da página Details para enviar uma imagem personalizada do seu ambiente docker para o repositório de imagens do Container Registry.

4. (Opcional) Se sua máquina estiver em uma VPC, execute as seguintes etapas:

   1. Configure o acesso à VPC para a instância Enterprise Edition. Para mais informações, consulte Configure access over a VPC.

   2. Ao realizar operações na instância do ACR Enterprise Edition no seu ambiente docker, adicione vpc ao nome de domínio. Por exemplo, altere acr-test-registry.cn-wulanchabu.cr.aliyuncs.com para acr-test-registry-vpc.cn-wulanchabu.cr.aliyuncs.com no comando a seguir:

      $ docker login --username=***@test.aliyunid.com acr-test-registry.cn-wulanchabu.cr.aliyuncs.com

   Nota

   Se ocorrer um erro ao fazer login na instância, verifique se o acesso à rede pública está ativado para o repositório.

Desenvolvimento de UDF

Especifique a imagem e a versão do Python no nível da sessão SQL usando flags:

set odps.sql.python.version=cp37;
set odps.session.image = <image_name>;

Desenvolvimento com PyODPS

Especifique a imagem usando o parâmetro image do método execute ou persist:

image='<image_name>'

Desenvolvimento com MaxFrame

Especifique a imagem para o job atual nas configurações:

config.options.sql.settings = {
    "odps.session.image": "<image_name>"
}