DataWorks:Imagem personalizada

Limites

• Limites de edição:

  • Todas as edições suportam a criação e o uso de imagens personalizadas.

  • Somente a Professional Edition ou superior suporta a construção de imagens.

• Limites de grupo de recursos: O recurso de imagem personalizada suporta apenas grupos de recursos serverless.

  Para grupos de recursos legados, use o Cloud Assistant para instalar dependências externas.

• Limites de permissão: É necessária a permissão AliyunDataWorksFullAccess ou ModifyResourceGroup.

  Para detalhes sobre autorização, consulte Política do RAM para permissões de service e console .

Cotas e limites

• Quantidade de imagens: O número de imagens personalizadas que você pode criar depende da sua edição do DataWorks.

  • Basic Edition e Standard Edition: 10

  • Professional Edition: 50

  • Enterprise Edition: 100

• Concorrência de construção: É possível construir até duas imagens simultaneamente em cada região.

• Requisitos de imagem ACR:

  • Edição da instância: Apenas instâncias da Enterprise Edition do Alibaba Cloud Container Registry (ACR) são suportadas.

  • Arquitetura da instância: Apenas a arquitetura AMD64 é suportada.

  • Tamanho da imagem: Uma única imagem não pode exceder 5 GB.

  • Configuração de fuso horário: Instale o pacote de fuso horário tzdata para evitar falhas no contêiner devido a incompatibilidade de fuso horário com o DataWorks.

• Construção de imagem: As construções persistentes estão disponíveis apenas para imagens personalizadas criadas com base em imagens oficiais do DataWorks. Imagens personalizadas que referenciam uma imagem ACR não suportam construções persistentes e devem ser baixadas e implantadas novamente sempre que uma tarefa for executada.

• Tipos de nó e métodos de construção suportados:

  Tipo de nó	Construir a partir de imagens oficiais	Construir a partir de imagens ACR
  PyODPS2	Suportado	Não suportado
  PyODPS3	Suportado	Não suportado
  EMR Spark	Suportado	Não suportado
  EMR Spark SQL	Suportado	Não suportado
  EMR SHELL	Suportado	Não suportado
  Shell	Suportado	Suportado
  Python	Suportado	Suportado
  Notebook	Não suportado	Suportado
  CDH	Suportado	Não suportado
  Assignment Node	Suportado	Não suportado

Procedimento

Faturamento

A construção de imagens incorre em custo de computação calculado como Número de CUs × Duração da construção. O sistema aloca 0,5 CU por padrão. Para mais informações sobre faturamento, consulte Padrões de faturamento para grupos de recursos Serverless.

Uso em produção

Siga estas recomendações para manter as imagens personalizadas estáveis e econômicas em produção.

• Imagens persistentes: Construa configurações estáveis em imagens persistentes para evitar reinstalar dependências a cada execução. Isso reduz o tempo de inicialização, diminui os custos de computação e melhora a estabilidade.

• Consistência de ambiente: Mantenha as configurações de VPC e rede consistentes entre os grupos de recursos serverless usados para teste, construção e agendamento de produção, especialmente ao acessar um repositório ACR privado ou a rede pública.

• Fixação de versão: Ao instalar dependências com o método Script, especifique números exatos de versão (por exemplo, pip install pandas==1.5.3). Isso evita comportamentos inesperados decorrentes de atualizações de bibliotecas upstream.

• Plano de rollback: Se uma tarefa de produção falhar após uma atualização de imagem, reverta para uma versão anterior usando o histórico de implantação da tarefa ou defina a imagem para uma versão mais antiga e estável nas configurações de agendamento.

Caso de uso

Este exemplo mostra como usar uma imagem personalizada com um nó PyODPS para realizar segmentação de palavras em chinês. O fluxo de trabalho pré-instala o toolkit jieba em uma imagem personalizada, lê texto de uma tabela MaxCompute, segmenta-o e grava os resultados em uma tabela de destino para agendamento downstream.

1. Crie dados de teste.

   1. Crie um workspace do DataWorks e associe-o a um recurso de computação MaxCompute. Para detalhes, consulte Criar um workspace e Gerenciar recursos de computação.

   2. No Data Studio, crie um nó ODPS (no Data Studio legado) ou um nó MaxCompute SQL (no novo Data Studio) para criar e popular uma tabela de teste.

      Nota

      O exemplo a seguir usa um parâmetro de agendamento. Nas Scheduling Settings à direita, defina o nome do parâmetro como bday e o valor como $[yyyymmdd].

      Criar uma tabela de teste.

      -- Create a test table.
      CREATE TABLE IF NOT EXISTS custom_img_test_tb
      (
          c_customer_id BIGINT NOT NULL,
          c_customer_text STRING NOT NULL,
          PRIMARY KEY (c_customer_id)
      )
      COMMENT 'TABLE COMMENT'
      PARTITIONED BY (ds STRING COMMENT 'partition')
      LIFECYCLE 90;
      -- Insert test data into the table.
      INSERT INTO custom_img_test_tb PARTITION (ds='${bday}') (c_customer_id, c_customer_text) VALUES
      (1, 'As evening snow is due, won''t you stay for a drink?'),
      (2, 'Moon sets, crows caw, frost fills the sky; river maples and fishing fires sleeplessly sigh.'),
      (3, 'Where mountains and rivers seemed to end, a village appears amidst the willows and flowers.'),
      (4, 'In spring slumber, unaware of dawn, bird songs fill the air all around.'),
      (5, 'Quiet night thoughts: bright moonlight before my bed, like frost upon the ground.'),
      (6, 'The bright moon rises over the sea; from the farthest shores, we share this moment.'),
      (7, 'The swallows of the noble Wang and Xie clans of old now fly into the homes of common folk.'),
      (8, 'A line of white egrets ascends the blue sky; the window frames the ancient snows of the Western Range.'),
      (9, 'Life is for joy, so live it to the fullest; let not your golden cup be empty under the moon.'),
      (10, 'Heaven gave me talent, so it must be put to use; a thousand pieces of gold, once spent, will come back again.');

   3. Salve e implante o nó.

2. Crie uma imagem personalizada.

   Para detalhes, consulte Criar uma imagem personalizada. Configure os parâmetros principais da seguinte forma:

   • Image Name/ID: Selecione dataworks_pyodps_task_pod, a imagem oficial do DataWorks para nós PyODPS.

   • Supported Task Types: Selecione PyODPS2 e PyODPS 3.

   • Installation Package: Selecione Python3 e jieba.

3. Publique a imagem personalizada e associe-a ao seu workspace. Para detalhes, consulte Publicar uma imagem personalizada e Modificar a associação de workspace de uma imagem.

4. Use a imagem personalizada em uma tarefa agendada.

   1. No Data Studio, crie um nó PyODPS 3 e adicione o seguinte código:

      Usar a imagem personalizada.

      import jieba
      from odps import ODPS
      from odps.models import TableSchema as Schema, Column, Partition
      # Read data from the table.
      table = o.get_table('custom_img_test_tb')
      partition_spec = f"ds={args['bday']}"
      with table.open_reader(partition=partition_spec) as reader:
          records = [record for record in reader]
      # Segment the extracted text.
      participles = [' | '.join(jieba.cut(record['c_customer_text'])) for record in records]
      # Create the destination table.
      if not o.exist_table("participle_tb"):
          schema = Schema(columns=[Column(name='word_segment', type='string', comment='Word segmentation result')], partitions=[Column(name='ds', type='string', comment='Partition field')])
          o.create_table("participle_tb", schema)
      # Write the segmentation results to the destination table.
      # Define the output partition and table.
      output_partition = f"ds={args['bday']}"
      output_table = o.get_table("participle_tb")
      # If the partition does not exist, create it.
      if not output_table.exist_partition(output_partition):
          output_table.create_partition(output_partition)
      # Write the segmentation results to the table.
      record = output_table.new_record()
      with output_table.open_writer(partition=output_partition, create_partition=True) as writer:
          for participle in participles:
              record['word_segment'] = participle
              writer.write(record)

   2. Nas configurações de agendamento à direita, configure os seguintes parâmetros principais:

      • Scheduling Parameter: Defina o nome do parâmetro como bday e o valor como $[yyyymmdd].

      • Resource Group for Scheduling: Selecione o mesmo grupo de recursos serverless especificado para a Publish Image durante o Test Resource Group.

      • Image: Selecione a imagem personalizada publicada associada ao workspace atual.

   3. Depure o nó.

      • Se usar o Data Studio legado, clique em Run with Parameters () na barra de ferramentas do nó. Configure Resource Group Name, CUs for Node Running, Image e Custom Parameters, e então clique em Run.

      • Se usar o novo Data Studio, no painel Run Configuration à direita, configure Computing Resources, Resource Group, Calculate CU, Image e Script Parameters. Em seguida, clique em Run na barra de ferramentas do nó.

   4. (Opcional) Crie uma consulta ad hoc (no Data Studio legado) ou um arquivo SQL em seu diretório pessoal (no novo Data Studio) e execute a seguinte instrução SQL para verificar se há dados na tabela de saída.

      -- Replace <partition_date> with the actual partition date.
      SELECT * FROM participle_tb WHERE ds=<partition_date>;

      Se a consulta retornar dados, o resultado incluirá a coluna word_segment (resultados da segmentação, com palavras separadas por barras verticais |) e a coluna ds (data da partição).

   5. Implante o nó PyODPS no ambiente de produção.

      Nota

      Alterações de imagem feitas no Data Studio não são sincronizadas automaticamente com o ambiente de produção. Implante a tarefa para que as alterações tenham efeito. Para detalhes, consulte Implantar tarefas (Data Studio legado) ou Implantar nós/workflows (novo Data Studio).

5. Construa uma imagem persistente a partir da imagem personalizada. Para detalhes, consulte Construir uma imagem persistente.

FAQ

P: Uma tarefa Python reporta o erro "urllib3 v2.0 only supports OpenSSL 1.1.1+".

R: O pacote urllib3 v2.0 requer OpenSSL 1.1.1 ou posterior. Para resolver isso, faça o downgrade do urllib3 para uma versão compatível. Por exemplo: /home/tops/bin/pip3 install urllib3==1.26.16.

Documentação relacionada

• Imagens públicas do DataWorks

• Usar grupos de recursos serverless

• Desenvolver tarefas em um cluster Hadoop autogerenciado

• Desenvolver com MaxCompute PyODPS

Apêndice: Comandos de instalação

Para instalar pacotes em uma imagem personalizada usando o método script, utilize os comandos a seguir.

• Para nós PyODPS 2, execute os seguintes comandos.

  pip install <package-name> -i  https://pypi.tuna.tsinghua.edu.cn/simple

  pip install <package-name>

  Nota

  Se for solicitado atualizar o PIP, execute o seguinte comando: pip install --upgrade pip.

• Para nós PyODPS 3, execute os seguintes comandos.

  /home/tops/bin/pip3 install <package-name> -i https://pypi.tuna.tsinghua.edu.cn/simple

  /home/tops/bin/pip3 install <package-name>

  Nota

  • Se for solicitado atualizar o PIP, execute o seguinte comando: /home/tops/bin/pip3 install --upgrade pip.

  • Se ocorrer o erro /home/admin/usertools/tools/cmd-0.sh: line 3: /home/tops/bin/python3: No such file or directory, abra um ticket para solicitar as permissões necessárias.

  A tabela a seguir lista fontes de espelho Python públicas.

  Organização	URL do espelho
  Alibaba Cloud	https://mirrors.aliyun.com/pypi/simple/ Importante É possível obter pacotes Python da Alibaba Cloud sem habilitar o acesso à internet.
  Universidade Tsinghua	https://pypi.tuna.tsinghua.edu.cn/simple
  Universidade de Ciência e Tecnologia da China (USTC)	https://pypi.mirrors.ustc.edu.cn/simple/