Platform For AI:Create a training job

Parâmetro

Descrição

Job Name

Defina um nome facilmente identificável para o job.

Tag

Aplique tags padronizadas aos seus jobs. As tags fornecem a base para arquivar jobs por rótulo, analisar a distribuição de jobs e rastrear o consumo de recursos. Aplicam-se as seguintes restrições:

• Restrições de chave: Não deve começar com aliyun ou acs:. Não deve conter http:// ou https://. Comprimento máximo: 128 caracteres. As chaves podem conter apenas letras, números, hifens (-), sublinhados (_) e pontos (.).

• Restrições de valor: Não deve conter http:// ou https://. Comprimento máximo: 256 caracteres. Separe vários valores com vírgulas.

Para obter diretrizes sobre a padronização de tags, consulte Standardize tagging for DLC, DSW, and EAS.

Task Description

Use este campo para descrever a finalidade, o contexto ou outras informações sobre o job.

Parâmetro

Descrição

Image Configuration

Além da Alibaba Cloud Image, há suporte para os seguintes tipos de imagem:

• Custom Image: Use imagens personalizadas adicionadas ao PAI. Defina o repositório de imagens como público ou armazene a imagem no Alibaba Cloud Container Registry (ACR). Para mais detalhes, consulte Custom images.

  Nota

  Ao selecionar recursos Lingjun e usar uma imagem personalizada, instale manualmente os drivers RDMA para aproveitar ao máximo a rede RDMA de alto desempenho. Para mais detalhes, consulte RDMA: distributed training with a high-performance network.

• Image Address: Configure endereços de imagens personalizadas ou oficiais com acesso público.

  • Para endereços de imagens privadas, clique em Enter credentials e configure o nome de usuário e a senha do repositório de imagens.

  • Para aumentar a velocidade de pull da imagem, consulte Image acceleration.

Mount dataset

Os datasets fornecem os arquivos de dados necessários para o treinamento do modelo. Há suporte para os seguintes tipos de dataset:

• Custom Dataset: Crie um dataset personalizado para armazenar os arquivos de dados necessários para o treinamento. Ative o modo Read-only e selecione uma versão do dataset na lista de versões.

• Public Dataset: O PAI fornece datasets públicos integrados, que suportam apenas montagem em modo de leitura.

Mount Path: Caminho onde o dataset é montado no contêiner do DLC, por exemplo /mnt/data. Acesse o dataset por meio desse caminho no seu código. Para mais detalhes sobre a configuração de montagem, consulte Use cloud storage.

Mount storage

Monte caminhos de origem de dados diretamente para ler os dados necessários ou armazenar arquivos intermediários e de resultados.

• Tipos de origem de dados com suporte: OSS, NAS de uso geral, NAS extremo, CPFS e BMCPFS (disponível apenas com recursos Lingjun).

• Advanced Settings: Diferentes tipos de origem de dados oferecem recursos específicos por meio de configurações avançadas. Por exemplo:

  • OSS: Defina {"mountType":"ossfs"} nas configurações avançadas para montar o armazenamento OSS usando ossfs.

  • NAS de uso geral e CPFS: Defina o parâmetro nconnect nas configurações avançadas para melhorar o throughput do NAS a partir do contêiner do DLC. Para mais detalhes, consulte How do I improve NAS performance on Linux?. Por exemplo, {"nconnect":"<sample value>"}, onde <sample value> é substituído por um número inteiro positivo específico.

Para mais informações, consulte Use cloud storage.

Startup Command

Defina o comando de inicialização do job. Há suporte para comandos Shell. O DLC injeta automaticamente common PyTorch and TensorFlow environment variables, como MASTER_ADDR e WORLD_SIZE. Referencie-as usando $VARIABLE_NAME. Exemplos de comandos de inicialização:

• Execute Python: python -c "print('Hello World')"

• Treinamento distribuído PyTorch em múltiplos nós e múltiplas GPUs: python -m torch.distributed.launch \ --nproc_per_node=2 \ --master_addr=${MASTER_ADDR} \ --master_port=${MASTER_PORT} \ --nnodes=${WORLD_SIZE} \ --node_rank=${RANK} \ train.py --epochs=100

• Especificar um caminho de script shell como comando de inicialização: /ml/input/config/launch.sh

Parâmetro

Descrição

Resource Type

O padrão é General Computing. O Lingjun Intelligence Resources está disponível nas seguintes regiões: China (Ulanqab), Singapore, China (Shenzhen), China (Beijing), China (Shanghai), China (Hangzhou), China (Guangzhou), China (Hong Kong), Malaysia, Germany e Atlanta.

Source

• Public Resources:

  • Modelo de faturamento: pagamento conforme o uso.

  • Ideal para cargas de trabalho com jobs esporádicos e sem requisitos rígidos de tempo. Recursos públicos podem exigir fila.

  • Limites de recursos: até 2 GPUs e 8 núcleos de CPU. Para exceder esses limites, entre em contato com o gerente da sua conta e solicite o aumento da cota.

• Resource Quota: Inclui recursos de computação de uso geral ou recursos Lingjun.

  • Modelo de faturamento: Assinatura.

  • Ideal para cenários com alto volume de jobs que exigem recursos estáveis e garantidos.

  • Parâmetros especiais:

    • Resource Quota: Defina a quantidade de GPU, CPU e outros recursos. Para saber como preparar cotas de recursos, consulte Crie uma cota de recursos.

    • Priority: Indica a prioridade de execução de jobs simultâneos. Intervalo de valores: [1, 9], onde 1 é a prioridade mais baixa.

  • Pré-verificação: Verifica automaticamente o modelo de GPU e a compatibilidade da imagem antes do envio do job. Isso detecta erros de configuração antecipadamente e evita falhas no job.

• Preemptible Resources:

  • Modelo de faturamento: pagamento conforme o uso.

  • Ideal para cenários sensíveis a custos. O preço de recursos spot é menor que o do pagamento conforme o uso.

  • Sem garantia de disponibilidade. Os recursos podem não estar imediatamente disponíveis ou podem ser recuperados. Para mais informações, consulte Use a preemptible job.

Framework

Há suporte para os seguintes frameworks e ferramentas de treinamento de deep learning: TensorFlow, PyTorch, ElasticBatch, XGBoost, OneFlow, MPIJob, Ray, Custom, DataJuicer e MPI.

Job Resource

Com base no Framework selecionado, configure recursos para os tipos de nó Worker, PS, Chief, Evaluator e GraphLearn. Ao usar o framework Ray, clique em Add Role para personalizar as funções do Worker e permitir a execução mista de recursos heterogêneos.

• Uso de recursos públicos: Os seguintes parâmetros podem ser configurados:

  • Number of Nodes: Número de nós que executam o job do DLC.

  • Resource Type: Selecione o tipo de instância. O console exibe o preço correspondente. Para mais informações sobre faturamento, consulte DLC billing.

• Uso de cotas de recursos: Configure o número de nós, núcleos de CPU, GPUs, memória (GiB) e memória compartilhada (GiB) para cada tipo de nó. Os seguintes parâmetros especiais também estão disponíveis:

  • Node-Specific Scheduling: Execute jobs em nós de computação específicos.

  • Idle Resources: Ao usar recursos de tempo ocioso, os jobs podem ser executados na capacidade ociosa de outras cotas, o que melhora a utilização de recursos. No entanto, quando a cota original precisa desses recursos, os jobs de tempo ocioso são encerrados automaticamente e os recursos são devolvidos. Para mais informações, consulte Use idle-time resources.

  • CPU Affinity: Ative a afinidade de CPU para vincular processos a núcleos de CPU específicos. Isso reduz cache misses e trocas de contexto, melhorando o desempenho. Ideal para cenários com requisitos de alto desempenho e tempo real.

• Uso de recursos spot: Além da contagem de nós e do tipo de instância, configure o parâmetro Bid Price, que define o lance máximo para recursos spot. Clique no botão para selecionar um método de lance:

  • Por desconto: O preço máximo baseia-se no preço de mercado do tipo de instância, com opções discretas de 10% a 90% do preço de mercado, representando o limite do lance. Os recursos spot são alocados quando o lance máximo é maior ou igual ao preço de mercado e há capacidade suficiente disponível.

  • Por preço: O intervalo de lance máximo está dentro do intervalo de preço de mercado.

Scheduling Policy

Personalize a estratégia de agendamento de recursos do contêiner com base nos seus cenários de negócios e nas características do job:

• Intelligent: Os jobs de GPU são consolidados no menor número possível de nós de GPU, enquanto os jobs de CPU são distribuídos pelos nós de CPU. Esta é a estratégia padrão.

• Centralized: Os jobs são consolidados no menor número possível de nós. Esta estratégia ajuda a reduzir a fragmentação de recursos e é ideal para treinamento de modelos em GPU.

• Spread: Os jobs são distribuídos pelos nós. Esta estratégia melhora a taxa de sucesso de retirada da fila do job e é ideal para jobs de CPU distribuídos.

Parâmetro

Descrição

Automatic Fault Tolerance

Após ativar o recurso Automatic Fault Tolerance e configurar os parâmetros relevantes, o sistema fornece recursos de monitoramento e controle de jobs. Ele detecta erros no nível do algoritmo em tempo real e toma medidas corretivas, o que melhora a utilização da GPU. Para mais detalhes, consulte AIMaster: An elastic and automatic fault tolerance engine.

Sanity Check

Após ativar o recurso Sanity Check, a verificação de integridade inspeciona minuciosamente os recursos envolvidos no treinamento, isola automaticamente os nós com falha e aciona operações automatizadas em segundo plano. Isso reduz a probabilidade de problemas durante os estágios iniciais do treinamento e melhora a taxa de sucesso. Para mais detalhes, consulte SanityCheck: Compute health checks.

Função RAM da instância

Descrição

Default Role of PAI

Opera com base na função de service AliyunPAIDLCDefaultRole, que tem acesso apenas ao MaxCompute e ao OSS, com permissões mais granulares. Credenciais temporárias emitidas com base na função padrão do PAI:

• Ao acessar tabelas do MaxCompute, tem as mesmas permissões que o proprietário da instância DLC.

• Ao acessar o OSS, só é possível acessar o bucket padrão do OSS configurado para o workspace atual.

Custom Role

Selecione ou especifique uma função RAM personalizada. Ao acessar cloud services de dentro da instância usando credenciais temporárias do STS, as permissões são consistentes com as da função personalizada.

Does Not Associate Role

Nenhuma função RAM está associada ao job do DLC. Esta é a opção padrão.

Parâmetro (chave)

Tipos de framework suportados

Descrição

Valor do parâmetro

ReleaseResourcePolicy

ALL

Configura uma política personalizada de liberação de recursos. Este parâmetro é opcional. Se você não o configurar, todos os recursos do Pod serão liberados quando o job terminar. Se você o configurar, o único valor com suporte é pod-exit, que libera os recursos de um Pod quando o Pod é encerrado.

pod-exit

EnableJumboFrame

ALL

Especifica se deve ativar jumbo frames. Há suporte para este parâmetro apenas em AI Computing Resources - General Computing 2.0. O valor padrão é false, o que significa desativado.

true ou false

EnableNvidiaIBGDA

ALL

Especifica se o IBGDA deve ser ativado quando o driver da GPU é carregado.

true ou false

EnableNvidiaGDRCopy

ALL

Especifica se o módulo de kernel GDRCopy deve ser instalado. A versão atualmente instalada é a 2.4.4.

true ou false

EnablePaiNUMACoreBinding

ALL

Especifica se o NUMA deve ser ativado.

true ou false

EnableResourcePreCheck

ALL

Ao enviar um job, este parâmetro verifica se os recursos totais (especificações do nó) na cota atendem às especificações de todas as funções no job.

true ou false

createSvcForAllWorkers

PyTorch

Especifica se a conectividade de rede entre workers deve ser permitida.

• Se definido como true, todos os workers do PyTorch podem se comunicar entre si pela rede.

• Se definido como false ou deixado sem configuração, apenas o master pode ser acessado por padrão.

Após a ativação, o nome de domínio de cada worker é o nome do worker, como dlcxxxxx-master-0. O nome do job (dlcxxxxx) é então passado para o worker por meio da variável de ambiente JOB_NAME. Em seguida, determine o nome de domínio do worker específico que deseja acessar.

true ou false

customPortList

PyTorch

Permite definir as portas de rede expostas em cada worker. Use este parâmetro junto com createSvcForAllWorkers para ativar a conectividade de rede entre workers.

Se deixado sem configuração, apenas a porta 23456 é exposta no master por padrão. Certifique-se de não incluir a porta 23456 nesta lista de portas personalizadas.

Um conjunto de strings separadas por ponto e vírgula, onde cada string é um único número de porta ou um intervalo de portas conectado por um hífen, como 10000;10001-10010 (que é convertido em 11 números de porta consecutivos de 10000 a 10010).

customPortNumPerWorker

PyTorch

Permite solicitar um número de portas de rede a serem expostas em cada worker. Use este parâmetro junto com createSvcForAllWorkers para ativar a conectividade de rede entre workers.

Se deixado sem configuração, apenas a porta 23456 é exposta no master por padrão. O DLC atribui portas aleatoriamente aos workers com base no número de portas definido no parâmetro. Os números de porta atribuídos são passados para o worker por meio da variável de ambiente CUSTOM_PORTS para consulta. O formato é um conjunto de números de porta separados por ponto e vírgula.

Inteiro (máximo: 65536)

RayRuntimeEnv

Ray

Quando o framework é o Ray, configure manualmente o RayRuntimeEnv para definir o ambiente de execução.

Configure variáveis de ambiente e bibliotecas de terceiros ({pip: requirements.txt, env_vars: {key: value}})

RayRedisAddress

Ray

Endereço externo do Redis GCS.

String

RayRedisUsername

Ray

Nome de usuário externo do Redis GCS.

String

RayRedisPassword

Ray

Senha externa do Redis GCS.

String

RaySubmitterBackoffLimit

Ray

O número de tentativas para o submitter.

Inteiro positivo (int)

RayObjectStoreMemoryBytes

Ray

Configura a memória compartilhada para um nó. Por exemplo, para configurar 1 GiB de memória compartilhada para cada nó, use a seguinte configuração:

{
      "RayObjectStoreMemoryBytes": "1073741824"
    }

Inteiro positivo (int)