E-MapReduce:Criar um cluster de Data Science

Pré-requisitos

• Você concedeu as permissões AliyunOSSFullAccess e AliyunDLFFullAccess. Para mais informações, consulte Role authorization.

• Você já possui um cluster do Container Service for Kubernetes (ACK). Para mais informações, consulte Crie an ACK dedicated cluster (discontinued) ou Crie an ACK managed cluster.

Importante

Seu cluster ACK deve atender aos seguintes requisitos:

• Versão do Kubernetes: 1.22 a 1.24.

• vCPU: 16 ou mais.

• Memória: 64 GiB ou mais.

• Tipo de instância:

  • Há suporte apenas para tipos de instância de uso geral, otimizados para computação e otimizados para memória.

  • Há suporte apenas para as famílias de instâncias ecs.g5, ecs.g6, ecs.g7 e posteriores.

• Você já criou um pool de nós. Para mais informações, consulte Crie and gerencie node pools.

Precauções

Não é possível implantar mais de um cluster de Data Science no mesmo cluster ACK.

Procedimento

1. Acesse o EMR on ACK.

2. Na página EMR on ACK, clique em Create Cluster.

3. Configure os parâmetros do cluster.

   Parâmetro	Descrição
   Region	A região onde o cluster será criado. Não é possível alterar a região após a criação.
   Cluster Type	Data Science: Oferece suporte a cenários de big data e IA, incluindo ETL de big data offline com Hive e Spark, além de treinamento de modelos com TensorFlow. Você pode selecionar um framework de computação heterogênea de CPU+GPU e usar GPUs NVIDIA para acelerar determinados algoritmos de deep learning.
   Product Version	A versão mais recente do software vem selecionada por padrão.
   Component Version	Lista os componentes e as versões para o tipo de cluster selecionado.
   ACK cluster	Selecione um cluster ACK existente ou crie um no console do Container Service for Kubernetes (ACK). Nota Os clusters de Data Science usam os seguintes namespaces: anonymous, cert-manager, fluid-system, ingress-nginx, istio-system, knative-serving, kubeflow, kubernetes-dashboard e monitoring. Se esses namespaces já existirem no seu cluster ACK, a criação do cluster de Data Science os sobrescreverá.
   Configure Dedicated Nodes	Reserva um pool de nós ou nós individuais para uso exclusivo do EMR, aplicando taints e rótulos específicos do EMR.
   Cluster Name	O nome do cluster. O nome deve ter de 1 a 64 caracteres e pode conter caracteres chineses, letras, dígitos, hifens (-) e sublinhados (_).

4. Clique em create.

   O cluster é criado com sucesso quando o status muda para Running.