E-MapReduce:Manage runtime environments

Pré-requisitos

Crie um workspace. Para mais informações, consulte Manage workspaces.

Criar um ambiente de execução

1. Acesse a página de gerenciamento de ambientes de execução.

   1. Faça login no console do E-MapReduce.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique em o nome do workspace de destino.

   4. Na página EMR Serverless Spark, selecione Environment na barra de navegação à esquerda.

2. Clique em Create Environment.

3. Na página Create Environment, configure os seguintes parâmetros.

   Parâmetro	Obrigatório	Descrição
   Name	Sim	Insira um nome para o ambiente de execução.
   Description	Não	Insira uma descrição para o ambiente de execução.
   Resource Queue	Sim	Selecione uma fila de recursos para inicialização. A criação do ambiente de execução consome 1 Core e 4 GB de recursos dessa fila. O sistema libera esses recursos automaticamente após a inicialização.
   Normal Network Connection	Não	Se precisar adicionar bibliotecas PyPI de uma source diferente da source da Alibaba Cloud, selecione uma conexão de rede adequada. O ambiente de execução usa essa conexão para acessar o endereço da source durante a criação. Para mais informações sobre como criar uma conexão de rede, consulte Establish network connectivity between EMR Serverless Spark and other VPCs.
   Python version	Sim	A versão padrão é Python 3.8. Selecione outra versão conforme suas necessidades de negócio. Certifique-se de que a versão do Python selecionada seja compatível com as bibliotecas Python de destino para evitar falhas de empacotamento ou erros de execução causados por incompatibilidade de versões.

4. Adicione as informações da biblioteca.

   1. Clique em Add Library.

   2. Na caixa de diálogo New Library, selecione um Type, configure os parâmetros relacionados e clique em OK.

      Parâmetro	Descrição
      PyPI	PyPI Package: Insira o nome da biblioteca e, opcionalmente, a versão. Se você omitir a versão, o sistema instalará a versão mais recente. A source da Alibaba Cloud é usada por padrão. Por exemplo, Plotly ou Plotly==4.9.0. Package Source: Especifique uma URL de source PyPI personalizada. Se este campo ficar em branco, a source da Alibaba Cloud será usada por padrão. Ao usar uma source personalizada, certifique-se de ter selecionado uma conexão de rede adequada.
      Workspace	Na lista suspensa Workspace, selecione um recurso de arquivo do workspace atual. Se não houver recursos disponíveis, faça upload de um na página Artifacts. Tipos de arquivo suportados: .zip, .tar, .whl, .tar.gz, .jar e .txt. Nota Se você selecionar um arquivo .txt, o sistema o tratará como um arquivo de requisitos e instalará as bibliotecas Python e versões listadas nele.
      OSS	No campo OSS, insira o caminho de um arquivo armazenado no Object Storage Service (OSS). Tipos de arquivo suportados: .zip, .tar, .whl, .tar.gz, .jar e .txt. Nota Se você especificar um arquivo .txt, o sistema o tratará como um arquivo de requisitos e instalará as bibliotecas Python e versões listadas nele.

5. Clique em create.

   A inicialização do ambiente começa logo após a criação.

Editar um ambiente de execução

Edite um ambiente de execução para atualizar as bibliotecas contidas nele.

1. Na página Environment, localize o ambiente de execução de destino e clique em Edit na coluna Actions.

2. Na página Edit Environment, atualize a configuração do ambiente de execução.

3. Clique em Save Changes.

   Salvar as alterações reinicializa o ambiente com base na nova configuração.

   Nota

   Após a reinicialização do ambiente, as alterações não se aplicam imediatamente às sessões ativas do Notebook. Para usar o ambiente de execução mais recente em uma sessão do Notebook, reinicie os recursos da sessão do Notebook.

Usar um ambiente de execução

Quando um ambiente de execução estiver no estado Ready, use-o para desenvolvimento de dados ou nas sessões correspondentes.

• Job em lote PySpark: No início do job, o sistema pré-instala as bibliotecas necessárias do ambiente de execução selecionado.

• Orquestração de jobs: Ao adicionar um nó Notebook a um workflow, selecione o ambiente de execução correspondente.

• Sessão do Notebook: Na inicialização da sessão do Notebook, o sistema pré-instala bibliotecas com base no ambiente selecionado.

• Livy Gateway: Ao enviar um job pelo Livy Gateway, o sistema pré-configura os recursos necessários para executar o job com base no ambiente selecionado.

• Ao enviar jobs usando Spark Submit, Apache Airflow e Livy, especifique o ambiente de execução passando o ID do ambiente como parâmetro de configuração: --conf spark.emr.serverless.environmentId=<environment_id>.