E-MapReduce:Gerencie sessões de notebook

Crie uma sessão de notebook

Após criar uma sessão de notebook, selecione-a para desenvolver no notebook.

1. Acesse a página Notebook Sessions.

   1. Faça login no console do EMR.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique em nome do workspace desejado.

   4. Na página EMR Serverless Spark, escolha Sessions no painel de navegação à esquerda.

   5. Clique em aba Notebook Session.

2. Na página Notebook Session, clique em Create Notebook Session.

3. Na página Create Notebook Session, configure os parâmetros a seguir e clique em Create.

   Nota

   Recomendamos definir a concorrência máxima da fila de recursos selecionada com pelo menos a quantidade de recursos exigida pela sessão de notebook. Esse valor é exibido no console.

   Parâmetro	Descrição
   Name	Nome da sessão de notebook. O nome deve ter entre 1 e 64 caracteres e pode conter letras, dígitos, hifens (-), sublinhados (_) e espaços.
   Engine Version	Versão do mecanismo para a sessão. Para mais informações, consulte Engine version overview.
   Use Fusion Acceleration	O Fusion acelera cargas de trabalho do Spark e reduz o custo total dos jobs. Para informações sobre faturamento, consulte Product Billing. Para mais detalhes sobre o mecanismo Fusion, consulte Fusion engine.
   Resource Queue	Selecione uma fila de recursos para a sessão. Apenas filas designadas para desenvolvimento ou uso compartilhado estão disponíveis. Para mais informações, consulte Manage resource queues.
   Automatic Stop	Ativado por padrão. Defina por quanto tempo a sessão pode ficar ociosa antes de parar automaticamente.
   spark.driver.cores	Número de núcleos para o processo driver. O valor padrão é 1.
   spark.driver.memory	Quantidade de memória para o processo driver. O valor padrão é 3,5 GB.
   spark.executor.cores	Número de núcleos para cada processo executor. O valor padrão é 1.
   spark.executor.memory	Quantidade de memória para cada processo executor. O valor padrão é 3,5 GB.
   spark.executor.instances	Número de executores alocados pelo Spark. O valor padrão é 2.
   Dynamic Resource Allocation	Desativado por padrão. Quando ativado, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
   More Memory Configurations	spark.driver.memoryOverhead: Memória non-heap disponível para o driver. Caso este parâmetro não seja definido, o Spark aloca automaticamente um valor com base no padrão, que é max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: Memória non-heap disponível para cada executor. Se você não definir esse parâmetro, o Spark aloca automaticamente um valor baseado no padrão: max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: Quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só entra em vigor quando spark.memory.offHeap.enabled está definido como true. Ao utilizar o mecanismo Fusion, esse recurso vem habilitado por padrão com 1 GB de memória off-heap.
   Environment	Selecione um ambiente personalizado criado na página Environment. Quando a sessão de notebook é iniciada, o sistema pré-instala as bibliotecas do ambiente escolhido. Nota Somente ambientes de execução com status Ready podem ser selecionados.
   Network Connection	Conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para mais informações, consulte Network connectivity between EMR Serverless Spark and other VPCs.
   Mount Integrated File Directory	Desativado por padrão. Para usar este recurso, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Manage the integrated file directory. Quando ativado, o sistema monta o diretório de arquivos integrado na sessão, permitindo acesso direto aos seus arquivos. A operação de montagem consome recursos de computação do driver. A quantidade consumida corresponde ao maior dos dois valores abaixo: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão de 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos efetivamente consumidos serão max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), resultando em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executors, ative Mount to Executor. Múltiplos diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, diretórios CPFS não podem ser usados em conjunto com outros tipos. Por exemplo, você pode montar múltiplos diretórios OSS e NAS juntos, mas não pode combinar CPFS com diretórios OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, é obrigatório configurar uma conexão de rede. A VPC da conexão de rede deve ser a mesma VPC do destino de montagem do NAS ou CPFS.
   Mount to Executor	Quando ativado, o sistema monta o diretório de arquivos integrado nos executors da sessão, permitindo que eles acessem os arquivos diretamente. A montagem consome recursos do executor. A quantidade consumida depende do uso dos arquivos.
   Spark Configuration	Insira os parâmetros de configuração do Spark, separados por espaços. Exemplo: spark.sql.catalog.paimon.metastore dlf.

Visualize registros de execução

Após a conclusão de um job, visualize seu histórico de execução.

1. Na página SQL Sessions, clique em nome da sessão desejada.

2. Clique em aba Execution Records.

   Nesta aba, visualize detalhes de cada execução, como o ID da execução, horário de início e um link para a Spark UI.

   

Documentos relacionados

• Para informações sobre operações de filas de recursos, consulte Manage resource queues.

• Para detalhes sobre funções e permissões de sessão, consulte Manage users and roles.

• Para um exemplo completo de desenvolvimento de notebook, consulte Get started with notebook development.