E-MapReduce:Gerencie sessões de notebook

Criar uma sessão de notebook

Após criar uma sessão de notebook, selecione-a durante o desenvolvimento.

1. Acesse a página Notebook Sessions.

   1. Faça login no console do EMR.

   2. No painel de navegação à esquerda, escolha EMR Serverless > Spark.

   3. Na página Spark, clique em nome do workspace desejado.

   4. Na página EMR Serverless Spark, selecione Sessions no painel de navegação à esquerda.

   5. Clique em aba Notebook Session.

2. Na página Notebook Session, clique em Create Notebook Session.

3. Na página Create Notebook Session, configure os parâmetros abaixo e clique em Create.

   Nota

   Recomendamos definir a concorrência máxima da fila de recursos selecionada como, no mínimo, a quantidade de recursos exigida pela sessão de notebook. Esse valor aparece no console.

   Parâmetro	Descrição
   Name	Nome da nova sessão de notebook. O nome deve ter entre 1 e 64 caracteres e pode conter letras, dígitos, hifens (-), sublinhados (_) e espaços.
   Engine Version	Versão do mecanismo para a sessão. Para mais informações sobre versões do mecanismo, consulte Visão geral das versões do mecanismo.
   Use Fusion Acceleration	O Fusion acelera cargas de trabalho do Spark e reduz o custo total dos jobs. Para informações de faturamento, consulte Faturamento do produto. Para mais detalhes sobre o mecanismo Fusion, veja Mecanismo Fusion.
   Resource Queue	Selecione uma fila de recursos para a sessão. Apenas filas designadas para desenvolvimento ou uso compartilhado estão disponíveis. Para mais informações, consulte Gerenciar filas de recursos.
   Automatic Stop	Ativado por padrão. Permite definir o tempo máximo de ociosidade da sessão antes da interrupção automática.
   spark.driver.cores	Número de núcleos para o processo driver. O valor padrão é 1.
   spark.driver.memory	Quantidade de memória para o processo driver. O valor padrão é 3,5 GB.
   spark.executor.cores	Número de núcleos para cada processo executor. O valor padrão é 1.
   spark.executor.memory	Quantidade de memória para cada processo executor. O valor padrão é 3,5 GB.
   spark.executor.instances	Número de executores alocados pelo Spark. O valor padrão é 2.
   Dynamic Resource Allocation	Desativado por padrão. Quando ativado, configure os seguintes parâmetros: Minimum Number of Executors: O valor padrão é 2. Maximum Number of Executors: Se spark.executor.instances não estiver definido, o valor padrão é 10.
   More Memory Configurations	spark.driver.memoryOverhead: Memória não heap disponível para o driver. Caso este parâmetro não seja definido, o Spark aloca automaticamente um valor com base no padrão: max(384 MB, 10% * spark.driver.memory). spark.executor.memoryOverhead: Memória não heap disponível para cada executor. Se omitido, o Spark atribui automaticamente um valor conforme o padrão: max(384 MB, 10% * spark.executor.memory). spark.memory.offHeap.size: Quantidade de memória off-heap disponível para o Spark. O valor padrão é 1 GB. Este parâmetro só entra em vigor quando spark.memory.offHeap.enabled está definido como true. Ao utilizar o mecanismo Fusion, esse recurso vem habilitado por padrão com 1 GB de memória off-heap.
   Environment	Selecione um ambiente personalizado criado na página Environment. No início da sessão de notebook, o sistema pré-instala as bibliotecas do ambiente escolhido. Nota Somente ambientes de execução com status Ready podem ser selecionados.
   Network Connection	Selecione uma conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para saber como criar uma conexão de rede, consulte Conectividade de rede entre o EMR Serverless Spark e outras VPCs.
   Mount Integrated File Directory	Esse recurso vem desativado por padrão. Para utilizá-lo, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais detalhes, consulte Gerenciar o diretório de arquivos integrado. Quando ativado, o sistema monta o diretório de arquivos integrado na sessão, permitindo acesso direto aos seus arquivos. A operação de montagem consome recursos de computação do driver. O consumo corresponde ao maior dos dois valores abaixo: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão de 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos efetivamente consumidos serão max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), resultando em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executors, ative Mount to Executor. Múltiplos diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, diretórios CPFS não podem ser combinados com outros tipos. Por exemplo, você pode montar múltiplos diretórios OSS e NAS juntos, mas não é permitido combinar CPFS com OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, configure uma conexão de rede. A VPC da conexão deve ser a mesma do ponto de montagem do NAS ou CPFS.
   Mount to Executor	Quando ativado, o sistema monta o diretório de arquivos integrado nos executors da sessão, possibilitando o acesso direto aos arquivos. A montagem consome recursos dos executors. O volume de recursos utilizados depende do uso dos arquivos.
   Spark Configuration	Insira os parâmetros de configuração do Spark separados por espaços. Exemplo: spark.sql.catalog.paimon.metastore dlf.

Visualize registros de execução

Após a conclusão de um job, consulte seus registros de execução.

1. Na página SQL Sessions, clique em nome da sessão desejada.

2. Clique em aba Execution Records.

   Nesta aba, visualize detalhes de cada execução de job, como ID da execução, horário de início e link para a Spark UI.

   

Documentos relacionados

• Para informações sobre operações com filas de recursos, consulte Gerenciar filas de recursos.

• Para detalhes sobre funções e permissões de sessão, veja Gerenciar usuários e funções.

• Para um exemplo completo de desenvolvimento de notebook, acesse Introdução ao desenvolvimento de notebooks.