E-MapReduce:Gerencie Livy Gateway

Crie um Livy Gateway

1. Acesse a página Gateway.

   1. Faça login no EMR console.

   2. No painel de navegação à esquerda, escolha Spark.

   3. Na página Spark, clique em nome do workspace desejado.

   4. Na página EMR Serverless Spark, no painel de navegação à esquerda, clique em O&M Center > Gateway.

2. Na página Livy Gateway, clique em Create Livy Gateway.

3. Na página Create Livy Gateway, configure os parâmetros a seguir e clique em Create.

   Parâmetro	Descrição
   Name	Nome do gateway. O nome pode conter apenas letras minúsculas, dígitos e hifens (-), devendo começar e terminar com uma letra ou dígito.
   Livy Gateway Resources	Padrão: 1 CPU, 4 GB.
   Livy Version	Padrão: 0.8.0 (versão mais recente).
   Engine Version	Versão do mecanismo utilizada pelo gateway. Para mais informações, consulte engine versions.
   Use Fusion Acceleration	O Fusion acelera workloads do Spark e reduz o custo total dos jobs. Para informações sobre faturamento, consulte Product Billing. Para mais detalhes sobre o mecanismo Fusion, consulte Fusion engine.
   Associated Queue	Os jobs enviados por meio do gateway utilizam a identidade do criador.
   Authentication Method	Somente a autenticação por token é suportada. Após criar um gateway, gere um token de autenticação exclusivo para ele. Esse token é usado para autenticação e controle de acesso nas requisições subsequentes. Consulte Token management para instruções sobre como criar um token.
   Mount Integrated File Directory	Desativado por padrão. Para usar este recurso, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Manage the integrated file directory. Ativar este recurso monta o diretório de arquivos gerenciado na aplicação, permitindo leitura e escrita direta de arquivos no diretório. A operação de montagem consome recursos de computação do driver. A quantidade consumida corresponde ao maior dos dois valores a seguir: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver estiver configurado com 4 núcleos e 8 GB de memória, os recursos dinâmicos serão 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos realmente consumidos são max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), resultando em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o diretório de arquivos é montado apenas no driver. Para montá-lo também nos executores, ative Mount to Executor. Múltiplos diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, diretórios CPFS não podem ser usados junto com outros tipos. Por exemplo, você pode montar múltiplos diretórios OSS e NAS simultaneamente, mas não pode combinar CPFS com diretórios OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, configure uma conexão de rede. A VPC dessa conexão deve ser a mesma VPC do destino de montagem do NAS ou CPFS.
   Network Connection	Uma conexão de rede existente para acessar fontes de dados em uma VPC ou services externos. Para mais informações, consulte Network connectivity between EMR Serverless Spark and other VPCs.
   Environment	Ao enviar jobs pelo Livy Gateway, o job utiliza os recursos pré-configurados no ambiente de execução selecionado.
   Endpoint(Public)	Desativado por padrão. Se você ativar este recurso, o sistema acessará o Livy por um endpoint público. Caso contrário, usará um endpoint interno.
   Automatic Stop	Desativado por padrão. Ao ativar este recurso, o sistema interrompe automaticamente o gateway caso ele permaneça inativo por 45 minutos.
   spark-defaults.conf	Este arquivo define os parâmetros globais padrão para jobs do Spark.
   livy.conf	Arquivo de configuração principal do servidor Livy. Define o comportamento global do Livy Gateway, incluindo o método de autenticação (como LDAP), gerenciamento de sessões e configurações de timeout. Este arquivo controla os parâmetros de execução do servidor Livy e afeta todos os jobs enviados por este gateway.
   livy-client.conf	Este arquivo define o comportamento de interação entre o cliente e o Livy Gateway.
   spark-blacklist.conf	O sistema ignora os parâmetros nesta lista de bloqueios, e os usuários não podem substituí-los.

   Para mais informações sobre os arquivos de configuração do Livy e seus parâmetros, consulte Livy Gateway configuration examples.

4. Na página Livy Gateway, na coluna Start do seu gateway, clique em Start.

Gerenciamento de tokens

1. Na página Livy Gateway, na coluna Token Management do gateway desejado, clique em Tokens.

2. Clique em Create Token.

3. Na caixa de diálogo Create Token, configure os parâmetros a seguir e clique em OK.

   Parâmetro	Descrição
   Name	Nome do novo token.
   Expired At	Defina o tempo de expiração do token. O valor deve ser de pelo menos 1 dia. Por padrão, o token expira em 365 dias.

4. Copie as informações do token.

   Importante

   Copie o token imediatamente após a criação. Não é possível visualizá-lo novamente. Se um token for perdido ou expirar, crie um novo ou redefina o existente.

Informações da sessão

Ao criar uma sessão do Spark usando o Livy, o sistema exibe os detalhes da sessão, como ID e status.

1. Na página Livy Gateway, clique em nome do gateway desejado.

2. Clique em aba Sessions.

   Esta página mostra as sessões do Spark criadas por meio deste Livy Gateway.

   A lista de sessões inclui as seguintes informações: Session ID, Session Status, Creation time, Resource configuration (no formato JSON, incluindo parâmetros como kind, driverMemory, driverCores, executorMemory, executorCores e numExecutors), um link para a Spark UI e Actions (para encerrar a sessão).

Documentação relacionada

Para casos de uso do Livy Gateway, consulte os seguintes documentos:

• Envie jobs using the Livy Operator of Apache Airflow

• Interact with Serverless Spark using a Jupyter Notebook