E-MapReduce:Manage Livy Gateway

Criar um Livy Gateway

1. Acesse a página Gateway.

   1. Faça login no console do EMR.

   2. No painel de navegação à esquerda, escolha Spark.

   3. Na página Spark, clique em nome do workspace desejado.

   4. Na página EMR Serverless Spark, no painel de navegação à esquerda, clique em O&M Center > Gateway.

2. Na página Livy Gateway, clique em Create Livy Gateway.

3. Na página Create Livy Gateway, configure os parâmetros a seguir e clique em Create.

   Parâmetro	Descrição
   Name	Nome do gateway. Aceita apenas letras minúsculas, dígitos e hifens (-). Deve começar e terminar com uma letra ou dígito.
   Livy Gateway Resources	Padrão: 1 CPU, 4 GB.
   Livy Version	Padrão: 0.8.0 (versão mais recente).
   Engine Version	Versão do mecanismo usada pelo gateway. Para mais informações, consulte versões do mecanismo.
   Use Fusion Acceleration	O Fusion acelera cargas de trabalho do Spark e reduz o custo total dos jobs. Para informações sobre faturamento, consulte Faturamento do produto. Para mais detalhes sobre o mecanismo Fusion, consulte Mecanismo Fusion.
   Associated Queue	Jobs enviados pelo gateway usam a identidade do criador.
   Authentication Method	Suporta apenas autenticação por token. Após criar o gateway, gere um token de autenticação exclusivo para ele. Esse token serve para autenticação e controle de acesso nas requisições subsequentes. Consulte Gerenciamento de tokens para obter instruções sobre a criação de tokens.
   Mount Integrated File Directory	Recurso desativado por padrão. Para usá-lo, adicione um diretório de arquivos na página Artifacts, na aba Integrated File Directory. Para mais informações, consulte Gerenciar o diretório de arquivos integrado. Ao ativar este recurso, o sistema monta o diretório de arquivos gerenciado na aplicação, permitindo leitura e escrita direta de arquivos no diretório. A operação de montagem consome recursos de computação do driver. O consumo corresponde ao maior valor entre: Recursos fixos: 0,3 vCPUs + 1 GB de memória. Recursos dinâmicos: 10% dos recursos do spark.driver (ou seja, 10% dos núcleos e da memória do spark.driver). Por exemplo, se o spark.driver tiver 4 núcleos e 8 GB de memória, os recursos dinâmicos serão 0,4 vCPUs + 0,8 GB de memória. Nesse caso, os recursos consumidos serão max(0,3 vCPUs + 1 GB, 0,4 vCPUs + 0,8 GB), resultando em 0,4 vCPUs + 1 GB de memória. Nota Escopo de montagem: Por padrão, o sistema monta o diretório de arquivos apenas no driver. Para montá-lo também nos executores, ative Mount to Executor. Múltiplos diretórios: É possível montar vários diretórios de arquivos integrados. No entanto, diretórios CPFS são incompatíveis com outros tipos. Por exemplo, você pode montar múltiplos diretórios OSS e NAS juntos, mas não pode combinar CPFS com OSS ou NAS. Requisitos de rede: Ao montar um diretório de arquivos NAS ou CPFS, configure uma conexão de rede. A VPC da conexão deve ser igual à VPC do destino de montagem do NAS ou CPFS.
   Network Connection	Selecione uma conexão de rede existente para acessar fontes de dados em uma VPC ou serviços externos. Para mais informações sobre como criar uma conexão de rede, consulte Conectividade de rede entre o EMR Serverless Spark e outras VPCs.
   Environment	Jobs enviados pelo Livy Gateway usam os recursos pré-configurados no ambiente de execução selecionado.
   Endpoint(Public)	Desativado por padrão. Se ativado, o sistema acessa o Livy por um endpoint público. Caso contrário, usa um endpoint interno.
   Automatic Stop	Desativado por padrão. Se ativado, o sistema interrompe automaticamente o gateway após 45 minutos de inatividade.
   spark-defaults.conf	Define os parâmetros padrão globais para jobs do Spark.
   livy.conf	Arquivo de configuração principal do servidor Livy. Define o comportamento global do Livy Gateway, incluindo método de autenticação (como LDAP), gerenciamento de sessões e configurações de tempo limite. Controla os parâmetros de execução do servidor Livy e afeta todos os jobs enviados por este gateway.
   livy-client.conf	Define o comportamento de interação entre o cliente e o Livy Gateway.
   spark-blacklist.conf	O sistema ignora os parâmetros nesta lista de bloqueios; usuários não podem substituí-los.

   Para mais informações sobre os arquivos de configuração do Livy e seus parâmetros, consulte Exemplos de configuração do Livy Gateway.

4. Na página Livy Gateway, na coluna Start do gateway, clique em Start.

Gerenciamento de tokens

1. Na página Livy Gateway, na coluna Token Management do gateway desejado, clique em Tokens.

2. Clique em Create Token.

3. Na caixa de diálogo Create Token, configure os parâmetros a seguir e clique em OK.

   Parâmetro	Descrição
   Name	Nome do novo token.
   Expired At	Tempo de expiração do token. O valor mínimo é 1 dia. Padrão: 365 dias.

4. Copie as informações do token.

   Importante

   Copie o token imediatamente após a criação. Não é possível visualizá-lo novamente. Se perder o token ou se ele expirar, crie um novo ou redefina o existente.

Informações da sessão

Ao criar uma sessão do Spark com o Livy, o sistema exibe detalhes como ID e status.

1. Na página Livy Gateway, clique em nome do gateway desejado.

2. Clique em aba Sessions.

   Esta página exibe as sessões do Spark criadas por este Livy Gateway.

   A lista de sessões inclui: Session ID, Session Status, Creation time, Resource configuration (formato JSON, com parâmetros como kind, driverMemory, driverCores, executorMemory, executorCores e numExecutors), link da Spark UI e Actions (para encerrar a sessão).

Documentação relacionada

Para casos de uso do Livy Gateway, consulte:

• Enviar jobs usando o Livy Operator do Apache Airflow

• Interagir com o Serverless Spark usando um Jupyter Notebook