Lindorm:Gerencie jobs no console

Pré-requisitos

Antes de começar, verifique se você atende aos seguintes requisitos:

• LDPS ativado para sua instância do Lindorm. Consulte Ativar o LDPS e modifique as configurações.

• Job do Spark desenvolvido: job Java ou job Python.

• Arquivo do job carregado no HDFS ou OSS. Consulte Carregar arquivos no console do Lindorm.

Acesse o gerenciamento de jobs

Todas as operações de job partem do mesmo local no console. Siga estas etapas antes de criar, visualizar ou interromper um job:

1. Faça login no console do Lindorm.

2. No canto superior esquerdo, selecione a região onde a instância está implantada.

3. Na página Instances, clique em ID da instância ou em Manage na coluna Actions.

4. No painel de navegação à esquerda, clique em Compute Engine.

Crie um job do Spark

1. Clique em aba Job Management e em Create Job.

2. Na caixa de diálogo Create Job, insira o nome do job e selecione o tipo.

3. Configure os parâmetros abaixo no modelo de job. Mantenha os valores padrão para os demais parâmetros. Se o arquivo do job estiver armazenado no OSS, adicione as seguintes entradas em configs:

   Parâmetro	Descrição
   token	Token de autenticação para recursos de computação. Para obtê-lo, acesse Database Connections e clique em aba Compute Engine.
   mainResource	Caminho no OSS ou HDFS para o pacote JAR ou arquivo Python do job.
   mainClass	Classe de ponto de entrada para um job Spark JAR.
   args	Argumentos passados para mainClass.
   configs	Parâmetros de sistema para o job do Spark. Caso o arquivo do job esteja no OSS, configure também os parâmetros específicos do OSS listados abaixo.

   Parâmetro	Descrição
   spark.hadoop.fs.oss.endpoint	Caminho onde o job do Spark está armazenado no OSS.
   spark.hadoop.fs.oss.accessKeyId	AccessKey ID para acesso ao OSS. Consulte Obter um par de AccessKey.
   spark.hadoop.fs.oss.accessKeySecret	AccessKey secret para acesso ao OSS. Consulte Obter um par de AccessKey.
   spark.hadoop.fs.oss.impl	Defina como org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem.

4. Clique em Save no canto superior direito.

5. Clique em Run no canto superior direito.

Visualize detalhes do job do Spark

Clique em aba Jobs para listar todos os jobs com as seguintes informações:

Interrompa um job do Spark

É possível interromper apenas jobs nos estados Starting ou Running. A interrupção não afeta a instância do Lindorm.

Na aba Jobs, localize o job desejado e clique em Stop Job na coluna Actions.