Este guia orienta o desenvolvimento de um job JAR para o mecanismo de computação do Lindorm, desde a configuração das dependências até o envio do job. Ao final, você poderá:
Configure as dependências corretas do Spark.
Defina as credenciais do LindormTable no SparkConf.
Escrever e execute um job JAR do Spark para consultar dados do LindormTable.
Envie o job pelo console do Lindorm ou pelo Data Management Service (DMS).
Pré-requisitos
Antes de começar, verifique se você tem:
Uma instância do Lindorm com o LindormTable ativado. Consulte Crie uma instância.
O serviço de mecanismo de computação ativado. Consulte Ative, atualizar ou reduzir o serviço.
JDK 1.8 ou posterior instalado.
Etapa 1: Configure dependências
O mecanismo de computação do Lindorm usa a edição community do Spark 3.3.1. Defina scope como provided para evitar que as bibliotecas do Spark sejam incluídas no seu JAR. O cluster as fornece em tempo de execução.
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.3.1</version>
<scope>provided</scope>
</dependency>Etapa 2: Configure permissões
Para acessar dados do LindormTable via Spark SQL, configure um nome de usuário e senha no SparkConf. As credenciais padrão são root/root.
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");|
Parâmetro |
Valor padrão |
Descrição |
|
|
|
Nome de usuário para acesso ao LindormTable |
|
|
|
Senha para acesso ao LindormTable |
Para mais detalhes sobre o acesso a dados do LindormTable, consulte Acessar dados no LindormTable.
Etapa 3: Configure parâmetros
Para obter a lista completa de itens de configuração compatíveis e saber como defini-los, consulte Configuração de jobs.
Etapa 4: Exemplo de código
O desenvolvimento de jobs JAR é totalmente compatível com a edição community do Spark 3.3.1. Para ver um exemplo de código, acesse Exemplos de jobs Spark.
Etapa 5: Envie o job
O mecanismo de computação do Lindorm oferece duas formas de enviar jobs. Escolha a opção mais adequada ao seu fluxo de trabalho:
|
Método |
Mais indicado para |
Referência |
|
Console do Lindorm |
Envio interativo e monitoramento de jobs por interface web |
|
|
DMS |
Gerenciamento automatizado e agendado de jobs |