Esta guía le muestra cómo desarrollar un trabajo JAR para el motor de cómputo de Lindorm, desde configurar las dependencias hasta enviar el trabajo. Al finalizar, podrá:
Configurar las dependencias correctas de Spark.
Establecer las credenciales de LindormTable en SparkConf.
Escribir y ejecutar un trabajo JAR de Spark que consulte datos de LindormTable.
Enviar el trabajo mediante la consola de Lindorm o Data Management Service (DMS).
Requisitos previos
Antes de empezar, asegúrese de contar con lo siguiente:
Una instancia de Lindorm con LindormTable habilitado. Consulte Create an instance.
El servicio de motor de cómputo habilitado. Consulte Enable, upgrade, or downgrade the service.
JDK 1.8 o una versión posterior instalada.
Paso 1: Configurar las dependencias
El motor de cómputo de Lindorm se ejecuta sobre la edición comunitaria de Spark 3.3.1. Establezca scope como provided para evitar que las bibliotecas de Spark se incluyan en su archivo JAR. El clúster las proporciona durante la ejecución.
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.3.1</version>
<scope>provided</scope>
</dependency>Paso 2: Configurar los permisos
Para acceder a los datos de LindormTable desde Spark SQL, configure un nombre de usuario y una contraseña en SparkConf. Las credenciales predeterminadas son root/root.
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");|
Parámetro |
Valor predeterminado |
Descripción |
|
|
|
Nombre de usuario para acceder a LindormTable |
|
|
|
Contraseña para acceder a LindormTable |
Para obtener más información sobre cómo acceder a los datos de LindormTable, consulte Access data in LindormTable.
Paso 3: Configurar los parámetros
Para consultar la lista completa de elementos de configuración compatibles y saber cómo establecerlos, consulte Job configuration.
Paso 4: Ejemplo de código
El desarrollo de trabajos JAR es totalmente compatible con la edición comunitaria de Spark 3.3.1. Para ver un ejemplo de código, consulte Ejemplos de trabajos de Spark.
Paso 5: Enviar el trabajo
El motor de cómputo de Lindorm admite dos formas de enviar trabajos. Elija la que mejor se adapte a su flujo de trabajo:
|
Método |
Recomendado para |
Referencia |
|
Consola de Lindorm |
Envío interactivo y monitoreo de trabajos mediante una interfaz web |
|
|
DMS |
Gestión programada y automatizada de trabajos |