Ce guide vous accompagne dans le développement d'un job JAR pour le moteur de calcul Lindorm, de la configuration des dépendances à la soumission du job. À l'issue de cette procédure, vous serez en mesure de :
Configurer les dépendances Spark appropriées.
Définir les identifiants LindormTable dans SparkConf.
Écrire et exécuter un job JAR Spark qui interroge les données LindormTable.
Soumettre le job via la console Lindorm ou le service Data Management Service (DMS).
Prérequis
Avant de commencer, assurez-vous que vous disposez des éléments suivants :
Une instance Lindorm avec LindormTable activé. Consultez la rubrique Créer une instance.
Le service du moteur de calcul activé. Consultez la rubrique Activer, mettre à niveau ou rétrograder le service.
JDK 1.8 ou version ultérieure installé.
Étape 1 : Configurer les dépendances
Le moteur de calcul Lindorm s'exécute sur la version communautaire de Spark 3.3.1. Définissez le paramètre scope sur provided afin que les bibliothèques Spark ne soient pas intégrées à votre fichier JAR. Le cluster les fournit lors de l'exécution.
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.12</artifactId>
<version>3.3.1</version>
<scope>provided</scope>
</dependency>Étape 2 : Configurer les permissions
Pour accéder aux données LindormTable depuis Spark SQL, configurez un nom d'utilisateur et un mot de passe dans SparkConf. Les identifiants par défaut sont root/root.
SparkConf conf = new SparkConf();
conf.set("spark.sql.catalog.lindorm_table.username", "root");
conf.set("spark.sql.catalog.lindorm_table.password", "root");| Paramètre | Valeur par défaut | Description |
|---|---|---|
spark.sql.catalog.lindorm_table.username |
root |
Nom d'utilisateur pour l'accès à LindormTable |
spark.sql.catalog.lindorm_table.password |
root |
Mot de passe pour l'accès à LindormTable |
Pour plus de détails sur l'accès aux données LindormTable, consultez la rubrique Accéder aux données dans LindormTable.
Étape 3 : Configurer les paramètres
Pour obtenir la liste complète des éléments de configuration pris en charge et savoir comment les définir, consultez la rubrique Configuration des jobs.
Étape 4 : Exemple de code
Le développement de jobs JAR est entièrement compatible avec la version communautaire de Spark 3.3.1. Pour un exemple de code, téléchargez les Exemples de jobs Spark.
Étape 5 : Soumettre le job
Le moteur de calcul Lindorm prend en charge deux méthodes de soumission de jobs. Choisissez celle qui correspond le mieux à votre flux de travail :
| Méthode | Idéal pour | Référence |
|---|---|---|
| Console Lindorm | Soumission interactive et surveillance des jobs via une interface web | Gérer les jobs dans la console |
| DMS | Gestion planifiée et automatisée des jobs | Gérer les jobs à l'aide de DMS |