Nœud Lindorm Spark, nœud Lindorm Spark - DataWorks - Centre de documentation Alibaba Cloud

Informations générales

Lindorm est un service de calcul distribué basé sur une architecture cloud native. Il prend en charge les modèles de calcul de l'édition communautaire, est compatible avec les API Spark et s'intègre étroitement au moteur de stockage Lindorm. Il exploite les fonctionnalités et les capacités d'indexation du stockage de données sous-jacent pour exécuter efficacement des travaux distribués, ce qui le rend adapté aux scénarios tels que le traitement de volumes massifs de données, l'analyse interactive, l'apprentissage automatique et le calcul de graphes.

Prérequis

(Facultatif, pour les utilisateurs RAM) L'utilisateur RAM chargé du développement des tâches a été ajouté à l'espace de travail correspondant et s'est vu attribuer le rôle Development ou Workspace Administrator. Le rôle Workspace Administrator accorde des autorisations étendues ; attribuez-le avec prudence. Pour plus d'informations, consultez la rubrique Ajouter des membres à un espace de travail.

Remarque
Si vous utilisez un compte Alibaba Cloud, ignorez cette étape.
Une instance Lindorm a été créée et liée à votre espace de travail DataWorks. Pour plus d'informations, consultez la rubrique Lier une ressource de calcul Lindorm.

Créer un nœud Lindorm Spark

Pour obtenir des instructions sur la création d'un nœud, consultez la rubrique Créer un nœud Lindorm Spark.

Développer un nœud Lindorm Spark

Selon le langage utilisé (Java/Scala ou Python), configurez le nœud pour qu'il référence le package JAR ou le fichier .py correspondant.

Contenu du nœud (Java/Scala)

Cette section utilise le programme exemple SparkPi pour illustrer la configuration et l'utilisation d'un nœud Lindorm Spark dans DataWorks.

Télécharger un package JAR

Téléchargez le package JAR exemple vers LindormDFS et copiez son chemin de stockage. Ce chemin sera requis ultérieurement pour configurer le nœud.

Préparez le package JAR exemple.

Téléchargez le package exemple spark-examples_2.12-3.3.0.jar sur votre ordinateur.
Téléchargez le package JAR vers LindormDFS.
1. Connectez-vous à la console Lindorm. Dans la liste Instances de la région correspondante, localisez l'instance Lindorm que vous avez créée.
2. Cliquez sur le Name de l'instance pour ouvrir la page Instance Details.
3. Dans le volet de navigation de gauche, cliquez sur Compute Engines pour accéder à la page Compute Engines.
4. Sous l'onglet Job Management, cliquez sur Upload resources pour ouvrir la page Upload resources.
5. Cliquez sur la zone en pointillés, recherchez le package JAR téléchargé, puis cliquez sur Open.
6. Cliquez sur Upload pour télécharger le package JAR.
Copiez le chemin de stockage du package JAR exemple.

Sous l'onglet Job Management, localisez le package JAR que vous avez téléchargé. Il apparaît sous le bouton Upload Resource. Cliquez sur l'icône située à gauche du nom du fichier pour copier le chemin de stockage du package JAR dans LindormDFS.

Configurer le contenu du nœud

Configurez le nœud Lindorm Spark à l'aide des paramètres suivants.

Langage	Paramètre	Description
Java/Scala	Main JAR Resource	Saisissez le chemin de stockage du package JAR exemple que vous avez copié lors de l'étape Télécharger un package JAR.
	Main Class	Classe principale de la tâche contenue dans le package JAR compilé. Pour le code exemple, la classe principale est `org.apache.spark.examples.SparkPi`.
	Parameter	Saisissez les paramètres à transmettre au code. Vous pouvez configurer un paramètre dynamique en utilisant le format `${var}`.
	Configuration Item	Configurez ici les paramètres d'exécution de Spark. Pour plus d'informations sur les propriétés Spark, consultez les instructions de configuration des travaux. Remarque Vous pouvez définir des paramètres Spark globaux lorsque vous liez une ressource de calcul Lindorm.

Contenu du nœud (Python)

Cette section utilise un programme Spark exemple qui calcule pi pour illustrer la configuration et l'utilisation d'un nœud Lindorm Spark dans DataWorks.

Télécharger une ressource Python

Téléchargez le fichier Python exemple vers LindormDFS et copiez son chemin de stockage. Ce chemin sera requis ultérieurement pour configurer le nœud.

Créez un fichier Python.

Enregistrez le script Python suivant dans un fichier local nommé pi.py.

import sys
from random import random
from operator import add

from pyspark.sql import SparkSession

if __name__ == "__main__":
    """
        Usage: pi [partitions]
    """
    spark = SparkSession\
        .builder\
        .appName("PythonPi")\
        .getOrCreate()

    partitions = int(sys.argv[1]) if len(sys.argv) > 1 else 2
    n = 100000 * partitions

    def f(_: int) -> float:
        x = random() * 2 - 1
        y = random() * 2 - 1
        return 1 if x ** 2 + y ** 2 <= 1 else 0

    count = spark.sparkContext.parallelize(range(1, n + 1), partitions).map(f).reduce(add)
    print("Pi is roughly %f" % (4.0 * count / n))

    spark.stop()

Téléchargez le fichier Python vers LindormDFS.
1. Connectez-vous à la console Lindorm. Dans la liste Instances de la région correspondante, localisez l'instance Lindorm que vous avez créée.
2. Cliquez sur le Name de l'instance pour ouvrir la page Instance Details.
3. Dans le volet de navigation de gauche, cliquez sur Compute Engines pour accéder à la page Compute Engines.
4. Sous l'onglet Job Management, cliquez sur le bouton Upload resources pour ouvrir la page Upload resources.
5. Cliquez sur la zone en pointillés, recherchez le fichier Python que vous avez créé, puis cliquez sur Open.
6. Cliquez sur Upload pour télécharger le fichier Python.
Copiez le chemin de stockage du fichier Python exemple.

Sous l'onglet Job Management, localisez le fichier Python que vous avez téléchargé. Il apparaît sous le bouton Upload Resource. Cliquez sur l'icône située à gauche du nom du fichier pour copier le chemin de stockage du fichier Python dans LindormDFS.

Configurer le contenu du nœud

Configurez le nœud Lindorm Spark à l'aide des paramètres suivants.

Langage	Paramètre	Description
Python	Main Package	Saisissez le chemin de stockage du fichier Python exemple que vous avez copié lors de l'étape Télécharger une ressource Python.
	Parameter	Saisissez les paramètres à transmettre au code. Vous pouvez configurer un paramètre dynamique en utilisant le format `${var}`.
	Configuration Item	Vous pouvez configurer ici les paramètres d'exécution de Spark. Pour plus d'informations sur les propriétés Spark, consultez les instructions de configuration des travaux.

Déboguer le nœud Lindorm Spark

Configurez les propriétés de débogage.

Dans le volet Run Configuration situé à droite, configurez les paramètres Compute Resource, Lindorm Resource Group et Resource Group. Le tableau suivant décrit ces paramètres.

Paramètre

Description

Compute Resource

Sélectionnez la ressource de calcul Lindorm liée à votre espace de travail.

Lindorm Resource Group

Sélectionnez le groupe de ressources Lindorm spécifié lors de la liaison de la ressource de calcul Lindorm.

Resource Group

Sélectionnez le groupe de ressources pour lequel le test de connectivité a réussi lors de la liaison de la ressource de calcul Lindorm Spark.

Script Parameters

Si vous définissez des paramètres dynamiques au format ${NomDuParamètre}, spécifiez les Script Parameters correspondants ainsi que le Parameter name dans la section Parameter Value. Lors de l'exécution de la tâche, les variables sont remplacées dynamiquement par leurs valeurs réelles. Pour plus d'informations, consultez la rubrique Sources et expressions des paramètres de planification.

Déboguez et exécutez le nœud.

Pour exécuter le nœud, cliquez sur Save puis sur Run.

Étapes suivantes

Configurer la planification d'un nœud : Pour exécuter un nœud selon une planification périodique, accédez au volet Scheduling Settings afin de définir la Scheduling Policy et de configurer les propriétés associées.
Déployer un nœud : Pour exécuter la tâche dans l'environnement de production, cliquez sur l'icône pour la déployer. Un nœud n'est planifié périodiquement qu'après son déploiement dans l'environnement de production.
Data Map (données de table Lindorm) : Utilisez Data Map pour collecter les métadonnées Lindorm.