L'éditeur Spark est un environnement de développement basé sur un navigateur, intégré à la console AnalyticDB for MySQL. Il vous permet de créer, configurer et exécuter des applications Spark par lots, en streaming et via le moteur SQL. Depuis cette même interface, consultez les journaux du pilote (driver), les détails de soumission ainsi que les journaux d'exécution SQL.
Prérequis
Avant de commencer, assurez-vous de disposer des éléments suivants :
Un cluster AnalyticDB for MySQL Data Lakehouse Edition Data Lakehouse Edition
Un groupe de ressources créé pour ce cluster. Consultez la rubrique Data Lakehouse EditionCréer un groupe de ressources
Les autorisations nécessaires accordées à votre utilisateur RAM. Reportez-vous à la section « Grant permissions to a RAM user » de la rubrique Gérer les utilisateurs et les autorisations RAM
-
Un compte de base de données pour le cluster :
Compte Alibaba Cloud : un compte privilégié. Consultez la section « Create a privileged account » de la rubrique Créer un compte de base de données
Utilisateur RAM : un compte privilégié et un compte standard, ce dernier étant associé à l'utilisateur RAM. Consultez les rubriques Créer un compte de base de données et Associer ou dissocier un compte de base de données à ou d'un utilisateur RAM
AnalyticDB for MySQL autorisé à assumer le rôle AliyunADBSparkProcessingDataRole. Consultez la rubrique Effectuer l'autorisation
Un chemin de stockage des journaux configuré pour les applications Spark
Pour configurer le chemin de stockage des journaux : Connectez-vous à la console AnalyticDB for MySQL. Localisez le cluster et cliquez sur son ID. Dans le volet de navigation de gauche, sélectionnez Job Development > Spark JAR Development, puis cliquez sur Log Settings. Choisissez le chemin par défaut ou saisissez un chemin personnalisé. Le chemin personnalisé ne peut pas être le répertoire racine d'OSS ; il doit inclure au moins un niveau de dossier.
Créer et exécuter une application Spark
Connectez-vous à la console AnalyticDB for MySQL. Dans le coin supérieur gauche, sélectionnez une région. Dans le volet de navigation de gauche, cliquez sur ClustersData Lakehouse Edition. Sous l'onglet Data Lakehouse Edition, localisez le cluster et cliquez sur son ID.
Dans le volet de navigation de gauche, sélectionnez Job Development > Spark JAR Development.
Sur la page Spark JAR Development, cliquez sur l'icône
située à droite de Applications.-
Dans le panneau Create Application, configurez les paramètres suivants.
Paramètre Description Name Nom de l'application ou du répertoire. Les noms de fichiers ne sont pas sensibles à la casse. Type Application : crée un modèle Spark basé sur un fichier. Directory : crée un dossier pour organiser les applications. Parent Level Répertoire parent du fichier ou du dossier. Job Type Type de job Spark : Batch pour le traitement par lots, Streaming pour les applications en streaming ou SQL Engine pour les charges de travail du moteur SQL distribué Spark. Cliquez sur OK.
Dans l'éditeur Spark, configurez l'application. Pour plus de détails sur la configuration, consultez la rubrique Présentation.
-
Avant d'exécuter l'application, sélectionnez un groupe de ressources de jobs et un type d'application dans l'éditeur. Choisissez ensuite l'une des actions suivantes :
Cliquez sur Save pour enregistrer l'application en vue d'une utilisation ultérieure.
Cliquez sur Run Now pour exécuter l'application immédiatement. Le statut est mis à jour en temps réel sous l'onglet Applications.
RemarquePar défaut, aucune tentative n'est effectuée après un échec. Pour configurer le comportement de nouvelle tentative, définissez les paramètres
spark.adb.maxAttemptsetspark.adb.attemptFailuresValidityIntervalavant l'exécution. Pour plus de détails, consultez la rubrique Paramètres de configuration des applications Spark.
Surveiller une application Spark
Sous l'onglet Applications, recherchez une application par son ID. Utilisez les actions disponibles dans la colonne Actions selon vos besoins d'investigation.
| Action | Informations affichées |
|---|---|
| Logs | Journaux du pilote (driver) pour l'application actuelle ou journal d'exécution des instructions SQL — utile pour le débogage des erreurs d'exécution. |
| UI | Interface utilisateur Spark destinée à l'analyse des performances et au diagnostic au niveau des tâches. L'accès possède une période de validité ; si celle-ci expire, ouvrez à nouveau l'interface. |
| Details | Détails de la soumission, notamment le chemin des journaux, l'URL de l'interface web, l'ID du cluster et le nom du groupe de ressources — utile pour vérifier la manière dont l'application a été soumise. |
| More > Stop | Arrête l'application en cours d'exécution. |
| More > History | Historique des nouvelles tentatives pour l'application actuelle. |
Pour afficher l'historique des nouvelles tentatives pour toutes les applications, cliquez sur l'onglet Execution History.