DataWorks:Associer une ressource de calcul Lindorm

Limitations

• Régions : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur) et Indonésie (Jakarta).

• Autorisations :

  • Vous devez utiliser un groupe de ressources Serverless DataWorks pour exécuter des tâches Lindorm dans DataWorks.

  • Seuls les membres de l'espace de travail disposant du rôle O&M ou Workspace Administrator, ou ceux disposant de l'autorisation AliyunDataWorksFullAccess, peuvent créer des ressources de calcul. Pour afficher les rôles des membres ou accorder des autorisations, consultez la rubrique Ajouter des membres à l'espace de travail et gérer les rôles et autorisations des membres.

Accéder à la page Computing Resources

1. Accédez à la page DataWorks Workspaces. Dans la barre de navigation supérieure, sélectionnez la région cible et localisez l'espace de travail dans lequel vous souhaitez créer une ressource de calcul. Cliquez sur le nom de l'espace de travail ou sur Details dans la colonne Operation pour accéder à la page des détails de l'espace de travail.

2. Dans le volet de navigation de gauche, cliquez sur Computing Resources.

Associer une ressource de calcul Lindorm

Sur la page Computing Resources, configurez les paramètres pour associer la ressource de calcul Lindorm.

1. Sélectionnez le type de ressource de calcul à associer.

   1. Cliquez sur Associate Computing Resources pour ouvrir la page Associate Computing Resources.

   2. Sur la page Associate Computing Resources, sélectionnez Lindorm comme type de ressource de calcul pour accéder à la page de configuration Bind Lindorm Computing Resource.

2. Configurez la ressource de calcul Lindorm.

   Sur la page Associate Lindorm Computing Resource, configurez les paramètres suivants.

   Section	Paramètre	Description
   Basic Information	Configuration Mode	Seul ApsaraDB for RDS est pris en charge.
   	Instance	Sélectionnez l'instance Lindorm à associer à DataWorks. La liste déroulante affiche les instances Lindorm de la région actuelle.
   	Database Name	Sélectionnez la base de données par défaut pour cette ressource de calcul. DataWorks se connecte à cette base de données lors de l'exécution des tâches. La valeur par défaut est default.
   	Username/Password	Saisissez le nom d'utilisateur et le mot de passe permettant à DataWorks de s'authentifier auprès de cette ressource de calcul Lindorm. Pour obtenir les identifiants, accédez à la console Lindorm, cliquez sur le Instance Name et recherchez les identifiants dans la section Database Connection du volet de navigation de gauche.
   	Computing Resource Instance Name	Utilisez ce nom pour identifier et sélectionner la ressource lors de la configuration des tâches.
   Connection Configuration	Connected state	Dans la section de configuration de la connexion, sélectionnez le groupe de ressources Serverless utilisé par DataWorks pour exécuter les tâches Lindorm, puis cliquez sur Test Connectivity pour vérifier que le groupe de ressources peut accéder à votre instance Lindorm. Pour plus d'informations, consultez les solutions de connectivité réseau.

3. Cliquez sur Confirm pour terminer la configuration de la ressource de calcul Lindorm.

Contexte

Dans DataWorks, vous pouvez configurer les paramètres Spark utilisés par les nœuds de planification au moment de l'exécution de deux manières :

Méthode 1 : Configurez les paramètres Spark globaux au niveau de l'espace de travail pour contrôler les paramètres Spark utilisés par chaque module DataWorks pour les tâches Lindorm. Vous pouvez également définir si les paramètres globaux sont prioritaires par rapport à ceux spécifiques aux modules. Pour plus d'informations, consultez la section Configurer les paramètres Spark globaux.

Méthode 2 : Dans Data Studio, définissez les propriétés Spark pour les tâches de nœud individuelles sur la page d'édition du nœud. Les autres modules ne prennent pas en charge la configuration des propriétés Spark par tâche.

Contrôle d'accès

Seuls les rôles suivants peuvent configurer les paramètres Spark globaux :

• Compte Alibaba Cloud.

• Un utilisateur RAM ou un rôle RAM disposant de l'autorisation AliyunDataWorksFullAccess.

• Un utilisateur RAM disposant du rôle Workspace Administrator.

Afficher les paramètres Spark globaux

1. Accédez à la page Computing Resources et localisez votre ressource de calcul Lindorm associée.

2. Cliquez sur Spark Parameters pour ouvrir le volet de configuration des paramètres Spark.

Configurer les paramètres Spark globaux

Suivez ces étapes pour configurer les paramètres Spark globaux. Pour plus de détails sur les paramètres spécifiques, consultez la rubrique Configuration des jobs.

1. Accédez à la page Computing Resources et localisez votre ressource de calcul Lindorm associée.

2. Cliquez sur Spark Parameters pour ouvrir le volet de configuration des paramètres Spark.

3. Définissez les paramètres Spark globaux.

   Cliquez sur Edit Spark Parameters dans le coin supérieur droit du volet Spark Parameters pour configurer les paramètres Spark globaux et les priorités pour chaque module.

   Remarque

   Il s'agit d'un paramètre au niveau de l'espace de travail. Assurez-vous de vous trouver dans l'espace de travail approprié avant de continuer.

   Paramètre	Étapes
   Spark Property	Configurez les propriétés Spark utilisées par chaque module lors de l'exécution des tâches Lindorm. Pour plus d'informations, consultez la rubrique Configuration des jobs. Cliquez sur Add et saisissez le Spark Property Name ainsi que la Spark Property Value correspondante. Remarque Pour activer la traçabilité des données et la collecte des résultats, configurez les propriétés suivantes : Définissez Spark Property Name sur spark.sql.queryExecutionListeners. Définissez Spark Property Value sur com.aliyun.dataworks.meta.lineage.LineageListener. Pour plus d'informations sur la configuration des propriétés Spark, consultez la rubrique Configuration des jobs.
   Global Settings Take Precedence	Si vous sélectionnez cette option, les configurations globales sont prioritaires par rapport aux configurations des modules produits. Dans ce cas, les tâches sont exécutées en fonction des propriétés Spark configurées globalement. Configuration globale : Les propriétés Spark définies sur la page Spark Parameters pour la ressource de calcul Lindorm dans Management Center > Computing Resources. Actuellement, vous ne pouvez définir les paramètres Spark globaux que pour les modules Data Studio et Operation Center. Configuration au sein des modules produits : Data Studio : Pour les nœuds Lindorm Spark et Lindorm Spark SQL, vous pouvez définir les propriétés Spark pour une tâche de nœud unique sur l'onglet Configuration Items de la page d'édition du nœud. Autres modules produits : La définition séparée des propriétés Spark au sein d'un module n'est pas prise en charge.

4. Cliquez sur Confirm pour enregistrer les paramètres Spark globaux.