DataWorks:Configurer les paramètres Spark globaux

Contexte

Apache Spark est un moteur d'analyse de données à grande échelle. Dans DataWorks, configurez les paramètres d'exécution Spark pour les nœuds planifiés de plusieurs façons :

• Méthode 1 : Configurer les paramètres Spark globaux

  Définissez les paramètres Spark au niveau de l'espace de travail pour les modules DataWorks qui exécutent des tâches EMR. Vous pouvez également attribuer à ces paramètres une priorité supérieure à celle des paramètres Spark configurés dans un module spécifique. Pour plus d'informations, consultez Configurer les paramètres Spark globaux.

• Méthode 2 : Configurer les paramètres Spark spécifiques au module

  • Data Development (Data Studio) : Pour les nœuds Hive et Spark, définissez les propriétés Spark pour les tâches de nœud individuelles dans le volet Scheduling Settings situé sur le côté droit de la page d'édition du nœud.

  • Autres modules : La définition des propriétés Spark au sein d'autres modules n'est pas prise en charge.

Limites

• Seuls les rôles suivants peuvent configurer les paramètres Spark globaux :

  • Un compte Alibaba Cloud.

  • Un utilisateur RAM ou un rôle RAM disposant de l'autorisation AliyunDataWorksFullAccess .

  • Un utilisateur RAM doté du rôle Workspace Administrator.

• Les paramètres Spark s'appliquent uniquement aux nœuds EMR Spark, aux nœuds EMR Spark SQL et aux nœuds EMR Spark Streaming.

  Remarque

  Pour utiliser Ranger afin de contrôler l'accès dans Spark, ajoutez la configuration spark.hadoop.fs.oss.authorization.method=ranger dans les paramètres Spark globaux pour appliquer le contrôle d'accès Ranger.

• Vous pouvez mettre à jour les configurations liées à Spark à la fois dans le Management Center de DataWorks et dans la console E-MapReduce. Si la configuration d'un paramètre diffère entre ces deux emplacements, les tâches soumises via DataWorks utilisent la configuration du Management Center de DataWorks.

• Actuellement, vous ne pouvez configurer les paramètres Spark globaux que pour les modules Data Development (Data Studio), Data Quality, Data Analysis et Operation Center.

Prérequis

Associez un cluster E-MapReduce à votre espace de travail DataWorks. Pour plus d'informations, consultez Associer un moteur de calcul E-MapReduce.

Configurer les paramètres Spark globaux

1. Accédez à la page de configuration des paramètres Spark globaux.

   1. Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur More > Management Center dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Management Center.

   2. Dans le volet de navigation de gauche, cliquez sur Computing Resources.

   3. Recherchez le cluster EMR cible et cliquez sur SPARK Parameters pour accéder à la page de configuration des paramètres Spark globaux.

      La page de configuration des paramètres Spark globaux contient une section Production and Development Environments, qui répertorie les modules DataStudio (Data Development) et Data Analysis. À droite de chaque module se trouvent une case à cocher Global Configuration Has Priority et un lien Expand. Un bouton Edit SPARK Parameters est disponible dans le coin supérieur droit de la page.

2. Configurez les paramètres Spark globaux.

   Dans le coin supérieur droit de la page SPARK Parameters, cliquez sur Edit SPARK Parameters pour configurer les paramètres Spark globaux et la priorité pour chaque module.

   Remarque

   Ces paramètres s'appliquent globalement à l'ensemble de l'espace de travail. Avant de continuer, assurez-vous d'avoir sélectionné le bon espace de travail.

   Paramètre	Description
   Propriété Spark	Configurez les propriétés Spark (Spark Property Name et Spark Property Value) qu'un module utilise pour exécuter des tâches EMR. Pour connaître les configurations valides, consultez Spark Configurations et Spark Configurations on Kubernetes.
   Global Settings Take Precedence	Si vous sélectionnez cette option, les configurations globales sont prioritaires sur les configurations spécifiques au module. Dans ce cas, les tâches utilisent les propriétés Spark globales. Configurations globales : Les paramètres Spark configurés sur la page SPARK Parameters pour un cluster EMR dansManagement Center > Computing Resources. Remarque Actuellement, vous ne pouvez configurer les paramètres Spark globaux que pour les modules Data Development (Data Studio), Data Quality, Data Analysis et Operation Center. Configurations spécifiques au module : Data Development (Data Studio) : Pour les nœuds Hive et Spark, définissez les propriétés Spark pour les tâches de nœud individuelles dans le volet Scheduling Settings situé sur le côté droit de la page d'édition du nœud. Autres modules : La définition des propriétés Spark au sein d'autres modules n'est pas prise en charge.