E-MapReduce:DLF-Auth

Contexte

Prérequis

Limites

• La gestion des autorisations Data Lake Formation (DLF) est prise en charge uniquement pour les utilisateurs Resource Access Management (RAM). Vous pouvez ajouter des utilisateurs sur la page de gestion des utilisateurs dans la console EMR.

• Pour obtenir la liste des régions qui prennent en charge la fonctionnalité de gestion des autorisations de données de Data Lake Formation (DLF), consultez la rubrique Régions et endpoints pris en charge.

• Si vous activez Hive ou Spark pour DLF-Auth, vous ne pouvez pas les activer ni les désactiver pour Ranger, et inversement.

• Le tableau suivant répertorie les versions d'EMR et les moteurs de calcul pris en charge par DLF-Auth.

  Version majeure d'EMR		Hive	Spark	Presto	Impala
  EMR 3.x	EMR 3.39.0 et versions antérieures	Non pris en charge	Non pris en charge	Non pris en charge	Non pris en charge
  	EMR-3.40.0	Pris en charge	Pris en charge	Pris en charge	Non pris en charge
  	EMR 3.41.0 à EMR 3.43.1	Pris en charge	Pris en charge	Non pris en charge	Non pris en charge
  	EMR 3.44.0 et versions ultérieures	Pris en charge	Pris en charge	Pris en charge	Pris en charge
  EMR 5.x	EMR 5.5.0 et versions antérieures	Non pris en charge	Non pris en charge	Non pris en charge	Non pris en charge
  	EMR 5.6.0	Pris en charge	Pris en charge	Pris en charge	Non pris en charge
  	EMR 5.7.0 à EMR 5.9.1	Pris en charge	Pris en charge	Non pris en charge	Non pris en charge
  	EMR 5.10.0 et versions ultérieures	Pris en charge	Pris en charge	Pris en charge	Pris en charge

Procédure

Suivez les étapes ci-dessous pour activer DLF-Auth et mettre en œuvre une gestion unifiée et entièrement gérée des autorisations pour votre lac de données.

Étape 1 : Activer le contrôle d'accès Hive

1. Accédez à la page DLF-Auth.

   1. Connectez-vous à EMR on ECS.

   2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

   3. Sur la page EMR on ECS, localisez le cluster que vous souhaitez gérer et cliquez sur Services dans la colonne Actions.

   4. Sur la page Services , cliquez sur Status dans la section du service DLF-Auth.

2. Activez le contrôle d'accès Hive.

   1. Sur la page du service DLF-Auth, activez l'option enableHive.

   2. Dans la boîte de dialogue qui s'affiche, cliquez sur OK.

3. Redémarrez HiveServer.

   1. Sur la page Services , cliquez sur le service Hive.

   2. Sur la page du service Hive, localisez HiveServer et cliquez sur Restart dans la colonne Actions.

   3. Dans la boîte de dialogue qui s'affiche, saisissez un Execution Reason puis cliquez sur OK.

   4. Dans la boîte de dialogue Confirm , cliquez sur OK.

Étape 2 : Ajouter un utilisateur RAM

Ajoutez un utilisateur via la fonctionnalité de gestion des utilisateurs.

1. Accédez à la page User Management.

   1. Connectez-vous à EMR on ECS.

   2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

   3. Sur la page EMR on ECS, localisez le cluster que vous souhaitez gérer et cliquez sur Services dans la colonne Actions.

   4. Cliquez sur l'onglet Users .

2. Sur la page Users , cliquez sur Add User.

3. Dans la boîte de dialogue Add User , sélectionnez un utilisateur RAM existant dans la liste déroulante Username pour l'utiliser comme nom d'utilisateur EMR. Saisissez ensuite un mot de passe dans les champs Password et Confirm Password .

4. Cliquez sur OK.

Étape 3 : Valider les autorisations

1. Validez les autorisations de l'utilisateur actuel avant d'accorder de nouvelles autorisations.

   1. Connectez-vous au cluster via le protocole Secure Shell (SSH). Pour plus d'informations, consultez la rubrique Se connecter à un cluster.

   2. Exécutez la commande suivante pour accéder à HiveServer2.

      beeline -u jdbc:hive2://master-1-1:10000 -n <user> -p <password>

      Remarque

      Les paramètres <user> et <password> correspondent respectivement au nom d'utilisateur et au mot de passe définis à l'étape Étape 2 : Ajouter un utilisateur RAM.

   3. Consultez les informations relatives à une table existante.

      Par exemple, exécutez la commande suivante pour afficher les informations de la table test. Remplacez testdb.test par vos propres informations.

      select * from testdb.test;

      L'utilisateur actuel ne disposant pas des autorisations requises, la requête échoue et une erreur d'autorisation est renvoyée.

      0: jdbc:hive2://xxx:10000> select * from testdb.test;
      22/07/07 19:03:32 [main]: WARN conf.HiveConf: HiveConf of name hive.metastore.delta.compatible.mode.enabled does not e
      xist
      Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [dlf-test] does not
       have [SELECT] privilege on [database=testdb/table=test/*]. Permission denied: DLF checkPermission failed. message=[Ac
      tion: CHECK_PERMISSIONS ErrorCode: NoPermission Message: Authorization Failed [4019], You have NO privilege 'Select' o
      n {acs:dlf:cn-hangzhou:xxx:metastore/catalogs/xxx/databases/testdb/tables/test}. Deny as def
      ault for Resource.  Context ID:dd198392-9b30-4899-9b32-61e1a993bd55.    --->Tips: Principal:acs:ram::xxx:
      user/dlf-test Not pass by dlf permission check. RequestId: C4EC27BE-31ED-5A4B-AD40-2C8EF60359C0] (state=42000,code=400
      00)

2. Accordez des autorisations à l'utilisateur RAM.

   1. Connectez-vous à la console Data Lake Formation.

   2. Dans le volet de navigation de gauche, choisissez Data Permission > Grant Permissions.

   3. Sur la page Grant Permissions , cliquez sur Add Authorization.

   4. Sur la page Add Authorization , configurez les paramètres suivants.

      Paramètre		Description
      Principal	Principal Type	La valeur par défaut est Utilisateur RAM.
      	Choose Principal	Dans la liste déroulante Choose Principal , sélectionnez l'utilisateur ajouté à l'étape 2 : Ajouter un utilisateur RAM.
      Resources	Authorization Method	La valeur par défaut est Autorisation basée sur les ressources.
      	Resource Type	Sélectionnez l'option appropriée. Dans cet exemple, Table de métadonnées est sélectionné.
      Permission	Data Permission	Dans cet exemple, Select est utilisé.
      	Permissions

   5. Cliquez sur OK.

3. Validez les autorisations de l'utilisateur actuel après avoir accordé les nouvelles autorisations.

   Suivez les instructions de la sous-étape a de l'étape 1 pour consulter à nouveau les informations de la table. L'autorisation requise ayant été accordée, la requête renvoie désormais les informations de la table.

(Facultatif) Étape 4 : Activer l'authentification LDAP pour Hive

Si vous activez les autorisations DLF-Auth, vous devez également activer l'authentification LDAP pour Hive. Cela garantit que les utilisateurs qui se connectent à Hive sont authentifiés par LDAP avant de pouvoir exécuter des scripts.

1. Accédez à la page Cluster Services.

   1. Connectez-vous à EMR on ECS.

   2. Dans la barre de navigation supérieure, sélectionnez une région et un groupe de ressources selon vos besoins.

   3. Sur la page EMR on ECS, localisez le cluster à gérer et cliquez sur Services dans la colonne Actions.

2. Activez l'authentification LDAP.

   1. Sur la page Services, cliquez sur Status dans la section du service Hive.

   2. Activez le commutateur enableLDAP.

      • Pour EMR 5.11.1 ou version ultérieure et EMR 3.45.1 ou version ultérieure

        1. Dans la section Service Overview, activez le commutateur enableLDAP.

        2. Dans la boîte de dialogue qui s'affiche, cliquez sur OK.

      • Pour EMR 5.11.0 ou version antérieure et EMR 3.45.0 ou version antérieure

        1. Dans la section Components, localisez HiveServer et choisissez > enableLDAP dans la colonne Actions.

        2. Dans la boîte de dialogue qui s'affiche, saisissez un Execution Reason et cliquez sur OK.

        3. Dans la boîte de dialogue Confirm, cliquez sur OK.

   3. Redémarrez HiveServer.

      1. Dans la section Components, localisez HiveServer et cliquez sur Restart dans la colonne Actions.

      2. Dans la boîte de dialogue qui s'affiche, saisissez un Execution Reason et cliquez sur OK.

      3. Dans la boîte de dialogue Confirm, cliquez sur OK.