E-MapReduce:DLF-Auth

Informações gerais

Pré-requisitos

Limitações

• O gerenciamento de permissões do Data Lake Formation (DLF) é compatível apenas com usuários do Resource Access Management (RAM). Adicione usuários na página de gerenciamento de usuários no EMR console.

• Para informações sobre as regiões compatíveis com o recurso de gerenciamento de permissão de dados do Data Lake Formation (DLF), consulte Supported regions and endpoints.

• Se você ativar Hive ou Spark para o DLF-Auth, não será possível ativá-los ou desativá-los para o Ranger, e vice-versa.

• A tabela a seguir lista as versões do EMR e os motores de computação compatíveis com o DLF-Auth.

  Versão principal do EMR		Hive	Spark	Presto	Impala
  EMR 3.x	EMR 3.39.0 e anteriores	Não compatível	Não compatível	Não compatível	Não compatível
  	EMR-3.40.0	Compatível	Compatível	Compatível	Não compatível
  	EMR 3.41.0 a EMR 3.43.1	Compatível	Compatível	Não compatível	Não compatível
  	EMR 3.44.0 e posteriores	Compatível	Compatível	Compatível	Compatível
  EMR 5.x	EMR 5.5.0 e anteriores	Não compatível	Não compatível	Não compatível	Não compatível
  	EMR 5.6.0	Compatível	Compatível	Compatível	Não compatível
  	EMR 5.7.0 a EMR 5.9.1	Compatível	Compatível	Não compatível	Não compatível
  	EMR 5.10.0 e posteriores	Compatível	Compatível	Compatível	Compatível

Procedimento

Siga estas etapas para ativar o DLF-Auth e implementar um gerenciamento de permissões unificado e totalmente gerenciado para o seu data lake.

Etapa 1: Ativar o controle de acesso do Hive

1. Acesse a página do DLF-Auth.

   1. Faça login no EMR on ECS.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Na página EMR on ECS, localize o cluster que deseja gerenciar e clique em Services na coluna Actions.

   4. Na página Services, clique em Status na seção do service DLF-Auth.

2. Ative o controle de acesso do Hive.

   1. Na página do service DLF-Auth, ative o switch enableHive.

   2. Na caixa de diálogo exibida, clique em OK.

3. Reinicie o HiveServer.

   1. Na página Services, clique no service Hive.

   2. Na página do service Hive, localize HiveServer e clique em Restart na coluna Actions.

   3. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

   4. Na caixa de diálogo Confirm, clique em OK.

Etapa 2: Adicionar um usuário RAM

Adicione um usuário por meio do recurso de gerenciamento de usuários.

1. Acesse a página User Management.

   1. Faça login no EMR on ECS.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Na página EMR on ECS, localize o cluster que deseja gerenciar e clique em Services na coluna Actions.

   4. Clique na aba Users.

2. Na página Users, clique em Add User.

3. Na caixa de diálogo Add User, selecione um usuário RAM existente na lista suspensa Username para usar como nome de usuário do EMR. Em seguida, insira uma senha nos campos Password e Confirm Password.

4. Clique em OK.

Etapa 3: Validar permissões

1. Valide as permissões do usuário atual antes de conceder novas permissões.

   1. Faça login no cluster usando o protocolo Secure Shell (SSH). Para mais informações, consulte Log on to a cluster.

   2. Execute o seguinte comando para acessar o HiveServer2.

      beeline -u jdbc:hive2://master-1-1:10000 -n <user> -p <password>

      Nota

      <user> e <password> representam o nome de usuário e a senha definidos em Step 2: Add a RAM user.

   3. Visualize informações sobre uma tabela existente.

      Por exemplo, execute o seguinte comando para visualizar informações sobre a tabela de teste. Substitua testdb.test pelas suas informações reais.

      select * from testdb.test;

      Como o usuário atual não tem as permissões necessárias, a consulta falha e um erro de permissão é retornado.

      0: jdbc:hive2://xxx:10000> select * from testdb.test;
      22/07/07 19:03:32 [main]: WARN conf.HiveConf: HiveConf of name hive.metastore.delta.compatible.mode.enabled does not e
      xist
      Error: Error while compiling statement: FAILED: HiveAccessControlException Permission denied: user [dlf-test] does not
       have [SELECT] privilege on [database=testdb/table=test/*]. Permission denied: DLF checkPermission failed. message=[Ac
      tion: CHECK_PERMISSIONS ErrorCode: NoPermission Message: Authorization Failed [4019], You have NO privilege 'Select' o
      n {acs:dlf:cn-hangzhou:xxx:metastore/catalogs/xxx/databases/testdb/tables/test}. Deny as def
      ault for Resource.  Context ID:dd198392-9b30-4899-9b32-61e1a993bd55.    --->Tips: Principal:acs:ram::xxx:
      user/dlf-test Not pass by dlf permission check. RequestId: C4EC27BE-31ED-5A4B-AD40-2C8EF60359C0] (state=42000,code=400
      00)

2. Adicione permissões ao usuário RAM.

   1. Faça login no Data Lake Formation console.

   2. No painel de navegação à esquerda, escolha Data Permission > Grant Permissions.

   3. Na página Grant Permissions, clique em Add Authorization.

   4. Na página Add Authorization, configure os seguintes parâmetros.

      Parâmetro		Descrição
      Principal	Principal Type	O padrão é RAM User.
      	Choose Principal	Na lista suspensa Choose Principal, selecione o usuário adicionado em Step 2: Add a RAM user.
      Resources	Authorization Method	O padrão é Resource-based authorization.
      	Resource Type	Selecione a opção adequada. Neste exemplo, Metadata Table está selecionado.
      Permission	Data Permission	Neste exemplo, Select é utilizado.
      	Permissions

   5. Clique em OK.

3. Valide as permissões do usuário atual após conceder as novas permissões.

   Siga as instruções em Substep a of Step 1 para visualizar as informações da tabela novamente. Como a permissão necessária foi concedida, a consulta agora retorna informações sobre a tabela.

(Opcional) Etapa 4: Ativar a autenticação LDAP do Hive

Ao ativar as permissões DLF-Auth, ative também a autenticação LDAP do Hive. Isso garante que os usuários que se conectam ao Hive sejam autenticados via LDAP antes de executar scripts.

1. Acesse a página Cluster Services.

   1. Faça login no EMR on ECS.

   2. Na barra de navegação superior, selecione uma região e um grupo de recursos conforme necessário.

   3. Na página EMR on ECS, localize o cluster que deseja gerenciar e clique em Services na coluna Actions.

2. Ative a autenticação LDAP.

   1. Na página Services, clique em Status na seção do service Hive.

   2. Ative o switch enableLDAP.

      • Para EMR 5.11.1 ou posterior e EMR 3.45.1 ou posterior

        1. Na seção Service Overview, ative o switch enableLDAP.

        2. Na caixa de diálogo exibida, clique em OK.

      • Para EMR 5.11.0 ou anterior e EMR 3.45.0 ou anterior

        1. Na seção Components, localize HiveServer e escolha > enableLDAP na coluna Actions.

        2. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

        3. Na caixa de diálogo Confirm, clique em OK.

   3. Reinicie o HiveServer.

      1. Na seção Components, localize HiveServer e clique em Restart na coluna Actions.

      2. Na caixa de diálogo exibida, insira um Execution Reason e clique em OK.

      3. Na caixa de diálogo Confirm, clique em OK.