DataWorks:Configurar mapeamento de identidade do cluster

Precauções

• O mapeamento de identidade de um cluster EMR se aplica a todos os workspaces onde esse cluster está registrado. Modifique a configuração do cluster EMR com cautela.

• Se você não configurar manualmente um mapeamento de contas, o DataWorks usará uma política padrão para enviar tarefas ao cluster EMR, independentemente da conta na nuvem usada para executar as tarefas:

  • Execução de tarefas como usuário RAM: Por padrão, o DataWorks executa a tarefa usando uma conta de sistema do cluster EMR com o mesmo nome do usuário RAM. Se o cluster não tiver a autenticação LDAP ou Kerberos ativada, configure um mapeamento conforme descrito neste tópico. Caso contrário, a tarefa do DataWorks falhará.

  • Execução de tarefas como conta Alibaba Cloud: Configure manualmente um mapeamento de contas para a conta Alibaba Cloud, independentemente de o cluster ter a autenticação LDAP ou Kerberos ativada. Sem essa configuração, todas as tarefas executadas com a conta Alibaba Cloud falharão.

    Nota

    A conta usada para acessar um cluster EMR a partir do DataWorks depende da identidade de acesso especificada durante o registro do cluster EMR.

    • Para executar tarefas como usuário RAM, selecione Cluster Account Mapped to Account of Task Owner ou Cluster Account Mapped to RAM User como identidade de acesso padrão ao vincular um recurso de computação EMR no DataWorks.

    • Para executar tarefas como conta Alibaba Cloud, selecione Cluster Account Mapped to Alibaba Cloud Account como identidade de acesso padrão ao vincular um recurso de computação EMR no DataWorks.

Observações de uso

• Método de autenticação

  O DataWorks não suporta a configuração simultânea de mapeamentos de contas LDAP e Kerberos. Portanto, as tarefas executadas no DataWorks falharão se um componente EMR tiver ambas as autenticações, LDAP e Kerberos, ativadas.

• Configuração de lista de permissões

  Se a autenticação Ranger estiver ativada no cluster, adicione o DataWorks à lista de permissões para garantir o acesso ao cluster EMR. Para mais informações, consulte Apêndice: Adicionar o DataWorks à lista de permissões.

• Gerenciamento de usuários

  Ao usar uma conta que não seja de sistema para autenticação de identidade do cluster (por exemplo, Kerberos), ative primeiro o serviço de autenticação correspondente no cluster e, em seguida, adicione a conta usada para desenvolvimento de tarefas EMR no DataWorks a esse serviço. Para mais informações, consulte Configurar autenticação Kerberos.

• Permissões de dados

  Use componentes de gerenciamento de permissões no cluster EMR para isolar permissões de dados entre diferentes usuários do DataWorks. Por exemplo, use o componente Ranger para gerenciar as permissões do usuário do cluster mapeado para uma conta Alibaba Cloud.

  Se um cluster EMR usar o Data Lake Formation (DLF) como serviço de metadados e tiver o componente DLF-Auth ativado para gerenciar permissões, solicite permissões de dados no Security Center do DataWorks. Para mais informações, consulte Controle de acesso a dados DLF.

• Configuração de mapeamento

  Atenção: as tarefas do DataWorks podem falhar nos seguintes cenários:

  Cenário	Descrição
  Uso de mapeamento de conta de sistema no DataWorks	Um usuário RAM executa uma tarefa, mas não existe nenhuma conta de cluster com o mesmo nome. Um usuário RAM executa uma tarefa e há um mapeamento configurado manualmente entre um membro do workspace do DataWorks e uma conta de cluster, mas a conta de cluster mapeada ou a senha está incorreta. Uma conta Alibaba Cloud executa uma tarefa, mas nenhum mapeamento foi configurado para essa conta.
  Uso de mapeamento de conta LDAP/Kerberos no DataWorks	A autenticação LDAP ou Kerberos está ativada no cluster, mas falta um mapeamento de conta correspondente no DataWorks ou ele está incorreto. Você selecionou o mapeamento Kerberos no DataWorks, mas o Kerberos não está ativado no cluster. Você selecionou o mapeamento LDAP no DataWorks, mas o serviço de autenticação não está ativado para o componente no cluster. Nota Após configurar o mapeamento LDAP no DataWorks, tarefas SQL como Hive, Impala, Presto e Trino usam a conta mapeada para autenticação por padrão. Se a autenticação LDAP não estiver ativada no componente do cluster, essas tarefas falharão.

Limitações

• Somente usuários com as seguintes funções podem configurar mapeamentos de identidade para membros do workspace:

  • Conta Alibaba Cloud

  • Usuário RAM ou função RAM com as permissões AliyunDataWorksFullAccess e AliyunEMRFullAccess.

  • Usuário RAM ou função RAM atribuído à função Workspace Administrator e com permissões AliyunEMRFullAccess.

• Usuários sem essas funções podem configurar um mapeamento de identidade apenas para si mesmos.

Acessar a página de mapeamentos de contas

1. Faça login no console do DataWorks. Na região desejada, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

2. No painel de navegação à esquerda, clique em Computing Resources para acessar a página Computing Resources.

3. Na lista de recursos de computação, localize o cluster EMR desejado. Na aba Account Mappings, clique em Edit Account Mappings no canto superior direito para acessar a página Edit Account Mappings.

   A aba Account Mappings contém a seção Production and development environment, que exibe os campos Mapping Type e Number of Mapped Accounts.

Configurar o mapeamento de contas do cluster

Na página Edit Account Mappings, siga estas etapas para configurar um mapeamento de identidade do cluster.

1. Carregue um arquivo de configuração.

   1. Se a autenticação Kerberos estiver ativada no cluster, baixe as credenciais de autenticação do cluster.

   2. Clique em Upload Keystore File para carregar as credenciais de autenticação baixadas. Isso garante que as tarefas do EMR Trino e do EMR Presto sejam executadas conforme esperado.

1. Configure o mapeamento.

   • Configuration Mode: Defina um mapeamento para o cluster atual ou selecione Reference Configurations of Another Cluster para reutilizar uma configuração de mapeamento existente.

   • Mapping Type: Especifique o tipo de conta para autenticação no cluster. Os tipos suportados incluem System Account Mapping, OPEN LDAP Account Mapping e Kerberos Account Mapping.

   Nota

   • Se você selecionar Mapping to Kerberos Account como Mapping Type, será necessário carregar um arquivo Keystore.

   • Antes de usar o mapeamento de conta Kerberos, certifique-se de que o serviço Kerberos esteja ativado no cluster. Para mais informações, consulte Ativar Kerberos.

   • Antes de usar o mapeamento de conta LDAP, verifique se o serviço LDAP está ativado nos componentes relacionados. Após configurar o mapeamento LDAP no DataWorks, tarefas SQL como Hive, Impala, Presto e Trino usam a conta mapeada para autenticação por padrão. Se a autenticação LDAP não estiver ativada no componente do cluster, essas tarefas falharão.

2. Clique em Confirm para salvar as configurações de mapeamento de contas do cluster.

Apêndice: Adicionar o DataWorks à lista de permissões

Se o Ranger estiver ativado no cluster EMR, adicione o DataWorks à lista de permissões no EMR e reinicie o Hive antes de desenvolver jobs EMR no DataWorks. Caso contrário, os jobs falharão durante a execução com o erro Cannot modify spark.yarn.queue at runtime ou Cannot modify SKYNET_BIZDATE at runtime.

1. Configure a lista de permissões.

   Adicione uma chave e um valor para um parâmetro personalizado no EMR para configurar a lista de permissões. O exemplo a seguir mostra a configuração para o componente Hive.

   hive.security.authorization.sqlstd.confwhitelist.append=tez.*|spark.*|mapred.*|mapreduce.*|ALISA.*|SKYNET.*

   Nota

   As configurações ALISA. e SKYNET. são específicas do DataWorks.

1. Reinicie o serviço.

   Após configurar a lista de permissões, reinicie o serviço para que as alterações entrem em vigor.