Todos os produtos
Search

Este produto

    DataWorks:Data Studio: Associar um recurso de computação EMR

    Central de documentação

    DataWorks:Data Studio: Associar um recurso de computação EMR

    Última atualização: Aug 25, 2026

    Associe seu cluster E-MapReduce (EMR) ao DataWorks como um recurso de computação EMR para ativar a sincronização de dados, o desenvolvimento e o gerenciamento de tarefas do EMR.

    Pré-requisitos

    Limitações

    • Limitações do product:

      • Em clusters EMR com autenticação Kerberos ativada, o grupo de segurança deve permitir tráfego UDP de entrada proveniente do bloco CIDR do vSwitch associado ao grupo de recursos.

        Nota

        Clique em no ícone image ao lado de Cluster Security Group na seção Basic information do cluster EMR para acessar a aba Security Group Details. Clique em Access Rule > Inbound, selecione Added Manually e defina Protocol Type como Custom UDP. No campo Port Range, verifique a porta KDC no arquivo /etc/krb5.conf do cluster EMR. Defina Authorized object como o bloco CIDR do vSwitch associado ao grupo de recursos.

      • Para gerencie metadados no DataWorks em clusters DataLake ou Custom, configure o EMR-HOOK no lado do cluster ou quando você configure Spark parameters. Sem o EMR-HOOK, o DataWorks não exibe metadados em tempo real, não gera logs de auditoria nem linhagem, e tarefas de governança relacionadas ao EMR não são executadas. Apenas os service EMR Hive e EMR Spark SQL suportam EMR-HOOK. Para mais detalhes, consulte Configure EMR-HOOK for Hive e Configure EMR-HOOK for Spark SQL.

        Nota

    • Limitações de região: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur), Indonesia (Jakarta), Germany (Frankfurt), UK (London), US (Silicon Valley) e US (Virginia).

    • Limitações de permissão:

      Operador

      Permissões necessárias

      Conta Alibaba Cloud

      Nenhuma autorização adicional é necessária.

      Usuário RAM ou função RAM

      Apenas membros do workspace com a função de operador ou administrador do workspace, ou que possuam a permissão AliyunDataWorksFullAccess, podem criar recursos de computação. Para mais informações, consulte Grant a user the workspace administrator role.

    Observações

    • As seguintes versões de clusters Hadoop EMR (data lake legado) são suportadas no DataWorks:

      EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1 e EMR-5.4.3.

    • Clusters Hadoop (data lake legado) não são mais recomendados. Migre para clusters DataLake o quanto antes. Para mais informações, consulte Migrate from a Hadoop cluster to a DataLake cluster.

    Acessar a página da lista de recursos de computação

    1. Faça login no console do DataWorks. No painel de navegação à esquerda, alterne para a região desejada e clique em More > Management Center. Selecione seu workspace na lista suspensa e clique em Go to Management Center.

    2. No painel de navegação à esquerda, clique em Computing Resources para abrir a página da lista de recursos de computação.

    Associar um recurso de computação EMR

    Na página da lista de recursos de computação, configure e associe o recurso de computação EMR.

    1. Selecione o tipo de recurso de computação a ser associado.

      1. Clique em Associate Computing Resources para acesse a página Associate Computing Resources.

      2. Na página Associate Computing Resources, defina o tipo de recurso de computação como EMR para ir à página de configuração Associate EMR Computing Resource.

    2. Configure o recurso de computação EMR.

      Na página de configuração Associate EMR Computing Resource, defina os parâmetros abaixo.

      Parâmetro

      Descrição

      Alibaba Cloud Account to Which Cluster Belongs

      É possível selecionar Current Alibaba Cloud Account ou Another Alibaba Cloud Account.

      Nota

      Ao selecionar Another Alibaba Cloud Account, siga as instruções em Use an EMR cluster across Alibaba Cloud accounts para autorizar as contas relevantes e configure os parâmetros necessários conforme solicitado.

      Cluster Type

      Escolha o tipo de cluster de acordo com seus requisitos de negócio.

      Cluster

      Selecione o cluster EMR desejado dentro do tipo de cluster correspondente.

      Default Access Identity

      • Ambiente de desenvolvimento: Utilize a conta do cluster hadoop ou a conta do cluster mapeada para o executor da tarefa.

      • Ambiente de produção: Utilize a conta do cluster hadoop ou a conta do cluster mapeada para o proprietário da tarefa, conta Alibaba Cloud ou usuário RAM.

        Nota

        Quando a identidade de acesso padrão estiver definida como a conta do cluster mapeada para o proprietário da tarefa, conta Alibaba Cloud ou usuário RAM, consulte Configure account mapping between DataWorks and EMR para configurar o mapeamento entre membros do tenant do DataWorks e contas do cluster EMR. As tarefas EMR serão executadas sob a conta do cluster mapeada. Caso nenhum mapeamento esteja configurado, o DataWorks procederá da seguinte forma:

        • Se um usuário RAM (sub-account) execute a tarefa: O DataWorks usa, por padrão, a conta de sistema do cluster EMR com o mesmo nome do operador atual. Se a autenticação LDAP ou Kerberos estiver ativada no cluster, a tarefa falhará.

        • Se uma conta Alibaba Cloud execute a tarefa: A tarefa do DataWorks retornará um erro.

      Pass Proxy User Information

      Define se as informações de Proxy User devem ser transmitidas durante a execução de tarefas no cluster EMR.

      Nota

      Quando LDAP, Kerberos ou outro método de autenticação está ativado, o cluster emite uma credencial de autenticação para cada usuário comum. Um superusuário (usuário real) pode atuar como proxy para usuários comuns (proxy users), permitindo que estes acessem o cluster com as credenciais do superusuário. Basta adicionar o usuário como proxy user.

      • Pass: Durante a execução de tarefas no cluster EMR, as permissões de acesso a dados são verificadas e controladas com base no Proxy User.

        • Data Studio e Data Analysis: O nome da conta Alibaba Cloud do executor da tarefa é passado dinamicamente como informação de Proxy User.

        • Operation Center: O nome da conta Alibaba Cloud da identidade de acesso padrão configurada no registro do cluster é passado como informação fixa de Proxy User.

      • Do not pass: Durante a execução de tarefas no cluster EMR, as permissões de acesso a dados são verificadas e controladas com base no método de autenticação de conta configurado no registro do cluster.

      A transmissão das informações de Proxy User varia conforme o tipo de tarefa EMR:

      • Tarefas EMR Kyuubi: As informações são transmitidas através do item de configuração hive.server2.proxy.user.

      • Tarefas EMR Spark e EMR Spark SQL em modo não-JDBC: As informações são transmitidas através do item de configuração -proxy-user.

      Arquivos de configuração

      Quando o tipo de cluster for definido como HADOOP, obtenha os arquivos de configuração no console do EMR. Para mais informações, consulte Export EMR cluster configuration files. Após a exportação, renomeie os arquivos conforme instruído na página de configuração.

      Alternativamente, você pode log on to the EMR cluster e obter os arquivos de configuração nos seguintes caminhos:

      /etc/ecm/hadoop-conf/core-site.xml
/etc/ecm/hadoop-conf/hdfs-site.xml
/etc/ecm/hadoop-conf/mapred-site.xml
/etc/ecm/hadoop-conf/yarn-site.xml
/etc/ecm/hive-conf/hive-site.xml
/etc/ecm/spark-conf/spark-defaults.conf
/etc/ecm/spark-conf/spark-env.sh

      Computing Resource Instance Name

      Personalize o nome da instância do recurso de computação. Durante a execução de uma tarefa, selecione o recurso de computação pelo nome.

    3. Clique em Confirm para concluir a configuração do recurso de computação EMR.

    Inicialização do grupo de recursos

    Após registrar um cluster pela primeira vez, modifique a configuração de service do cluster ou atualizar a versão de um componente (por exemplo, modifique core-site.xml), inicialize o grupo de recursos para garantir o acesso ao cluster EMR via network connectivity configuration.

    1. Na página da lista de Computing Resources, localize o recurso de computação EMR criado. Clique em Initialize Resource Group no canto superior direito.

    2. Clique em Initialize ao lado do grupo de recursos desejado. Após a inicialização do grupo de recursos, clique em Determine.

    (Opcional) Configurar filas de recursos YARN

    Na página da lista de Computing Resources, localize o cluster EMR associado. Na aba YARN Resource Queue, clique em Edit YARN Resource Queue para configure YARN resource queues for tasks in different modules.

    (Opcional) Configurar parâmetros Spark

    Configure parâmetros de propriedade Spark dedicados para tarefas em diferentes módulos.

    1. Na página da lista de Computing Resources, localize o cluster EMR associado.

    2. Clique em na aba Spark-related Parameter e, em seguida, clique em Edit Spark Parameters para acesse a página de edição de parâmetros Spark do cluster EMR.

    3. Clique em Add abaixo de um módulo, insira o Spark Property Name e o Spark Property Value correspondente para configure Spark property parameters for tasks in different modules.

    Próximos passos