Todos os produtos
Search

Este produto

    DataWorks:Data Studio (legacy): Registre um cluster EMR

    Central de documentação

    DataWorks:Data Studio (legacy): Registre um cluster EMR

    Última atualização: Jul 20, 2026

    O DataWorks permite criar nós como Hive, MapReduce (MR), Presto e Spark SQL em um cluster E-MapReduce (EMR) para configurar fluxos de trabalho de tarefas, agendar jobs e gerenciar metadados. Você pode registrar um cluster EMR pertencente à mesma conta Alibaba Cloud ou a uma conta diferente.

    Contexto

    E-MapReduce (EMR) é uma solução de processamento de big data open source executada na Alibaba Cloud.

    Construído sobre Apache Hadoop e Apache Spark, o EMR permite analisar e processar dados usando seus ecossistemas. O EMR também troca dados com outros services da Alibaba Cloud, como Object Storage Service (OSS) e ApsaraDB RDS. O EMR está disponível em ECS, no ACK e como oferta serverless.

    A configuração ideal do cluster varia conforme o componente. Antes de configurar um cluster EMR, consulte EMR cluster configuration recommendations e selecione uma configuração que atenda aos seus requisitos.

    Tipos de cluster suportados

    Para executar tarefas EMR, crie e registre um cluster EMR no DataWorks. Os seguintes tipos de cluster são suportados: DataLake clusters (new data lake): EMR on ECS, Custom clusters: EMR on ECS, Hadoop clusters (legacy data lake): EMR on ECS, Spark clusters: EMR on ACK e EMR Serverless Spark.

    Importante

    • As seguintes versões de clusters Hadoop EMR (data lake legado) são suportadas no DataWorks:

      EMR-3.38.2, EMR-3.38.3, EMR-4.9.0, EMR-5.6.0, EMR-3.26.3, EMR-3.27.2, EMR-3.29.0, EMR-3.32.0, EMR-3.35.0, EMR-4.3.0, EMR-4.4.1, EMR-4.5.0, EMR-4.5.1, EMR-4.6.0, EMR-4.8.0, EMR-5.2.1, EMR-5.4.3

    • Clusters Hadoop (data lake legado) não são mais recomendados. Recomendamos migrar seus clusters Hadoop para clusters DataLake o mais breve possível. Para mais informações, consulte Migrate a Hadoop cluster to a DataLake cluster.

    Nota

    Se o tipo de cluster utilizado não puder ser registrado no DataWorks, envie um ticket para contatar o suporte técnico.

    Limitações

    • Permissões: Apenas usuários RAM ou funções RAM com as seguintes identidades podem registrar um cluster EMR. Para conceder essas permissões, consulte Grant permissions to a RAM user.

      • Uma conta Alibaba Cloud.

      • Um usuário RAM ou função RAM com a função DataWorks Workspace Administrator e a política AliyunEMRFullAccess.

      • Um usuário RAM ou função RAM com as políticas AliyunDataWorksFullAccess e AliyunEMRFullAccess.

    • Região: O EMR Serverless Spark está disponível apenas em China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Indonesia (Jakarta), Germany (Frankfurt) e US (Virginia).

    • Tipo de tarefa: O DataWorks não suporta tarefas EMR Flink.

    • Execução de tarefas: O DataWorks suporta a execução de EMR tasks by using serverless resource groups (recomendado) ou grupos de recursos exclusivos legados para agendamento.

    • Governança de dados:

      • Apenas tarefas SQL em nós EMR Hive, EMR Spark e EMR Spark SQL suportam geração de linhagem de dados. Para clusters da versão 5.9.1 ou 3.43.1 e posteriores, esses nós suportam linhagem de dados tanto no nível de tabela quanto no nível de coluna.

        Nota

        Para nós Spark, a linhagem de dados nos níveis de tabela e coluna é suportada em clusters EMR da versão 5.8.0 ou 3.42.0 e posteriores. Em versões anteriores, apenas o Spark 2.x suporta linhagem de dados no nível de tabela.

      • Para gerenciar metadados de um cluster DataLake ou personalizado no DataWorks, configure primeiro o EMR-HOOK no cluster. Sem a configuração do EMR-HOOK, o DataWorks não exibe metadados em tempo real, nem gera logs de auditoria ou linhagem de dados. Atualmente, o EMR-HOOK é suportado apenas para os services EMR Hive e EMR Spark SQL. Para mais informações, consulte Configure EMR-HOOK for Hive e Configure EMR-HOOK for Spark SQL.

    • Em clusters EMR com autenticação Kerberos ativada, adicione uma regra de entrada no grupo de segurança para permitir acesso UDP a partir do bloco CIDR do vSwitch associado ao grupo de recursos.

      Nota

      Clique em no ícone image referente ao Cluster Security Group na aba Basic information do cluster EMR para acessar a página Security Group Details. Na aba Access Rules, clique em Inbound e depois em Added Manually. Defina Protocol Type como Custom UDP. Em Port Range, insira a porta KDC especificada no arquivo /etc/krb5.conf do cluster EMR. Defina o Authorized object como o bloco CIDR do vSwitch associado ao grupo de recursos.

    Observações de uso

    • Para isolar os ambientes de desenvolvimento e produção de um workspace do DataWorks no modo padrão, registre dois clusters EMR separados: um para o ambiente de desenvolvimento e outro para o ambiente de produção. Armazene os metadados desses clusters usando um dos seguintes métodos:

      • Método 1 (recomendado para soluções de data lake): Armazene os metadados em dois catálogos diferentes no Data Lake Formation (DLF). Para mais informações, consulte Switch the metadata storage type.

      • Método 2: Armazene os metadados em dois bancos de dados diferentes no RDS. Para mais informações, consulte Configure a self-managed RDS instance.

    • Um cluster EMR pode ser registrado em múltiplos workspaces dentro da mesma conta Alibaba Cloud, mas não em contas diferentes.

    • Para garantir que um grupo de recursos do DataWorks acesse um cluster EMR, caso a conexão falhe mesmo após vincular o grupo à mesma VPC e vSwitch do cluster, verifique as regras do grupo de segurança do cluster. Adicione regras de entrada para o bloco CIDR do vSwitch e para as ports of common open source components. Para mais informações, consulte Manage security groups of an EMR cluster.

    Etapa 1: Acesse a página de registro de cluster

    1. Faça login no console do DataWorks. Na região desejada, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

    2. No painel de navegação à esquerda, clique em Clusters. Na página Clusters, clique em Register Cluster e defina Select Cluster Type como E-MapReduce.

    Etapa 2: Registre um cluster EMR

    Na página Register EMR Cluster, configure as informações do cluster.

    Nota

    Para workspaces no modo padrão, configure as informações do cluster separadamente para os ambientes de desenvolvimento e produção. Para mais informações sobre os modos de workspace, consulte Differences between workspace modes.

    • Display Name of Cluster: Insira um nome de exibição exclusivo para o cluster.

    • Alibaba Cloud Account To Which Cluster Belongs: Selecione a conta proprietária do cluster EMR.

      Nota

      Clusters EMR Serverless Spark não podem ser registrados entre contas diferentes.

    Configure os parâmetros conforme o tipo de conta selecionado.

    Conta atual

    Se o cluster pertencer à Current Alibaba Cloud Account, configure os seguintes parâmetros:

    Parâmetro

    Descrição

    Cluster Type

    Selecione o tipo de cluster EMR a ser registrado. Para obter uma lista dos tipos de cluster suportados, consulte Limitations.

    Cluster

    Selecione o cluster EMR na conta atual que deseja registrar no DataWorks.

    Nota

    Ao selecionar EMR Serverless Spark, siga as instruções na tela e consulte as descrições para selecionar um Workspace Created in EMR Serverless Spark (o cluster a ser registrado), uma versão de engine padrão e uma fila de recursos padrão.

    Default Access Identity

    Especifique a identidade usada para acessar o cluster EMR no workspace atual.

    • Ambiente de desenvolvimento: Use a conta do cluster hadoop ou a conta do cluster mapeada para o executor da tarefa.

    • Ambiente de produção: Use a conta do cluster hadoop ou a conta do cluster mapeada para o proprietário da tarefa, conta Alibaba Cloud ou usuário RAM.

    Nota

    Ao selecionar uma identidade mapeada para uma conta de cluster (como proprietário da tarefa, conta Alibaba Cloud ou usuário RAM), configure manualmente os mapeamentos entre membros do DataWorks e contas específicas do cluster EMR. Para mais informações, consulte Configure cluster identity mappings. Se uma identidade de acesso que exige mapeamento for usada para executar uma tarefa EMR no DataWorks sem um mapeamento específico configurado, o DataWorks aplicará as seguintes políticas:

    • Se um usuário RAM executar a tarefa, o DataWorks executará a tarefa usando uma conta de sistema EMR com o mesmo nome do operador atual por padrão. Se o cluster tiver autenticação LDAP ou Kerberos ativada, a tarefa falhará.

    • Se uma conta Alibaba Cloud executar a tarefa, a tarefa do DataWorks reportará um erro.

    Pass Proxy User Information

    Especifique se as informações de usuário proxy devem ser transmitidas.

    Nota

    Quando um método de autenticação como LDAP ou Kerberos está ativado, o cluster emite uma credencial para cada usuário. Para centralizar o gerenciamento de permissões, use um superusuário (usuário real) para atuar como proxy de um usuário comum (usuário proxy) na autenticação. Quando um usuário proxy acessa o cluster, as credenciais de identidade do superusuário são utilizadas. Basta adicionar o usuário como usuário proxy.

    • Transmitir: Ao executar tarefas no cluster EMR, as permissões de acesso a dados são verificadas e controladas com base no usuário proxy.

      • Data Studio e Data Analysis: O nome da conta Alibaba Cloud do executor da tarefa é transmitido dinamicamente como informação de usuário proxy.

      • Operation Center: O nome da conta Alibaba Cloud da identidade de acesso padrão configurada durante o registro do cluster é transmitido como informação de usuário proxy.

    • Não transmitir: Ao executar tarefas no cluster EMR, as permissões de acesso a dados são verificadas e controladas com base no método de autenticação configurado durante o registro do cluster.

    As informações de usuário proxy são transmitidas das seguintes formas para diferentes tipos de tarefas EMR:

    • Tarefas EMR Kyuubi: transmitidas usando o parâmetro hive.server2.proxy.user.

    • Tarefas EMR Spark e tarefas EMR Spark SQL em modo não JDBC: transmitidas usando o parâmetro -proxy-user.

    Configuration File

    Se selecionar HADOOP como Cluster Type, obtenha os arquivos de configuração no console EMR. Para mais informações, consulte Export and import service configurations. Após exportar os arquivos, renomeie-os conforme necessário na interface.

    Na aba Basic Information da página de detalhes do cluster, clique em All Operations no canto superior direito. Na seção Cluster Services do menu suspenso, selecione Export Service Configuration.

    Você também pode log on to the EMR cluster e obter os arquivos de configuração nos seguintes caminhos:

    /etc/ecm/hadoop-conf/core-site.xml
/etc/ecm/hadoop-conf/hdfs-site.xml
/etc/ecm/hadoop-conf/mapred-site.xml
/etc/ecm/hadoop-conf/yarn-site.xml
/etc/ecm/hive-conf/hive-site.xml
/etc/ecm/spark-conf/spark-defaults.conf
/etc/ecm/spark-conf/spark-env.sh

    Outra conta

    Se o cluster pertencer a Another Alibaba Cloud Account, configure os seguintes parâmetros:

    Parâmetro

    Descrição

    UID of Alibaba Cloud Account

    Insira o UID da conta Alibaba Cloud proprietária do cluster EMR.

    RAM Role

    A função RAM usada para acessar o cluster EMR. A função deve atender aos seguintes requisitos:

    • A função RAM foi criada na outra conta Alibaba Cloud.

    • A função RAM na outra conta Alibaba Cloud possui permissões concedidas para acessar o service DataWorks na conta atual.

    Nota

    Para mais informações sobre como registrar um cluster EMR pertencente a uma conta diferente, consulte Scenario: Register an EMR cluster that belongs to a different account.

    EMR Cluster Type

    Selecione o tipo de cluster EMR a ser registrado. Para registro entre contas, apenas EMR on ECS: DataLake cluster, EMR on ECS: Hadoop cluster e EMR on ECS: Custom cluster são suportados.

    EMR Cluster

    Selecione o cluster EMR nessa conta que deseja registrar no DataWorks.

    Configuration File

    Configure cada arquivo de configuração conforme solicitado na interface. Para detalhes sobre como obter arquivos de configuração, consulte Export and import service configurations. Após exportar os arquivos, renomeie-os conforme necessário na interface.

    Na aba Basic Information da página de detalhes do cluster, clique em All Operations no canto superior direito. Na seção Cluster Services do menu suspenso, selecione Export Service Configuration.

    Você também pode log on to the EMR cluster e obter os arquivos de configuração nos seguintes caminhos:

    /etc/ecm/hadoop-conf/core-site.xml
/etc/ecm/hadoop-conf/hdfs-site.xml
/etc/ecm/hadoop-conf/mapred-site.xml
/etc/ecm/hadoop-conf/yarn-site.xml
/etc/ecm/hive-conf/hive-site.xml
/etc/ecm/spark-conf/spark-defaults.conf
/etc/ecm/spark-conf/spark-env.sh

    Default Access Identity

    Especifique a identidade usada para acessar o cluster EMR no workspace atual.

    • Ambiente de desenvolvimento: Use a conta do cluster hadoop ou a conta do cluster mapeada para o proprietário da tarefa.

    • Ambiente de produção: Use a conta do cluster hadoop ou a conta do cluster mapeada para o proprietário da tarefa, conta Alibaba Cloud ou usuário RAM.

    Nota

    Ao selecionar uma identidade mapeada para uma conta de cluster (como proprietário da tarefa, conta Alibaba Cloud ou usuário RAM), configure manualmente os mapeamentos entre membros do DataWorks e contas específicas do cluster EMR. Para mais informações, consulte Configure cluster identity mappings. Se uma identidade de acesso que exige mapeamento for usada para executar uma tarefa EMR no DataWorks sem um mapeamento específico configurado, o DataWorks aplicará as seguintes políticas:

    • Se um usuário RAM executar a tarefa, o DataWorks executará a tarefa usando uma conta de sistema EMR com o mesmo nome do operador atual por padrão. Se o cluster tiver autenticação LDAP ou Kerberos ativada, a tarefa falhará.

    • Se uma conta Alibaba Cloud executar a tarefa, a tarefa do DataWorks reportará um erro.

    Pass Proxy User Information

    Especifique se as informações de usuário proxy devem ser transmitidas.

    Nota

    Quando um método de autenticação como LDAP ou Kerberos está ativado, o cluster emite uma credencial para cada usuário. Para centralizar o gerenciamento de permissões, use um superusuário (usuário real) para atuar como proxy de um usuário comum (usuário proxy) na autenticação. Quando um usuário proxy acessa o cluster, as credenciais de identidade do superusuário são utilizadas. Basta adicionar o usuário como usuário proxy.

    • Transmitir: Ao executar tarefas no cluster EMR, as permissões de acesso a dados são verificadas e controladas com base no usuário proxy.

      • Data Studio e Data Analysis: O nome da conta Alibaba Cloud do executor da tarefa é transmitido dinamicamente como informação de usuário proxy.

      • Operation Center: O nome da conta Alibaba Cloud da identidade de acesso padrão configurada durante o registro do cluster é transmitido como informação de usuário proxy.

    • Não transmitir: Ao executar tarefas no cluster EMR, as permissões de acesso a dados são verificadas e controladas com base no método de autenticação configurado durante o registro do cluster.

    As informações de usuário proxy são transmitidas das seguintes formas para diferentes tipos de tarefas EMR:

    • Tarefas EMR Kyuubi: transmitidas usando o parâmetro hive.server2.proxy.user.

    • Tarefas EMR Spark e tarefas EMR Spark SQL em modo não JDBC: transmitidas usando o parâmetro -proxy-user.

    Etapa 3: Inicialize um grupo de recursos

    Inicialize o grupo de recursos após registrar um cluster pela primeira vez, alterar configurações de service do cluster ou atualizar a versão de um componente (por exemplo, modificando core-site.xml). Isso garante que o grupo de recursos acesse o cluster EMR e que as tarefas sejam executadas com a configuração atual.

    1. Na página Open Source Clusters, selecione a aba correspondente ao cluster EMR registrado e clique em Initialize Resource Group.

    2. Localize o grupo de recursos desejado e clique em Initialize na coluna Actions.

      É possível inicializar um grupo de recursos serverless ou um grupo de recursos exclusivo legado para agendamento.

    3. Aguarde de 1 a 2 minutos para concluir a inicialização e clique em OK.

    Importante

    • Se a inicialização falhar, utilize a ferramenta de diagnóstico de conectividade para solucionar a causa.

    • A inicialização pode causar falhas em tarefas em execução. A menos que uma reinicialização imediata seja necessária, por exemplo, para evitar falhas generalizadas de tarefas após uma alteração de configuração, recomendamos inicializar o grupo de recursos fora dos horários de pico.

    Próximas etapas

    • Desenvolvimento de dados: Siga o data development workflow guide para configurar ambientes de componentes.

    • Configure cluster identity mappings: Se a identidade de acesso padrão do cluster EMR não for a conta hadoop, configure mapeamentos de identidade para controlar quais recursos os usuários RAM podem acessar no DataWorks para gerenciamento de permissões.

    • Set global YARN resource queues: Utilize mapeamentos de filas de recursos YARN para especificar qual fila YARN cada módulo usa. Também é possível definir essas configurações para substituir configurações individuais de módulos.

    • Set global Spark parameters: Personalize parâmetros globais do Spark com base na documentação oficial do Spark. Especifique também se as configurações no nível de workspace substituem configurações específicas de módulos para parâmetros com o mesmo nome.

    • Set Kyuubi connection information: Para usar uma conta e senha personalizadas em tarefas Kyuubi, personalize as informações de conexão conforme descrito neste tópico.