Todos os produtos
Search
Central de documentação

E-MapReduce:Prepare the environment

Última atualização: Oct 12, 2026

Este tutorial ensina você a configurar o ambiente do E-MapReduce (EMR) e do DataWorks, necessário para a série de tutoriais sobre análise de perfil de usuário. Ao final deste guia, você terá:

  1. Um cluster do EMR configurado para integração com o DataWorks.

  2. Um workspace do DataWorks na região China (Shanghai).

  3. Um grupo de recursos serverless com acesso à rede pública.

  4. O cluster do EMR registrado no DataWorks e pronto para a execução de tarefas.

Os recursos criados neste tutorial são executados em um ambiente de produção e geram cobranças. Para evitar custos desnecessários, exclua os recursos após concluir a série de tutoriais.

Pré-requisitos

Antes de começar, verifique se você tem:

  • Uma conta Alibaba Cloud com permissões para a criação de clusters do EMR, workspaces do DataWorks e recursos de VPC.

  • O DataWorks ativado. Para ver as etapas de ativação, consulte Preparar um ambiente.

  • Ter lido a introdução do tutorial de análise de perfil de usuário para compreender o fluxo de trabalho geral.

Observações

  • Este tutorial fornece as informações básicas de usuário e os logs de acesso ao site como dados de teste.

  • Todos os dados deste tutorial são fictícios, criados manualmente, e servem apenas para operações experimentais no DataWorks.

  • Para manipular dados, este tutorial usa o Data Development (DataStudio) (Versão Antiga).

Configure o cluster do EMR

Crie um cluster do EMR para o DataWorks se conectar e realizar tarefas de processamento de dados.

  1. Siga as etapas em Criar um cluster para a criação de um novo cluster com a seguinte configuração:

    Importante

    Antes da criação do cluster, consulte as Práticas recomendadas para a configuração do DataWorks em clusters do EMR para confirmar as configurações de cluster compatíveis com o DataWorks.

    Parâmetro

    Valor

    Region

    China (Shanghai)

    Business Scenario

    Data Lake

    Product Version

    Versão mais recente

    Optional Services

    Selecione pelo menos: componente Hive e componente OSS-HDFS (ambos obrigatórios)

    Metadata

    DLF Unified Metadata

    Cluster Storage Root Path

    Selecione uma instância do OSS-HDFS. Se a lista estiver vazia, clique em Create OSS-HDFS Instance para a criação de uma instância.

Configure o ambiente do DataWorks

Etapa 1: Crie um workspace

Pule esta etapa se você já tiver um workspace na região China (Shanghai).

  1. Faça login no console do DataWorks. No canto superior esquerdo, altere a região para China (Shanghai).

  2. No painel de navegação à esquerda, clique em Workspace e clique em Create Workspace. Crie um workspace no modo padrão para isolar os ambientes de produção e desenvolvimento. Para mais detalhes, consulte Criar um workspace.

Etapa 2: Crie um grupo de recursos serverless

Este tutorial usa um grupo de recursos serverless para sincronizar e agendar dados. Como os grupos de recursos serverless não aceitam operações entre regiões, crie um na região China (Shanghai).

Adquirir o grupo de recursos

  1. Faça login no console do DataWorks. Na barra de navegação superior, selecione a região China (Shanghai). No painel de navegação à esquerda, clique em Resource Group.

  2. Clique em Create Resource Group. Na página de compra, defina Region And Zone como China (Shanghai), insira um nome para o grupo de recursos e conclua a compra seguindo as instruções. Para detalhes de faturamento, consulte Faturamento de grupo de recursos serverless.

Configure o grupo de recursos

  1. Na página Resource Group, encontre o grupo de recursos que você criou e clique em Associate Workspace na coluna Actions. Associe-o ao workspace criado na Etapa 1.

  2. É necessário que você ative o acesso à rede pública para o grupo de recursos. Os dados de teste deste tutorial vêm da internet pública. Por padrão, o grupo de recursos não tem acesso à rede pública. Configure um gateway NAT da Internet para a Virtual Private Cloud (VPC) associada ao grupo de recursos e atribua um endereço IP elástico (EIP) para permitir a conectividade com a internet.

    1. Faça login no console da VPC e acesse a página Internet NAT Gateway. Selecione a região China (Shanghai).

    2. Clique em Create Internet NAT Gateway e configure os seguintes parâmetros:

      Parâmetro

      Valor

      Region

      China (Shanghai)

      VPC

      A VPC associada ao seu grupo de recursos. Para encontrá-la, no console do DataWorks, acesse Resource Group > encontre seu grupo de recursos > Network Settings na coluna Actions > aba VPC Binding > seção Data Scheduling & Data Integration.

      Associate vSwitch

      O vSwitch associado ao seu grupo de recursos (mesmo local da VPC acima)

      Access Mode

      SNAT-enabled Mode

      EIP

      Purchase EIP

      Create Service-Linked Role

      Clique em Create Service-Linked Role. Necessário apenas na primeira vez que você cria um gateway NAT da Internet.

      Mantenha os valores padrão para todos os outros parâmetros.

    3. Clique em Buy Now. Na página de confirmação, confirme os termos de serviço e clique em Activate Now.

Para mais detalhes, consulte Criar e usar um grupo de recursos serverless.

Etapa 3: Registrar o cluster do EMR e inicializar o grupo de recursos

Registre o cluster do EMR no DataWorks para que o DataWorks execute tarefas no cluster.

Acessar a página de registro do cluster do EMR

  1. Faça login no console do DataWorks. Altere a região para China (Shanghai). No painel de navegação à esquerda, clique em More > Management Center. Selecione o seu workspace na lista suspensa e clique em Go To Management Center.

  2. No painel de navegação à esquerda da página SettingCenter, clique em Cluster Management. Na página Cluster Management, clique em Register Cluster. Na caixa de diálogo, clique em E-MapReduce. A página Register EMR Cluster abrirá.

Registrar o cluster

  1. Na página Register EMR Cluster, insira os detalhes do cluster e defina os seguintes parâmetros:

    Parâmetro

    Valor

    Cluster Alibaba Cloud Account

    Current Alibaba Cloud Account

    Cluster Type

    Data Lake (datalake)

    Default Access Identity

    Cluster Account: Hadoop

    Pass Proxy User Information

    Pass

Inicializar o grupo de recursos

  1. Na página Cluster Management, encontre o cluster registrado e clique em Resource Group Initialization no canto superior direito.

  2. Clique em Initialize ao lado do grupo de recursos que requer inicialização.

  3. Quando a inicialização terminar, clique em Confirm e confirme a ação.

    Importante

    Verifique se a inicialização foi bem-sucedida antes de prosseguir. Em caso de falha, verifique a mensagem de erro e execute o diagnóstico de conectividade de rede conforme sugerido. Se a inicialização falhar, as tarefas subsequentes também falharão.

Para instruções passo a passo para registro, consulte Registrar um cluster do EMR no DataWorks.

Próximos passos

Com o ambiente pronto, prossiga para o próximo tutorial. Lá, você sincronizará os dados de perfil de usuário e os logs de acesso ao site no Object Storage Service (OSS), criará tabelas do Apache Hive e consultará os dados usando nós do EMR Hive. Consulte Sincronizar dados.