Este tutorial ensina você a configurar o ambiente do E-MapReduce (EMR) e do DataWorks, necessário para a série de tutoriais sobre análise de perfil de usuário. Ao final deste guia, você terá:
Um cluster do EMR configurado para integração com o DataWorks.
Um workspace do DataWorks na região China (Shanghai).
Um grupo de recursos serverless com acesso à rede pública.
O cluster do EMR registrado no DataWorks e pronto para a execução de tarefas.
Os recursos criados neste tutorial são executados em um ambiente de produção e geram cobranças. Para evitar custos desnecessários, exclua os recursos após concluir a série de tutoriais.
Pré-requisitos
Antes de começar, verifique se você tem:
Uma conta Alibaba Cloud com permissões para a criação de clusters do EMR, workspaces do DataWorks e recursos de VPC.
O DataWorks ativado. Para ver as etapas de ativação, consulte Preparar um ambiente.
Ter lido a introdução do tutorial de análise de perfil de usuário para compreender o fluxo de trabalho geral.
Observações
Este tutorial fornece as informações básicas de usuário e os logs de acesso ao site como dados de teste.
Todos os dados deste tutorial são fictícios, criados manualmente, e servem apenas para operações experimentais no DataWorks.
Para manipular dados, este tutorial usa o Data Development (DataStudio) (Versão Antiga).
Configure o cluster do EMR
Crie um cluster do EMR para o DataWorks se conectar e realizar tarefas de processamento de dados.
-
Siga as etapas em Criar um cluster para a criação de um novo cluster com a seguinte configuração:
ImportanteAntes da criação do cluster, consulte as Práticas recomendadas para a configuração do DataWorks em clusters do EMR para confirmar as configurações de cluster compatíveis com o DataWorks.
Parâmetro
Valor
Region
China (Shanghai)
Business Scenario
Data Lake
Product Version
Versão mais recente
Optional Services
Selecione pelo menos: componente Hive e componente OSS-HDFS (ambos obrigatórios)
Metadata
DLF Unified Metadata
Cluster Storage Root Path
Selecione uma instância do OSS-HDFS. Se a lista estiver vazia, clique em Create OSS-HDFS Instance para a criação de uma instância.
Configure o ambiente do DataWorks
Etapa 1: Crie um workspace
Pule esta etapa se você já tiver um workspace na região China (Shanghai).
Faça login no console do DataWorks. No canto superior esquerdo, altere a região para China (Shanghai).
No painel de navegação à esquerda, clique em Workspace e clique em Create Workspace. Crie um workspace no modo padrão para isolar os ambientes de produção e desenvolvimento. Para mais detalhes, consulte Criar um workspace.
Etapa 2: Crie um grupo de recursos serverless
Este tutorial usa um grupo de recursos serverless para sincronizar e agendar dados. Como os grupos de recursos serverless não aceitam operações entre regiões, crie um na região China (Shanghai).
Adquirir o grupo de recursos
Faça login no console do DataWorks. Na barra de navegação superior, selecione a região China (Shanghai). No painel de navegação à esquerda, clique em Resource Group.
Clique em Create Resource Group. Na página de compra, defina Region And Zone como China (Shanghai), insira um nome para o grupo de recursos e conclua a compra seguindo as instruções. Para detalhes de faturamento, consulte Faturamento de grupo de recursos serverless.
Configure o grupo de recursos
Na página Resource Group, encontre o grupo de recursos que você criou e clique em Associate Workspace na coluna Actions. Associe-o ao workspace criado na Etapa 1.
-
É necessário que você ative o acesso à rede pública para o grupo de recursos. Os dados de teste deste tutorial vêm da internet pública. Por padrão, o grupo de recursos não tem acesso à rede pública. Configure um gateway NAT da Internet para a Virtual Private Cloud (VPC) associada ao grupo de recursos e atribua um endereço IP elástico (EIP) para permitir a conectividade com a internet.
Faça login no console da VPC e acesse a página Internet NAT Gateway. Selecione a região China (Shanghai).
-
Clique em Create Internet NAT Gateway e configure os seguintes parâmetros:
Parâmetro
Valor
Region
China (Shanghai)
VPC
A VPC associada ao seu grupo de recursos. Para encontrá-la, no console do DataWorks, acesse Resource Group > encontre seu grupo de recursos > Network Settings na coluna Actions > aba VPC Binding > seção Data Scheduling & Data Integration.
Associate vSwitch
O vSwitch associado ao seu grupo de recursos (mesmo local da VPC acima)
Access Mode
SNAT-enabled Mode
EIP
Purchase EIP
Create Service-Linked Role
Clique em Create Service-Linked Role. Necessário apenas na primeira vez que você cria um gateway NAT da Internet.
Mantenha os valores padrão para todos os outros parâmetros.
Clique em Buy Now. Na página de confirmação, confirme os termos de serviço e clique em Activate Now.
Para mais detalhes, consulte Criar e usar um grupo de recursos serverless.
Etapa 3: Registrar o cluster do EMR e inicializar o grupo de recursos
Registre o cluster do EMR no DataWorks para que o DataWorks execute tarefas no cluster.
Acessar a página de registro do cluster do EMR
Faça login no console do DataWorks. Altere a região para China (Shanghai). No painel de navegação à esquerda, clique em More > Management Center. Selecione o seu workspace na lista suspensa e clique em Go To Management Center.
No painel de navegação à esquerda da página SettingCenter, clique em Cluster Management. Na página Cluster Management, clique em Register Cluster. Na caixa de diálogo, clique em E-MapReduce. A página Register EMR Cluster abrirá.
Registrar o cluster
-
Na página Register EMR Cluster, insira os detalhes do cluster e defina os seguintes parâmetros:
Parâmetro
Valor
Cluster Alibaba Cloud Account
Current Alibaba Cloud Account
Cluster Type
Data Lake (datalake)
Default Access Identity
Cluster Account: Hadoop
Pass Proxy User Information
Pass
Inicializar o grupo de recursos
Na página Cluster Management, encontre o cluster registrado e clique em Resource Group Initialization no canto superior direito.
Clique em Initialize ao lado do grupo de recursos que requer inicialização.
-
Quando a inicialização terminar, clique em Confirm e confirme a ação.
ImportanteVerifique se a inicialização foi bem-sucedida antes de prosseguir. Em caso de falha, verifique a mensagem de erro e execute o diagnóstico de conectividade de rede conforme sugerido. Se a inicialização falhar, as tarefas subsequentes também falharão.
Para instruções passo a passo para registro, consulte Registrar um cluster do EMR no DataWorks.
Próximos passos
Com o ambiente pronto, prossiga para o próximo tutorial. Lá, você sincronizará os dados de perfil de usuário e os logs de acesso ao site no Object Storage Service (OSS), criará tabelas do Apache Hive e consultará os dados usando nós do EMR Hive. Consulte Sincronizar dados.