DataWorks:Preparar o ambiente

Criar um cluster EMR

Crie um cluster EMR e integre-o ao DataWorks para executar tarefas de processamento de dados no cluster. Defina os seguintes parâmetros principais durante a criação:

Para obter instruções detalhadas sobre como criar um cluster EMR, consulte Create a cluster.

Etapa 1: Criar um workspace

Caso já possua um workspace na região China (Shanghai), utilize-o e pule esta etapa.

1. Faça login no console do DataWorks. No canto superior esquerdo, altere a região para China (Shanghai).

2. No painel de navegação à esquerda, clique em Work space. Na página Workspaces, clique em Create Workspace para criar um workspace no modo padrão, que isola os ambientes de desenvolvimento e produção. Para detalhes, consulte Create a workspace.

Etapa 2: Criar um grupo de recursos serverless

Um grupo de recursos serverless gerencia a sincronização de dados e o agendamento neste tutorial. Adquira um e conclua a configuração inicial.

1. Adquira um grupo de recursos serverless.

   1. Acesse o console do DataWorks, altere a região no topo para China (Shanghai) e clique em Resource Group na barra de navegação à esquerda para ir à página Resource Groups.

   2. Clique em Create Resource Group. Na página de compra, defina Region and availability zone como China (Shanghai) e especifique um Resource Group Name. Configure os demais parâmetros conforme solicitado e conclua o pagamento. Para informações de faturamento, consulte Billing of serverless resource groups.

      Nota

      Se não houver VPC ou vSwitch disponível na região atual, clique no link correspondente na descrição do parâmetro para criá-los. Para mais informações sobre VPCs e vSwitches, consulte What is VPC?

2. Associe o grupo de recursos a um workspace do DataWorks.

   É necessário associar um grupo de recursos serverless recém-adquirido a um workspace antes de utilizá-lo.

   Faça login no console do DataWorks. Na barra de navegação superior, altere a região para China (Shanghai). Localize o grupo de recursos serverless adquirido e, na coluna Operation, clique em Associate Workspace. Encontre seu workspace e clique em Associate.

3. Configure o acesso à rede pública para o grupo de recursos.

   Os dados de teste são baixados da internet. Grupos de recursos serverless não possuem acesso à rede pública por padrão; portanto, configure um Internet NAT Gateway e um elastic IP address (EIP) para a VPC associada.

   1. Acesse a página do Internet NAT Gateway no console VPC. Na barra de navegação superior, altere a região para China (Shanghai).

   2. Clique em Create Internet NAT Gateway e configure os parâmetros. A tabela a seguir descreve os parâmetros principais para este tutorial. Mantenha os valores padrão para os demais parâmetros.

      Parâmetro	Valor
      Region	China (Shanghai).
      VPC	Selecione a VPC e o vSwitch associados ao grupo de recursos. Para encontrar essa informação, acesse o console do DataWorks, altere para a região correta e clique em Resource Groups no painel de navegação à esquerda. Localize seu grupo de recursos e clique em Network Settings na coluna Operation. A VPC e o Switch estão na seção Data Scheduling & Data Integration. Para mais informações sobre VPCs e vSwitches, consulte What is VPC?
      Associate vSwitch
      Access mode	Modo full-cone para VPC (SNAT).
      EIP	Purchase New EIP.
      Service-linked role creation	Se esta for a primeira vez que você cria um Internet NAT Gateway, é necessário criar uma função vinculada ao serviço. Clique em Create Service-Linked Role.

   3. Clique em Buy Now. Leia e aceite o acordo de serviço e, em seguida, clique em Activate para concluir a compra.

Para mais informações sobre como adicionar e usar grupos de recursos serverless, consulte Use serverless resource groups.

Etapa 3: Registrar o cluster EMR e inicializar o grupo de recursos

Registre o cluster EMR no seu workspace do DataWorks antes de utilizá-lo.

1. Acesse a página de registro de cluster EMR.

   1. Navegue até a página Management Center.

      Faça login no console do DataWorks. Após alterar a região para China (Shanghai), escolha More > Management Center no painel de navegação à esquerda. Na lista suspensa, selecione o workspace desejado e clique em Go to Management Center.

   2. No painel de navegação à esquerda, clique em Clusters. Na página Clusters, clique em Register Cluster e defina Select Cluster Type como E-MapReduce.

2. Registre o cluster EMR.

   Na página Register EMR Cluster, configure as informações do cluster. A tabela a seguir descreve os parâmetros principais.

   Parâmetro	Valor
   Alibaba Cloud Account to Which Cluster Belongs	Current Alibaba Cloud Account.
   Cluster Type	Data Lake.
   Default Access Identity	Cluster Account: hadoop.
   Pass Proxy User Information	Pass.

3. Inicialize o grupo de recursos.

   1. Na página Clusters, localize o cluster EMR registrado e clique em Initialize Resource Group no canto superior direito.

   2. Encontre o grupo de recursos desejado e clique em Initialization.

   3. Após a conclusão da inicialização, clique em Confirm.

   Importante

   Garanta que a inicialização seja bem-sucedida; caso contrário, as tarefas podem falhar. Em caso de falha, revise a mensagem de erro e siga as instruções para executar um diagnóstico de conectividade.

Para obter instruções detalhadas sobre como registrar um cluster EMR, consulte DataStudio (legacy version): Associate an EMR compute resource.