DataWorks:Preparações: Obter informações do cluster e configurar a rede

Informações básicas

• O CDH é a distribuição de plataforma de código aberto da Cloudera. Inclui recursos prontos para uso, como gerenciamento, monitoramento e diagnóstico de clusters, além de oferecer suporte a diversos componentes para execução de fluxos de trabalho completos de big data.

• O CDP é uma plataforma de dados pública que coleta e consolida dados de clientes de múltiplas origens. Reúne dados em tempo real para criar perfis individuais de usuários.

Registre clusters CDH e CDP no DataWorks para desenvolvimento de tarefas, agendamento, gerenciamento de metadados no Data Map e verificações do Data Quality.

Pré-requisitos

• Implante um cluster CDH.

  O DataWorks oferece suporte a CDH implantado em ambientes fora do Alibaba Cloud ECS, mas é necessário garantir a conectividade de rede entre o ambiente de implantação e uma VPC da Alibaba Cloud. Utilize serviços como Express Connect ou VPN para estabelecer essa conexão.

• Adquira um novo grupo de recursos serverless do DataWorks (recomendado) ou um grupo de recursos exclusivo legado para agendamento.

  Por padrão, um grupo de recursos do DataWorks permanece isolado pela rede de outros produtos de nuvem. Para conectar-se ao CDH, estabeleça primeiro a conectividade de rede entre o cluster CDH e o grupo de recursos.

  Nota

  • O grupo de recursos serverless (recomendado) é de uso geral e oferece suporte a vários tipos de tarefas, como sincronização de dados e agendamento. Para detalhes sobre aquisição, consulte Usar grupos de recursos serverless. Novos usuários (que não ativaram nenhuma edição do DataWorks na região atual) só podem adquirir grupos de recursos da nova versão.

  • Também é possível utilizar um grupo de recursos exclusivo legado para agendamento na execução de tarefas CDH ou CDP. Para mais informações, consulte Usar grupos de recursos exclusivos para agendamento.

Obter informações de configuração do cluster CDH

Siga estas etapas para obter as informações de configuração do CDH necessárias ao registro do cluster no DataWorks.

1. Obtenha as informações da versão do CDH.

   Faça login no Cloudera Manager. Na página inicial, localize as informações da versão do CDH, como Cluster 1 (CDH 6.1.1, Parcel), no painel de clusters à esquerda. Verifique também o status de execução de serviços como HBase, HDFS, Hive, Hue, Impala, Oozie, Solr, Spark, YARN e ZooKeeper.

2. Obtenha as informações de host e endereço dos componentes necessários para configurar a conexão do cluster durante o registro.

   Localizar informações no Cloudera Manager

   Faça login no Cloudera Manager. Na barra de navegação superior, clique em Hosts > Roles. A página Roles agrupa os hosts pelas funções atribuídas. Por exemplo, o host cdh-header-1-cn-shanghai possui funções como HMS, HS2 e RM, enquanto os hosts cdh-worker-[1-2]-cn-shanghai têm a função ID atribuída.

   Onde:

   • HS2: HiveServer2

   • HMS: Hive Metastore

   • ID: Impala Daemon

   • RM: YARN ResourceManager

3. Obtenha os arquivos de configuração para envio durante o registro do cluster CDH.

   1. Faça login no Cloudera Manager.

   2. Na página Status, clique em no menu suspenso do cluster e selecione View Client Configuration URLs.

   3. Baixe o pacote de configuração do serviço desejado. Por exemplo, para baixar a configuração do YARN, localize-o na caixa de diálogo. Essa caixa exibe links para download das configurações de cliente de serviços como YARN (MR2 Included), HBase, Solr, HDFS e Hive. Clique em no ícone de download do serviço alvo, como YARN (MR2 Included), para obter o arquivo de configuração do cliente.

4. Obtenha as informações de rede do cluster CDH para configurar sua conexão com o grupo de recursos do DataWorks.

   1. Acesse o console do ECS onde o cluster CDH está implantado.

   2. Na lista de instâncias, encontre a instância ECS onde o cluster CDH está implantado e clique em no nome da instância para abrir a página Instance Details. Visualize e anote as informações de Security Group, VPC e vSwitch.

Configurar a conectividade de rede

Próximas etapas

Após concluir as preparações deste tópico, registre o cluster CDH no DataWorks para iniciar o desenvolvimento. Para mais informações, consulte DataStudio (legado): Vincular um mecanismo de computação CDH.