DataWorks:Associar um recurso de computação CDH

Pré-requisitos

• O usuário RAM deve ser membro do workspace e ter a função de administrador do workspace.

• Um cluster CDH deve estar implantado.

  Nota

  O DataWorks oferece suporte a clusters CDH implantados fora do Alibaba Cloud ECS, desde que o ambiente de implantação esteja conectado a uma VPC da Alibaba Cloud. Geralmente, você pode usar o network connectivity method for on-premises data sources para estabelecer uma conexão estável.

• Um grupo de recursos deve estar associado ao workspace com a conectividade de rede verificada.

  • Se você usar um grupo de recursos serverless, basta garantir a conectividade entre o recurso de computação CDH e o serverless resource group.

  • Caso você use a legacy exclusive resource group, garanta a conectividade entre o recurso de computação CDH e o grupo de recursos exclusivo para agendamento.

Limitações

• Regiões: Este recurso está disponível em China (Beijing), China (Shanghai), China (Shenzhen), China (Hangzhou), China (Zhangjiakou), China (Chengdu) e Germany (Frankfurt).

• Permissões:

  Operador	Permissões necessárias
  Conta Alibaba Cloud	Nenhuma permissão adicional necessária.
  Usuário RAM/Função RAM	Apenas membros do workspace com a função de O&M, administrador do workspace ou a permissão AliyunDataWorksFullAccess podem criar um recurso de computação. Para mais informações sobre como conceder permissões, consulte Grant users workspace administrator permissions.

Acessar a página da lista de recursos de computação

1. Faça login no console do DataWorks. No painel de navegação à esquerda, alterne para a região desejada e clique em More > Management Center. Selecione seu workspace na lista suspensa e clique em Go to Management Center.

2. No painel de navegação à esquerda, clique em Computing Resources para abrir a página da lista de recursos de computação.

Associar um recurso de computação CDH

Na página de recursos de computação, configure e associe um recurso de computação CDH.

1. Selecione o tipo de recurso de computação.

   1. Clique em Associate Computing Resources para acessar a página Associate Computing Resources.

   2. Na página Associate Computing Resources, selecione CDH como tipo de recurso de computação. A página de configuração Associate CDH Computing Resource será exibida.

2. Configure o recurso de computação CDH.

   Na página Associate CDH Computing Resource, defina os seguintes parâmetros.

   Parâmetro		Descrição
   Cluster Version		Selecione a versão do cluster a ser registrada. O DataWorks oferece suporte nativo para CDH 5.16.2, CDH 6.1.1, CDH 6.2.1, CDH 6.3.2 e CDP 7.1.7, com todas as versões de componentes fixas nas cluster connection information. Se nenhuma dessas versões atender aos seus requisitos, selecione Custom Version e configure as versões dos componentes conforme necessário. Nota Os componentes necessários variam conforme a versão do cluster e aparecem na página de configuração. Ao registrar um cluster com Custom Version, apenas grupos de recursos exclusivos legados para agendamento são suportados. Após o registro, submit a ticket para solicitar que o suporte técnico inicialize o ambiente.
   Cluster Name		Selecione o nome de um cluster registrado em outro workspace para carregar sua configuração ou especifique um nome personalizado para criar uma nova configuração.
   Cluster Connection Information	Informações de conexão do Hive	Usado para enviar jobs do Hive ao cluster. Formato de configuração do HiveServer2: jdbc:hive2://<host>:<port>/<database> Formato de configuração do Metastore: thrift://<host>:<port>	Como obter parâmetros: Para mais informações, consulte Obtain CDH or CDP cluster information and configure network connectivity. Seleção de versão de componente: O sistema detecta automaticamente as versões dos componentes do cluster atual. Nota Se você usar um grupo de recursos serverless para acessar componentes CDH por nome de domínio, configure a authoritative resolution para os nomes de domínio e set their effective scope no PrivateZone do Alibaba Cloud DNS.
   	Informações de conexão do Impala	Usado para enviar jobs do Impala. Formato de configuração: jdbc:impala://<host>:<port>/<schema>.
   	Informações de conexão do Spark	Selecione uma versão padrão do Spark e configure a conexão.
   	Informações de conexão do Yarn	Configurações para envio de tarefas e visualização de detalhes. Formato de configuração Yarn.Resourcemanager.Address: http://<host>:<port> Nota Endereço de envio para tarefas Spark ou MapReduce. Formato de configuração Jobhistory.Webapp.Address: http://<host>:<port2> Nota Endereço da interface web do JobHistory Server para visualizar detalhes de tarefas concluídas.
   	Informações de conexão do MapReduce	Selecione uma versão padrão do MapReduce e configure a conexão.
   	Informações de conexão do Presto	Usado para enviar jobs do Presto. Formato de configuração de informações de endereço JDBC: jdbc:presto://<host>:<port>/<catalog>/<schema> Nota Este não é um componente padrão do CDH. Configure-o conforme necessário.
   Cluster Configuration File	Configurar arquivo core-site	Contém configurações globais para a biblioteca Hadoop Core, como definições comuns de I/O para HDFS e MapReduce.	Faça upload deste arquivo para executar tarefas Spark ou MapReduce.
   	Configurar arquivo hdfs-site	Contém configurações relacionadas ao HDFS, como tamanho do bloco de dados, número de réplicas e nomes de caminho.
   	Configurar arquivo mapred-site	Configura parâmetros do MapReduce, como modo de execução e comportamento de agendamento.	Faça upload deste arquivo para executar tarefas MapReduce.
   	Configurar arquivo yarn-site	Contém todas as configurações relacionadas aos daemons do YARN, como definições de ambiente para o gerenciador de recursos, gerenciadores de nós e tempo de execução da aplicação.	Faça upload deste arquivo se planejar executar tarefas Spark ou MapReduce ou usar Kerberos para mapeamento de contas.
   	Configurar arquivo hive-site	Configura parâmetros do Hive, como informações de conexão com banco de dados, configurações do Hive Metastore e mecanismo de execução.	Faça upload deste arquivo se selecionar Kerberos como tipo de mapeamento de conta.
   	Configurar arquivo spark-defaults	Especifica configurações padrão de jobs Spark, como tamanho de memória e núcleos de CPU. As aplicações Spark aplicam essas definições em tempo de execução.	Faça upload deste arquivo para executar tarefas Spark.
   	Configurar arquivo config.properties	Contém configurações relacionadas ao servidor Presto, como propriedades globais para o coordenador e nós trabalhadores no cluster Presto.	Faça upload deste arquivo se usar o componente Presto e selecionar OPEN LDAP ou Kerberos como tipo de mapeamento de conta.
   	Configurar arquivo presto.jks	Armazena certificados de segurança (chaves privadas e certificados de chave pública) para comunicação criptografada SSL/TLS entre processos do Presto.
   Default Access Identity		Para usar uma identidade associada a uma conta de cluster mapeada, acesse a página Computing Resources e, na aba Account Mappings, set the cluster identity mapping. Ambiente de desenvolvimento: Use uma conta de cluster ou a conta de cluster mapeada do executor da tarefa. Ambiente de produção: Use uma conta de cluster, a conta de cluster mapeada do proprietário da tarefa, a conta de cluster mapeada da conta Alibaba Cloud ou a conta de cluster mapeada de um usuário RAM.
   Computing Resource Instance Name		Especifique um nome personalizado para a instância do recurso de computação. Em tempo de execução, selecione um recurso de computação para uma tarefa com base neste nome.

3. Clique em Confirm para concluir a configuração.

Inicializar o grupo de recursos

Ao registrar um cluster pela primeira vez ou alterar configurações de service do cluster (como core-site.xml), inicialize o grupo de recursos para garantir que ele possa acessar o cluster CDH após você configure network connectivity.

1. Na página Computing Resources, localize o recurso de computação CDH criado. No canto superior direito, clique em Initialize Resource Group.

2. Clique em Initialize ao lado do grupo de recursos desejado. Após a inicialização do grupo de recursos, clique em Determine.

(Opcional) Configurar fila de recursos YARN

Na página Computing Resources, localize seu cluster CDH associado. Na aba YARN Resource Queue, clique em Edit YARN Resource Queue para definir uma fila de recursos YARN dedicada para tarefas em diferentes módulos.

(Opcional) Configurar parâmetros Spark

Defina parâmetros Spark dedicados para tarefas em diferentes módulos.

1. Na página Computing Resources, localize seu cluster CDH associado.

2. Na aba Spark-related Parameter, clique em Edit Spark Parameters para acessar a página de edição de parâmetros Spark do cluster CDH.

3. Configure as informações de propriedades do Spark clicando no botão Add abaixo do módulo e inserindo o Spark Property Name e o Spark Property Value.

(Opcional) Configurar definições de host

O envio de tarefas pode falhar quando um grupo de recursos serverless do DataWorks se conecta a um cluster CDH com Kerberos ativado.

Isso ocorre porque o Kerberos depende de nomes de host para autenticação. Se o DNS não conseguir resolver um endereço IP do cluster para seu nome de host registrado no Kerberos, a autenticação falhará.

O recurso de configuração de host permite definir um mapeamento estático de IP para nome de host para um recurso de computação CDH. O DataWorks prioriza esse mapeamento ao acessar o cluster, garantindo o sucesso da autenticação Kerberos.

1. Localize o recurso de computação CDH a ser configurado e clique em Host Configuration.

2. Na caixa de diálogo exibida, insira a relação de mapeamento no formato IP address hostname. Insira apenas um mapeamento por linha.

3. Clique em OK para salvar a configuração.

4. Após salvar, as informações de nome de host configuradas aparecerão no cartão do recurso de computação, confirmando que a configuração está ativa.

Próximos passos

Após configurar o recurso de computação CDH, utilize os CDH-related nodes no Data Studio para desenvolvimento de dados.