Bind ClickHouse computing resources - DataWorks: Central de Documentação do Alibaba Cloud

Para desenvolver e gerenciar tarefas de um cluster ClickHouse com o DataWorks, adicione primeiro o cluster como um recurso de computação do ClickHouse. Depois disso, use esse recurso para conectar-se ao cluster ClickHouse em vários módulos do DataWorks e realizar operações como sincronização e desenvolvimento de dados.

Pré-requisitos

Um cluster ClickHouse foi criado.
Nota
- Recomendamos criar o cluster ClickHouse na mesma Region do workspace do DataWorks.
- Se o cluster e o workspace estiverem em regiões diferentes, o cluster servirá apenas como source de dados entre regiões para tarefas de sincronização de dados. Não é possível usá-lo para executar tarefas de computação no Data Studio ou no Operation Center.
Um workspace do DataWorks foi criado. O usuário RAM que executa a operação deve ser membro do workspace e ter a função Workspace Administrator.
Verifique se há um grupo de recursos associado ao workspace e se a conectividade de rede está estabelecida.
- Ao usar um grupo de recursos Serverless, garanta que ele consiga se conectar ao recurso de computação do ClickHouse.
- Se você usar um grupo de recursos exclusivo legado, assegure-se de que o recurso de computação do ClickHouse possa se conectar ao exclusive resource group for integration, exclusive resource group for scheduling e exclusive resource group for services relevantes, conforme o cenário.
- Por padrão, os clusters do ApsaraDB for ClickHouse bloqueiam o acesso de todos os endereços IP. Antes de associar o recurso de computação, adicione os endereços IP ou blocos CIDR do grupo de recursos do DataWorks à lista de permissões do cluster ClickHouse. Caso contrário, a associação falhará. Dependendo do tipo de grupo de recursos, será necessário liberar o vSwitch CIDR block associado ao grupo de recursos, o EIP of your legacy resource group ou o EIP of the VPC that is associated with your Serverless resource group.
  
  Nota
  Para saber como obter o vSwitch CIDR block, o EIP of the legacy resource group ou o EIP of the VPC that is associated with the Serverless resource group, consulte Add the IP addresses of DataWorks to a whitelist.

Limitações

Limitação de recurso: Se a autenticação SSL estiver ativada para o mecanismo de computação do ClickHouse, não será possível usá-lo para tarefas de desenvolvimento de dados ou agendamento periódico.
Limitação de região: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japan (Tokyo), Singapore, Malaysia (Kuala Lumpur) e Indonesia (Jakarta).

Requisitos de permissão:

Operador	Permissões necessárias
Conta Alibaba Cloud	Nenhuma permissão adicional é necessária.
Usuário RAM/Função RAM	Apenas membros do workspace com a função O&M ou Workspace Administrator, ou aqueles com a permissão `AliyunDataWorksFullAccess`, podem criar recursos de computação. Para mais informações, consulte Grant a user the Workspace Administrator permissions.

Novo Data Studio: Associar um recurso ClickHouse

Este procedimento aplica-se a workspaces que Use Data Studio (New Version).

Acessar a página de recursos de computação

Faça login no console do DataWorks. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, escolha More > Management Center. Selecione um workspace na lista suspensa e clique em Go to Management Center.
No painel de navegação à esquerda, clique em Computing Resources para acessar a página de recursos de computação.

Associar o recurso de computação do ClickHouse

Na página de recursos de computação, configure e associe o recurso de computação do ClickHouse.

Selecione o tipo de recurso de computação.
1. Clique em Associate Computing Resources para abrir a página Associate Computing Resources.
2. Na página Associate Computing Resources, selecione ClickHouse como tipo de recurso para abrir a página de configuração Associate ClickHouse Computing Resource.

Configure o recurso de computação do ClickHouse.

Na página Associate ClickHouse Computing Resource, defina os parâmetros conforme descrito na tabela a seguir.

Parâmetro	Descrição
Configuration Mode	Somente o Connection String Mode é compatível.
JDBC URL	Formato da JDBC URL: `jdbc:clickhouse://<ip>:<port>/<dbname>`. <ip>: O VPC Endpoint ou Public Endpoint encontrado na página Cluster Information do seu cluster ClickHouse. Por exemplo, `cc-bp1xxx..clickhouse.ads.aliyuncs.com`. <port>: Quando o Authentication Method estiver definido como No Authentication, utilize a VPC HTTP Port (`8123`) da página Cluster Information do ClickHouse. Se o Authentication Method for SSL Authentication, use a VPC HTTPS Port (`8443`) da página Cluster Information do ClickHouse. <dbname>: Nome do banco de dados ClickHouse. O valor padrão é `default`. Você pode criar um novo banco de dados conforme necessário.
Username and password	A conta e a senha do seu cluster ClickHouse.
Authentication Method	Define o método para autenticar conexões com o cluster ClickHouse. No Authentication: Nenhuma configuração adicional é necessária. SSL Authentication: Ao selecionar esta opção, baixe o certificado CA na página download the CA certificate do seu cluster ClickHouse para verificação. Nota Se a autenticação SSL estiver ativada para o mecanismo de computação do ClickHouse, não será possível usá-lo para tarefas de desenvolvimento de dados ou agendamento periódico.
SSL CA Certificate	Este parâmetro é necessário apenas se o Authentication Method estiver definido como SSL Authentication. Clique em Cluster Information e carregue o certificado CA baixado da página Add authentication document do seu cluster ClickHouse.
Computing Resource Instance Name	Insira um nome personalizado para a instância do recurso de computação.

Teste a conectividade de rede.

Na área de configurações de conexão, selecione o grupo de recursos desejado para executar nós ClickHouse e clique em Cluster Information. Isso garante que o grupo de recursos possa acessar seu cluster ClickHouse. Para mais detalhes, consulte Network connectivity solutions.
Clique em Test Connectivity para concluir a configuração.

Data Studio Legado: Associar um recurso ClickHouse

Este procedimento aplica-se a workspaces que usam a versão legada do Confirm.

Acessar a página de recursos de computação

Faça login no console do DataWorks. Na região de destino, clique em Use Data Studio (New Version) > Data Development and O&M no painel de navegação à esquerda. Escolha um workspace na lista suspensa e clique em Go to Data Development.
No painel de navegação à esquerda, clique no ícone para abrir a página Data Development.

Associar o recurso de computação do ClickHouse

Na página de recursos de computação, configure e associe o recurso de computação do ClickHouse.

Selecione o tipo de recurso de computação.
1. Clique em Computing Resources para ir à página Create Computing Resource.
2. Na página Create Computing Resource, selecione Create Computing Resource como tipo de recurso de computação para abrir a página de configuração ClickHouse.

Configure o recurso de computação do ClickHouse.

Na página Create Computing Resource, defina os seguintes parâmetros:

Parâmetro	Descrição
Data Source Name	Insira um nome personalizado para o recurso de computação.
Configuration Mode	Somente o Connection String Mode é compatível.
Host Address/IP	O Create Computing Resource ou VPC Endpoint encontrado na página Public Endpoint do seu cluster ClickHouse. Por exemplo, `cc-bp1xxx..clickhouse.ads.aliyuncs.com`.
Port	Se o Cluster Information estiver definido como Authentication Method, utilize a No Authentication (`8123`) da página Cluster Information do seu cluster ClickHouse. Caso o Authentication Method seja SSL Authentication, use a VPC HTTP Port Number (`8443`) da página VPC HTTPS Port Number do seu cluster ClickHouse.
Database Name	Nome do banco de dados ClickHouse. O valor padrão é `default`. Você pode criar um novo banco de dados conforme necessário.
Username and password	A conta e a senha do seu cluster ClickHouse.
Version	Especifique a versão do cluster que deseja associar.
Advanced Parameters	Opcional. Clique em Cluster Information para configurar propriedades adicionais.
Authentication Method	Método utilizado para autenticar conexões com o cluster ClickHouse. No Authentication: Nenhuma configuração adicional é necessária. SSL Authentication: Ao selecionar esta opção, baixe o certificado CA na página Add Property do seu cluster ClickHouse para verificação. Nota Se a autenticação SSL estiver ativada para o mecanismo de computação do ClickHouse, não será possível usá-lo para tarefas de desenvolvimento de dados ou agendamento periódico.
SSL CA Certificate	Este parâmetro é necessário apenas se o Authentication Method estiver definido como SSL Authentication. Clique em download the CA certificate e carregue o certificado CA baixado da página Cluster Information do seu cluster ClickHouse.

Teste a conectividade de rede.

Na área de configurações de conexão, selecione o grupo de recursos desejado para executar tarefas do ClickHouse e clique em Add authentication document. Isso garante que o grupo de recursos possa acessar seu cluster ClickHouse. Para mais detalhes, consulte Network connectivity solutions.
Clique em Cluster Information para concluir a configuração.

Próximas etapas

Data Studio (nova versão): Após configurar o recurso de computação do ClickHouse, utilize um nó de sincronização em lote para sincronização de dados ou um nó SQL do ClickHouse para desenvolvimento de dados no Data Studio.
Data Studio Legado: Depois de configurar o recurso de computação do ClickHouse, use um nó Data integration > Test Connectivity para sincronização de dados.

FAQ

Mensagem de erro: not support data sync channel, error code: 0001.

Solução: Verifique se há espaços ou caracteres extras na JDBC URL.
Mensagem de erro: ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002.

Solução: Confirme se o endereço IP está correto.