Para desenvolver e gerenciar tarefas de um cluster ClickHouse com o DataWorks, adicione o cluster como um recurso de computação do ClickHouse. Após a adição, use esse recurso para conectar-se ao cluster ClickHouse a partir de diversos módulos do DataWorks e executar operações como sincronização e desenvolvimento de dados.
Pré-requisitos
-
Um cluster ClickHouse foi criado.
NotaRecomendamos criar o cluster ClickHouse na mesma Region do workspace do DataWorks.
Se o cluster e o workspace estiverem em regiões diferentes, o cluster servirá apenas como fonte de dados entre regiões para tarefas de sincronização. Não será possível usá-lo para executar tarefas de computação no Data Studio ou no Operation Center.
Um workspace do DataWorks foi criado. O usuário RAM que realiza a operação deve ser membro do workspace e ter a função Workspace Administrator.
-
Verifique se há um grupo de recursos associado ao workspace e se a conectividade de rede está estabelecida.
Ao usar um grupo de recursos Serverless, garanta que ele consiga se conectar ao recurso de computação do ClickHouse.
Se você usar um grupo de recursos exclusivo legado, assegure que o recurso de computação do ClickHouse tenha conectividade com o grupo de recursos exclusivo para integração, o grupo de recursos exclusivo para agendamento e o grupo de recursos exclusivo para serviços relevantes ao seu cenário.
-
Por padrão, os clusters do ApsaraDB for ClickHouse bloqueiam o acesso de todos os endereços IP. Antes de associar o recurso de computação, adicione os endereços IP ou blocos CIDR do grupo de recursos do DataWorks à lista de permissões do cluster ClickHouse. Caso contrário, a associação falhará. Dependendo do tipo de grupo de recursos, este será o bloco CIDR do vSwitch associado ao seu grupo de recursos, o EIP do seu grupo de recursos legado ou o EIP da VPC associada ao seu grupo de recursos Serverless.
NotaPara saber como obter o bloco CIDR do vSwitch, o EIP do grupo de recursos legado ou o EIP da VPC associada ao grupo de recursos Serverless, consulte Adicionar os endereços IP do DataWorks a uma lista de permissões.
Limitações
Limitação de recurso: Se a autenticação SSL estiver ativada para o mecanismo de computação do ClickHouse, não será possível usá-lo para desenvolvimento de dados ou tarefas de agendamento periódico.
Limitação de região: China (Hangzhou), China (Shanghai), China (Beijing), China (Shenzhen), China (Chengdu), China (Hong Kong), Japão (Tóquio), Singapura, Malásia (Kuala Lumpur) e Indonésia (Jacarta).
-
Requisitos de permissão:
Operador
Permissões necessárias
Conta Alibaba Cloud
Nenhuma permissão adicional é necessária.
Usuário RAM/Função RAM
Apenas membros do workspace com a função O&M ou Workspace Administrator, ou aqueles com a permissão
AliyunDataWorksFullAccess, podem criar recursos de computação. Para mais informações, consulte Conceder permissões de Workspace Administrator a um usuário.
Novo Data Studio: Associar um recurso ClickHouse
Este procedimento aplica-se a workspaces que usam a opção Use Data Studio (New Version).
Acessar a página de recursos de computação
Faça login no console do DataWorks. Na barra de navegação superior, selecione uma região. No painel de navegação à esquerda, escolha . Selecione um workspace na lista suspensa e clique em Go to Management Center.
No painel de navegação à esquerda, clique em Computing Resources para acessar a página de recursos de computação.
Associar o recurso de computação do ClickHouse
Na página de recursos de computação, configure e associe o recurso de computação do ClickHouse.
-
Selecione o tipo de recurso de computação.
Clique em Associate Computing Resources para abrir a página Associate Computing Resources.
Na página Associate Computing Resources, selecione ClickHouse como tipo de recurso para abrir a página de configuração Associate ClickHouse Computing Resource.
-
Configure o recurso de computação do ClickHouse.
Na página Associate ClickHouse Computing Resource, defina os parâmetros conforme descrito na tabela a seguir.
Parâmetro
Descrição
Configuration Mode
Somente o Connection String Mode é compatível.
JDBC URL
Formato da JDBC URL:
jdbc:clickhouse://<ip>:<port>/<dbname>.-
<ip>: O VPC Endpoint ou Public Endpoint encontrado na página Cluster Information do seu cluster ClickHouse. Por exemplo,
cc-bp1xxx..clickhouse.ads.aliyuncs.com. -
<port>: Quando o Authentication Method estiver definido como No Authentication, use a VPC HTTP Port (
8123) da página Cluster Information do ClickHouse. Se o Authentication Method for SSL Authentication, use a VPC HTTPS Port (8443) da página Cluster Information do ClickHouse. -
<dbname>: Nome do banco de dados ClickHouse. O valor padrão é
default. Se necessário, crie um novo banco de dados.
Username and password
A conta e a senha do seu cluster ClickHouse.
Authentication Method
Define o método para autenticar conexões com o cluster ClickHouse.
-
No Authentication: Nenhuma configuração adicional é necessária.
-
SSL Authentication: Ao selecionar esta opção, baixe o download the CA certificate na página Cluster Information do seu cluster ClickHouse para verificação.
NotaSe a autenticação SSL estiver ativada para o mecanismo de computação do ClickHouse, não será possível usá-lo para desenvolvimento de dados ou tarefas de agendamento periódico.
SSL CA Certificate
Este parâmetro é necessário apenas se o Authentication Method estiver definido como SSL Authentication. Clique em Add authentication document e carregue o certificado CA baixado da página Cluster Information do seu cluster ClickHouse.
Computing Resource Instance Name
Insira um nome personalizado para a instância do recurso de computação.
-
-
Teste a conectividade de rede.
Na área de configurações de conexão, selecione o grupo de recursos desejado para executar nós ClickHouse e clique em Test Connectivity. Isso garante que o grupo de recursos possa acessar seu cluster ClickHouse. Para mais detalhes, consulte Soluções de conectividade de rede.
Clique em Confirm para concluir a configuração.
Data Studio Legado: Associar um recurso ClickHouse
Este procedimento destina-se a workspaces que usam a versão legada da opção Use Data Studio (New Version).
Acessar a página de recursos de computação
-
Faça login no console do DataWorks. Na região de destino, clique em no painel de navegação à esquerda. Escolha um workspace na lista suspensa e clique em Go to Data Development.
No painel de navegação à esquerda, clique no ícone
para abrir a página Computing Resources.
Associar o recurso de computação do ClickHouse
Na página de recursos de computação, configure e associe o recurso de computação do ClickHouse.
-
Selecione o tipo de recurso de computação.
Clique em Create Computing Resource para ir à página Create Computing Resource.
Na página Create Computing Resource, escolha ClickHouse como tipo de recurso de computação para abrir a página de configuração Create Computing Resource.
-
Configure o recurso de computação do ClickHouse.
Na página Create Computing Resource, defina os seguintes parâmetros:
Parâmetro
Descrição
Data Source Name
Insira um nome personalizado para o recurso de computação.
Configuration Mode
Somente o Connection String Mode é compatível.
Host Address/IP
O VPC Endpoint ou Public Endpoint localizado na página Cluster Information do seu cluster ClickHouse. Exemplo:
cc-bp1xxx..clickhouse.ads.aliyuncs.com.Port
Se o Authentication Method estiver configurado como No Authentication, use a VPC HTTP Port Number (
8123) disponível na página Cluster Information do seu cluster ClickHouse.Caso o Authentication Method esteja definido como SSL Authentication, use a VPC HTTPS Port Number (
8443) da página Cluster Information do seu cluster ClickHouse.Database Name
Nome do banco de dados ClickHouse. O valor padrão é
default. Conforme necessário, crie um novo banco de dados.Username and password
A conta e a senha do seu cluster ClickHouse.
Version
Especifique a versão do cluster que deseja associar.
Advanced Parameters
Opcional. Clique em Add Property para configurar propriedades adicionais.
Authentication Method
Método usado para autenticar conexões com o cluster ClickHouse.
-
No Authentication: Nenhuma configuração extra é necessária.
-
SSL Authentication: Ao escolher esta opção, baixe o download the CA certificate na página Cluster Information do seu cluster ClickHouse para fins de verificação.
NotaSe a autenticação SSL estiver habilitada no mecanismo de computação do ClickHouse, seu uso ficará indisponível para desenvolvimento de dados ou tarefas de agendamento periódico.
SSL CA Certificate
Este campo só é exigido quando o Authentication Method está definido como SSL Authentication. Clique em Add authentication document e carregue o certificado CA obtido na página Cluster Information do seu cluster ClickHouse.
-
-
Teste a conectividade de rede.
Na área de configurações de conexão, selecione o grupo de recursos que executará as tarefas do ClickHouse e clique em Test Connectivity. Essa ação confirma se o grupo de recursos consegue acessar o cluster ClickHouse. Consulte Soluções de conectividade de rede para mais informações.
Clique em Create and Associate Computing Resource with DataStudio para finalizar a configuração.
Próximos passos
Data Studio (nova versão): Após configurar o recurso de computação do ClickHouse, use um nó de sincronização em lote para sincronização de dados ou um nó ClickHouse SQL para desenvolvimento de dados no Data Studio.
Data Studio Legado: Depois de configurar o recurso de computação do ClickHouse, use um nó para sincronizar dados.
Perguntas frequentes
-
Mensagem de erro: not support data sync channel, error code: 0001.
Solução: Verifique se existem espaços ou caracteres extras na JDBC URL.
-
Mensagem de erro: ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002.
Solução: Confirme se o endereço IP está correto.