Lier des ressources de calcul ClickHouse - DataWorks - Centre de documentation Alibaba Cloud

Prérequis

Un cluster ClickHouse est créé.
Remarque
- Nous vous recommandons de créer le cluster ClickHouse dans la même Region que l'espace de travail DataWorks.
- Si le cluster et l'espace de travail se trouvent dans des régions différentes, le cluster sert de source de données interrégionale uniquement pour les tâches de synchronisation de données. Vous ne pouvez pas l'utiliser pour exécuter des tâches de calcul depuis Data Studio ou Operation Center.
Un espace de travail DataWorks est créé. L'utilisateur RAM qui effectue l'opération est membre de l'espace de travail et dispose du rôle Administrateur de l'espace de travail.
Assurez-vous qu'un groupe de ressources est associé à l'espace de travail et que la connectivité réseau est établie.
- Si vous utilisez un groupe de ressources serverless, assurez-vous que ce groupe peut se connecter à la ressource de calcul ClickHouse.
- Si vous utilisez un ancien groupe de ressources exclusif, assurez-vous que la ressource de calcul ClickHouse peut se connecter aux groupes de ressources exclusifs pertinents (groupe de ressources exclusif pour l'intégration, groupe de ressources exclusif pour la planification et groupe de ressources exclusif pour les services) selon votre scénario.
- Par défaut, les clusters ApsaraDB for ClickHouse refusent l'accès depuis toutes les adresses IP. Avant d'associer la ressource de calcul, ajoutez les adresses IP ou les blocs CIDR du groupe de ressources DataWorks à la liste d'autorisation du cluster ClickHouse. Sinon, l'association échoue. Selon le type de votre groupe de ressources, il s'agit du bloc CIDR vSwitch associé à votre groupe de ressources, de l'EIP de votre ancien groupe de ressources ou de l'EIP du VPC associé à votre groupe de ressources serverless.
  
  Remarque
  Pour savoir comment obtenir le bloc CIDR vSwitch, l'EIP de l'ancien groupe de ressources ou l'EIP du VPC associé au groupe de ressources serverless, consultez la rubrique Ajouter les adresses IP de DataWorks à une liste d'autorisation.

Limitations

Limitation fonctionnelle : si l'authentification SSL est activée pour le moteur de calcul ClickHouse, vous ne pouvez pas l'utiliser pour le développement de données ni pour les tâches de planification périodique.
Limitation régionale : Chine (Hangzhou), Chine (Shanghai), Chine (Pékin), Chine (Shenzhen), Chine (Chengdu), Chine (Hong Kong), Japon (Tokyo), Singapour, Malaisie (Kuala Lumpur) et Indonésie (Jakarta).

Exigences en matière d'autorisations :

Opérateur

Autorisations requises

Compte Alibaba Cloud

Aucune autorisation supplémentaire n'est requise.

Utilisateur RAM/Rôle RAM

Seuls les membres de l'espace de travail disposant du rôle O&M ou Administrateur de l'espace de travail, ou ceux disposant de l'autorisation AliyunDataWorksFullAccess, peuvent créer des ressources de calcul. Pour plus d'informations, consultez la rubrique Accorder à un utilisateur les autorisations d'administrateur de l'espace de travail.

Nouveau Data Studio : associer une ressource ClickHouse

Cette procédure s'applique aux espaces de travail qui Use Data Studio (New Version).

Accéder à la page des ressources de calcul

Connectez-vous à la console DataWorks. Dans la barre de navigation supérieure, sélectionnez une région. Dans le volet de navigation de gauche, choisissez More > Management Center. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Management Center.
Dans le volet de navigation de gauche, cliquez sur Computing Resources pour accéder à la page des ressources de calcul.

Associer la ressource de calcul ClickHouse

Sur la page des ressources de calcul, configurez et associez la ressource de calcul ClickHouse.

Sélectionnez le type de ressource de calcul.
1. Cliquez sur Associate Computing Resources pour ouvrir la page Associate Computing Resources.
2. Sur la page Associate Computing Resources, sélectionnez ClickHouse comme type de ressource pour ouvrir la page de configuration Associate ClickHouse Computing Resource.

Configurez la ressource de calcul ClickHouse.

Sur la page Associate ClickHouse Computing Resource, configurez les paramètres comme décrit dans le tableau suivant.

Paramètre	Description
Mode de configuration	Seul le mode Connection String Mode est pris en charge.
URL JDBC	Format de l'URL JDBC : `jdbc:clickhouse://<ip>:<port>/<dbname>`. <ip> : le point de terminaison VPC Endpoint ou Public Endpoint figurant sur la page Cluster Information de votre cluster ClickHouse. Par exemple, `cc-bp1xxx..clickhouse.ads.aliyuncs.com`. <port> : lorsque la méthode Authentication Method est définie sur No Authentication, utilisez le port HTTP VPC (VPC HTTP Port, `8123`) indiqué sur la page Cluster Information de ClickHouse. Lorsque la méthode Authentication Method est définie sur SSL Authentication, utilisez le port HTTPS VPC (VPC HTTPS Port, `8443`) indiqué sur la page Cluster Information de ClickHouse. <dbname> : le nom de la base de données ClickHouse. La valeur par défaut est `default`. Vous pouvez créer une nouvelle base de données si nécessaire.
Nom d'utilisateur et mot de passe	Le compte et le mot de passe de votre cluster ClickHouse.
Méthode d'authentification	Spécifie la méthode d'authentification des connexions au cluster ClickHouse. No Authentication : aucune autre configuration n'est nécessaire. SSL Authentication : si vous sélectionnez cette option, téléchargez le certificat CA depuis la page download the CA certificate de votre cluster ClickHouse pour vérification. Remarque Si l'authentification SSL est activée pour le moteur de calcul ClickHouse, vous ne pouvez pas l'utiliser pour le développement de données ni pour les tâches de planification périodique.
Certificat SSL CA	Ce paramètre est requis uniquement si la méthode Authentication Method est définie sur SSL Authentication. Cliquez sur Cluster Information et téléchargez le certificat CA obtenu depuis la page Add authentication document de votre cluster ClickHouse.
Nom de l'instance de ressource de calcul	Saisissez un nom personnalisé pour l'instance de ressource de calcul.

Testez la connectivité réseau.

Dans la zone des paramètres de connexion, sélectionnez le groupe de ressources que vous souhaitez utiliser pour exécuter les nœuds ClickHouse et cliquez sur Cluster Information. Cela garantit que le groupe de ressources peut accéder à votre cluster ClickHouse. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
Cliquez sur Test Connectivity pour terminer la configuration.

Ancien Data Studio : associer une ressource ClickHouse

Cette procédure s'applique aux espaces de travail qui utilisent l'ancienne version de Confirm.

Accéder à la page des ressources de calcul

Connectez-vous à la console DataWorks. Dans la région cible, cliquez sur Use Data Studio (New Version) > Data Development and O&M dans le volet de navigation de gauche. Sélectionnez un espace de travail dans la liste déroulante et cliquez sur Go to Data Development.
Dans le volet de navigation de gauche, cliquez sur l'icône pour ouvrir la page Data Development.

Associer la ressource de calcul ClickHouse

Sur la page des ressources de calcul, configurez et associez la ressource de calcul ClickHouse.

Sélectionnez le type de ressource de calcul.
1. Cliquez sur Computing Resources pour accéder à la page Create Computing Resource.
2. Sur la page Create Computing Resource, sélectionnez Create Computing Resource comme type de ressource de calcul pour ouvrir la page de configuration ClickHouse.

Configurez la ressource de calcul ClickHouse.

Sur la page Create Computing Resource, configurez les paramètres suivants :

Paramètre	Description
Nom de la source de données	Saisissez un nom personnalisé pour la ressource de calcul.
Mode de configuration	Seul le mode Connection String Mode est pris en charge.
Adresse hôte/IP	Le point de terminaison Create Computing Resource ou VPC Endpoint figurant sur la page Public Endpoint de votre cluster ClickHouse. Par exemple, `cc-bp1xxx..clickhouse.ads.aliyuncs.com`.
Port	Si la méthode Cluster Information est définie sur Authentication Method, utilisez le numéro de port HTTP VPC (No Authentication, `8123`) indiqué sur la page Cluster Information de votre cluster ClickHouse. Si la méthode Authentication Method est définie sur SSL Authentication, utilisez le numéro de port HTTPS VPC (VPC HTTP Port Number, `8443`) indiqué sur la page VPC HTTPS Port Number de votre cluster ClickHouse.
Nom de la base de données	Le nom de la base de données ClickHouse. La valeur par défaut est `default`. Vous pouvez créer une nouvelle base de données si nécessaire.
Nom d'utilisateur et mot de passe	Le compte et le mot de passe de votre cluster ClickHouse.
Version	Spécifiez la version du cluster que vous souhaitez associer.
Paramètres avancés	Facultatif. Vous pouvez cliquer sur Cluster Information pour configurer des propriétés supplémentaires.
Méthode d'authentification	La méthode à utiliser pour authentifier les connexions au cluster ClickHouse. No Authentication : aucune autre configuration n'est nécessaire. SSL Authentication : si vous sélectionnez cette option, téléchargez le certificat CA depuis la page Add Property de votre cluster ClickHouse pour vérification. Remarque Si l'authentification SSL est activée pour le moteur de calcul ClickHouse, vous ne pouvez pas l'utiliser pour le développement de données ni pour les tâches de planification périodique.
Certificat SSL CA	Ce paramètre est requis uniquement si la méthode Authentication Method est définie sur SSL Authentication. Cliquez sur download the CA certificate et téléchargez le certificat CA obtenu depuis la page Cluster Information de votre cluster ClickHouse.

Testez la connectivité réseau.

Dans la zone des paramètres de connexion, sélectionnez le groupe de ressources que vous souhaitez utiliser pour exécuter les tâches ClickHouse et cliquez sur Add authentication document. Cela garantit que le groupe de ressources peut accéder à votre cluster ClickHouse. Pour plus d'informations, consultez la rubrique Solutions de connectivité réseau.
Cliquez sur Cluster Information pour terminer la configuration.

Étapes suivantes

Data Studio (nouvelle version) : après avoir configuré la ressource de calcul ClickHouse, utilisez un nœud de synchronisation par lots pour la synchronisation de données ou un nœud SQL ClickHouse pour le développement de données dans Data Studio.
Ancien Data Studio : après avoir configuré la ressource de calcul ClickHouse, utilisez un nœud Data integration > Test Connectivity pour la synchronisation de données.

FAQ

Message d'erreur : not support data sync channel, error code: 0001.

Solution : Vérifiez l'URL JDBC pour détecter d'éventuels espaces ou caractères superflus.
Message d'erreur : ru.yandex.clickhouse.except.ClickHouseUnknownException: ClickHouse exception, code: 1002.

Solution : Vérifiez que l'adresse IP est correcte.