ApsaraDB for ClickHouse:Importer des données à l'aide de clickhouse-client

Cet exemple importe un fichier CSV dans la table test_tbl_distributed de la base de données default de Alibaba Cloud ClickHouse. Remplacez les paramètres par vos valeurs réelles :

• Base de données de destination : default

• Table de destination : test_tbl_distributed

• Fichier de données source : testData.csv

Étape 1 : Préparer les données

Dans le répertoire d'installation de clickhouse-client, créez le fichier testData.csv avec le contenu suivant.

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

Étape 2 : Créer une table

1. Connectez-vous à la base de données.

   Alibaba Cloud ClickHouse s'intègre au service Data Management Service (DMS). Se connecter à un cluster ClickHouse à l'aide de DMS.

   Autres clients : Se connecter à une base de données.

2. Créez une table en fonction de l'édition de votre cluster.

   Important

   L'ordre des colonnes et les types de données doivent correspondre à ceux du fichier source.

   Enterprise Edition nécessite uniquement une table locale. Community-Compatible Edition peut également nécessiter une table distribuée. Consultez la syntaxe de référence CREATE TABLE.

   Enterprise edition

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   Si vous recevez le message d'erreur ON CLUSTER is not allowed for Replicated database lors de l'exécution de cette instruction, vous pouvez mettre à niveau la version mineure du moteur pour corriger l'erreur.

   Community-compatible edition

   Sélectionnez un moteur en fonction du type de réplica de votre cluster.

   Important

   Lors de la création d'une table dans un cluster à deux réplicas, vous devez utiliser un moteur Replicated de la famille de moteurs MergeTree. Si vous créez une table avec un moteur non répliqué dans un cluster à deux réplicas, les données ne peuvent pas être répliquées entre les réplicas, ce qui peut entraîner une incohérence des données.

   Single-replica

   1. Créez une table locale.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. (Facultatif) Créez une table distribuée.

      Ignorez cette étape si vous avez uniquement besoin d'une table locale.

      Recommandé pour les clusters multi-nœuds.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   Two-replica

   1. Créez une table locale.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. (Facultatif) Créez une table distribuée.

      Ignorez cette étape si vous avez uniquement besoin d'une table locale.

      Recommandé pour les clusters multi-nœuds.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

Étape 3 : Importer les données

Exécutez la commande suivante depuis le répertoire d'installation de clickhouse-client.

Pour accélérer les imports, divisez le fichier source et exécutez plusieurs clients en parallèle.

Pour les clusters multi-nœuds, importez les données dans la table distribuée.

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

Étape 4 : Vérifier le résultat de l'importation

1. Connectez-vous au cluster.

   Se connecter à un cluster ClickHouse à l'aide de DMS.

2. Exécutez une instruction de requête.

   Important

   Sur les clusters Community-Compatible Edition multi-nœuds, interrogez la table distribuée pour afficher toutes les données. Une table locale renvoie uniquement les données d'un seul nœud.

   SELECT * FROM test_tbl_local; 

   Sortie attendue :

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | yang                | 32            | shanghai       | http://example.com   |
   | 2            | wang                | 22            | beijing        | http://example.com   |
   | 3            | xiao                | 23            | shenzhen       | http://example.com   |
   | 4            | jess                | 45            | hangzhou       | http://example.com   |
   | 5            | jack                | 14            | shanghai       | http://example.com   |
   | 6            | tomy                | 25            | hangzhou       | http://example.com   |
   | 7            | lucy                | 45            | shanghai       | http://example.com   |
   | 8            | tengyin             | 26            | shanghai       | http://example.com   |
   | 9            | wangli              | 27            | shenzhen       | http://example.com   |
   | 10           | xiaohua             | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+