ApsaraDB for ClickHouse:Importar datos mediante clickhouse-client

Este ejemplo importa un archivo CSV a la tabla test_tbl_distributed en la base de datos default de Alibaba Cloud ClickHouse. Reemplace los parámetros con sus valores reales:

• Base de datos destino: default

• Tabla destino: test_tbl_distributed

• Archivo de datos origen: testData.csv

Paso 1: Preparar los datos

En el directorio de instalación de clickhouse-client, cree el archivo testData.csv con el siguiente contenido.

1,yang,32,shanghai,http://example.com
2,wang,22,beijing,http://example.com
3,xiao,23,shenzhen,http://example.com
4,jess,45,hangzhou,http://example.com
5,jack,14,shanghai,http://example.com
6,tomy,25,hangzhou,http://example.com
7,lucy,45,shanghai,http://example.com
8,tengyin,26,shanghai,http://example.com
9,wangli,27,shenzhen,http://example.com
10,xiaohua,37,shanghai,http://example.com

Paso 2: Crear una tabla

1. Conéctese a la base de datos.

   Alibaba Cloud ClickHouse se integra con Data Management Service (DMS). Connect to a ClickHouse cluster using DMS.

   Otros clientes: Connect to a database.

2. Cree una tabla según la edición de su clúster.

   Importante

   El orden de las columnas y los tipos de datos deben coincidir con los del archivo origen.

   Enterprise Edition solo requiere una tabla local. Community-Compatible Edition también puede necesitar una tabla distribuida. Consulte la referencia de sintaxis en CREATE TABLE.

   Enterprise edition

   CREATE TABLE test_tbl_local ON cluster default 
   (
   id UInt8,
   user_name String,
   age UInt16,
   city String,
   access_url String
   )
   ENGINE = MergeTree()
   ORDER BY id;

   Si recibe el mensaje de error ON CLUSTER is not allowed for Replicated database al ejecutar esta sentencia, consulte upgrade the minor engine version para solucionar el error.

   Community-compatible edition

   Seleccione un motor según el tipo de réplica de su clúster.

   Importante

   Al crear una tabla en un clúster de doble réplica, debe utilizar un motor Replicated de la familia de motores MergeTree. Si crea una tabla con un motor no Replicated en un clúster de doble réplica, los datos no se pueden replicar entre réplicas, lo cual podría causar inconsistencia en los datos.

   Single-replica

   1. Cree una tabla local.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = MergeTree()
      ORDER BY id;

   2. (Opcional) Cree una tabla distribuida.

      Omita este paso si solo necesita una tabla local.

      Recomendado para clústeres multinodo.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

   Two-replica

   1. Cree una tabla local.

      CREATE TABLE test_tbl_local ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = ReplicatedMergeTree('/clickhouse/tables/{database}/{table}/{shard}', '{replica}')
      order by id;

   2. (Opcional) Cree una tabla distribuida.

      Omita este paso si solo necesita una tabla local.

      Recomendado para clústeres multinodo.

      CREATE TABLE test_tbl_distributed ON cluster default
      (
      id UInt8,
      user_name String,
      age UInt16,
      city String,
      access_url String
      )
      ENGINE = Distributed(default, default, test_tbl_local, rand());

Paso 3: Importar datos

Ejecute el siguiente comando desde el directorio de instalación de clickhouse-client.

Para acelerar las importaciones, divida el archivo origen y ejecute varios clientes en paralelo.

Para clústeres multinodo, importe los datos a la tabla distribuida.

cat <file_name> | ./clickhouse-client --host=<host> --port=<port> --user=<user> --password=<password> --query="INSERT INTO <table_name> FORMAT <file_type>";

Paso 4: Comprobar el resultado de la importación

1. Conéctese al clúster.

   Connect to a ClickHouse cluster using DMS.

2. Ejecute una sentencia de consulta.

   Importante

   En clústeres multinodo de Community-Compatible Edition, consulte la tabla distribuida para ver todos los datos. Una tabla local solo devuelve datos de un nodo.

   SELECT * FROM test_tbl_local; 

   Salida esperada:

   +--------------+---------------------+---------------+----------------+----------------------+
   | id           | user_name           | age           | city           | access_url           |
   +--------------+---------------------+---------------+----------------+----------------------+
   | 1            | yang                | 32            | shanghai       | http://example.com   |
   | 2            | wang                | 22            | beijing        | http://example.com   |
   | 3            | xiao                | 23            | shenzhen       | http://example.com   |
   | 4            | jess                | 45            | hangzhou       | http://example.com   |
   | 5            | jack                | 14            | shanghai       | http://example.com   |
   | 6            | tomy                | 25            | hangzhou       | http://example.com   |
   | 7            | lucy                | 45            | shanghai       | http://example.com   |
   | 8            | tengyin             | 26            | shanghai       | http://example.com   |
   | 9            | wangli              | 27            | shenzhen       | http://example.com   |
   | 10           | xiaohua             | 37            | shanghai       | http://example.com   |
   +--------------+---------------------+---------------+----------------+----------------------+