ApsaraDB for SelectDB:Importer des données avec INSERT INTO

Exécuter une opération ETL sur une table interne

Pour transformer des données issues d'une table SelectDB et écrire les résultats dans une autre table :

INSERT INTO bj_store_sales
SELECT id, total, user_id, sale_timestamp FROM store_sales WHERE region = "bj";

Cette commande lit les lignes de store_sales où region = "bj" et les écrit dans bj_store_sales.

Synchroniser des données depuis un lac de données

Les catalogs SelectDB permettent de mapper des sources de données externes (Hive, Iceberg, Hudi, Elasticsearch et sources Java Database Connectivity (JDBC)) et de les interroger via des requêtes fédérées. Utilisez un catalog pour synchroniser les données d'un lac de données vers une table SelectDB.

L'exemple suivant illustre la synchronisation de données depuis une source Hive vers SelectDB.

1. Connectez-vous à votre instance SelectDB. Pour plus de détails, consultez Se connecter à une instance ApsaraDB for SelectDB à l'aide d'un client MySQL.

2. Créez un catalog pour intégrer la source de données Hive. Pour plus de détails, consultez Source de données Hive.

3. (Facultatif) Créez une base de données de destination. Ignorez cette étape si la base de données existe déjà.

   CREATE DATABASE hive_db;

4. Basculez vers la base de données de destination.

   USE hive_db;

5. Créez une table de destination. Si la table existe déjà, vérifiez que ses types de colonnes correspondent à ceux de la table source. Pour le référentiel de mappage des types, consultez Mappages des types de données de colonne.

   CREATE TABLE test_Hive2SelectDB
   (
       id int,
       name varchar(50),
       age int
   )
   DISTRIBUTED BY HASH(id) BUCKETS 4
   PROPERTIES("replication_num" = "1");

6. (Facultatif) Prévisualisez la table avant l'importation.

   SELECT * FROM test_Hive2SelectDB;

   

7. Exécutez l'instruction INSERT INTO...SELECT pour synchroniser les données. Attribuez un libellé unique à la tâche d'importation avec WITH LABEL.

   INSERT INTO test_Hive2SelectDB WITH LABEL test_label SELECT * FROM hive_catalog.testdb.hive_t;

8. Interrogez la table de destination pour vérifier les données. Les données de la table de destination apparaissent à gauche et celles de la source à droite.

   

CREATE TABLE test_table
(
    id int,
    name varchar(50),
    age int
)
DISTRIBUTED BY HASH(id) BUCKETS 4
PROPERTIES("replication_num" = "1");

Utilisation d'un client SQL

Regroupez plusieurs instructions INSERT INTO dans une transaction afin de les traiter comme une seule importation par lot :

BEGIN;
INSERT INTO test_table VALUES (1, 'Zhang San', 32),(2, 'Li Si', 45),(3, 'Zhao Liu', 23);
INSERT INTO test_table VALUES (4, 'Wang Yi', 32),(5, 'Zhao Er', 45),(6, 'Li Er', 23);
INSERT INTO test_table VALUES (7, 'Li Yi', 32),(8, 'Wang San', 45),(9, 'Zhao Si', 23);
COMMIT;

Utilisation d'une application JDBC

L'exemple suivant regroupe plusieurs instructions INSERT INTO dans une seule transaction via JDBC. Remplacez les valeurs d'espace réservé par vos propres valeurs.

public static void main(String[] args) throws Exception {
    // Number of INSERT statements per batch
    int insertNum = 10;
    // Number of rows per INSERT statement
    int batchSize = 10000;

    // Replace <host> and <port> with your VPC (virtual private cloud) endpoint values.
    // Find these on the Instance Details page under Network Information.
    String URL = "jdbc:mysql://<host>:<port>/test_db?useLocalSessionState=true";
    Connection connection = DriverManager.getConnection(URL, "admin", "<password>");
    Statement statement = connection.createStatement();
    statement.execute("BEGIN;");

    for (int num = 0; num < insertNum; num++) {
        StringBuilder sql = new StringBuilder();
        sql.append("INSERT INTO test_table VALUES ");
        for (int i = 0; i < batchSize; i++) {
            if (i > 0) {
                sql.append(",");
            }
            // Replace with your actual field values
            sql.append("(1, 'Zhang San', 32)");
        }
        statement.addBatch(sql.toString());
    }
    statement.addBatch("COMMIT;");
    statement.executeBatch();

    statement.close();
    connection.close();
}

Importation réussie sans lignes

Si la clause SELECT ne retourne aucune ligne, SelectDB affiche :

INSERT INTO tbl1 SELECT * FROM empty_tbl;
Query OK, 0 rows affected (0.02 sec)

Query OK indique que l'instruction s'est exécutée sans erreur. 0 rows affected signifie qu'aucune donnée n'a été importée.

Importation réussie avec lignes

INSERT INTO tbl1 SELECT * FROM tbl2;
Query OK, 4 rows affected (0.38 sec)
{'label':'insert_8510c568-9eda-****-9e36-6adc7d35291c', 'status':'visible', 'txnId':'4005'}

La réponse JSON contient les informations suivantes :

Si le status est committed, les données finiront par devenir visibles. Pour le vérifier :

SHOW TRANSACTION WHERE id=4005;

Si TransactionStatus affiche visible, les données sont interrogeables.

Importation réussie avec lignes filtrées

Si certaines lignes ont été filtrées, le résultat indique un nombre d'avertissements :

Query OK, 2 rows affected, 2 warnings (0.31 sec)
{'label':'insert_f0747f0e-7a35-****-affa-13a235f4020d', 'status':'visible', 'txnId':'4005'}

Pour examiner les lignes filtrées, recherchez le libellé dans la sortie de SHOW LOAD :

SHOW LOAD WHERE label="insert_f0747f0e-7a35-****-affa-13a235f4020d";

Ensuite, interrogez les détails de l'erreur à l'aide de l'URL fournie dans la sortie :

SHOW LOAD WARNINGS ON "<error-url>";

Échec de l'importation

En cas d'échec de l'importation, aucune donnée n'est écrite et SelectDB retourne une erreur :

INSERT INTO tbl1 SELECT * FROM tbl2 WHERE k1 = "a";
ERROR 1064 (HY000): all partitions have no load data. url: http://10.74.167.16:8042/api/_load_error_log?file=__shard_2/error_log_insert_stmt_ba8bb9e158e4879-ae8de8507c0bf8a2_ba8bb9e158e4879_ae8de8507c0bf8a2

Récupérez les informations détaillées sur l'erreur en utilisant l'URL présente dans le message d'erreur :

SHOW LOAD WARNINGS ON "<error-url>";

Variables de session

Mises à jour partielles de colonnes

Par défaut, INSERT INTO écrit des lignes complètes. Pour mettre à jour uniquement des colonnes spécifiques sur une table du modèle Unique Key utilisant Merge on Write (MOW) :

SET enable_unique_key_partial_update = true;

Pour obtenir la liste complète des variables, consultez Gestion des variables.