AnalyticDB:Data import methods

Importation standard vs importation élastique

Par défaut, AnalyticDB for MySQL utilise l'importation standard, qui lit les données source sur des groupes de ressources interactifs (nœuds de calcul résidents) et écrit les index sur les nœuds de stockage. Cela peut entraîner une utilisation élevée du CPU et des E/S sur les nœuds de stockage pendant le job.

L'importation élastique (disponible à partir de la version V3.1.10.0) décharge à la fois la lecture et la génération d'index vers des groupes de ressources de job (nœuds de calcul mis à l'échelle dynamiquement), laissant les nœuds de stockage pratiquement indemnes. Utilisez l'importation élastique lorsque vous avez besoin d'une concurrence plus élevée ou souhaitez protéger les charges de travail interactives lors du chargement des données.

Limites de l'importation élastique :

• Prise en charge uniquement sur AnalyticDB for MySQL Data Lakehouse Edition (V3.0) basée sur des tables externes utilisant INSERT OVERWRITE INTO.

• Importe les données d'une seule table uniquement — les jointures de tables ne sont pas prises en charge.

• Prend en charge uniquement les clauses WHERE et LIMIT ; ORDER BY n'est pas pris en charge. Dans l'instruction SELECT, vous pouvez utiliser des astérisques (*), des noms de colonnes, des valeurs par défaut ou des constantes pour les champs de colonne et de valeur — les fonctions SQL ne sont pas prises en charge.

• Cible uniquement les tables de faits.

• Types de données pris en charge : BOOLEAN, TINYINT, SMALLINT, INT, BIGINT, FLOAT, DOUBLE, DECIMAL, VARCHAR, DATE, TIME, DATETIME, TIMESTAMP.

L'importation élastique nécessite au moins 2 à 3 minutes pour se terminer. Pour les jobs qui doivent se terminer en moins de 3 minutes, utilisez plutôt l'importation standard.

Ajuster la concurrence de l'importation élastique

Pour augmenter la concurrence au-delà de la valeur par défaut, définissez le paramètre adb.load.job.max.acu. Sa valeur par défaut est (nombre de shards) + 1. Définissez-le sur K × valeur par défaut où K ≥ 1. Maintenez K inférieur ou égal au nombre de partitions dans la table partitionnée cible.

Interrogez le nombre de shards dans votre cluster :

SELECT count(1) FROM information_schema.kepler_meta_shards;

Pour connaître le nombre de partitions, consultez Analyse du stockage.

Cas d'utilisation

• Initialisation de l'entrepôt de données : Chargez des téraoctets de données historiques depuis OSS ou HDFS vers AnalyticDB for MySQL pour la première fois. Planifiez cette opération pendant les heures creuses pour éviter toute contention des ressources.

• Ingestion quotidienne par lots : Importez chaque jour des gigaoctets à téraoctets de données traitées depuis MaxCompute vers AnalyticDB for MySQL pour une analyse accélérée.

Optimisation des performances

Pour les stratégies d'optimisation spécifiques aux importations via des tables externes, consultez Optimiser les performances d'importation des données — tables externes.

Cas d'utilisation

• Importations fréquentes de petits lots : Chargez de petites quantités de données toutes les minutes ou toutes les heures pour une analyse en quasi temps réel.

• Consolidation multi-sources : Extrayez des données provenant de sources telles que Tablestore, Redis et PostgreSQL vers un seul cluster AnalyticDB for MySQL.

Premiers pas

1. Configurez la source de données. Sources prises en charge :

   • ApsaraDB RDS for MySQL

   • Oracle

   • ApsaraDB RDS for SQL Server

   • OSS

   • MaxCompute

   • HDFS

2. Ajouter une source de données AnalyticDB for MySQL V3.0.

3. Configurer les connexions source et destination pour le job de synchronisation.

Optimisation des performances

Pour les stratégies d'optimisation spécifiques aux importations via DataWorks, consultez Optimiser les performances d'importation des données — DataWorks.

Cas d'utilisation

• Synchronisation en temps réel : Transférez les modifications depuis ApsaraDB RDS for MySQL ou PolarDB for MySQL vers AnalyticDB for MySQL en quelques secondes.

• Agrégation multi-sources : Consolidez les données provenant de plusieurs instances RDS for MySQL ou clusters PolarDB for MySQL dans un seul cluster AnalyticDB for MySQL. Utilisez la fonctionnalité de fusion multi-table de DTS pour unifier plusieurs tables sources ayant le même schéma en une seule table de destination.

Premiers pas

• Utiliser DTS pour importer des données ApsaraDB RDS for MySQL

• Utiliser DTS pour importer des données ApsaraDB RDS for SQL Server

• Utiliser DTS pour importer des données PolarDB-X

• Utiliser DTS pour importer des données PolarDB for MySQL

• Utiliser DTS pour importer des données depuis une base de données HBase auto-gérée

Cas d'utilisation

• Importation après prétraitement des données : Analysez les fichiers journaux ou appliquez des transformations personnalisées avant de charger les données dans AnalyticDB for MySQL en temps réel.

• Importation de données locales : Chargez des données locales qui ne peuvent pas être mises en attente sur OSS, HDFS ou MaxCompute au préalable.

Remarques sur l'utilisation

• Configurez un pilote JDBC approprié avant de vous connecter. Consultez Versions de pilotes MySQL JDBC prises en charge.

• Pour les importations volumineuses, configurez un pool de connexions pour réduire la surcharge. Consultez Pool de connexions Druid.

• Utilisez des insertions par lots et des connexions simultanées pour maximiser le débit.

• Pour les données en flux continu (par exemple, les pipelines Apache Flink), consultez Importer des données depuis Apache Flink.

• Pour les données locales non personnalisées, consultez Utiliser LOAD DATA pour importer des données vers Data Warehouse Edition et Utiliser l'outil d'importation AnalyticDB for MySQL pour importer des données vers Data Warehouse Edition.

Optimisation des performances

Pour les stratégies d'optimisation spécifiques aux importations basées sur JDBC, consultez Optimiser les performances d'importation des données — JDBC.

Cas d'utilisation

• Ingestion économique de journaux et de messages : Utilisez APS pour diffuser continuellement des données depuis Simple Log Service (SLS) et ApsaraMQ for Kafka vers AnalyticDB for MySQL pour un stockage et une analyse rentables.

• Découverte de métadonnées OSS : Lorsque les données OSS manquent de métadonnées structurées, la fonctionnalité de découverte de métadonnées analyse OSS et crée des métadonnées de base de données, de table et de partition — y compris les formats de données et les définitions de champs — rendant les données accessibles à AnalyticDB for MySQL et à d'autres moteurs d'analyse.

• Migration de données Hive : Migrez les données Hive vers OSS à l'aide de la fonctionnalité de migration de données Hive. AnalyticDB for MySQL organise ensuite automatiquement les métadonnées pour l'analyse ultérieure.

Premiers pas

• Synchroniser automatiquement les métadonnées d'une instance PolarDB-X vers un cluster Data Lakehouse Edition

• Utiliser la synchronisation des données pour synchroniser les données de Simple Log Service vers Data Warehouse Edition

• Utiliser la synchronisation des données pour synchroniser les données de Simple Log Service vers Data Lakehouse Edition

• Utiliser la synchronisation des données pour synchroniser les données d'ApsaraMQ for Kafka vers Data Lakehouse Edition (recommandé)

• Utiliser la synchronisation des données pour synchroniser les données de Simple Log Service vers Data Lakehouse Edition (recommandé)

• Utiliser la découverte de métadonnées pour importer des données vers Data Lakehouse Edition

• Importer des données depuis une source de données Hive