AnalyticDB for MySQL ingère des données depuis des bases de données, le stockage objet, les plateformes Big Data, les files d'attente de messages et les fichiers locaux, vers un entrepôt de données ou un data lake. La méthode d'importation adaptée dépend de votre source de données et de vos exigences de performance.
Fonctionnement
AnalyticDB for MySQL propose deux voies d'ingestion :
Ingestion entrepôt de données : Le système prétraite les données avant de les charger dans le moteur de stockage analytique propriétaire Xuanwu d'AnalyticDB for MySQL. Cette voie offre des écritures temps réel à haut débit et des requêtes temps réel performantes, ce qui en fait le choix idéal lorsque la performance des requêtes est votre priorité absolue.
Ingestion data lakehouse : Le système stocke les données brutes dans des formats de table open source (Iceberg et Paimon), soit dans le stockage lake intégré d'ADB, soit dans votre propre compartiment Object Storage Service (OSS). Comme les données restent dans des formats ouverts, les moteurs Spark et XIHE d'AnalyticDB for MySQL ainsi que des moteurs externes tels que MaxCompute peuvent les interroger. Privilégiez cette voie si votre architecture nécessite une compatibilité open source ou un accès multi-moteurs. Pour optimiser les performances en lecture, activez LakeCache afin de réduire la latence par rapport à une lecture directe depuis OSS.
L'ingestion data lakehouse est disponible uniquement pour les clusters Enterprise Edition, Basic Edition ou Data Lakehouse Edition.
Ingestion entrepôt de données
| Catégorie | Source de données | Méthode d'importation | Edition | Documentation |
|---|---|---|---|---|
| Base de données | RDS MySQL | Table externe | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis RDS MySQL à l'aide d'une table externe |
| DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DTS | ||
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks | ||
| Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Synchroniser des données à l'aide de Zero-ETL | ||
| RDS SQL Server | DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DTS | |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks | ||
| PolarDB Distributed Edition (anciennement DRDS) | DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DTS | |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks | ||
| Synchronisation tout-en-un | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Synchroniser automatiquement les métadonnées PolarDB-X | ||
| PolarDB for MySQL | Analyse fédérée | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Synchroniser des données à l'aide de la fonctionnalité d'analyse fédérée | |
| DTS | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DTS | ||
| Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Synchroniser des données à l'aide de Zero-ETL | ||
| MongoDB | Table externe | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis MongoDB à l'aide d'une table externe | |
| Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Synchroniser des données à l'aide de Zero-ETL | ||
| Lindorm | Zero-ETL | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis Lindorm | |
| Oracle | DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis Oracle | |
| MySQL auto-géré | Table externe | Data Warehouse Edition | Importer des données depuis une base de données MySQL auto-gérée | |
| HBase auto-géré | DTS | Data Warehouse Edition | Importer des données depuis un cluster HBase auto-géré | |
| Stockage | OSS | Table externe | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis OSS à l'aide d'une table externe |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks | ||
| Tablestore | Table externe | Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Interroger et importer des données depuis Tablestore | |
| HDFS | Table externe | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis HDFS à l'aide d'une table externe | |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks | ||
| Big Data | MaxCompute | Table externe | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données depuis MaxCompute à l'aide d'une table externe |
| DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks | ||
| Flink | Flink | Data Warehouse Edition | Importer des données depuis Flink | |
| File d'attente de messages | Kafka | DataWorks | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données à l'aide de DataWorks |
| Plug-in Logstash | Data Warehouse Edition | Importer des données à l'aide de Logstash | ||
| Données de journal | Données de journal | Synchronisation des données | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Synchroniser des données de journal à l'aide de la synchronisation des données |
| Plug-in Logstash | Data Warehouse Edition | Importer des données à l'aide de Logstash | ||
| Données locales | SQLAlchemy | Data Warehouse Edition, Enterprise Edition, Basic Edition ou Data Lakehouse Edition | Importer des données DataFrame à l'aide de SQLAlchemy | |
| LOAD DATA | Data Warehouse Edition | Importer des données à l'aide de LOAD DATA | ||
| Outil d'importation | Data Warehouse Edition | Importer des données à l'aide de l'outil d'importation | ||
| Kettle | Data Warehouse Edition | Importer des données à l'aide de Kettle | ||
Ingestion data lakehouse
Disponible uniquement pour les clusters Enterprise Edition, Basic Edition ou Data Lakehouse Edition.
| **Catégorie** | **Source de données** | **Méthode d'importation** | **Documentation** |
|---|---|---|---|
| File d'attente de messages | Kafka | Synchronisation des données (Recommandé) | Synchroniser des données Kafka à l'aide de la synchronisation des données |
| Données de journal | Simple Log Service (SLS) | Synchronisation des données (Recommandé) | Synchroniser des données SLS à l'aide de la synchronisation des données |
| Big Data | Hive | Migration des données | Importer des données depuis Hive |
| Stockage | OSS | Découverte de métadonnées | Importer des données à l'aide de la découverte de métadonnées |
Références
AnalyticDB for MySQL prend également en charge la soumission asynchrone de tâches d'importation. Pour plus d'informations, consultez Soumettre une tâche d'importation asynchrone.