ApsaraDB for SelectDB prend en charge la migration des données Hive via Catalog, X2Doris, DataWorks et OSS Load. Choisissez la méthode adaptée au volume de vos données et à votre scénario métier.
Choisir une méthode
Le tableau suivant compare les méthodes de migration disponibles pour vous aider à choisir la plus appropriée :
|
Méthode |
Scénarios |
Recommandations |
Procédure |
|
Catalog |
Les données sont stockées sur la plateforme Alibaba Cloud. Remarque
Cela inclut notamment les clusters Alibaba Cloud EMR. |
|
|
|
OSS Load |
Les données ne sont pas stockées sur la plateforme Alibaba Cloud. |
Aucun coût de trafic de migration. Remarque
OSS Load transfère les données d'Object Storage Service (OSS) vers SelectDB via le réseau interne, évitant ainsi les frais de trafic. |
|
|
DataWorks |
Vos données sont gérées par DataWorks ou vous utilisez DataWorks comme plateforme de développement de données. |
Interface visuelle simple et intuitive. |
Guide de migration incrémentielle des données
En production, les données Hive comprennent généralement des données hors ligne et des données incrémentielles. La migration de données Hive vers SelectDB vise souvent à accélérer les requêtes en répliquant les données dans un entrepôt de données. Pour les données incrémentielles, envisagez les approches suivantes :
Écrivez les données dans SelectDB en parallèle lors de la production des données Hive.
Planifiez une tâche périodique pour lire les données de partition depuis Hive et les écrire dans SelectDB.
Références
Pour plus d'informations sur Hive, consultez Source de données Hive.