PolarDB:X-Engine

Nous contacter

Pour toute question, rejoignez le groupe DingTalk 24490017825.

Défis et exigences liés à l'archivage des données historiques

• Défis

  En règle générale, les nouvelles données font l'objet de lectures ou de mises à jour plus fréquentes que les données historiques. Les données anciennes, comme les commandes ou les messages générés il y a un an, sont rarement consultées. Avec le développement de votre activité, votre système de base de données accumule un volume important de données peu ou jamais sollicitées, ce qui entraîne les problèmes suivants :

  • Le stockage des données historiques et récentes dans le même système de base de données peut saturer l'espace disque.

  • Un volume massif de données mobilise la mémoire, l'espace de cache et les ressources IOPS du disque du système, ce qui dégrade les performances de la base de données.

  • La sauvegarde d'un grand volume de données prend beaucoup de temps et risque d'échouer. Même en cas de succès, le stockage des fichiers de sauvegarde pose problème.

  L'archivage des données historiques permet de résoudre ces difficultés. Vous pouvez stocker ces données sous forme de fichiers via des services de stockage économiques tels qu'Object Storage Service (OSS) ou Database Backup (DBS). Dans les scénarios réels, les données historiques ne sont pas totalement statiques : celles générées plusieurs mois ou années auparavant peuvent faire l'objet de requêtes ou de mises à jour en temps réel ou ponctuelles. Par exemple, au sein d'Alibaba Group, il est possible d'interroger les anciennes commandes Taobao ou Tmall, les messages DingTalk archivés ainsi que les historiques logistiques Cainiao.

• Exigences

  Pour pallier les problèmes de lecture et de mise à jour des données historiques, X-Engine Edition peut servir de base de données dédiée exclusivement à l'archivage. Cette solution doit répondre aux critères suivants :

  • Offrir une grande capacité de stockage pour accueillir les données en ligne générées en continu, sans nécessiter de gestion manuelle de l'espace.

  • Fournir les mêmes interfaces que vos bases de données en ligne. La base d'archivage doit notamment prendre en charge les protocoles MySQL exactement comme les bases opérationnelles, afin que vos applications puissent accéder aux deux systèmes sans modification du code.

  • Garantir un coût maîtrisé grâce à la compression des données pour réduire l'espace disque consommé et à l'utilisation de supports de stockage économiques pour les gros volumes.

  • Assurer des capacités de lecture et d'écriture adaptées aux accès peu fréquents.

Bien que MySQL soit le système de base de données open source le plus répandu au monde, il ne répond pas à lui seul à l'ensemble de ces exigences. Des moteurs comme TokuDB et MyRocks offrent certes des taux de compression élevés, mais le volume de données stockables reste limité par la capacité disque de chaque machine physique.

Solution : PolarDB X-Engine Edition

Pour relever les défis mentionnés et satisfaire aux besoins de stockage des données archivées, PolarDB X-Engine Edition s'appuie sur les innovations technologiques suivantes :

• Développé par Alibaba Cloud, X-Engine Edition repose sur l'architecture LSM tree (log-structured merge-tree). Ce moteur offre de puissantes capacités de compression permettant d'utiliser des bases d'archivage à moindre coût. Grâce à la combinaison du LSM tree et de l'algorithme de compression Zstandard (ZSTD), le taux de compression augmente significativement. Par rapport à InnoDB, X-Engine Edition réduit l'utilisation du stockage jusqu'à 70 %. Pour plus d'informations, consultez Présentation de X-Engine. X-Engine Edition présente certaines limites, notamment en matière de compatibilité avec MySQL. Pour plus de détails, reportez-vous à Utilisation.

• PolarDB permet l'extension en ligne de la capacité de stockage grâce à un stockage distribué partagé. En connectant les ressources de calcul et de stockage via un réseau haute vitesse et en transférant les données via le protocole RDMA (Remote Direct Memory Access), PolarDB élimine le goulot d'étranglement des performances d'E/S. L'intégration de X-Engine Edition dans PolarDB vous fait bénéficier de ces avantages.

  L'intégration de X-Engine Edition dans PolarDB repose sur les innovations technologiques ci-après, permettant à PolarDB de fonctionner selon une architecture à double moteur.

  • Les flux de journaux WAL (write-ahead logging) de X-Engine Edition sont fusionnés avec les flux de redo logs d'InnoDB. Ainsi, InnoDB et X-Engine Edition partagent les mêmes flux de journaux et canaux de transmission. La logique de gestion et d'interaction avec le stockage partagé reste inchangée. Cette architecture pourra être réutilisée par d'autres moteurs intégrés ultérieurement.

  • Le module d'E/S de X-Engine Edition a été adapté au Polar File System (PFS) de PolarDB InnoDB. De cette façon, InnoDB et X-Engine Edition exploitent le même stockage distribué, tandis que les sauvegardes bénéficient de l'accélération offerte par le stockage distribué sous-jacent.

Architecture des nœuds de calcul de X-Engine Edition

Un cluster X-Engine Edition se compose d'un nœud principal et de plusieurs nœuds en lecture seule. Le nœud principal traite les requêtes en lecture et en écriture. Le cluster prend en charge les spécifications dédiées et à usage général.

Avantages

• X-Engine Edition offre une vaste capacité de stockage. Grâce à une capacité de 200 To et à ses fonctions de compression, ce moteur peut contenir plus de 500 To de données brutes. Son architecture serverless ajuste automatiquement la capacité en fonction du volume de données, ce qui dispense de spécifier l'espace lors de l'achat d'un cluster PolarDB. La facturation correspond uniquement à l'espace réellement consommé.

• PolarDB X-Engine Edition respecte les protocoles MySQL officiels. Contrairement aux solutions qui sauvegardent les données historiques dans des services NoSQL comme HBase, X-Engine Edition permet aux applications d'accéder aux bases en ligne et à X-Engine Edition sans aucune modification du code.

• Ce moteur exploite les capacités de sauvegarde du stockage distribué sous-jacent de PolarDB pour sauvegarder rapidement de grands volumes de données. Les fichiers produits peuvent ensuite être transférés et conservés durablement dans des services économiques tels qu'OSS.

• L'architecture multi-nœuds de X-Engine Edition combine une compression efficace pour réduire les coûts de stockage et une haute disponibilité des clusters. Si le nœud principal tombe en panne, un basculement automatique s'opère vers un nœud en lecture seule qui prend le relais, garantissant ainsi une disponibilité de service minimale de 99,99 %.

• Les tests sysbench indiquent que ce mode de stockage à double moteur n'entraîne qu'une baisse de performance de 20 % par rapport au mode mono-moteur. Pour les clusters contenant des centaines de Go voire des To de données, activer X-Engine Edition permet de réaliser des économies substantielles moyennant une légère réduction des performances.

Cas d'usage

PolarDB X-Engine Edition fournit une importante capacité de stockage adaptée à la conservation des données historiques de multiples services, assurant ainsi leur centralisation et leur gestion unifiée. Ce moteur convient particulièrement aux scénarios suivants :

• Stockage hors ligne des données froides issues de bases auto-gérées (MySQL, TiDB, PostgreSQL, SQL Server ou tout autre SGBDR) avec PolarDB X-Engine Edition.

• Archivage des données d'ApsaraDB RDS for MySQL ou de PolarDB for MySQL via PolarDB X-Engine Edition. Migrez les données historiques peu consultées vers PolarDB for MySQL X-Engine Edition afin de libérer l'espace des bases en ligne, réduisant ainsi les coûts tout en améliorant les performances.

• Utilisation de PolarDB X-Engine Edition comme service de base de données relationnelle à grande capacité. Ce cas s'applique aux scénarios impliquant l'écriture massive de données peu fréquemment consultées, telles que les journaux de surveillance.

Data Transmission Service (DTS) permet de migrer en continu et en temps réel les données des bases en ligne vers PolarDB X-Engine Edition. Data Management (DMS) offre également la possibilité d'importer périodiquement des données en ligne vers PolarDB X-Engine Edition. Pour plus d'informations sur DTS et DMS, consultez Qu'est-ce que Data Transmission Service ? et Qu'est-ce que Data Management (DMS) ?

Versions prises en charge

Spécifications des nœuds et tarification

X-Engine Edition prend en charge les spécifications General-purpose et Dedicated. Pour plus d'informations, consultez Spécifications des nœuds de calcul pour Enterprise Edition.

Pour connaître la tarification de X-Engine Edition, reportez-vous à Prix des nœuds de calcul en paiement à l'utilisation.