OpenStore est un moteur de stockage élastique, performant et économique développé par l'équipe Elasticsearch d'Alibaba Cloud pour des cas d'utilisation tels que l'analyse de journaux et la recherche.
Architecture du moteur
L'architecture OpenStore repose sur un stockage hiérarchisé et expose un service de système de fichiers unifié et performant aux composants de niveau supérieur :
Shard primaire/shard réplica : dans l'architecture OpenStore, le shard primaire construit les index et télécharge les fichiers de segments générés vers le stockage partagé. Les shards répliques ne construisent pas d'index de manière indépendante ; ils synchronisent directement les données depuis le stockage partagé.
NameNode : centre de gestion des métadonnées distribuées pour OpenStore. Il gère les métadonnées distribuées, telles que la topologie du cluster et l'espace de noms global, et assure la planification des tâches pour des opérations comme la réplication des données afin de garantir la cohérence à l'échelle du cluster.
Native Metadata Manager (NMM) : centre de gestion des métadonnées locales. Il gère les métadonnées de fichiers locaux, telles que la longueur du fichier, l'heure de mise à jour et l'état de persistance. Il fournit également un accès au système de fichiers sous-jacent (UFS) pour les opérations atomiques comme le chargement et la persistance des fichiers.
Shared Data Service : service distant qui fournit un stockage partagé massif.
Avantages
Séparation du calcul et du stockage : les ressources de calcul (telles que les nœuds Elasticsearch) et les ressources de stockage (telles que le stockage partagé distant) peuvent être mises à l'échelle indépendamment. Ajoutez des nœuds sans migrer les données lorsque la demande de calcul augmente, et tirez parti du stockage partagé distant lorsque les besoins en stockage augmentent.
Cohérence des données : un protocole hybride basé sur Raft garantit la cohérence des données entre le cache local et le stockage partagé distant, offrant aux applications une vue unifiée et fiable des données.
Facilité d'utilisation : gestion entièrement automatisée du cycle de vie des index. Configurez une simple politique de cycle de vie des index et le moteur gère l'ensemble du processus, de la hiérarchisation des données à leur migration vers le stockage OpenStore.
Haute disponibilité : plusieurs réplicas partagent une seule copie des données sans coût de stockage supplémentaire. Le service sous-jacent offre une durabilité des données allant jusqu'à 99,9999999999 % (12 neufs).
Types de stockage et cas d'utilisation
|
Type de stockage |
|
|
Latence d'accès (succès du cache local) |
0,2 ms |
|
Latence d'accès (échec du cache local) |
50 ms à 400 ms |
|
Débit d'accès (succès du cache local) |
1 Go/s |
|
Débit d'accès (échec du cache local) |
750 Mo/s |
|
Cas d'utilisation |
Données rarement consultées, telles que les journaux de surveillance, les commandes historiques et les données archivées |
Les valeurs de latence d'accès indiquées ci-dessus se réfèrent uniquement à la latence au niveau du stockage, et non à la latence de bout en bout.