Container Service for Kubernetes:Fluid overview for data acceleration

Fonctionnalités

Fluid propose diverses fonctionnalités via les ressources Dataset et Runtime, comme illustré dans la figure suivante.

• Prise en charge native de l'abstraction des jeux de données : fournit le socle nécessaire aux applications à forte intensité de données. Cela permet un accès efficace aux données et réduit les coûts de gestion multidimensionnelle.

• Plug-ins de moteur de données extensibles : offre une interface d'accès unifiée pour faciliter la connexion à des solutions de stockage tierces. Fluid utilise différents Runtimes pour exécuter les opérations sur les données.

• Opérations automatisées sur les données : propose plusieurs modes d'opération qui s'intègrent aux systèmes automatisés d'exploitation et de maintenance (O&M).

• Élasticité des données et planification : améliore les performances d'accès aux données en combinant la mise en cache avec la mise à l'échelle élastique et la planification par affinité des données.

• Indépendance vis-à-vis de la plateforme Runtime : prend en charge divers environnements, tels que Kubernetes natif, edge, serverless et multi-clusters. Cette flexibilité convient parfaitement aux scénarios de cloud hybride.

Concepts importants

• Dataset : ensemble de données logiquement liées utilisées par un moteur de calcul. Par exemple, Spark exploite des datasets dans les scénarios de big data, tandis que TensorFlow les utilise dans les scénarios d'IA. La gestion des Dataset couvre plusieurs dimensions, notamment la sécurité, la gestion des versions et l'accélération des données.

• Runtime : moteur d'exécution qui fournit des capacités telles que la sécurité des jeux de données, la gestion des versions et l'accélération des données. Il définit une série d'interfaces de cycle de vie. Implémentez ces interfaces pour prendre en charge la gestion et l'accélération des jeux de données.

• AlluxioRuntime : moteur d'exécution issu de la communauté Alluxio qui prend en charge la gestion et la mise en cache des données Dataset. Il accélère l'accès aux revendications de volume persistant (PVC), à Ceph et au Cloud Parallel File System (CPFS), et répond efficacement aux besoins des scénarios de cloud hybride.

• JuiceFSRuntime : moteur d'accélération par cache distribué basé sur JuiceFS. JuiceFSRuntime prend en charge la mise en cache et l'accélération des données adaptées à des scénarios spécifiques. Pour plus d'informations sur JuiceFS, consultez Introduction to JuiceFS. Pour savoir comment utiliser JuiceFS dans Fluid, voir Use JuiceFS in Fluid.

• JindoRuntime : moteur d'exécution en C++ développé par l'équipe Alibaba Cloud E-MapReduce (EMR) pour JindoFS, qui prend en charge la gestion et la mise en cache des données Dataset. Il permet d'accélérer l'accès aux données stockées dans Object Storage Service (OSS), OSS-HDFS et Hadoop Distributed File System (HDFS).

• ThinRuntime : implémentation extensible destinée aux systèmes de stockage polyvalents. Elle vous permet de vous connecter à divers systèmes de stockage avec un minimum de code et de réutiliser les fonctionnalités centrales offertes par Fluid pour l'orchestration des données, leur gestion et l'accès à la plateforme Runtime.