Container Service for Kubernetes:Visão geral do Fluid para aceleração de dados

Recursos

O Fluid oferece funcionalidades por meio dos recursos Dataset e Runtime, conforme ilustra a figura a seguir.

• Suporte nativo à abstração de dataset: Fornece a base necessária para aplicações com uso intensivo de dados. Isso permite acesso eficiente aos dados e reduz custos de gerenciamento multidimensional.

• Plug-ins extensíveis de mecanismo de dados: Oferece uma interface de acesso unificada para facilitar a conexão com armazenamentos de terceiros. O Fluid utiliza diferentes Runtimes para executar operações de dados.

• Operações de dados automatizadas: Disponibiliza diversos modos operacionais integrados a sistemas automatizados de operação e manutenção (O&M).

• Elasticidade e agendamento de dados: Melhora o desempenho de acesso aos dados ao combinar tecnologia de cache, dimensionamento elástico e agendamento por afinidade de dados.

• Independência de plataforma de runtime: Compatível com ambientes variados, incluindo Kubernetes nativo, edge, serverless e multi-cluster. Essa característica torna a solução ideal para cenários de cloud híbrida.

Conceitos importantes

• Dataset: Conjunto de dados logicamente relacionados utilizados por um mecanismo de computação. Por exemplo, o Spark usa datasets em cenários de big data, enquanto o TensorFlow os utiliza em cenários de IA. O gerenciamento de datasets abrange múltiplas dimensões, como segurança, controle de versão e aceleração de dados.

• Runtime: Mecanismo de execução que fornece capacidades como segurança de dataset, gerenciamento de versão e aceleração de dados. Defina uma série de interfaces de ciclo de vida. Implemente essas interfaces para dar suporte ao gerenciamento e à aceleração de datasets.

• AlluxioRuntime: Mecanismo de execução da comunidade Alluxio compatível com gerenciamento e cache de dados do Dataset. Acelera o acesso a persistent volume claims (PVCs), Ceph e Cloud Parallel File System (CPFS), atendendo eficazmente a cenários de cloud híbrida.

• JuiceFSRuntime: Mecanismo de aceleração de cache distribuído baseado no JuiceFS. O JuiceFSRuntime oferece cache e aceleração de dados específicos para cada cenário. Para mais informações sobre o JuiceFS, consulte Introdução ao JuiceFS. Para detalhes sobre como usar o JuiceFS no Fluid, veja Usar JuiceFS no Fluid.

• JindoRuntime: Mecanismo de execução baseado em C++ desenvolvido pela equipe do Alibaba Cloud E-MapReduce (EMR) JindoFS, compatível com gerenciamento e cache de dados do Dataset. Acelera o acesso a dados no Object Storage Service (OSS), OSS-HDFS e Hadoop Distributed File System (HDFS).

• ThinRuntime: Implementação extensível para sistemas de armazenamento de uso geral. Permite conectar-se a diversos sistemas de armazenamento com quantidade mínima de código e reutilizar as capacidades principais do Fluid para orquestração, gerenciamento e acesso à plataforma de runtime.