O Apsara File Storage for HDFS é um service de armazenamento de arquivos para recursos de computação, como instâncias do Alibaba Cloud ECS e serviços de contêiner. Você pode gerenciar e acessar dados no Apsara File Storage for HDFS da mesma forma que em um Hadoop Distributed File System (HDFS). Não é necessário modificar suas aplicações existentes de análise de big data para utilizar um sistema de arquivos distribuído que oferece capacidade ilimitada, dimensionamento de desempenho, namespace único, acesso compartilhado, alta confiabilidade e alta disponibilidade.
Cenários
O Apsara File Storage for HDFS é ideal para cenários de análise de big data e aprendizado de máquina que exigem alto throughput. Ele fornece acesso com alto throughput e baixa latência, eliminando a necessidade de migrar dados para recursos de computação locais.
Após armazenar os dados no Apsara File Storage for HDFS, recursos de computação como instâncias ECS podem acessá-los diretamente. É possível implantar o Hadoop ou outras aplicações de aprendizado de máquina em múltiplos recursos de computação. Essas aplicações podem então acessar os dados por meio da interface Hadoop FileSystem para realizar processamento offline ou online. Os resultados do processamento também podem ser gravados diretamente no Apsara File Storage for HDFS para retenção permanente.
Desempenho
A principal métrica de desempenho do Apsara File Storage for HDFS é a capacidade de throughput. O throughput máximo é limitado pela largura de banda da instância ECS. Por exemplo, se uma instância ECS possui largura de banda de 1,5 Gbps, o throughput máximo pode atingir 187,5 MB/s. A capacidade de throughput está relacionada à capacidade de armazenamento adquirida.
Durabilidade dos dados e disponibilidade do service
Assim como o File Storage NAS, o Apsara File Storage for HDFS armazena múltiplas réplicas de dados no backend, distribuídas por diferentes dispositivos e domínios de falha. Esse design proporciona 99,999999999% (onze noves) de confiabilidade dos dados e reduz efetivamente o risco de perda de dados.
Escalabilidade e elasticidade
O Apsara File Storage for HDFS oferece alto throughput, alto número de operações de entrada/saída por segundo (IOPS) e baixa latência para cargas de trabalho das aplicações. Seu desempenho escala linearmente com a capacidade. Isso permite que o service atenda às demandas crescentes de capacidade e desempenho de armazenamento conforme seu negócio expande.
Segurança
O Apsara File Storage for HDFS disponibiliza diversos mecanismos de segurança para proteger os dados do seu sistema de arquivos. Esses mecanismos incluem controle de acesso padrão do sistema de arquivos, controle de acesso baseado em grupos de permissões e controle de acesso para usuários do Resource Access Management (RAM).
Interfaces
O kit de desenvolvimento de software (SDK) do Apsara File Storage for HDFS inclui um SDK do sistema de arquivos e um SDK do sistema de gerenciamento. Durante o atual preview público, apenas o SDK do sistema de arquivos está disponível. As operações de gerenciamento podem ser realizadas no console. O SDK do Apsara File Storage for HDFS implementa a interface Hadoop FileSystem para fornecer um sistema de arquivos compatível com Hadoop. Ele é empacotado como um único arquivo JAR chamado aliyun-sdk-dfs-x.y.z.jar. Com esse SDK, aplicações de análise de dados do Apache Hadoop, como MapReduce, Hive, Spark e Flink, podem usar o Apsara File Storage for HDFS como sistema de arquivos padrão (defaultFS) sem modificação ou recompilação de código. Isso oferece vantagens funcionais e de desempenho em relação ao HDFS original.
Caso prefira utilizar uma aplicação web gráfica, use o console de gerenciamento para gerenciar seus sistemas de arquivos HDFS.
Modelo de custos
O faturamento do Apsara File Storage for HDFS baseia-se na capacidade de armazenamento e no throughput provisionado. Por padrão, o service é faturado por hora com base no uso real (pagamento conforme o uso). Também é possível adquirir planos de recursos por assinatura para pré-pagar uma cota de recursos e duração específicas, obtendo descontos maiores.