O Apsara File Storage for HDFS é um service de armazenamento de arquivos para recursos de computação, como instâncias do Alibaba Cloud ECS e service de contêiner. Gerencie e acesse dados no Apsara File Storage for HDFS da mesma forma que em um Hadoop Distributed File System (HDFS). Não modifique seus aplicativos atuais de análise de big data: utilize um sistema de arquivos distribuído que oferece capacidade ilimitada, dimensionamento de desempenho, um único namespace, acesso compartilhado, alta confiabilidade e alta disponibilidade.
Cenários
Apsara File Storage for HDFS é ideal para cenários de análise de big data e machine learning que exigem alto throughput. Ele fornece acesso de alto throughput e baixa latência, eliminando a necessidade de migrar dados para recursos de computação locais.
Após armazenar dados no Apsara File Storage for HDFS, recursos de computação como instâncias do ECS podem acessar os dados diretamente. Implante o Hadoop ou outros aplicativos de machine learning em vários recursos de computação. Em seguida, esses aplicativos podem acessar dados por meio da interface Hadoop FileSystem para realizar computação offline ou online. Você também pode gravar os resultados da computação diretamente no Apsara File Storage for HDFS para retenção permanente.
Desempenho
A principal métrica de desempenho do Apsara File Storage for HDFS é a capacidade de throughput. A largura de banda da instância do ECS limita o throughput máximo. Por exemplo, se uma instância do ECS tiver uma largura de banda de 1,5 Gbps, o throughput máximo pode chegar a 187,5 MB/s. A capacidade de throughput está relacionada à capacidade de armazenamento adquirida.
Durabilidade de dados e disponibilidade do service
Semelhante ao File Storage NAS, o Apsara File Storage for HDFS armazena várias réplicas de dados no backend, em diferentes dispositivos e domínios de falha. Esse design oferece 99,999999999% (onze noves) de confiabilidade de dados e reduz efetivamente o risco de perda de dados.
Escalabilidade e elasticidade
O Apsara File Storage for HDFS oferece alto throughput, alta taxa de operações de entrada e saída por segundo (IOPS) e desempenho de armazenamento de baixa latência para cargas de trabalho de aplicativos. Seu desempenho escala linearmente com a capacidade. Isso permite que o service atenda às demandas crescentes de capacidade e desempenho de armazenamento à medida que seus negócios crescem.
Segurança
O Apsara File Storage for HDFS fornece vários mecanismos de segurança para proteger os dados do seu sistema de arquivos. Esses mecanismos incluem controle de acesso padrão do sistema de arquivos, controle de acesso baseado em grupos de permissões e controle de acesso para usuários do Resource Access Management (RAM).
Interfaces
O software development kit (SDK) do Apsara File Storage for HDFS inclui um SDK de sistema de arquivos e um SDK de sistema de gerenciamento. Durante o atual preview público, apenas o SDK de sistema de arquivos está disponível. Execute operações de gerenciamento no console. O SDK do Apsara File Storage for HDFS implementa a interface Hadoop FileSystem para fornecer um sistema de arquivos compatível com Hadoop. Ele é empacotado como um único arquivo JAR chamado aliyun-sdk-dfs-x.y.z.jar. Com este SDK, aplicativos de análise de dados do Apache Hadoop, como MapReduce, Hive, Spark e Flink, podem usar o Apsara File Storage for HDFS como o sistema de arquivos padrão (defaultFS) sem modificação ou recompilação de código. Isso oferece vantagens funcionais e de desempenho em relação ao HDFS original.
Se preferir usar um aplicativo web gráfico, gerencie seus sistemas de arquivos HDFS pelo console de gerenciamento.
Modelo de custos
O faturamento do Apsara File Storage for HDFS é baseado na capacidade de armazenamento e no throughput provisionado. Por padrão, o service é faturado por hora com base no seu uso real (pagamento conforme o uso). Você também pode adquirir planos de recursos de assinatura para pré-pagar por uma cota e duração específicas de recursos e receber descontos maiores.