O OSS-HDFS (JindoFS) é um recurso de armazenamento de data lake nativo da cloud com gerenciamento unificado de metadados e total compatibilidade com a API do Hadoop Distributed File System (HDFS) para workloads de big data e IA.
Notas de uso
Ative o service do OSS-HDFS para um bucket. Os dados do service são armazenados no diretório
.dlsdata/do bucket. Não execute operações de gravação neste diretório e em seus objetos; não os renomeie nem os exclua usando métodos que não sejam do OSS-HDFS. Isso pode causar interrupções no service ou perda de dados.Se a sua conta tiver um pagamento em atraso ou caso você exclua a função do RAM dependente
AliyunOSSDlsDefaultRole, o service de background do HDFS poderá entrar no modo de segurança. No modo de segurança, todas as tarefas de background, como log de auditoria, exclusão assíncrona e armazenamento em camadas automático, são pausadas. O service é retomado automaticamente após a resolução do problema.
Ative o OSS-HDFS. A gravação no diretório .dlsdata/ por meio de outros recursos do OSS pode causar perda, corrupção ou inacessibilidade dos dados, conforme descrito em Prerequisites.
Faturamento
-
Taxas de uso de dados
Ao usar o service do OSS-HDFS, os blocos de dados são armazenados da mesma forma que no OSS. Portanto, os métodos de medição e faturamento do OSS se aplicam aos blocos de dados no service do OSS-HDFS. Para mais informações, consulte Billing overview.
Benefícios
O OSS-HDFS funciona com aplicações Hadoop e Spark existentes sem necessidade de modificação. Após a configuração básica, gerencie os dados como no HDFS nativo, com os benefícios adicionais do OSS: capacidade praticamente ilimitada, escalabilidade elástica e maior segurança, confiabilidade e disponibilidade.
O OSS-HDFS processa exabytes de dados e bilhões de arquivos com throughput no nível de terabytes. Além do namespace plano do armazenamento de objetos padrão, ele fornece um namespace hierárquico que organiza os objetos em diretórios, com conversão automática de namespace por meio do gerenciamento unificado de metadados. Em vez da redundância ativa-standby do NameNode no HDFS tradicional, o OSS-HDFS usa redundância ativa-ativa de múltiplos nós para uma resiliência superior. Os usuários do Hadoop acessam os dados com a mesma eficiência do HDFS local, sem replicação ou conversão, o que melhora o desempenho dos jobs e reduz os custos de manutenção.
Recursos
|
Recurso |
Descrição |
Referências |
|
RootPolicy |
Insira um prefixo personalizado para o OSS-HDFS para que os jobs sejam executados sem alterar o prefixo de acesso original |
|
|
ProxyUser |
Permita que um usuário execute operações do sistema de arquivos em nome de outros usuários, como acessar dados confidenciais. |
|
|
UserGroupsMapping |
Configure mapeamentos entre usuários e grupos de usuários. |
Casos de uso
O OSS-HDFS oferece suporte a casos de uso de big data e IA:
Hive e Spark
O OSS-HDFS é ideal para data warehouses offline construídos com Hive e Spark. Ele oferece suporte nativo a semânticas de arquivos e diretórios, permissões, operações atômicas de diretório, renomeações em nível de milissegundo, setTimes, atributos estendidos (XAttrs), ACLs e aceleração de cache de leitura local. Em workloads de ETL, o OSS-HDFS supera significativamente os buckets padrão do OSS.
OLAP
O OSS-HDFS fornece acesso POSIX por meio do JindoFuse, oferecendo aos mecanismos OLAP acesso de leitura unificado aos dados para uma arquitetura de armazenamento e computação desacoplados. O cache integrado acelera o desempenho das consultas.
Desacoplamento do HBase
O OSS-HDFS oferece suporte nativo a semânticas de arquivos e diretórios e operações de flush, permitindo que ele substitua o HDFS em uma arquitetura de armazenamento e computação desacoplados para o HBase. Ao contrário do OSS padrão, isso armazena o Write-Ahead Log (WAL) diretamente no OSS-HDFS, simplificando a arquitetura. Use OSS-HDFS as the underlying storage for HBase.
Computação em tempo real
O OSS-HDFS oferece suporte a flush e truncate e substitui perfeitamente o HDFS para sinks e checkpoints na computação em tempo real do Flink.
Migração de dados
O OSS-HDFS permite a migração tranquila de dados do HDFS do ambiente local para a cloud, reduzindo os custos de armazenamento por meio de dimensionamento elástico e preços de pagamento conforme o uso. O JindoDistCp migra dados do HDFS (incluindo atributos de arquivo e metadados) para o OSS-HDFS e fornece comparação rápida de dados usando checksums do HDFS.
Mecanismos suportados
|
Ecossistema |
Mecanismo/Plataforma |
Referências |
|
ecossistema open source |
Flink |
Use open source Flink with JindoSDK to process data in OSS-HDFS |
|
Flume |
||
|
Hadoop |
||
|
HBase |
||
|
Hive |
||
|
Impala |
||
|
Presto |
||
|
Spark |
||
|
ecossistema da Alibaba Cloud |
EMR |
|
|
Flink |
||
|
Flume |
Use Flume to synchronize data from an EMR Kafka cluster to OSS-HDFS |
|
|
HBase |
Use OSS-HDFS as the underlying storage for HBase on an EMR cluster |
|
|
Hive |
||
|
Impala |
||
|
Presto |
||
|
Spark |
||
|
Sqoop |
Use Sqoop on an EMR cluster to read and write data in OSS-HDFS |