O JindoData é um conjunto de aceleração de armazenamento de data lake para ecossistemas de big data e IA. Ele oferece aceleração abrangente de acesso a sistemas de armazenamento de data lake na Alibaba Cloud e em outras plataformas.
Construído sobre uma arquitetura e um kernel unificados, o conjunto JindoData inclui o sistema de armazenamento JindoFS (anteriormente modo JindoFS Block), o sistema de aceleração de armazenamento JindoFSx (anteriormente modo JindoFS Cache), o JindoSDK para big data e ferramentas de ecossistema totalmente compatíveis, como JindoFuse e JindoDistCp.
Observações
O JindoData aplica-se ao EMR 5.14.0 e versões anteriores, bem como ao EMR 3.48.0 e versões anteriores.
O JindoData não tem suporte no EMR 5.15.0 e versões posteriores ou no EMR 3.49.0 e versões posteriores. Use JindoCache para cache e DLF-Auth para autenticação.
Sistema de armazenamento JindoFS
O JindoFS é um sistema de armazenamento nativo da nuvem baseado no OSS da Alibaba Cloud. Possui compatibilidade binária com o Apache HDFS e oferece um conjunto de recursos semelhante, o que simplifica o uso e a migração do HDFS. O JindoFS representa uma grande atualização em relação ao antigo modo JindoFS Block.
O service OSS-HDFS da Alibaba Cloud (service JindoFS) é a versão gerenciada do JindoFS na Alibaba Cloud. Profundamente integrado ao OSS da Alibaba Cloud, está pronto para uso imediato e elimina a necessidade de implantar e manter o JindoFS em clusters autogerenciados.
Para obter mais informações sobre o service OSS-HDFS, consulte What is the OSS-HDFS service?.
Sistema de aceleração de armazenamento JindoFSx
O JindoFSx, também conhecido como service JindoData, é uma grande atualização em relação ao antigo modo JindoFS Cache. Este sistema de aceleração nativo da nuvem agiliza o acesso ao armazenamento em nuvem para cargas de trabalho de big data e IA por meio de cache de dados, cache de metadados e aceleração P2P. O JindoFSx gerencia vários sistemas de armazenamento de backend sob um namespace unificado, mantém a compatibilidade com os protocolos de acesso nativos de cada sistema e fornece gerenciamento unificado de permissões. É otimizado nativamente para o OSS da Alibaba Cloud e o service OSS-HDFS da Alibaba Cloud, além de oferecer suporte a armazenamento de objetos multicloud, como Amazon S3, Apache HDFS e NAS.
Suporte e ferramentas do ecossistema
-
Suporte ao JindoSDK.
O JindoSDK fornece um SDK do Hadoop e interfaces HDFS baseadas em nuvem com otimizações integradas para o OSS da Alibaba Cloud, oferecendo desempenho significativamente superior à edição comunitária do Hadoop. Também oferece suporte ao sistema e service de armazenamento JindoFS, ao sistema de aceleração de armazenamento JindoFSx e ao armazenamento de objetos multicloud.
-
Disponibilidade da CLI JindoShell.
O JindoShell é uma interface de linha de comando (CLI) que estende os comandos shell do HDFS com recursos adicionais e otimizações de desempenho para operações de acesso a dados.
-
Suporte POSIX do JindoFuse
O JindoData oferece suporte POSIX para o OSS da Alibaba Cloud, o sistema e service de armazenamento JindoFS e o sistema de aceleração de armazenamento JindoFSx.
-
Migração de dados com JindoDistCp.
O JindoDistCp migra dados de HDFS local para a nuvem e entre provedores de nuvem. Oferece suporte à migração de vários sistemas de armazenamento para o OSS da Alibaba Cloud e o service JindoFS, com uso semelhante ao Hadoop DistCp.
-
Inclusão do JindoTable.
O JindoTable integra-se a mecanismos de computação como Spark, Hive e Presto para fornecer recursos de gerenciamento de dados tabulares.
-
Plug-ins de ecossistema
Além do suporte padrão ao Hadoop do JindoSDK, o JindoData fornece plug-ins adicionais, como o Flink Connector.