E-MapReduce:Kyuubi

Recursos

• Multilocação: o Kyuubi oferece suporte multilocatário de ponta a ponta para aquisição de recursos, acesso a dados e metadados por meio de uma camada unificada de autenticação e autorização.

• Alta disponibilidade: o Kyuubi usa o ZooKeeper para balanceamento de carga, garantindo alta disponibilidade de nível empresarial e concorrência ilimitada de clientes.

• Múltiplas cargas de trabalho: o Kyuubi gerencia diversas cargas de trabalho em uma única plataforma, com apenas uma réplica de dados e uma interface SQL unificada.

Cenários

• Análise interativa: o Kyuubi viabiliza plataformas analíticas empresariais para análises visuais interativas em big data. Ele é compatível com frameworks de computação comuns e com as interfaces Java Database Connectivity (JDBC) e Open Database Connectivity (ODBC), permitindo consultas eficientes via SQL ou ferramentas de business intelligence (BI). O Kyuubi armazena em cache as instâncias do mecanismo de back-end no nível do usuário para melhorar o compartilhamento de recursos e acelerar as respostas. Além disso, processa consultas em grandes conjuntos de dados em paralelo e retorna resultados rapidamente.

• Processamento de dados em lote: o Kyuubi disponibiliza uma interface SQL para tarefas comuns de processamento em lote, como grandes processos de extração, transformação e carga (ETL). Tanto o Kyuubi quanto seus mecanismos são independentes de armazenamento e compatíveis com diversas fontes de dados. O Kyuubi também isola as instâncias do mecanismo de back-end no nível da conexão, proporcionando melhor isolamento de recursos e maior estabilidade.

Comparação entre Kyuubi, Livy e Spark ThriftServer

Referências

• The Share Level of Kyuubi Engines

• The TTL of Kyuubi Engines