O Hologres é o mecanismo de data warehouse em tempo real completo da Alibaba Cloud. Esse serviço nativo da nuvem, compatível com PostgreSQL, processa ingestão de alto throughput, análises interativas em subsegundos e atendimento online de alta concorrência em um único sistema.
O Hologres oferece suporte a SQL padrão e é compatível com o protocolo e a sintaxe do PostgreSQL, o que permite transferir diretamente ferramentas, drivers e habilidades existentes. Ele se integra nativamente ao MaxCompute, ao Flink e ao DataWorks para formar uma pilha completa de data warehouse, atendendo tanto a cargas de trabalho offline quanto em tempo real.
Casos de uso comuns
O Hologres atende equipes que precisam de respostas rápidas sobre dados recentes em grande escala:
Painéis em tempo real e BI — Execute consultas OLAP multidimensionais e análises ad hoc em dados na escala de petabytes com tempos de resposta inferiores a um segundo. Assim, as equipes de negócios exploram os dados sem aguardar jobs em lote.
Serviços de dados voltados ao cliente — Forneça atendimento de dados online com alta concorrência e baixa latência, alcançando centenas de milhares de consultas por segundo (QPS). Esse recurso viabiliza buscas em tabelas de dimensão e mapeamento de IDs para pipelines de transformação em tempo real.
Aceleração de data lake — Consulte dados do MaxCompute de 5 a 10 vezes mais rápido do que em consultas diretas ao MaxCompute e sincronize dados do MaxCompute para o Hologres a milhões de linhas por segundo.
Pipelines de dados em tempo real — Escreva e atualize dados de streaming do Flink ou Spark com throughput mais de 10 vezes superior ao de sistemas open source, incluindo atualizações de agregação em tempo real para cenários de ETL e transformação.
Segmentação de público e controle de riscos — Alimente perfis de marketing, análises detalhadas, analytics self-service e fluxos de trabalho de controle de riscos em tempo real a partir de um único warehouse.
Recursos
Análises interativas em escala
O Hologres suporta análise multidimensional (OLAP) e análise ad hoc de dados na escala de petabytes. Sua arquitetura MPP com operadores vetorizados maximiza o poder de computação da CPU, enquanto a compressão de armazenamento AliORC e o throughput de I/O otimizado para SSD mantêm a latência das consultas em níveis inferiores a um segundo.
Os modos de armazenamento orientado a linhas, orientado a colunas e híbrido (linha-coluna) são totalmente suportados, permitindo ajustar o layout de armazenamento ao padrão de acesso de cada tabela. O Hologres também oferece suporte nativo a dados JSON semiestruturados com compressão de armazenamento colunar para JSONB, além de fornecer uma hierarquia de banco de dados em três níveis: DB, Schema e Table. As operações DML — Update, Delete e Upsert — têm suporte completo, assim como joins, aninhamentos e funções de janela.
Ingestão em tempo real e atendimento online
O Hologres possui integração nativa com frameworks de computação como Flink e Spark. Os conectores integrados suportam gravações e atualizações de dados em tempo real com alto throughput, incluindo tabelas de origem, tabelas de destino, tabelas de dimensão e mesclagens complexas de múltiplos streams. O throughput de gravação supera em mais de 10 vezes o dos sistemas open source.
O Hologres permite definir visualizações materializadas em tempo real, simplificando o desenvolvimento de tarefas como transformação e agregação de dados. Os dados são gravados em tempo real e as agregações são atualizadas instantaneamente.
O Hologres expõe eventos de atualização de tabela por meio de binary logging (Binlog), facilitando o desenvolvimento de tarefas de transformação e agregação de streaming. Dados gravados em tempo real acionam atualizações de agregação imediatas nas camadas do data warehouse.
Para atendimento de dados online, o Hologres entrega centenas de milhares de QPS em consultas pontuais a tabelas orientadas a linhas, utilizando índices de chave primária e otimização de caminho curto no mecanismo de consulta. Isso o torna ideal para buscas em tabelas de dimensão e mapeamento de IDs em pipelines de tempo real.
Armazenamento unificado para dados quentes e frios
O Hologres se federa com o MaxCompute para que você possa consultar conjuntos de dados do MaxCompute diretamente — com velocidade de 5 a 10 vezes superior à das consultas diretas ao MaxCompute — e sincronizar dados para o Hologres a milhões de linhas por segundo. Ele suporta importação automática de metadados e análise associada de dados quentes e frios.
O Hologres também acelera leituras de tabelas externas armazenadas no OSS-HDFS (armazenamento compatível com HDFS no Object Storage Service da Alibaba Cloud) e lida com formatos de armazenamento aberto, incluindo Hudi e Delta.
Segurança e operações empresariais
Segurança — O Hologres oferece políticas de controle de acesso granulares, criptografia de armazenamento de dados com Bring-Your-Own-Key (BYOK) e mascaramento de dados. Também há suporte para Data Security Guard, listas de permissões de endereços IP e múltiplos sistemas de autenticação, incluindo Resource Access Management (RAM), Security Token Service (STS) e contas independentes. O Hologres possui certificação PCI-DSS e suporta backup e recuperação de dados.
Isolamento de carga de trabalho — Múltiplas instâncias de computação formam uma arquitetura primário/réplica. As instâncias compartilham uma única cópia do armazenamento, mantendo recursos de computação isolados. Isso garante a separação entre gravações e leituras, bem como entre cargas de trabalho de consulta e de atendimento. Tal arquitetura facilita o gerenciamento de falhas e a recuperação automática rápida de nós com problemas. O Hologres utiliza o Pangu (armazenamento altamente confiável com redundância tripla) e não requer discos locais.
O&M self-service — O Hologres fornece informações de diagnóstico integradas, incluindo histórico de consultas e tabelas de warehouse de metadados. Utilize esses dados para identificar gargalos do sistema e riscos potenciais sem depender de ferramentas externas. O controle granular sobre cargas de trabalho de computação e permissões de acesso, métricas ricas de monitoramento e alertas, recursos de computação escaláveis e atualizações a quente atendem aos requisitos de confiabilidade empresarial.
Compatibilidade com ecossistema
O Hologres é compatível com o ecossistema PostgreSQL e fornece interfaces JDBC/ODBC para fácil integração com clientes SQL e ferramentas de BI, como Quick BI, DataV, Tableau e FanRuan. Ele se integra à plataforma de desenvolvimento DataWorks, permitindo construir pipelines sem a necessidade de aprender ferramentas adicionais.
Outras integrações incluem:
Ecossistema Hadoop — Conectores Hive e Spark permitem importações de alto throughput de plataformas baseadas em Hadoop para o Hologres.
GIS — Suporte integrado para análise de dados espaciais GIS.
Compatibilidade com Oracle — Pacote de extensão de funções Oracle para facilitar migrações.
Recuperação vetorial — O Hologres se integra ao Platform for AI e inclui um plugin de recuperação vetorial integrado, o DAMO Academy Proxima, que suporta armazenamento de features online em tempo real, recuperação em tempo real e busca vetorial.
Primeiros passos
Início rápido — Crie sua primeira instância do Hologres e execute uma consulta.
Conecte uma ferramenta de BI — Conecte o Hologres ao seu cliente SQL ou plataforma de BI existente via JDBC/ODBC ou driver PostgreSQL.
Ingira dados de streaming — Defina um conector do Flink para gravar dados em tempo real no Hologres.
Acelere consultas do MaxCompute — Crie uma tabela externa sobre o MaxCompute e execute consultas ad hoc sem mover dados.
Preços — Revise os tipos de instância e as opções de preços.