Hologres:Release notes archive

Melhorias principais de recursos

Descrição

Referências

Melhorias no mecanismo de computação e otimização de desempenho

• Mecanismo de execução principal atualizado (QE v2)

  • Avanço no processamento simultâneo: Quando os recursos dos workers são suficientes, mas a distribuição de shards é esparsa, o QE v2 aumenta o paralelismo para operadores intensivos em CPU (JOIN, AGG) sem sobrecarga de shuffle. Isso aproveita totalmente os recursos e reduz a latência das consultas.

  • Mais informações na execução adaptativa: O plano de execução agora exibe estados de operadores mais detalhados, incluindo condições de filtro, condições de junção, colunas de redistribuição e colunas de filtro.

• Aceleração inteligente de consultas (Otimização e Reescrita Baseadas em Histórico)

  • Reescrita automática de consultas para Dynamic Tables: O otimizador redireciona automaticamente consultas de tabela única em tabelas base para Dynamic Tables pré-computadas. Isso garante respostas em nível de milissegundos sem alterações no SQL.

  • Regras expandidas de Otimização Baseada em Histórico (HBO): Novas regras foram introduzidas, como Adaptive Join Order, Adaptive Segment Agg e Adaptive Runtime Filter.

  • Otimização forçada para consultas longas: Para consultas que executam por mais de 20 segundos e podem ser otimizadas, o mecanismo força as execuções subsequentes a usar o plano HBO. O plano de execução indica claramente quando o plano HBO é utilizado.

• Otimizações avançadas de operadores e análises em tempo real

  • Cálculo de UV de alta velocidade aprimorado: Suporta User Id Encoding, que mapeia strings de alta cardinalidade para IDs inteiros. Combinado com a computação incremental de Dynamic Table, isso permite cálculos de UV em larga escala, de alta velocidade e baixo custo em tempo real.

  • Execução baseada em stream otimizada para Window TopN: Em cenários de Hash Partition, o Window TopN agora usa classificação em mini-lotes baseada em stream por partição, em vez de classificação completa. Isso reduz a pressão máxima sobre a memória.

  • Desempenho de varredura aprimorado: O TopN Filter no processo de Scan agora pode usar o cache de resultados, reduzindo efetivamente a sobrecarga de varredura subjacente.

  • Hybrid DML otimizado para tabelas orientadas a linhas: Um novo mecanismo de amostragem para INSERT em tabelas orientadas a linhas determina dinamicamente a estratégia de junção. Isso melhora o desempenho na importação de grandes volumes de dados para tabelas pequenas.

• Reescrita de consultas de Dynamic Table

• Funções de atualização incremental suportadas

• Solução de Dynamic Table do Hologres para cálculo de UV de longo período

• Otimizar o desempenho de consultas

Integração profunda com lakehouse

• Função de análise EXTERNAL_FILES sem tabelas externas

  • Fluxo de trabalho simplificado para consultas ad hoc: A nova função EXTERNAL_FILES permite analisar diretamente arquivos Parquet ou ORC no OSS usando SQL padrão, sem necessidade de criar uma tabela externa.

  • Capacidade de exportação de dados: Esta função exporta dados de tabelas internas diretamente para o OSS, otimizando fluxos de trabalho para arquivamento de dados frios e troca de dados entre plataformas.

• Capacidades aprimoradas de leitura direta do MaxCompute

  • Suporte a poda granular: Ao ler diretamente de tabelas particionadas, o mecanismo agora suporta poda de partições e poda de chaves de clustering, o que reduz significativamente as varreduras de I/O.

  • Compatibilidade nativa de tipos: Adicionado suporte para leitura direta do tipo de dados JSON do MaxCompute. Isso melhora a eficiência no processamento de dados semiestruturados.

• Suporte a ingestão quase em tempo real

  • Ingestão quase em tempo real: Permite ingestão quase em tempo real por meio de um estágio de armazenamento temporário. Essa abordagem equilibra melhor o desempenho de gravação, o custo de recursos e a visibilidade dos dados do que os caminhos existentes de gravação em lote offline e em tempo real.

• Função de leitura de arquivos (EXTERNAL_FILES)

• Acessar o MaxCompute usando um link de tabela comum

Pesquisa e análise multimodal

• Pesquisa de texto completo aprimorada

  • Capacidades de tokenização aprimoradas: Suporta tokenizadores IK, N-gram e Pinyin para pesquisa de texto em chinês, pesquisa fuzzy em logs e pesquisa de nomes baseada em Pinyin.

• Pesquisa vetorial aprimorada

  • Recursos de índice vetorial otimizados: O índice em memória HGraph agora suporta compactação. Isso economiza 50% de memória com apenas 5% de perda de desempenho.

  • Desempenho de índice vetorial otimizado: O HGraph agora anexa dados de coluna aos arquivos de índice, permitindo a recuperação direta de colunas durante a pesquisa sem consultar a tabela de destino.

• Índice invertido de texto completo

• Guia de uso do índice HGraph (Recomendado)

O&M de nível empresarial e estabilidade do sistema

• Isolamento de carga de trabalho arquitetônico

  • Pool de threads de consulta isolado: A execução de consultas agora fica isolada em um pool de threads dedicado. Isso evita interferências entre cargas de trabalho de consulta, gravações em tempo real e caminhos de controle do mecanismo de armazenamento em cenários de alta concorrência.

• Capacidades Serverless aprimoradas

  • Serverless Computing adaptativo aprimorado: Suporta isolamento automático de carga de trabalho, roteando o tráfego para um pool de recursos do Serverless Computing sob alta carga. Isso melhora o throughput e a estabilidade.

• Gerenciamento de recursos e estabilidade aprimorados

  • Troca dinâmica de warehouses com SQL: Alterne o warehouse conectado usando SQL padrão para melhorar o isolamento multilocatário e flexibilizar o O&M.

  • Capacidade aprimorada de alteração de esquema de tabela (Rebuild): A migração otimizada de metadados e dados reduz a janela de indisponibilidade de gravação durante alterações de esquema para menos de 10 segundos. As tabelas permanecem disponíveis para consulta.

  • Controle de tempo limite de espera de bloqueio: O parâmetro hg_experimental_lock_wait_timeout_ms foi introduzido para permitir que os usuários personalizem o tempo limite de espera de bloqueio em caminhos de gravação não FixedQE.

  • Gerenciamento de memória granular:

    • Os índices de texto completo agora são carregados pelo block cache em vez de residirem na memória, liberando espaço de memória de forma eficaz.

    • O algoritmo de mini-lote foi otimizado e agora suporta ConcatRecordBatch baseado em stream. Isso mitiga parcialmente erros causados por estruturas Arrow que excedem 2 GB e reduz a pressão máxima sobre a memória.

• Serverless Computing adaptativo

• Usar SQL para alternar o warehouse atual

• REBUILD

Recurso

Descrição

Referências

Capacidades aprimoradas de IA e recuperação

• (Beta) A AI Function impulsionada por LLM permite analisar e recuperar dados não estruturados, como texto e imagens. Todos os modelos são totalmente hospedados em nós de IA do Hologres para garantir desempenho, escalabilidade, governança, segurança de dados e conformidade. A AI Function suporta os seguintes casos de uso:

  • Use modelos de embedding com uma Object Table para realizar pesquisas vetoriais e de texto completo em dados não estruturados, como texto e imagens.

  • Resuma insights principais a partir de texto e imagens.

  • Filtre e classifique texto usando linguagem natural, além de traduzir e localizar conteúdo multilíngue.

  • Realize análises de sentimento e análises baseadas em dimensões para otimizar serviços.

  • Analise documentos para oferecer suporte a fluxos de trabalho de análise de dados e RAG.

• (Beta) A pesquisa vetorial HGraph melhora o desempenho em mais de 10 vezes com pesquisa híbrida escalar-vetorial para recuperação de imagens/vídeos, recomendações e detecção de segurança e fraudes. Índices híbridos em memória e em disco reduzem a memória em 80% com apenas 5% de queda no QPS (conforme VectorDB Benchmark), permitindo pesquisas vetoriais econômicas em grandes conjuntos de dados, como direção autônoma.

• (Beta) Esta versão adiciona suporte para índice invertido de texto completo e tokenizadores integrados para habilitar a pesquisa de texto completo. Os cenários suportados incluem:

  • Pesquisa por palavra-chave, frase ou linguagem natural.

  • Cálculo de pontuações BM25 para recuperação de similaridade de texto.

  • Combinação com pesquisa vetorial para suportar pesquisa híbrida de texto completo e vetorial.

  • Suporte a pesquisa híbrida de texto completo e escalar.

• (Beta) O índice secundário global permite consultas pontuais eficientes de chave-valor em colunas que não são de chave primária, ideal para feature stores e plataformas de e-commerce.

• AI Function

• Índice invertido de texto completo

• Índice secundário global

Melhorias no mecanismo

• Esta versão suporta o TopN Runtime Filter para acelerar consultas de dados em cenários TopN.

• (Beta) O Hologres agora suporta Time Travel para tabelas internas, permitindo consultar dados históricos em qualquer ponto dentro de um período definido.

• (Beta) Esta versão suporta Otimização Baseada em Histórico (HBO). O sistema coleta detalhes de execução de consultas lentas, analisa automaticamente os planos de consulta em busca de oportunidades de otimização e ajusta inteligentemente os planos com base nesse histórico.

/

Dynamic Table

(Beta) As External Dynamic Tables gravam dados processados de volta no Paimon em modo completo ou incremental, suportando processamento quase em tempo real de warehouse para warehouse, lake para warehouse, warehouse para lake e lake para lake. Combinado com instâncias serverless, isso permite processamento de data lake com custo ultrabaixo.

• Dynamic Table

• Instâncias Serverless

Melhorias de sintaxe

Esta versão suporta a cláusula QUALIFY, permitindo filtrar os resultados de funções de janela.

QUALIFY (Beta)

Extensões de funções e ecossistema

Compatibilidade aprimorada com o ecossistema ClickHouse. Esta versão adiciona suporte para múltiplas funções de truncamento de tempo, incluindo toDayOfMonth, toDayOfYear e toHour. Essas funções podem melhorar o desempenho em até 50% em comparação com a função original extract(field from timestamp).

Funções de data e hora

Serverless e elasticidade

• (Beta) Instâncias de virtual warehouse agora suportam dimensionamento elástico multicluster. Uma virtual warehouse consiste em um ou mais clusters e escala horizontalmente automaticamente com base na carga para isolamento de recursos e alta concorrência.

• (Beta) Instâncias de virtual warehouse fornecem forte isolamento de gravação. Qualquer virtual warehouse pode realizar gravações em lote sem depender da warehouse líder ou carregar um grupo de tabelas.

• (Beta) A capacidade de atualização a quente para instâncias de virtual warehouse foi aprimorada. Durante uma atualização, a execução de SQL é sem perdas e as conexões são restabelecidas perfeitamente após uma breve interrupção.

• Agora é possível alternar a virtual warehouse da conexão atual usando SQL.

• O Serverless Computing agora suporta leitura e gravação em tabelas externas DLF.

• Multicluster e Auto Scaling (Beta)

• Gerenciamento de virtual warehouse

• Arquitetura de instância de virtual warehouse

• Gerenciar permissões de usuário para virtual warehouses

• Alternar a virtual warehouse da conexão atual usando SQL

• Acelerar o acesso a data lakes no OSS usando DLF

• Usar Serverless Computing para executar tarefas de leitura e gravação

Análise de data lake

(Beta) O espelhamento de dados do MaxCompute pré-aquece dados em tabelas internas espelhadas com zero ETL, igualando o desempenho de consulta de tabelas internas do Hologres sem jobs de sincronização dedicados.

/

Recursos principais

Descrição

Documentos relacionados

Melhorias no mecanismo

• Suporta reutilização adaptativa ou inlining de expressões CTE.

• Otimiza cálculos de expressão BETWEEN.

Otimização da estratégia de reutilização de CTE

Dynamic Table

• O modo de atualização incremental agora suporta funções como ARRAY_AGG e STRING_AGG.

• O DataWorks Data Map agora suporta análise de linhagem de Dynamic Tables.

• ARRAY_AGG

• STRING_AGG

Capacidades de serviço aprimoradas

O Fixed Plan agora suporta expressões simples, permitindo consultas pontuais e gravações de chave-valor de alto QPS em mais cenários.

Acelerar a execução de SQL usando Fixed Plan

Extensões de funções e ecossistema

Adiciona suporte para expressões lambda e funções de array de ordem superior.

Expressões lambda e funções relacionadas

Capacidades Serverless

• O Serverless Computing agora suporta leitura e gravação em tabelas criptografadas, incluindo tabelas internas e tabelas externas do MaxCompute.

• O Query Queue foi aprimorado para classificar instruções SQL por tabela e rotear automaticamente solicitações de tabelas específicas para o Serverless Computing.

• Guia do usuário do Serverless Computing

• Query Queue

Capacidades de análise de data lake

• Suporta espelhamento de tabelas de data lake para Paimon a fim de acelerar consultas de data lake.

• Integra-se ao sistema de gerenciamento de metadados DLF 2.5, suportando catálogos Paimon no data lake usando a API REST do DLF.

• Este recurso usa zero ETL para pré-aquecer dados do data lake em tabelas internas espelhadas, melhorando significativamente a eficiência das consultas.

• O recurso Time Travel para Paimon permite ler dados históricos especificando um timestamp ou tag.

• Suporta leitura de dados de branch de tabelas Paimon, incluindo leitura de um branch específico e leitura com comportamento de fallback.

• Agora é possível desativar varreduras completas de tabela em tabelas particionadas para evitar consumo excessivo de recursos.

• Melhora o desempenho em 2 vezes para consultas em tabelas Paimon no benchmark TPC-H de 1 TB.

• Espelhamento de tabelas de data lake

• Acessar dados do Paimon com base no catálogo DLF

Melhorias no ecossistema

Adiciona suporte para aparar e compactar logs binários para reduzir o consumo de I/O.

/

Recurso

Descrição

Documentação

A instância serverless do Hologres (Beta) está disponível para uma prévia gratuita e exclusiva por convite.

Um novo tipo de instância serverless, construído sobre arquitetura cloud-native, oferece computação e armazenamento flexíveis e escaláveis no Hologres, sem a necessidade de compra antecipada de recursos dedicados ou custos por ociosidade.

Para solicitar um teste, preencha o formulário usando sua conta principal da Alibaba Cloud.

Instância serverless

Melhorias nos recursos principais

Descrição

Documentação relacionada

Tabela dinâmica

• Oferece suporte a particionamento dinâmico com base em tabelas particionadas lógicas, simplificando significativamente seu uso.

• Inclui um modo de atualização automática. Especifique a atualidade desejada dos dados e o mecanismo otimiza automaticamente a estratégia de atualização para oferecer maior flexibilidade.

• A atualização incremental agora suporta cenários de JOIN de fluxo duplo, aumentando a flexibilidade no processamento de dados em tempo real.

• A atualização incremental passou a suportar funções RoaringBitmap, permitindo cálculos incrementais para cenários complexos, como análise de visitantes únicos (UV) e visualizações de página (PV).

• O modo de atualização completa agora suporta Execução Adaptativa (Beta), melhorando a estabilidade ao reduzir erros OOM por meio de derivação dinâmica de recursos e ajustes de plano, mantendo baixa latência.

• CREATE DYNAMIC TABLE

• Atualização incremental

Capacidades serverless

• O Serverless Computing agora suporta cenários de DML mais complexos, incluindo INSERT OVERWRITE, RESHARDING e CTAS, além de stored procedures, operações REBUILD e tabelas criptografadas.

• Introduz dimensionamento sem perdas de virtual warehouse (Beta) para garantir a continuidade dos negócios durante as operações de dimensionamento.

• Suporte a limitação automática (Beta). Este recurso limita dinamicamente a concorrência da fila de consultas com base na carga de trabalho, melhorando significativamente a estabilidade do cluster.

• Adiciona roteamento adaptativo para Serverless Computing, que encaminha automaticamente consultas grandes para execução em recursos serverless.

• Permite definir um limite diário de uso para o Serverless Computing.

• Otimiza a reutilização de cache para Serverless Computing em cenários de alta concorrência, melhorando o desempenho das consultas.

• Suporta o uso de uma função RAM para dimensionar virtual warehouses.

• Guia do usuário do Serverless Computing

• Notas de versão do Serverless Computing

• Gerenciar virtual warehouses

• Dimensionamento agendado (Beta)

• Limitação automática (Beta)

• Limite diário de uso

Otimização de desempenho e melhorias em consultas

• O mecanismo de consulta refatorado (QEv2) suporta computação com codificação leve, proporcionando uma melhoria de 33% no desempenho no teste de benchmark TPC-H de 1 TB.

• A otimização adaptativa do mecanismo aplica automaticamente pushdown de planos de agregação com base em um modelo de custo. Isso reduz o volume de dados nas operações JOIN, diminuindo significativamente a latência e a sobrecarga de CPU.

• O mecanismo agora infere automaticamente o atributo NOT NULL para chaves de JOIN e aplica pushdown da condição NOT NULL para filtrar valores NULL mais cedo. Também elimina automaticamente campos constantes da cláusula GROUP BY em agregações.

• Adiciona o recurso Query Cache, que acelera consultas armazenando seus resultados em cache.

• Aprimora os recursos de diagnóstico da view hg_stats_missing com novos campos, incluindo autovacuum_enabled (indica se o AUTO ANALYZE está ativado) e reason (explica por que as estatísticas estão ausentes). Isso simplifica o diagnóstico e a conclusão de estatísticas faltantes.

• O sistema AUTO ANALYZE foi otimizado. A coleta aprimorada de estatísticas agora recupera automaticamente a contagem de linhas para tabelas sem estatísticas, melhorando a qualidade do plano de consulta. Além disso, as estatísticas são mais persistentes, pois não são mais limpas por alterações de schema que não afetam a validade estatística, como operações RENAME ou movimentação de dados para cold storage. Isso reduz a carga do sistema e melhora a qualidade dos planos de execução.

• Resultados de testes de benchmark

• Query Cache

• View HG_STATS_MISSING

Gerenciamento de dados e otimização de escrita

• Otimização de armazenamento e índices

  • Introduz novas tabelas particionadas lógicas (Beta). Este recurso oferece maior flexibilidade com gerenciamento leve de metadados e administração simplificada de dados.

  • Adiciona suporte a colunas geradas armazenadas (Beta), que simplificam o processamento de dados e aceleram consultas por meio de pré-computação.

  • Apresenta a ferramenta REBUILD (Beta). Ela suporta a modificação de índices leves (como chave de distribuição, chave de clustering e chave de segmento) e outras alterações na estrutura da tabela.

• Melhorias na capacidade de escrita

  • O comando COPY para tabelas de chave primária agora suporta atualizações parciais de colunas, reduzindo a necessidade de cenários de FIXED COPY. Quando um frontend (FE) fixo é utilizado, suas conexões não contam para o limite de conexões do FE original.

  • Adiciona suporte nativo à sintaxe INSERT OVERWRITE, permitindo operações de sobrescrita mais flexíveis tanto em tabelas padrão quanto em tabelas particionadas lógicas.

• Tabela particionada lógica (Beta)

• Colunas geradas

• REBUILD

• COPY

• Melhores práticas para gravação de dados em lote no Hologres

• INSERT OVERWRITE

Extensões de funções e ecossistema

• Novas funções integradas

  • Adiciona funções de funil para associação de propriedades e agrupamento de dimensões.

  • Expande o conjunto de funções compatíveis com Spark e Presto para melhorar a eficiência de desenvolvimento entre mecanismos.

  • Algumas funções Roaring Bitmap agora suportam inteiros de 64 bits, ampliando seus casos de uso em análises de perfil de usuário.

• Suporte a funções remotas

  • Permite invocar uma UDF remota via Function Compute, oferecendo uma maneira flexível de estender as capacidades de ETL.

• Função de funil de associação de propriedades (finder_funnel)

• Função de funil de agrupamento de dimensões (finder_group_funnel)

• Funções compatíveis com Spark

• Funções compatíveis com Presto

• Resumo de tipos de dados

• Funções RoaringBitmap

• Funções definidas pelo usuário (Remote UDF)

Atualizações de recursos de nível empresarial

• Aprimora o gerenciamento de permissões corporativas. Agora é possível especificar um token de segurança nas opções de conexão do protocolo PostgreSQL para fazer login com uma função RAM usando JDBC ou PSQL.

• Introduz a lixeira de tabelas, que permite recuperar tabelas e seus dados após exclusão acidental.

• Aprimora a mascaramento de dados para suportar mascaramento em resultados de views e tipos de dados não TEXT. Isso fortalece significativamente a proteção de dados sensíveis e ajuda a prevenir ataques de força bruta.

• Lixeira de tabelas

• Mascaramento de dados

Capacidades de análise de data lake

• Suporte a fontes de dados externas

  • Aprimora a integração com fontes de dados externas, permitindo acesso contínuo a partir de ferramentas de BI populares como Quick BI, Tableau e Superset.

  • Agora é possível especificar um intervalo de atualização de metadados para fontes de dados externas.

  • As operações ANALYZE e AUTO ANALYZE agora são suportadas para fontes de dados externas.

  • Suporta gravação de dados em tabelas de chave primária Paimon usando INSERT INTO, facilitando o fluxo de dados entre o data lake e o warehouse.

  • Suporta gravação de dados em tabelas Iceberg usando INSERT INTO, expandindo a compatibilidade com formatos abertos de data lake.

• Aceleração transparente para MaxCompute

  • O acesso direto aos dados do MaxCompute agora é V2.0 (Beta). O mecanismo de leitura direta foi reestruturado com base no MaxCompute C++ Native SDK, melhorando ainda mais o desempenho e a experiência do usuário ao acessar fontes de dados do MaxCompute.

  • Suporta leitura direta de Delta Tables do MaxCompute (Beta).

  • Suporta leitura direta de dados mascarados dinamicamente do MaxCompute, proporcionando uma experiência integrada de mascaramento de dados (Beta).

  • Suporta leitura direta de tabelas do MaxCompute com schemas evoluídos. As operações suportadas incluem adição, exclusão e reordenação de colunas, além de modificação de tipos de colunas.

  • Use o novo recurso de Desenvolvimento de Dados no DataWorks para mapear projetos, schemas e tabelas do MaxCompute para o Hologres com um único clique.

  • Utilize o novo recurso de Desenvolvimento de Dados no DataWorks para importar dados de tabelas do MaxCompute para o Hologres com um único clique.

• ANALYZE e AUTO ANALYZE

• Acelerar acesso ao MaxCompute

• Acessar Delta Tables do MaxCompute a partir do Hologres

• Mapear metadados do MaxCompute para tabelas externas do Hologres

• Sincronizar dados do MaxCompute para tabelas internas do Hologres

Melhorias de recursos

Descrição

Documentação relacionada

Aprimoramentos das capacidades do mecanismo

• Introduz a Dynamic Table com modos de atualização completa e incremental. Os dados fluem e são atualizados automaticamente, permitindo camadas de dados em tempo real, processamento unificado de stream e batch, além de flexibilidade na atualização dos dados para análises.

• O Serverless Computing foi atualizado para suportar operações SELECT e COPY. Isso oferece uma solução de recursos nativa da nuvem para consultas temporárias de grande escala.

• Os Virtual Warehouses agora suportam dimensionamento automático agendado (Beta), permitindo ajustar os recursos de computação conforme um cronograma. Esse recurso ajuda a atender demandas flutuantes, evita interferências entre cargas de trabalho e maximiza a utilização dos recursos.

• Adiciona suporte a filas de consulta:

  • Crie filas de consulta conforme as necessidades do negócio e configure sua concorrência e tamanho para melhorar a estabilidade da instância.

  • A governança de consultas pesadas foi aprimorada. Agora é possível definir um tempo limite para consultas longas em uma fila, reduzindo seu impacto na instância. Consultas que atingem o tempo limite podem ser reexecutadas usando recursos do Serverless Computing.

  • Use o Serverless Computing para executar todas as consultas de uma fila.

• O desempenho de escritas, atualizações e consultas pontuais usando Fixed Plan melhorou aproximadamente 10% em comparação à versão V2.2.

• Suporta a execução de INSERT OVERWRITE em tabelas pai particionadas.

• Adiciona suporte a procedimentos armazenados (Beta), que permitem definir SQL comum para simplificar a lógica da aplicação.

• A evolução de schema foi aprimorada para suportar a modificação de tipos de dados de colunas.

• O comando COPY foi melhorado. Ao importar dados para uma tabela com chave primária, configure uma política de atualização de linha completa para evitar erros de conflito de chave primária.

• Adiciona suporte a cross join para melhor desempenho em predicados de não igualdade, e agregação parcial para limitar o uso de memória e reduzir riscos de OOM em consultas com muitas chaves GROUP BY.

• O mecanismo de armazenamento foi aprimorado, melhorando o desempenho de atualização de tabelas orientadas a colunas quando uma segment key é definida como uma coluna sem escrita sequencial.

• As capacidades das funções foram expandidas:

  • A função TRY_CAST agora suporta DATE, TIMESTAMP e TIMESTAMPTZ como tipos de dados de destino.

  • Suporta a execução das funções ARRAY_AGG e STRING_AGG com as cláusulas DISTINCT e ORDER BY no Hologres Query Engine (HQE) para melhorar o desempenho das consultas.

• Guia de uso do Serverless Computing

• Dimensionamento automático agendado (Beta)

• Usar recursos do Serverless Computing para executar consultas em uma fila de consulta

• Melhores práticas para testes de estresse de escritas, atualizações e buscas pontuais de dados

• INSERT OVERWRITE

• Procedimentos armazenados

• ALTER TABLE

• COPY

• EXPLAIN e EXPLAIN ANALYZE

• Solucionar problemas comuns de OOM

• Funções de conversão de tipo

• Histórico de lançamento de funções

Melhorias de O&M e estabilidade

• Introduz auditoria de SQL em colaboração com o SLS para monitorar, registrar e analisar atividades do banco de dados, garantindo a segurança dos dados e a conformidade com políticas.

• Aprimora as capacidades de scale-out dos Virtual Warehouses, permitindo que operações de leitura e escrita continuem sem interrupção durante o processo de dimensionamento.

• Suporta o registro de operações DML e consultas com duração inferior a 100 ms na tabela de sistema de logs de consulta em formato agregado, o que melhora a observabilidade e a análise de SQL.

• CloudLens for Hologres

• Gerenciar Virtual Warehouses

• Dimensionamento automático agendado (Beta)

• Visualizar e analisar logs de consultas lentas

Integração com Lakehouse

• O novo recurso de Banco de Dados Externo suporta mapeamento de metadados no nível de catálogo para fontes de dados como Data Lake Formation (DLF) e MaxCompute, aprimorando as capacidades de gerenciamento de metadados e dados de data lakes.

• Suporta conexão a um metastore Hive para mapear metadados e acelerar transparentemente clusters EMR.

• Suporta a escrita de dados em tabelas append do Paimon usando a instrução INSERT INTO.

• Suporta a leitura do formato de tabela Iceberg, expandindo ainda mais o ecossistema de data lake.

• Aprimora as capacidades de segurança. Por padrão, funções vinculadas a serviço são usadas para passagem de identidade ao acessar o DLF 2.0. Também é possível acessar o DLF 2.0 usando uma função RAM.

• Expande as capacidades das tabelas.

  • O leitor para o formato Delta Lake foi reestruturado, melhorando significativamente o desempenho de leitura.

  • Suporta a otimização de vetor de exclusão do Paimon, melhorando o desempenho de consultas em cenários onde uma grande quantidade de dados foi excluída, mas ainda não compactada.

• A partir da versão V3.0.22, o Hologres suporta acesso às Delta Tables do MaxCompute.

• Acessar dados em um data lake OSS usando um metastore Hive (Beta)

• Acessar Delta Tables do MaxCompute a partir do Hologres

Melhorias de recursos

Descrição

Documentação relacionada

O Serverless Computing do Hologres conclui sua fase Beta

O Serverless Computing do Hologres concluiu sua fase Beta, está pronto para produção e coberto por um SLA. Torna-se geralmente disponível em 1º de julho de 2024 (UTC+8).

• Uso e faturamento

• Serverless Computing

Melhorias de recursos

Descrição

Documentação relacionada

Aprimoramentos das capacidades do mecanismo

• O desempenho geral do mecanismo melhorou cerca de 15% em relação às versões anteriores, com foco na evolução do HQE e do Query Optimizer (QO):

  • Otimizações no Hologres Query Engine (HQE) melhoraram o desempenho nos seguintes cenários:

    • A capacidade de Runtime Filter foi aprimorada para suportar cenários de shuffle join, aumentando a eficiência das consultas nesses casos em aproximadamente 30%.

    • O mecanismo de conexão RPC do HQE foi otimizado. Os dados dentro de cada worker são mesclados antes de serem distribuídos para outros workers. Isso reduz significativamente a sobrecarga de rede e melhora o desempenho das consultas em 8% em cenários que envolvem shuffles.

  • Otimizações no Query Optimizer (QO) aumentaram a velocidade de processamento de instruções SQL na fase de planejamento em 40%:

    • O mecanismo de alocação de memória e o algoritmo de join foram otimizados para melhorar o desempenho de consultas em cenários com múltiplos joins.

    • O comportamento da função DATE_PART foi otimizado para aumentar a eficiência de consultas em campos relacionados a tempo, como ano.

    • O comportamento de comparação para campos dos tipos DATE e TIMESTAMP foi otimizado para melhorar a eficiência de consultas em colunas baseadas em tempo.

    • Operações em funções complexas com filtros foram otimizadas. Essa otimização reordena múltiplos filtros para reduzir a quantidade de dados computados, aumentando a eficiência das consultas.

• Introduz o Serverless Computing para executar jobs de longa duração (importação de dados, ETL) em um pool de recursos compartilhado, reduzindo a contenção de tarefas e melhorando a estabilidade da instância. Disponível apenas em regiões selecionadas.

• O Auto Partition para partições dinâmicas agora permite personalizar os horários de criação e exclusão de partições, bem como o tempo de migração para tabelas de armazenamento frio, o que melhora a usabilidade do recurso.

• Adiciona suporte à sintaxe de hints SQL. Use hints para alterar o plano de execução de uma instrução SQL, permitindo otimização de desempenho granular.

• A função hg_stat_activity foi otimizada para fornecer métricas de CPU e memória mais precisas. Ela também suporta a visualização do progresso de importações de dados do MaxCompute para o Hologres, o que melhora significativamente a observabilidade de consultas ativas.

• Adiciona novas funções de análise de caminho. Analise o tráfego e o tempo gasto em cada nó de um caminho para embasar estratégias de operação de produtos e otimizações de design.

• As capacidades das funções foram expandidas:

  • Suporta a função de conversão de tipo try_cast, que converte automaticamente dados inválidos para NULL em vez de gerar um erro, simplificando o tratamento de dados excepcionais.

  • Adiciona novas funções de data e hora: dateadd, datediff e last_day.

  • Suporta a execução de mais funções de agregação de uso geral no Hologres Query Engine (HQE) para melhorar o desempenho das consultas.

• Guia de uso do Serverless Computing

• Gerenciar partições dinâmicas

• HINT

• Gerenciar consultas

• Funções de análise de caminho

• Funções de conversão de tipo

• Histórico de lançamento de funções

Melhorias de O&M e estabilidade

• Adiciona suporte a fingerprints SQL e os reporta em logs de consultas lentas. O agrupamento e a análise de fingerprints SQL melhoram as capacidades de diagnóstico de problemas e monitoramento de anomalias.

• Expõe métricas de monitoramento para QE, FixedQE e binlogs para melhorar a observabilidade e a manutenibilidade.

• O HoloWeb agora suporta o Query Insight, que permite recuperar informações de execução de consultas, metadados de tabelas e detalhes de solução de problemas de locks com um único clique, aumentando ainda mais a eficiência na resolução de problemas.

• Adiciona suporte a recuperação de desastres entre AZs. (Este recurso está disponível apenas em regiões selecionadas.)

• Os códigos de erro e mensagens de erro do mecanismo foram otimizados para melhorar a eficiência da análise de logs de consultas lentas.

  • A lógica de cálculo de duração de DDL foi otimizada para melhorar a precisão dos tempos de execução coletados para operações DDL.

  • Suporta o registro de resultados do EXPLAIN ANALYZE em logs de consultas lentas, fornecendo dados detalhados de tempo de execução para cada operador.

• A tecnologia subjacente para atualizações de versão foi otimizada. Essa otimização usa a nova tecnologia Physical Restore para reduzir significativamente o tempo de atualização de instâncias com grande quantidade de metadados, minimizando o impacto nos negócios.

• Os locks de tabela do nó FE foram atualizados para locks de curta duração, resolvendo operações DDL travadas e erros de inconsistência de metadados, melhorando a estabilidade do FE.

• As capacidades da OpenAPI foram atualizadas com novas APIs para aceleração de data lake e grupos de recursos, aprimorando as operações e o gerenciamento de instâncias.

• Visualizar e analisar logs de consultas lentas

• Query Insight

• Problemas comuns com instruções SQL do Hologres

• Visão geral da API

Extensões do ecossistema

• O recurso Auto Load para tabelas externas agora suporta o modelo de três camadas do MaxCompute. Use o parâmetro hg_experimental_auto_load_foreign_schema_mapping para especificar mapeamentos de schema. Este recurso também suporta evolução de schema para tabelas externas do MaxCompute, incluindo adição ou exclusão de colunas e modificação de nomes ou ordem de colunas.

• O recurso Auto Load para tabelas externas agora suporta carregamento automático via metadados DLF para acelerar consultas em tabelas armazenadas no OSS.

• A arquitetura de data lake foi atualizada. Tabelas externas nos formatos ORC e Parquet agora suportam cache multinível usando discos de alta velocidade integrados e memória, além de suportarem pushdown de predicados. Isso melhora significativamente o desempenho de leitura.

• Acesse tabelas externas do MaxCompute por meio de uma função vinculada a serviço, simplificando a configuração de permissões. Autorize com um único clique no console do Hologres.

• O HoloWeb agora permite navegar visualmente pelos dados no OSS e nas tabelas dentro de schemas especificados pelo modelo de três camadas do MaxCompute.

• Auto Load para tabelas externas

• Função vinculada a serviço para Hologres

• Criar uma tabela externa OSS

• Criar uma tabela externa MaxCompute

Recurso

Descrição

Documentação relacionada

Aprimoramentos do mecanismo

• Otimiza automaticamente o desempenho de tempo de execução para expressões COUNT DISTINCT simples e múltiplas, melhorando significativamente a eficiência de consultas em cenários de COUNT DISTINCT.

• O Row Group Filter para tabelas orientadas a colunas registra valores mínimos/máximos por grupo de linhas, permitindo que o otimizadore pode grupos inteiros sem ler dados, reduzindo I/O e melhorando o desempenho das consultas.

• A capacidade de Runtime Filter foi otimizada para suportar cenários de join com múltiplas colunas, melhorando significativamente a eficiência de joins.

• Agora é possível acionar manualmente uma compactação completa para mesclar arquivos pequenos e melhorar a eficiência das consultas.

• Adiciona funções de análise de funil baseadas em intervalos para analisar e comparar a conversão de atividade dos usuários.

• Adiciona a extensão Bit-Sliced Index (BSI) para melhorar o desempenho e a usabilidade em cenários de tags de alta cardinalidade e para consultas conjuntas em tags de perfil de usuário e tags de comportamento.

• A clustering key agora suporta ordem decrescente. Use a clustering key em cenários de ordenação para melhorar o desempenho das consultas.

• O mecanismo de cache para infrequent access storage foi otimizado para melhorar seu desempenho de consulta.

• Adiciona as sintaxes CREATE TABLE WITH e ALTER TABLE SET para substituir a sintaxe original set_table_property, simplificando o processo de definição de propriedades de tabela.

• Otimiza escritas em tabelas sem primary key. Escritas em lote nessas tabelas agora usam locks no nível de linha em vez de locks no nível de tabela, permitindo que sejam executadas simultaneamente com o Fixed Plan.

• A computação vetorial Proxima agora suporta a criação de tabela e importação de dados vetoriais antes da criação de um índice vetorial. Isso reduz o tempo de criação do índice e simplifica o uso da computação vetorial.

• Aprimoramentos de funções:

  • Várias funções de array agora podem ser executadas no HQE para melhorar o desempenho das funções.

  • Adiciona a função KeyValue para dividir strings.

  • Adiciona a função IF para simplificar cenários de verificação de tipo e reduzir custos de migração do MySQL.

• Otimização de Count distinct

• Runtime Filter

• Compactação (Beta)

• Funções de funil

• Funções BSI

• Análise de perfil - Solução de otimização BSI

• Clustering key

• Armazenamento em camadas de dados

• CREATE TABLE

• Locks e solução de problemas de locks

• Computação vetorial Proxima

• Notas de lançamento de funções

• Função KeyValue

• IF

Melhorias de O&M e estabilidade

• O diagnóstico de consultas lentas foi aprimorado para análises mais eficientes.

  • Agora é possível registrar resultados do EXPLAIN ANALYZE em logs de consultas lentas, fornecendo dados detalhados de tempo de execução para cada operador.

  • O diagnóstico do Fixed Plan foi aprimorado. Em cenários de escrita, os dados de affected_rows são reportados ao warehouse de metadados. Em cenários de consulta, os dados de result_rows e result_bytes são reportados ao warehouse de metadados.

• Adiciona a função hg_relation_size para consultar o uso detalhado de armazenamento de uma tabela.

• Adiciona compatibilidade com o comportamento nativo do PostgreSQL e suporte a balanceamento de carga. Isso habilita o balanceamento de carga e o failover automático em uma arquitetura primária/secundária, melhorando a disponibilidade do serviço.

• A OpenAPI foi aprimorada com novas APIs para criar, renovar, dimensionar e liberar instâncias, melhorando o O&M e o gerenciamento de instâncias.

• Visualizar e analisar logs de consultas lentas

• Acelerar a execução de SQL com planos fixos

• Funções de armazenamento de tabela

• Balanceamento de carga baseado em JDBC

• Visão geral da API

Expansão do ecossistema

A aceleração de data lake agora suporta o formato de armazenamento Paimon.

Acelerar o acesso a dados em data lakes OSS usando DLF

Recurso

Descrição

Documentação relacionada

Aprimoramentos do mecanismo

• Introduz o Runtime Filter para otimizar a filtragem durante operações de join. Esse recurso reduz a quantidade de dados verificados e diminui a sobrecarga de I/O, melhorando o desempenho em mais de 20% em cenários típicos de join de múltiplas tabelas.

• O mecanismo de consulta adicionou um mecanismo de Lazy Create Fragment Instance. Em cenários de pré-visualização que usam uma cláusula LIMIT N em tabelas grandes, esse mecanismo reduz a sobrecarga e melhora significativamente o desempenho das consultas.

• O formato de exibição para planos de execução (EXPLAIN e EXPLAIN ANALYZE) foi totalmente otimizado para melhor legibilidade, simplificando o ajuste de desempenho de SQL.

• Aprimora o suporte a transações distribuídas, agora incluindo transações com múltiplas instruções DML.

• Suporta DROP COLUMN.

• Suporta a sintaxe CREATE TABLE AS para simplificar cenários de iteração e otimização de schema.

• Suporta COPY em streaming, o que melhora o throughput de escrita e elimina a necessidade de lotes.

• Suporta a definição de um bitmap index no armazenamento colunar JSONB para acelerar consultas com filtros de igualdade.

• Suporta a definição do tipo DATE como chave primária e como chave de partição para uma tabela particionada. A poda de partições foi otimizada e é suportada mesmo quando o comprimento do array IN para o campo de partição excede o limiar (padrão: 100).

• Mais otimizações internas do mecanismo:

  • O mecanismo de armazenamento otimiza o mecanismo Tablet Lazy Open, que é suportado tanto para instâncias primárias quanto secundárias. Tabelas que não foram acessadas por mais de 24 horas são fechadas automaticamente para liberar memória. Quando a quantidade de dados em tabelas abertas excede um limiar, uma política de uso menos recente (LRU) é usada para selecionar dinamicamente um tablet correspondente para fechar. Isso reduz a sobrecarga de memória residente em cenários com muitas tabelas.

  • O mecanismo de armazenamento otimiza o mecanismo de gerenciamento de armazenamento de schema. Um Meta Tablet agora gerencia todos os schemas, o que reduz a sobrecarga de memória residente em ambientes com muitas tabelas e shards.

  • O mecanismo de armazenamento otimiza sua capacidade de recuperação rápida. Ele agora pode iniciar no modo de reparo para uma recuperação rápida se algumas tabelas tiverem problemas com a recuperação convencional. O gerenciamento de metadados agora suporta recuperação lógica por padrão, o que reduz efetivamente o tempo de recuperação em cenários com muitas partições. Para cenários com dezenas de milhares de partições, a recuperação é mais de cinco vezes mais rápida.

• Aprimoramentos de funções:

  • Mais funções agora podem ser executadas no HQE para melhorar o desempenho das funções.

    • A estrutura de suporte a Table Function foi reestruturada para suportar a execução de generate_series (INT, BIGINT e NUMERIC) no HQE.

    • A estrutura de suporte a funções PQE foi reestruturada para suportar a execução de left, right, text::timestamp e timestamp::text no HQE.

  • Adiciona funções de array, incluindo array_max, array_min, array_contains, array_except, array_distinct e array_union.

  • Adiciona as funções de agregação max_by e min_by para simplificar operações ordenadas em cenários de janela.

• Runtime Filter

• EXPLAIN e EXPLAIN ANALYZE

• Capacidades de transação SQL

• Excluir coluna (Beta)

• CREATE TABLE AS

• COPY

• JSONB colunar

• CREATE PARTITION TABLE

• Notas de lançamento de funções

• Funções ARRAY

• MAX_BY

• MIN_BY

Melhorias de O&M e estabilidade

• Introduz o hg_stat_activity sobre o pg_stat_activity. É compatível com a visualização original, mas fornece informações de diagnóstico de tempo de execução muito mais ricas, como estágio de execução, tipo de mecanismo de execução, uso de recursos e informações de locks em tempo de execução.

• Implementa replicação no nível de shard. Isso suporta alta disponibilidade e balanceamento de carga para dimensionamento de throughput dentro de uma única instância. Pode tolerar falhas parciais de máquinas e hotspots desiguais.

• O Auto Analyze foi redesenhado com uma arquitetura distribuída, agora suportando tabelas externas, clusters de aceleração de lakehouse e análise incremental para tabelas particionadas. Resolve falhas de análise em tabelas muito grandes ou largas, levando a planos de execução mais estáveis e menor sobrecarga.

• Otimiza a configuração de criptografia de armazenamento para suportar configurações flexíveis de criptografia por tabela.

• Melhora o mecanismo de linhagem de dados. Agora suporta análise de linhagem entre mecanismos entre MaxCompute e Hologres no DataWorks e pode analisar a linhagem de expressões como CTEs.

• Consultar a visualização hg_stat_activity

• Múltiplas réplicas no nível de shard em instância única

• Configurações de criptografia de armazenamento no nível de tabela

• Linhagem de dados

Expansão do ecossistema

• Atualiza o mecanismo de aceleração de consulta para tabelas externas do MaxCompute para maior compatibilidade e estabilidade.

• Em cenários de aceleração de lakehouse com gerenciamento integrado de metadados do DLF, agora é possível usar catálogos de dados do DLF (Multi-Catalog) para isolamento de metadados. Isso simplifica o isolamento de metadados entre clusters de teste, desenvolvimento e interdepartamentais.

• Em cenários de aceleração de lakehouse, esta versão adiciona suporte para acelerar dados armazenados no OSS-HDFS (também conhecido como JindoFS). Isso atende melhor aos cenários de computação de data lake no ecossistema de big data Hadoop e áreas de IA.

• Adiciona funções compatíveis com ClickHouse para simplificar a migração de dados e jobs.

• Acelerar o acesso a dados em data lakes OSS usando DLF

• Acelerar o acesso a dados em data lakes OSS-HDFS usando DLF

• Importar dados do ClickHouse

Recurso

Descrição

Referências

Aprimoramentos do mecanismo

• Adiciona suporte a visualizações materializadas em tempo real para melhorar o desempenho de consultas em cenários de agregação em tempo real (Beta).

• Adiciona armazenamento colunar para JSONB, o que melhora significativamente a eficiência de consultas estatísticas e aumenta a taxa de compressão de dados.

• Adiciona gerenciamento de partições dinâmicas para tabelas particionadas, incluindo criação e exclusão automática de sub-tabelas de partição.

• Adiciona a função de deduplicação precisa UNIQ, que melhora significativamente a eficiência de deduplicação, otimiza cenários de múltiplos COUNT DISTINCT e reduz o uso de memória.

• Otimizações do mecanismo:

  • Adiciona suporte para escrita direta na tabela pai de uma tabela particionada usando instruções INSERT que estejam em conformidade com o Fixed Plan.

  • Adiciona suporte a filtragem em expressões de agregação, incluindo string_agg() e array_agg().

  • Adiciona suporte ao tipo de dados RowType e funções relacionadas, como row() e row_to_json().

  • Adiciona suporte para modificar o schema de uma tabela.

  • Introduz o operador CTE Reuse para melhorar o desempenho de expressões with.

• Adiciona suporte para leitura do modelo de três camadas do MaxCompute (projeto.schema.tabela).

• Melhora a integração com o MaxCompute: agora é possível ler e escrever em tabelas transacionais, ler tabelas após evolução de schema (exclusão de coluna, reordenação ou alterações de tipo) e gravar de volta dados ARRAY e DATE.

• Gerenciar visualizações materializadas com SQL

• Tipos JSON e JSONB

• CREATE PARTITION TABLE

• Otimizar o desempenho de consultas

• INSERT

• Acelerar a execução de SQL com planos fixos

• Funções de string

• Funções JSON

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• Acelerar consultas em dados do MaxCompute usando uma tabela externa

• Exportar para o MaxCompute

Melhorias de O&M e estabilidade

• Introduz configuração self-service de uma instância secundária de armazenamento compartilhado para aumentar a elasticidade e a alta disponibilidade.

• Adicionada a tabela table_info do warehouse de metadados para aprimorar as capacidades de governança de dados.

• Reduz o consumo de memória de metadados otimizando o uso de memória.

• Adiciona suporte para backup periódico automático e backup manual, permitindo a recuperação de dados de operações acidentais.

• Implantação de alta disponibilidade com múltiplas instâncias e divisão de leitura/escrita (armazenamento compartilhado)

• Visualização e análise de informações estatísticas de tabelas

• Backup e recuperação locais

• Recuperar

Expansão do ecossistema

• Adiciona suporte de nível de produção para a extensão PostGIS.

• Adiciona o pacote de extensão Oracle, que fornece muitas funções compatíveis com Oracle.

• Usando o DLF, agora é possível ler tabelas externas nos formatos Hudi e Delta, e gravar dados nos formatos CSV, Parquet, SequenceFile e ORC em tabelas externas OSS.

• Melhora a compatibilidade com BI, alcançando uma taxa de aprovação de 99%+ no teste de compatibilidade Tableau (TDVT).

• Funções espaciais PostGIS

• Funções compatíveis com Oracle

• Baseado em DLF para acelerar o acesso a data lakes OSS

Recurso

Descrição

Documentação relacionada

Melhorias de operações e manutenção

• Adiciona isolamento de grupos de recursos (Beta). Crie grupos de recursos para isolar cargas de trabalho no nível de thread para diferentes usuários dentro de uma instância. Este recurso oferece melhor suporte a casos de uso multiusuário e multicenário.

• Suporta atualizações quentes online para instâncias Hologres. As operações de leitura (consulta) não são afetadas durante uma atualização. Para usar este recurso, solicite acesso entrando no grupo da comunidade Hologres.

• Isolar recursos de computação em uma única instância (Beta)

• Para informações sobre como entrar no grupo, consulte Obter suporte online.

Aprimoramentos do mecanismo

• Suporta armazenamento híbrido linha-coluna, que permite que uma única cópia de dados atenda tanto a consultas pontuais quanto a cargas de trabalho OLAP.

• Suporta consumo em tempo real de binary logging do Hologres via JDBC (Beta).

• Suporta ativação sob demanda e configuração dinâmica de binary logging.

• Suporta renomeação de colunas.

• Adiciona índices JSONB (Beta) para acelerar consultas em dados JSON.

• Otimiza o gerenciamento de metadados em memória adicionando cache e compressão para uso mais eficiente da memória.

• CREATE TABLE

• Consumir logs binários do Hologres usando JDBC

• Assinar logs binários do Hologres

• ALTER TABLE

• Tipos de dados JSON e JSONB

Aprimoramentos de tabelas externas

• Suporta leitura de dados nos formatos CSV, Parquet, SequenceFile e ORC do Object Storage Service (OSS) usando Data Lake Formation (DLF).

• Suporta consultas entre bancos de dados e consultas federadas em múltiplas instâncias Hologres.

• Acelerar o acesso a dados em data lakes OSS baseado em DLF

• Consultas entre bancos de dados (Beta)

Aprimoramentos de segurança

• Suporta criptografia de armazenamento de dados para tabelas internas do Hologres (Beta) para aumentar a segurança no acesso aos dados.

• Suporta leitura de dados criptografados do MaxCompute (Beta) para melhorar a compatibilidade com o ecossistema MaxCompute.

• Criptografia de armazenamento de dados

• Consultar dados criptografados no MaxCompute

Recurso

Descrição

Documentação relacionada

Aprimoramentos do mecanismo

• Suporta coleta automática de estatísticas de tabela. O sistema amostra automaticamente as estatísticas da tabela durante escritas e atualizações de dados para gerar melhores planos de consulta, eliminando a necessidade de executar manualmente ANALYZE TABLE.

• Alta confiabilidade no nível de milissegundos para consultas pontuais (Beta) com configurações de múltiplas réplicas no nível de shard, failover em milissegundos e retentativas de consulta para cenários de atendimento.

• Adiciona uma extensão RoaringBitmap, que fornece suporte nativo para o tipo de dados Bitmap e funções relacionadas.

• Adiciona as funções bit_construct e bit_match. Essas funções são otimizadas para cenários como segmentação de usuários e análise de atribuição, fornecendo filtragem mais eficiente para condições agregadas baseadas em IDs de usuário.

• Adiciona as funções range_retention_count e range_retention_sum para otimizar consultas de intervalo de vários dias para análise de retenção.

• Introduz uma ferramenta de resharding com uma função integrada que permite alterar a contagem de shards sem recriar tabelas, simplificando o processo de ajuste.

• Otimiza o formato de compressão padrão para column store para AliORC, melhorando a taxa de compressão de armazenamento em 30% a 50%.

• ANALYZE e AUTO ANALYZE

• Leituras de alto throughput de múltiplas réplicas de um shard em uma única instância (Beta)

• Funções RoaringBitmap

• Funções para segmentação de usuários

• Funções de funil

• Gerenciar Table Groups e contagens de shards

• Alterar o formato de armazenamento de dados de uma tabela orientada a colunas

Aprimoramentos de consulta de tabela externa

• Melhora o desempenho de consulta para tabelas externas do MaxCompute (Beta) em 30% a 100% em comparação à versão anterior, graças a um novo mecanismo de aceleração.

• Adiciona integração com Data Lake Formation (DLF) (Beta) para ler dados do Object Storage Service (OSS).

• Otimizar o desempenho de consulta para tabelas externas do MaxCompute

• Acelerar o acesso a dados em data lakes OSS baseado em DLF

Otimizações de desempenho

• Melhora o desempenho de consultas pontuais, aumentando o throughput total em 100% para row store e 30% para column store.

• Otimiza operações de atualização, melhorando o desempenho das operações UPDATE e DELETE em 30%.

• Otimiza o cache de plano de consulta para reduzir a sobrecarga do otimizador.

/

Otimizações de O&M e segurança de nível empresarial

• Introduz identificação de consultas lentas. O histórico de status de consulta integrado permite visualizar todas as consultas do último mês para identificar rapidamente as lentas ou com falha.

Visualizar e analisar logs de consultas lentas

Recurso

Descrição

Documentação relacionada

Aprimoramentos do mecanismo

• Adiciona suporte a uma gama mais ampla de tipos de dados.

  • Tipos JSON e JSONB.

  • Tipos de tempo: interval, timetz, time.

  • Tipo de rede: inet.

  • Tipo monetário: money.

  • Tipos de sistema PostgreSQL: name, uuid, oid.

  • Outros tipos: bytea, bit, varbit.

• Adiciona suporte a mais tipos de funções, incluindo funções compatíveis com PostgreSQL e funções de extensão do Hologres.

  • Funções de array: Adiciona array_length e array_positions.

  • Funções para visualizar o tamanho de armazenamento de tabelas e bancos de dados: pg_relation_size e pg_database_size.

• Suporta exportação de dados do Hologres para o MaxCompute para arquivamento usando comandos SQL do Hologres.

• Suporta assinatura de binary logging do Hologres (Beta).

• Suporta modificação dinâmica de índices bitmap de tabela e codificação de dicionário. Suporta criação automática de codificação de dicionário com base nas características dos dados.

• Lança a biblioteca Holo Client, projetada para sincronização de dados em grande escala e cenários de consulta pontual de alto QPS. Usa lotes automáticos para melhorar o throughput.

• Otimiza o pipeline de escrita JDBC e o otimizador de consultas para melhorar significativamente a eficiência de escrita do mecanismo.

• Melhora a conectividade com o ecossistema de BI adicionando suporte a mais ferramentas de BI, como Tableau Server e Superset, para atender a várias necessidades de análise de negócios.

• Tipos de dados JSON e JSONB

• Tipos de dados

• Funções ARRAY

• Funções de armazenamento de tabela

• Exportar dados para o MaxCompute

• Assinar logs binários do Hologres

• ALTER TABLE

• Holo Client

Aprimoramentos de segurança

• Suporta login no Hologres com uma conta STS assumindo uma função, fornecendo uma opção de login mais segura e flexível do que usar contas Alibaba Cloud.

Autorização baseada em função RAM

Aprimoramentos de recursos principais

Descrição

Documentação relacionada

Aprimoramentos do mecanismo

• Use a instrução CREATE VIEW para criar uma visualização. Uma visualização pode ser baseada em uma única tabela, múltiplas tabelas (incluindo tabelas internas e externas) ou outras visualizações.

• O Hologres agora suporta os seguintes tipos de dados: SERIAL, DATE, TIMESTAMP, VARCHAR(n) e CHAR(n). Além disso, tabelas externas do MaxCompute agora suportam mapeamento de tipo de dados Array.

• O Hologres agora suporta INSERT ON CONFLICT. Este recurso permite atualizar ou pular linhas duplicadas com base na chave primária ao inserir dados.

• O Hologres agora suporta a instrução TRUNCATE.

• O Hologres agora inclui o mecanismo Proxima integrado para suportar busca vetorial em conjuntos de dados massivos. Este recurso está atualmente em Beta.

• VIEW

• Tipos de dados

• INSERT ON CONFLICT (UPSERT)

• Busca vetorial Proxima

Aprimoramentos de segurança

• O Hologres agora suporta mascaramento de dados. Configure várias políticas de mascaramento para ocultar informações sensíveis, como números de telefone, endereços e números de documentos de identidade.

• O Hologres agora se integra ao CloudMonitor para suportar monitoramento de métricas personalizadas e alertas com um clique.

• Mascaramento de dados

Restrições e limitações de consulta de tabela externa do MaxCompute

• Ao consultar tabelas particionadas do MaxCompute, é possível verificar até 512 partições, um aumento em relação às 50 das versões anteriores.

• Agora é possível verificar até 200 GB de dados subjacentes por consulta, independentemente do número de tabelas externas e colunas (anteriormente 100 GB).

Restrições e limitações