E-MapReduce:Kernel release notes

Categoria

Descrição

Engine

Melhorias

• Otimização no tratamento de predicados IN e NOT IN grandes em colunas com codificação de dicionário. A correspondência de hash em lote substitui as consultas individuais ao dicionário, o que melhora o desempenho de consultas com listas extensas de constantes.

• Aprimoramento na liberação de recursos após o cancelamento de uma consulta. O cancelamento de um fragmento agora encerra ativamente os RPCs de exchange sink em andamento, em vez de aguardar o tempo limite dos RPCs, liberando os recursos da consulta mais rapidamente.

• Otimização na consulta de tempos de reciclagem de objetos na lixeira do catálogo (CatalogRecycleBin). As buscas agora são realizadas diretamente pelo ID do banco de dados, sem reconstruir todo o mapeamento de tabelas a cada vez, acelerando as operações de metadados quando existem muitos bancos de dados e tabelas.

Correções

• Correção de um problema em que a avaliação incorreta do estado de agendamento simultâneo no agendador de pipeline causava o despertar repetido das unidades de execução.

• Correção de campos de resultado desalinhados retornados por SHOW BACKUP quando um job de backup não estava na fase de snapshot ou upload.

• Resolução de um problema em que contadores decimais e contadores de taxa por segundo no Query Profile não eram analisados corretamente. Os resultados da análise de profile agora estão completos.

Separação de armazenamento e computação

Correções

• Correção de um problema de falta de memória que ocorria durante atualizações parciais no modo de coluna em tabelas de chave primária, quando milhões de novas linhas eram inseridas em um único lote, devido à construção imediata de todo o conjunto de dados.

Lakehouse

Novos recursos

• As tabelas Paimon suportam gravações no formato Lance, utilizáveis em pipelines de processamento de dados para cenários multimodais.

• O ID do snapshot Paimon pode ser passado para a fase de varredura de índice, garantindo o uso correto dos índices ao consultar um snapshot específico.

• O ODPS Catalog suporta as novas propriedades odps.arrow.timestamp.unit e odps.arrow.datetime.unit, que permitem configurar a precisão de tempo dos valores TIMESTAMP e DATETIME para corresponder à precisão da origem.

Melhorias

• Quando o Paimon falha ao recuperar um banco de dados, a mensagem de erro agora é repassada ao cliente, facilitando a localização de problemas de permissão e configuração.

• Atualização do Paimon Java SDK para a versão 1-ali-29.0.

Correções

• Correção de um problema em que o pushdown de índice TopN do Paimon não contabilizava o OFFSET no número de linhas candidatas, resultando em candidatos insuficientes para consultas paginadas e retornando resultados incorretos.

AI Function

Novos recursos

• Os recursos de embedding de texto e multimodal estão agora geralmente disponíveis. ai_embed e ai_custom_embedding retornam vetores de texto. ai_embed_multimodal e ai_custom_multimodal_embedding vetorizam imagens, vídeos e texto em um espaço vetorial unificado. ai_complete suporta compreensão de imagem, vídeo e áudio.

Correções

• Correção de um problema em que uma view criada a partir de uma função de IA registrava o nome do modelo em vez do nome do resource do modelo, causando a ausência do resource quando a view era resolvida novamente.

Categoria

Descrição

Recuperação multimodal em tabelas lake

• O Paimon Global Index suporta ANN vector Top-N, Tantivy FTS score() Top-N e pré-filtragem BTree/Bitmap.

• Suporte a consultas pontuadas de Global Index. O número de candidatos ANN e os parâmetros de busca são configuráveis, e a direção de ordenação foi corrigida para diferentes métricas de distância.

• Integração do Global Index com o DataCache, incluindo um novo cache de metadados de catálogo, cache escalar no nível de linha e métricas de Profile de índice.

• Suporte à leitura de Paimon BLOB e descritor BLOB. O Paimon-cpp Native Reader serve como caminho de fallback para leituras de Split.

• O Paimon Native Writer suporta gravações e shuffle de bucket fixo, adiciona paimon_bucket() e melhora a precisão de gravação de TIMESTAMP/TIMESTAMP_LTZ e a propagação de falhas de commit.

• Suporte a TRUNCATE TABLE do Paimon e redução da sobrecarga de enumeração de partições para tabelas particionadas sem metastore.

Recuperação multimodal em tabelas internas no modo de separação de armazenamento e computação

• Suporte à criação, gravação e leitura de índices vetoriais no modo de separação de armazenamento e computação.

• Os arquivos de índice vetorial estão incluídos nos metadados do Lake Tablet e suportam rastreamento preciso de Vacuum.

• Suporte à criação assíncrona de índices vetoriais, com fallback para computação de distância por força bruta quando os arquivos de índice estiverem ausentes.

• Suporte a similaridade de cosseno, produto interno, distância L2 e consultas vetoriais parametrizadas.

• A recuperação vetorial pode ser combinada com índices de texto completo/invertidos em tabelas internas e predicados SQL estruturados para formar um fluxo unificado de recuperação múltipla.

• Adição de métricas de Profile de recuperação vetorial para auxiliar no diagnóstico de recall e desempenho de execução.

Funções de IA

• Compreensão e governança de texto: ai_sentiment, ai_classify, ai_extract, ai_filter e ai_redact.

• Geração e transformação de texto: ai_complete, ai_translate, ai_summarize e ai_fix_grammar.

• Semântica e vetores: ai_similarity, ai_embed e ai_embed_multimodal.

• Resumo agrupado: ai_agg e ai_agg_summary.

• ai_complete suporta entrada de texto, imagens, vídeo, áudio e conteúdo múltiplo combinado. ai_embed_multimodal suporta URL, binário de imagem e entrada de conteúdo múltiplo.

• Suporte a roteamento de capacidade nativa compatível com OpenAI e DashScope, fornecendo micro-batching, limitação de taxa, estatísticas de tokens e governança de erros.

Melhorias de recursos, desempenho e estabilidade

• Paimon Global Index: Correção de problemas com agregação de resultados OR, intervalos de shard de índice, ordem de parâmetros ANN e direção de ordenação de métricas.

• E/S do Paimon: Melhoria na segurança de threads para leituras assíncronas e otimização do cache de metadados e dados para reduzir acessos remotos duplicados.

• Compatibilidade de tipos do Paimon: Melhoria no tratamento de INT96, TIMESTAMP, TIMESTAMP_LTZ e timestamps sem fuso horário.

• Estabilidade de gravação do Paimon: Unificação do roteamento de bucket fixo, propagação de falhas de commit e contexto do Native Writer.

• Fluss: Otimização do push-down de predicados, pruning de partições e reutilização de informações de partição, além de suporte adicionado para leitura de tabelas exclusivas do Fluss sem Lake Snapshot.

• Estabilidade de consultas: Correção de problemas com pruning de colunas de reordenação de Join, nós Analytic vazios após push-down de agregação, conflitos de ID de parâmetro Lambda e replanejamento de INSERT OVERWRITE.

• Estabilidade do sistema: Adição de tempo limite de gravação para entrega de resultados MySQL, debouncing de limpeza de transações AutoVacuum e métricas de consultas lentas no nível de warehouse.

Categoria

Descrição

Engine

Correções

• Correção de uma falha no BE em BinaryColumnBase::append quando _bytes está vazio.

• Correção de uma falha bad_weak_ptr no callback de closure brpc do SinkBuffer (cenário de destruição prematura do QueryContext).

• Correção de um problema em que ALTER TABLE SET storage_volume não gravava EditLog, causando dessincronização do Follower FE e perda de vinculação após a reinicialização do Leader.

• Correção de um SLF4J LinkageError durante o carregamento do JNI Connector no ChildFirstClassLoader.

• Correção de um deadlock causado por publicação em massa com lacuna de versão de partição.

• Correção de um problema em que o PipelineTimerTask ficava travado em waitUtilFinished.

• Correção de um erro lógico em check_short_circuit do EventScheduler.

Separação de armazenamento e computação

Correções

• Correção de roteamento desigual de sub-buckets no Composite SV quando IDs de partição recém-alocados possuem a mesma paridade de bits inferiores.

• Correção de um problema em que tablets sombra de alteração de esquema/rollup no Composite SV eram redirecionados para partições incorretas após mudanças no caminho do shard.

• Correção de substituição silenciosa de fallback quando a busca do FileStore por ID falha no Composite SV.

Lakehouse

Melhorias

• Adicionado suporte para namespaces de três níveis do MaxCompute (nova propriedade de catálogo odps.enable.namespace.schema; padrão: false).

• Atualização do Iceberg para a versão 1.10.0.

• Atualização do plugin iceberg do DLF.

Correções

• Correção de um problema em que user_agent_extended não era propagado do FE para o BE durante consultas Paimon.

Categoria

Descrição

Engine

Novos recursos

• [Beta] Adicionado suporte nativo a funções integradas de IA SQL.

• [Beta] Adicionado suporte para envio de jobs Spark Load para o EMR Serverless Spark.

Melhorias

• Adicionado mecanismo de tempo limite para o bloqueio do sistema de arquivos HdfsFsManager para evitar deadlocks em cascata.

• Exposição de métricas de monitoramento para os pools de threads Scan e Connector Scan.

• Adição de métricas de monitoramento de histograma Slow Lock para bloqueios críticos.

• Inclusão de métricas de monitoramento de latência de transações do FE.

• Criação de um pool de threads dedicado para busca de Tablet Metadata nativo da cloud, reduzindo a contenção no pool de threads principal.

Correções

• Correção de vários problemas de falha no BE, incluindo exceções de append em BinaryColumnBase e SLF4J Linkage Errors durante o carregamento do JNI Connector.

• Correção de um auto-deadlock no RoutineLoadJob durante a fase de publicação de transação, causado por uma ordem incorreta de aquisição de bloqueio, o que poderia resultar em perda de estado de importação após reinicialização do FE.

• Correção de um problema em que dependências de transação eram perdidas ao excluir um nó do grafo de dependências de transação.

• Correção de um problema em que o valor padrão de partition_refresh_number não entrava em vigor.

• Correção de uma definição duplicada para Thrift Field Ordinal 117.

• Correção de um problema em que o ErrorURL estava ausente no cenário de falha de importação "too many filtered rows".

Separação de armazenamento e computação

Novos recursos

• [Beta] Lake Optimizer: um mecanismo automatizado de manutenção e otimização em segundo plano para tabelas com separação de armazenamento e computação. Desativado por padrão. Para ativá-lo, defina enable_lake_optimizer como true.

• [Beta] Composite Storage Volume (múltiplos buckets por tabela): permite que o Storage Volume de uma única tabela abranja vários buckets OSS, destinado a cenários em que o volume de dados de uma única tabela excede os limites de desempenho de um único bucket.

Melhorias

• O Compaction Service agora suporta listas de permissões de tabelas para controle refinado do escopo de compactação em segundo plano.

• Introdução do CacheOptions para suportar configuração refinada do cache de Tablet Metadata.

• Lake Optimizer:

  • Redução do intervalo de verificação do Daemon para melhorar a responsividade das tarefas de otimização.

  • Consultas Time Travel em tabelas do Lake Optimizer agora lançam uma UnsupportedException.

Lakehouse

Novos recursos

• [Beta] Expansão de tipos do Paimon Native Writer: adicionado suporte para os tipos DATE, VARBINARY e TIMESTAMP_WITH_LOCAL_TIME_ZONE.

Melhorias

• O Paimon Writer agora suporta Bucket Partition Shuffle para melhorar o desempenho de gravação em buckets.

• O Paimon Writer agora suporta a gravação de partições NULL.

• Tabelas externas HMS agora suportam pruning de partições com predicados IN.

• As mensagens de erro do JniScanner agora incluem dicas de solução de problemas do Paimon.

Correções

• Correção de um problema de isolamento quando vários usuários compartilhavam um catálogo Paimon.

• Correção de resultados incorretos na otimização Paimon Count.

• Correção de um problema em que dados do Paimon eram gravados na partição errada.

• Correção de um problema em que FormatDataSplit não era suportado quando paimon_force_native_reader estava ativado.

• Correção de uma falha em CREATE PAIMON DATABASE IF NOT EXISTS.

• Correção de várias exceções NPE e Plan ao consultar tabelas Paimon.

• Correção de um Token OSS ausente no Iceberg Table Sink.

• Correção de um ClassNotFoundException ao ler uma Iceberg Metadata Table.

Mudanças de comportamento

• Atualização do paimon-cpp para 0.10 e do Paimon Java SDK para 1-ali-25.3. Sistemas downstream que usam Paimon Native Reader/Writer devem verificar a compatibilidade após esta atualização.

• Composite Storage Volume: nova semântica de configuração de Storage Volume cross-Bucket foi adicionada. Revise o CREATE STORAGE VOLUME do StarRocks para confirmar a compatibilidade com as configurações existentes de Storage Volume antes de usar.

• Atualização da política de cache de Tablet Metadata: a introdução do CacheOptions altera a semântica da interface de cache. Se você tiver configurações de cache personalizadas, atualize-as para usar a nova interface.

Categoria

Descrição

Engine

Melhorias

• Otimização do desempenho de mapeamento de intervalo de partições pré-calculando lowerPoints/upperPoints fora do loop. Isso reduz a complexidade temporal do cálculo de interseção de partições e detecção de muitos-para-muitos de O(MN) para O(MlogN+N).

Correções

• Correção de uma Null Pointer Exception (NPE) que ocorria ao usar Broker Load para importar dados em cenários envolvendo UDF.

• Correção de um problema em que sequências de escape de barra invertida eram tratadas incorretamente na correspondência de padrões LIKE.

• Correção de uma falha que ocorria quando a função array_map processava um array de literais null.

• Correção de um problema em que o ID de transação ativa do manipulador de rollup não era incluído no cálculo de computeMinActiveTxnId.

• Correção de um problema em que dependências de transação eram perdidas ao excluir um nó do grafo de dependências de transação.

• Correção de um conflito de assinatura em UpdateTabletSchemaTask quando vários jobs de alteração eram executados simultaneamente.

• Correção de um problema em que dados eram perdidos da tabela hash durante o estágio set_finishing de uma agregação devido a um overflow.

• Correção de um problema em que BaseScalarOperatorShuttle não possuía a implementação de visitDictionaryGetOperator.

• Correção de uma condição de corrida em finishTransactionBatch causada pela gravação do edit log ocorrendo após afterVisible, o que poderia levar à limpeza prematura de logs de transação.

• Correção de um auto-deadlock em RoutineLoadJob.toThrift() durante a fase de publicação de transação, causado por uma ordem incorreta de aquisição de bloqueio. Esse problema poderia impedir a persistência do estado VISIBLE, levando a erros NoSuchKey após uma reinicialização do FE.

Separação de armazenamento e computação

Melhorias

• O Compaction Service agora suporta listas de permissões de tabelas. Os nomes das tabelas são pré-resolvidos para IDs de tabela durante a análise da configuração.

• A replicação entre clusters para separação de armazenamento e computação agora suporta Fast Cancel para operações de cópia de arquivos, reduzindo o tempo de espera para tarefas canceladas.

• A replicação entre clusters para separação de armazenamento e computação agora suporta cópia paralela de arquivos de tablet para melhorar o throughput de replicação.

Correções

• Correção de um problema em que exceções transitórias de armazenamento de objetos poderiam causar truncamento silencioso de arquivos. Na replicação entre clusters para separação de armazenamento e computação, as operações de cópia para arquivos não-segmentados (como .sst, .delvec, .del e .cols) agora incluem verificações de integridade do tamanho do arquivo e um mecanismo de nova tentativa automática.

Lakehouse

Correções

• Correção de colisões de chave de cache e Null Pointer Exceptions (NPEs) em consultas de metadados do Fluss.

• Correção de um ClassNotFoundException ao ler uma tabela de metadados do Iceberg.

Categoria

Descrição

Engine

Melhorias

Jobs de routine load agora geram logs após a conclusão, fornecendo informações de diagnóstico mais abrangentes.

Correções

• Correção de um problema em que propriedades de índice eram perdidas durante a criação de materialized view.

• Correção de um problema em que o parâmetro auto_refresh_partitions_limit não entrava em vigor ao atualizar uma materialized view com partições horárias do tipo DATETIME.

• Correção de um problema em que mensagens de erro estavam vazias durante a atualização de materialized view.

• Correção de um problema em que o Stream Load usava um timestamp expirado ao importar dados para uma coluna DEFAULT CURRENT_TIMESTAMP.

• Correção de uma falha no BE em clusters que não usam separação de armazenamento e computação, causada pelo OlapMetaReader não definindo a flag count.

Separação de armazenamento e computação

Melhorias

• Redução da sobrecarga de coleta de estatísticas de tablet para tabelas Lake Primary Key (PK) no modo de separação de armazenamento e computação. Isso também corrige um problema em que show tablet/partitions retornava 0 para data size e row count.

• Adição de uma API para criar partições físicas para tabelas de distribuição aleatória. A ferramenta de migração agora suporta a migração de tabelas de bucket aleatório que contêm várias partições físicas para a versão atual do cluster StarRocks.

• No modo de separação de armazenamento e computação, o Cluster Linking agora suporta migração de dados de versões anteriores à 3.2.4.

Correções

• Correção de um problema em que o mapa de transações de compactação do lake não era limpo quando uma transação terminava. Isso resolve um bug em que o agendamento de compactação não funcionava para algumas tabelas após uma reinicialização do FE.

• Correção de um problema em que a exclusão de uma tabela de separação de armazenamento e computação não limpava os metadados do grupo de shards no StarManager, o que poderia causar falta de memória (OOM) no FE.

Lakehouse

Mudança importante

Para garantir compatibilidade com o Paimon Native Writer para gravações do tipo TIMESTAMP_WITH_LOCAL_TIME_ZONE, a versão atual estende a lógica de conversão de tipos Arrow para mapear esse tipo do StarRocks para o tipo TIMESTAMP do Arrow.

Essa mudança pode causar exceções quando starrocks-spark-connector e starrocks-flink-connector leem campos do tipo DATETIME do StarRocks. Se você encontrar erros relacionados após a atualização, adicione o parâmetro de configuração dinâmica enable_native_arrow_new_type ao grupo de computação e defina seu valor como false para restaurar a compatibilidade.

Melhorias

• Atualização do paimon-cpp para a versão 0.9.

• O Paimon native writer agora suporta a gravação de valores DATE.

• O Paimon native writer agora suporta a gravação de valores VARBINARY.

• O Paimon native writer agora suporta a gravação de valores TIMESTAMP_WITH_LOCAL_TIME_ZONE.

• Atualização do Fluss para a versão 0.9-ali-0.1.

• Adicionado suporte para consulta de tabelas Paimon Lance.

• Adicionado suporte para consulta de views Paimon.

• Melhoria na observabilidade do cache Paimon através da adição de métricas de cache.

Correções

• Correção de um erro que ocorria ao gravar o tipo TINYINT usando o Paimon JNI writer.

• Correção de um problema em que o token não tinha permissões suficientes ao gravar em tabelas Paimon no DLF 2.5.

• Correção de valores de partição incorretos ao consultar tabelas Paimon.

• Correção de uma Null Pointer Exception (NPE) ao consultar tabelas Paimon, causada pela ausência da verificação mergedRowCountAvailable.

• O MaxCompute Catalog agora suporta a criação de sessões de forma assíncrona e a divisão dinâmica de dados.

Categoria

Descrição

Separação de armazenamento e computação

Novos recursos

• Lançamento do recurso Compaction Service. Ao agendar compactação em uma arquitetura de separação de armazenamento e computação, agora é possível utilizar um grupo de computação dedicado para executar as tarefas de compactação. Isso isola o ambiente de compactação e garante alta taxa de acerto de cache para consultas de negócios por meio do Cache Peering.

• Introdução do recurso Merge Commit no lado do servidor para Stream Load de alta concorrência, aumentando significativamente o throughput de ingestão de dados em tempo real e reduzindo o consumo de recursos de compactação.

• Em cenários de ingestão de lotes pequenos com alta concorrência, o recurso Merge Commit combina múltiplas solicitações simultâneas de Stream Load em uma única transação. Esse envio em lote aumenta o throughput de ingestão em tempo real, diminui a criação de versões de dados devido a commits frequentes e minimiza a sobrecarga de recursos e E/S causada pela compactação e por arquivos pequenos.

• Para cenários de importação de dados em grande escala, o novo recurso Bulk Load Optimization mescla blocos de dados durante a fase de ingestão. Essa abordagem reduz a geração de arquivos pequenos, melhora o desempenho das consultas após a ingestão e diminui o uso posterior de recursos de compactação.

• Disponibilização do recurso Cluster Snapshot para separação de armazenamento e computação, que oferece suporte a backup unificado de metadados no nível do cluster para o OSS, permitindo recuperação de desastres de nível empresarial.

Melhorias

• O Cluster Linking foi aprimorado para oferecer suporte à migração online de clusters de separação de armazenamento e computação auto-hospedados para clusters Serverless StarRocks com separação de armazenamento e computação.

• A interface show proc '/transactions' foi atualizada para exibir registros de vários tipos de transação simultaneamente.

• Agora é possível executar uma atualização manual de partição para uma materialized view no warehouse associado à sessão atual.

Correções

• Corrigida uma exceção causada por metadados inconsistentes ao migrar uma tabela Primary Key (PK) com índice em um cluster de separação de armazenamento e computação.

• Resolvido um problema que impedia a visualização da distribuição de tablets ao utilizar um warehouse não padrão.

Lakehouse

Melhorias

Desempenho de consulta aprimorado para tabelas no formato Paimon.

Correções

• Corrigidos resultados incorretos retornados ao consultar tabelas Paimon que utilizam o tipo Timestamp como condição de filtro ou campo de partição.

• Solucionado um erro que ocorria ao consultar as tabelas de sistema binlog e auditlog do Paimon.

• Ajustada uma falha em que consultas em tabelas Fluss retornavam resultados vazios em cenários específicos.

Categoria

Descrição

Engine

Correções

• Corrigida uma falha no BE que podia ocorrer quando tarefas eram enviadas com os resources de threads do sistema esgotados e o pool de threads não conseguia criar novas threads.

• Resolvida uma falha no BE que acontecia quando uma gravação Flat JSON falhava e o sistema recorria a uma gravação JSON convencional.

• Corrigido um crash no BE em cenários de filtro global runtime multicoluna onde as colunas de shuffle eram removidas (pruned).

• Resolvido um problema em que metadados de versão de dados podiam ser perdidos após a migração de um tablet de tabela de chave primária entre discos.

• Corrigidos erros de incompatibilidade de tipos e falhas de execução em instruções INSERT OVERWRITE contendo expressões lambda como array_map e array_filter.

• Ajustado o comportamento da função array_contains, que retornava resultados incorretos ao usar NULL como alvo de busca.

• Corrigidos resultados incorretos que podiam ser retornados quando joins eram combinados com funções de janela em cenários de execução em grupo.

• Resolvido um problema onde planos de execução e resultados de consulta incorretos eram gerados ao combinar a otimização de dicionário global de baixa cardinalidade com propriedades de distribuição de dados.

• Corrigida uma situação em que o texto SQL ficava vazio ao consultar global_current_queries em múltiplos FEs. Agora é possível visualizar o SQL completo das consultas em execução em implantações com vários FEs.

• Incluídos logs de Query Profile ausentes para consultas encaminhadas por um FE follower. A coleta de profile não depende mais do FE ao qual o cliente se conecta.

• Resolvido um problema onde a identidade e as funções do usuário atual não eram transmitidas durante a execução de refreshTable entre FEs. A atualização de metadados de tabelas externas agora utiliza o contexto de usuário do chamador, evitando avaliações de permissão incorretas.

Lakehouse

Novos recursos

• O Paimon Catalog suporta a nova propriedade enable_paimon_background_refresh_partitions, que controla a atualização em segundo plano do cache de partições e vem desativada por padrão. Quando desativada, os metadados de partição são carregados sob demanda, reduzindo a sobrecarga de metadados em tabelas com muitas partições.

• O ODPS Catalog passou a suportar as propriedades odps.arrow.timestamp.unit e odps.arrow.datetime.unit, permitindo configurar a precisão temporal de valores TIMESTAMP e DATETIME para corresponder à precisão da origem.

Melhorias

• Otimizado o comando EXPLAIN para tabelas Paimon. Um EXPLAIN padrão não enumera mais todas as partições, e as estatísticas de partição são coletadas apenas pelo EXPLAIN VERBOSE. Planos de execução para consultas complexas são retornados mais rapidamente.

• Atualização do paimon-cpp para a versão 0.11.

Correções

• Corrigido um problema onde a inicialização concorrente de um Paimon Catalog acessado via DLF 2.5 podia causar confusão nas identidades de acesso entre usuários RAM.

• Resolvida uma falha onde erros de commit de escrita no Paimon eram ignorados. Anteriormente, uma instrução DML podia retornar sucesso mesmo sem gravar os dados, ou exibir uma mensagem de erro enganosa.

• Corrigido um problema em que expressões convertendo strings para DATE ou DATETIME eram incorretamente aplicadas (pushed down) em cenários Paimon, eliminando dados válidos e retornando menos linhas que o esperado.

• Resolvida uma interrupção de conexão que ocorria quando o MaxCompute Catalog falhava ao recuperar a lista de bancos de dados ou schemas. O catálogo agora recorre ao projeto ou schema padrão.

Categoria

Descrição

Engine

Novos recursos

• O Unified Catalog agora oferece integração com o DLF Catalog.

Correções

• Corrigida a reescrita incorreta de predicados ao referenciar colunas no lado constante de outer joins.

Separação armazenamento-computação

Correções

• Resolvido um problema onde condições de filtro de partição eram perdidas em tabelas de bucket dinâmico no modo de separação armazenamento-computação.

Lakehouse

Novos recursos

• O MaxCompute Catalog passou a suportar namespaces de três níveis do MaxCompute.

Melhorias

• Atualização do DLF Iceberg Plugin.

• Upgrade do Iceberg para a versão 1.10.0.

Correções

• Corrigido um erro de consulta causado por conflitos de dependência entre Hive e Paimon.

• Resolvido um problema onde alguns parâmetros não eram passados corretamente ao consultar dados do Paimon, causando falhas na consulta.

Categoria

Descrição

Engine

Novos recursos

• [Beta] Adicionado suporte nativo a funções integradas SQL AI (adaptado para as versões 3.3).

• [Beta] Incluída capacidade de enviar jobs Spark Load para o EMR Serverless Spark.

• Adicionada a função max_pt.

Melhorias

• Implementado suporte a Filter pushdown em CTE Consumers.

• Permitido o download de jars UDF a partir de um FileSystem.

• O comando CREATE TEXT FILE TABLE agora permite especificar um delimitador.

• Incluído mecanismo de timeout para o lock do sistema de arquivos HdfsFsManager, prevenindo deadlocks em cascata.

• Expostas métricas de monitoramento para os pools de threads Scan e Connector Scan.

Correções

• Corrigida uma falha no BE causada por erro na finalização da memtable.

• Resolvido problema de Slow DB Lock decorrente de cálculos O(N) redundantes na verificação de interseção de partições de MV.

• Corrigida perda de dados da tabela hash durante o estágio set_finishing de um overflow de agregação.

• Ajustado truncamento de rssid rowid na compactação de índice PK inline.

• Resolvido um problema onde dependências de transação eram perdidas ao remover um nó do grafo de dependências de transações.

• Corrigida a ineficácia do valor padrão de partition_refresh_number.

• Incluída a ErrorURL ausente no cenário de falha de importação "too many filtered rows".

• Corrigido um crash quando a função array_map processava um array de literais nulos.

• Ajustado o tratamento incorreto de sequências de escape de barra invertida na correspondência de padrões LIKE.

• Resolvido um NPE ao criar uma UDF com CreateFunctionStmt.

• Corrigido um NPE ao utilizar Broker Load com uma UDF.

Separação armazenamento-computação

Melhorias

• Aprimoramentos no Lake Optimizer (introduzido na 2.0.0 e refinado nesta versão): intervalo de verificação do Daemon reduzido para melhorar a responsividade das tarefas de otimização. Consultas Time Travel em tabelas do Lake Optimizer agora lançam uma UnsupportedException.

• O Compaction Service agora suporta listas de permissão de tabelas para controle granular do escopo de compactação em segundo plano.

Lakehouse

Novos recursos

• [Beta] O DLF agora oferece suporte a filtragem no nível de linha (Row Filter).

Melhorias

• O Paimon Writer agora suporta Bucket Partition Shuffle para melhorar o desempenho de escrita em buckets.

• Adicionada capacidade de escrita em partições NULL no Paimon Writer.

• Tabelas externas HMS agora aceitam pruning de partições com predicados IN.

• As mensagens de erro do JniScanner agora incluem dicas de solução de problemas do Paimon.

Correções

• Resolvido um problema de isolamento quando múltiplos usuários compartilhavam um catálogo Paimon.

• Corrigidos resultados incorretos na otimização Paimon Count.

• Ajustada a gravação de dados Paimon na partição errada ou com ordenação incorreta dos valores de partição.

• Corrigida falha na execução de CREATE PAIMON DATABASE IF NOT EXISTS.

• Resolvido um problema onde FormatDataSplit não era suportado quando paimon_force_native_reader estava ativado.

• Incluído Token OSS ausente no Iceberg Table Sink.

Mudanças de comportamento

• Adicionada a variável de sessão enable_native_arrow_new_type: quando definida como true (padrão), DATE mapeia para Arrow Date32Type e DATETIME para Arrow TimestampType; quando definida como false, tanto DATE quanto DATETIME mapeiam para Arrow utf8() (compatível com versões anteriores). Se encontrar erros de tipo ao ler campos DATETIME com starrocks-spark-connector ou starrocks-flink-connector, defina esta variável como false como solução alternativa.

• Atualização do paimon-cpp para 0.10 e do Paimon Java SDK para 1-ali-25.3. Sistemas downstream que utilizam Paimon Native Reader/Writer devem verificar a compatibilidade após esta atualização.

Categoria

Descrição

Engine

Melhorias

• Suporte ao protocolo SSL.

• Saída de log de transações para Routine Load, fornecendo informações diagnósticas mais abrangentes.

Correções

• Resolvido um problema onde profiles não podiam ser registrados após a ativação do recurso de profile de materialized view (MV).

• Corrigido erro de consulta em cenários de Reuso NEST CTE.

• Resolvida exceção de ponteiro nulo (NPE) ao usar Broker Load para importar dados com UDFs.

Separação armazenamento-computação

Novos recursos

Introdução do Compaction Service para a arquitetura de separação armazenamento-computação. Este service utiliza um warehouse dedicado para agendamento de compactação, isolando o ambiente de execução de compactação e garantindo alta taxa de acerto de cache para consultas de negócios via Cache Peering.

Melhorias

• Realiza uma major compaction preliminar durante a fase de publicação para tabelas de chave primária no modo de separação armazenamento-computação.

• Permite atualização manual de partições de materialized views no warehouse associado à sessão atual.

Correções

• Resolvido problema de limpeza de metadados ao migrar uma tabela de chave primária com índice em um cluster de separação armazenamento-computação.

• Corrigido erro de out-of-memory (OOM) causado por atualizações parciais no modo coluna durante importações de dados em grande escala.

• Resolvido OOM no FE provocado pela exclusão frequente de tabelas.

• Corrigida impossibilidade de visualizar a distribuição de tablets ao usar um warehouse não padrão.

Lakehouse

Alterações importantes

Para garantir compatibilidade com o Paimon Native Writer para o tipo TIMESTAMP_WITH_LOCAL_TIME_ZONE, esta versão estende a lógica de conversão de tipos Arrow, mapeando este tipo do StarRocks para o tipo TIMESTAMP do Arrow.

Essa alteração pode fazer com que o starrocks-spark-connector e o starrocks-flink-connector falhem ao ler campos DATETIME do StarRocks. Caso encontre erros relacionados após a atualização, restaure o comportamento anterior adicionando o parâmetro dinâmico enable_native_arrow_new_type ao seu warehouse e definindo-o como false.

Novos recursos

• Introdução do Lake Optimizer para aumentar significativamente o QPS de consultas pontuais em tabelas Paimon e melhorar a estabilidade do sistema em consultas de grande escala.

• Suporte a consultas de dados em tabelas Paimon Lance.

• Possibilidade de consultar views Paimon.

Melhorias

• O native writer do Paimon agora aceita escrita de tipos de dados date e datetime.

• Observabilidade aprimorada para consultas Paimon.

Correções

• Resolvido problema onde consultas em tabelas Fluss retornavam resultados vazios.

• Corrigida falha em consultas a tabelas Fluss devido a snapshots expirados.

• Ajustados resultados incorretos em consultas de igualdade em campos timestamp do Paimon em certos cenários.

• Corrigido erro ao consultar as tabelas de sistema binlog e audit_log do Paimon.

• Resolvido problema de permissões insuficientes de token ao escrever em tabelas Paimon no DLF 2.5.

• Corrigido escape de caracteres em campos de partição timestamp durante consultas a tabelas Paimon.

• Resolvido retorno de resultados vazios em consultas a tabelas Paimon com cláusula LIMIT em cenários específicos.

• Corrigida exceção de ponteiro nulo ao consultar versões antigas de tabelas Paimon.

Categoria

Descrição

Engine

Melhorias

• Tolerância a falhas do Routine Load aprimorada. Agora o Routine Load ignora automaticamente registros malformados ao importar dados JSON e registra os erros correspondentes.

• Mensagens de erro para falhas em consultas de tabelas externas melhoradas, tornando a solução de problemas mais intuitiva e eficiente.

Correções

Resolvido problema de estabilidade em cenários de atualização condicional que podia causar falha em um nó BE durante operação de atualização contendo apenas registros DELETE.

Separação armazenamento-computação

Novos recursos

Suporte ao uso do Apache Ranger para controlar permissões de resources no nível de warehouse em instâncias de separação armazenamento-computação, atendendo a requisitos empresariais de segurança e conformidade.

Melhorias

Adicionado mecanismo de tentativa para operações de leitura e escrita de armazenamento em instâncias de separação armazenamento-computação, aumentando a tolerância a falhas.

Correções

Corrigida criação excessiva de conexões bRPC em instâncias de separação armazenamento-computação sob alta concorrência.

Lakehouse

Novos recursos

• Suporte ao Paimon Deletion Vector v2.

• Leitura e escrita em Paimon Format Tables usando Native Reader (Beta).

• Filtragem de partições virtuais no Hive Metastore prefixadas com hive_var para evitar interferência de metadados.

Categoria

Descrição

Separação armazenamento-computação

Melhorias

Suporte a métricas de latência de consulta no nível de warehouse.

Lakehouse

Correções

Resolvida falha no planejamento de consulta em tabela externa Paimon com string vazia como chave de partição.

Categoria

Descrição

Engine

Melhorias

• Detecção fast-fail aprimorada para consultas de longa duração.

• Suporte a atualizações parciais em índices invertidos Clucene.

Correções

• Resolvido problema onde consultas não terminavam imediatamente após falha no BE causada por saída anormal da thread CoordinatorMonitor.

• Corrigido erro TXN_NOT_EXISTS provocado por perda de transação devido a mecanismos de redirecionamento e nova tentativa.

• Resolvido deadlock causado pelo MultiJoinBinder durante a fase de planejamento do FE.

• Corrigido problema de marcação de arquivo de segmento vazio causado por alterações de schema no modo de atualização parcial.

Separação armazenamento-computação

Correções

Resolvido erro 'shard not exist' ocorrido durante operações INSERT OVERWRITE de longa duração.

Lakehouse

Correções

• Corrigido erro ao recuperar informações de usuário RAM ao usar um DLF Catalog.

• Resolvida inconsistência de metadados de partição entre FEs leader e follower após exclusão de partição de materialized view.

Categoria

Descrição

Engine

Melhorias

Observabilidade de tarefas de longa duração aprimorada com capacidades avançadas de monitoramento e diagnóstico para rastreamento de status em tempo real.

Correções

Corrigida mensagem de erro incorreta retornada pelo comando SHOW BACKUP.

Separação armazenamento-computação

Correções

Eliminadas requisições inválidas enviadas ao OSS ao excluir o cache local, reduzindo sobrecarga desnecessária de rede.

Lakehouse

Correções

Resolvida falha de consulta em tabelas Paimon particionadas pelo tipo Date.

Categoria

Descrição

Engine

Novos recursos

• Suporte a capacidades ACID (Beta).

• MaxCompute Catalog agora aceita predicate pushdown.

• Inclusão das funções first_day e last_day.

• Suporte à função bitmap_hash64.

Melhorias

• Limpeza de partições otimizada para resolver alto uso de memória no FE causado por reciclagem atrasada.

• Tempo de planejamento do FE reduzido.

Correções

• Resolvida falha de bRPC em cenários de dimensionamento elástico.

• Corrigido crash no BE causado por canal de carga delta writer não inicializado.

• Resolvida falha de commit de tarefa Flink causada por perda de stream no backend.

• Corrigida verificação isconst incorreta na função array_contains.

• Resolvido problema onde json_extract não era suportado durante migração Trino.

• Corrigido problema de reuso de CTE.

• Resolvida falha de atualização em materialized views criadas sobre tabelas externas.

• Corrigido aumento no número de threads após ativação do JIT.

• Resolvido problema de concorrência no tablet manager.

• Corrigido bloqueio no agendamento do FE devido a falha na coleta de profile.

• Resolvido problema onde erros de otimização de baixa cardinalidade não eram lançados corretamente.

• Corrigido crash no BE durante escrita Parquet causado pelo tratamento incorreto de valores null pela função split.

• Resolvida falha de atualização de materialized view quando expressão CASE WHEN continha tipo VARCHAR.

• Corrigido problema de lock de concorrência causado por compactação em instâncias shared-nothing.

• Resolvido problema onde o CBO não conseguia realizar prune corretamente em expressões relacionadas a CTE.

• Corrigidos problemas relacionados ao handler HTTP.

• Resolvido crash no BE causado por problema de concorrência bRPC afetando o canal de carga e o tablet sink.

Separação armazenamento-computação

Novos recursos

• Operações INSERT e UPDATE agora suportam atualizações parciais de colunas no modo coluna.

• O comando SHOW ALTER TABLE agora permite visualizar tarefas de modificação de metadados.

• Suporte a agendamento de tarefas de compactação baseado na pontuação máxima de compactação.

Correções

• Resolvido problema onde transações ficavam travadas quando a compactação era ativada durante migração.

• Corrigida limpeza de metadados do cache de metadados e adicionado suporte para atualização dinâmica da capacidade do cache.

• Resolvido crash no BE causado por falha na inicialização do índice persistente lake.

Lakehouse

Novos recursos

• Suporte ao Paimon Native Writer (Beta), melhorando significativamente o desempenho no processamento de dados em cenários lakehouse.

• Consultas Paimon agora aceitam tipos complexos.

• Suporte ao DLF Iceberg Catalog (Beta).

• Leitura de tabelas Fluss (Beta).

• Suporte ao recurso Paimon TimeTravel.

• INSERT OVERWRITE agora funciona com tabelas não particionadas.

Melhorias

• Estatísticas de colunas Paimon aprimoradas.

• Desempenho de COUNT melhorado para tabelas Iceberg e Paimon.

Correções

• Resolvida falha no comando SHOW GRANT para usuário.

Busca full-text

Correções

• Corrigido problema de valor nulo na função match.

Categoria

Descrição

Engine

Melhorias

• Inclusão de logs fe.load para melhorar a observabilidade do carregamento de dados.

• Adicionado o campo information_schema.loads à tabela sink_bytes.

• Logs de erro do Routine Load aprimorados com informações essenciais, como offsets, para facilitar a solução de problemas.

Correções

• Corrigido um cenário em que global_state_manager no ConnectContext podia ser nulo, impedindo falhas de consulta, falhas de importação ou ausência de Profiles.

• Tratada a ausência de estatísticas de colunas para garantir sua precisão.

• Resolvido o erro "Query version not found".

• Adicionado o parâmetro slow_lock_print_stack para evitar travamentos de processo causados pela impressão de pilha de threads em clusters de grande escala.

• Corrigido um problema de memória insuficiente (OOM) no FE causado por um plano de execução incorreto para o operador Union.

• Resolvida uma falha de consulta ocorrida após a renomeação de uma coluna.

• Recuperado o índice de chave primária perdido devido a uma falha no carregamento de snapshot.

• Corrigido um problema de atualização causado por uma alteração anormal nas propriedades da visualização materializada.

• Adicionado o parâmetro FE task_runs_max_history_number para controlar o número de TaskRuns históricos salvos na view information_schema.task_runs, reduzindo a sobrecarga de memória.

• Evitada a perda de versões de dados durante a importação.

• Normalizadas as informações de Task Run que estavam anormais nos nós FE follower.

• Permitida a retomada do Broker Load após um failover do FE.

• Corrigido o retorno nulo de consultas após a modificação de uma coluna.

• Resolvida uma falha na criação de partições ao gravar em várias tabelas em uma única transação.

• Corrigido um erro de consulta causado por uma instrução CASE WHEN que retornava um tipo de dados incorreto.

• Resolvida uma falha de cache causada por chaves duplicadas em cenários concorrentes.

• Corrigida uma falha de atualização parcial em tabelas de chave primária.

• Ajustado o mecanismo de bloqueio para envio de tarefas.

• Resolvido um problema de dicionário global para o operador Union em cenários de baixa cardinalidade.

• Corrigida a remoção incorreta de partições vazias.

• Resolvido um erro causado pela perda de partições nulas durante a reescrita de visualizações materializadas.

• Habilitada a poda de colunas de varredura pelo splitter.

• Corrigidos problemas relacionados ao Left Anti Join.

Separação de armazenamento e computação

Novos recursos

• Suporte a busca textual em instâncias com separação de armazenamento e computação.

• Recurso de compactação distribuída adicionado para aliviar gargalos de desempenho em nós únicos.

• Modo de I/O adaptativo para o cache, evitando degradação de desempenho por gargalos de I/O no disco de cache.

• Métricas de consulta no nível de warehouse para melhor monitoramento de desempenho.

Melhorias

• Index Cache e Metadata Cache ativados por padrão para melhorar ainda mais o desempenho das consultas.

• Otimizada a ausência de informações de versão mínima em tabelas com separação de armazenamento e computação.

Correções

• Corrigida a gravação incorreta de dados no warehouse de destino durante uma operação INSERT INTO EXTERNAL TABLE no modo de separação de armazenamento e computação.

• Resolvida uma falha de transação concorrente ocorrida após a ativação do Batch Publish.

• Permitida a limitação correta do número máximo de tarefas de compactação após especificar um warehouse.

• Corrigido um erro de pré-aquecimento no Cache Select após alteração de schema.

• Resolvida uma falha ao modificar a distribuição de dados usando a instrução ALTER TABLE.

Lakehouse

Novos recursos
Tabelas Paimon agora suportam análise de linhagem de dados no nível de coluna e possuem estatísticas aprimoradas.

Melhorias
Desempenho de consultas Paimon otimizado através da melhoria na recuperação de metadados do DLF 2.5.

Correções

• Resolvido um vazamento de memória em arquivos de exclusão por igualdade do Iceberg.

• Corrigido um problema de expiração de token no DLF 2.5.

• Permitida a atualização de visualizações materializadas após a reconstrução da tabela externa subjacente.

• Corrigida uma falha de atualização em visualizações materializadas de tabelas externas.

• Resolvida uma falha ao gravar dados em tabelas Hive usando INSERT OVERWRITE.

• Corrigida uma falha de atualização de visualização materializada causada pelo uso da função str2date em tabelas externas.

Busca textual

Novos recursos

• Suporte a busca textual em instâncias com separação de armazenamento e computação.

• Busca textual habilitada para tabelas de chave primária.

• Diversas funções Match adicionadas para enriquecer os recursos de busca textual.

Melhorias
Número de arquivos de índice otimizado para melhorar a eficiência de acesso no modo de separação de armazenamento e computação.

Categoria

Descrição

Engine

Novos recursos

• Suporte a criptografia SSL.

• Opção de modo síncrono disponível para tarefas de coleta de estatísticas.

• Spark Load agora suporta atualizações dinâmicas de configuração.

Melhorias

• Desempenho de recarregamento de visualizações materializadas (MVs) otimizado, melhorando significativamente a eficiência de inicialização do FE.

• Coordenação aprimorada entre pushdown de operações de agregação e Broadcast Join.

• Corrigida a ineficácia do limite de linhas em operações Broadcast.

• Precisão aumentada nos planos de execução gerados por GROUP_CONCAT.

• Granularidade de bloqueio otimizada para atualizações de visualizações materializadas.

• Metrics API aprimorada para fornecer mais métricas de monitoramento.

• Tratamento de timeout otimizado no RPC Get Shard Info para cenários de alta concorrência.

Correções

• Corrigido um crash de CN/BE causado por alteração de schema durante a atualização da v3.2 para a v3.3.

• Resolvida uma perda de dados durante inserção causada por Report Exec State.

• Corrigido um crash de CN ocorrido após a ativação do Fast Schema Evolution.

• Garantido o encerramento adequado de tarefas de inserção após a exclusão de uma tabela.

• Resolvido um problema onde uma versão não era encontrada durante uma consulta.

• Corrigido o travamento de tarefas de atualização de visualização materializada após o encerramento forçado da tarefa.

• Ajustada a geração de planos de execução incorretos durante a reescrita de visualizações materializadas em múltiplos estágios.

• Resolvida uma falha no carregamento completo de tablets.

• Corrigida a construção incorreta de relacionamentos de visualizações materializadas após o carregamento de uma imagem do FE.

• Resolvida uma falha de consulta (exceção Query Terminated) causada pelo DESC Table Cache.

• Normalizados resultados anormais de transações.

• Corrigido o retorno de resultados incorretos em consultas Join e Union.

• Ajustado o retorno de resultados incorretos pela função n_gram.

• Resolvido um problema que impedia o funcionamento correto da linhagem de dados no DataWorks.

• Corrigidas informações incorretas retornadas por DESC TABLE para tabelas Paimon.

• Evitada a atualização completa constante de visualizações materializadas Paimon.

Separação de armazenamento e computação

Novos recursos

• Tempo de Compaction Punish configurável.

• Suporte a Tablet Meta Cache e Index Cache para melhorar significativamente o desempenho de consultas.

• Interface _query_plan agora permite especificar um warehouse.

• Agendamento de compactação em múltiplos warehouses.

Melhorias

• Observabilidade de compactação aprimorada.

• Migração para Poco HTTP Client para otimizar a eficiência de acesso ao OSS.

• Limpeza do cache local após operação DROP PARTITION para evitar ocupação de espaço em disco com dados inválidos.

• Desempenho melhorado na recuperação de informações de shard.

• Leitura direta otimizada para operações COUNT.

• Observabilidade aprimorada para tarefas de carregamento em ambientes multi-warehouse.

• Formatos de arquivo adaptativos para reduzir IOPS e melhorar o desempenho de consultas.

Correções

• Índice de chave primária (PK) cloud-native totalmente ativado e diversos problemas relacionados a metadados corrigidos.

• Resolvido um problema que impedia o agendamento adequado de compactações.

Lakehouse

Novos recursos

• Suporte ao Alibaba Cloud Data Lake Formation (DLF) 2.5.

• Tabelas externas Paimon agora aceitam campos do tipo time.

• Consulta de propriedades de tabelas externas Paimon via SHOW CREATE TABLE.

Melhorias

• Redução de I/O redundante quando visualizações materializadas recuperam metadados frequentemente ou por agendamento, aumentando a eficiência de atualização.

• Configurações de cache de metadados Paimon otimizadas.

• Corrigida a ineficácia de filtros no tipo FLOAT em consultas Paimon.

• Desempenho aprimorado na leitura de informações de partição do DLF.

• Atualização de metadados suportada para tabelas externas MaxCompute.

• Uso de UUIDs em vez de horários de criação para otimizar o desempenho de consultas Paimon.

• Melhoria no desempenho de consultas em tabelas Paimon Deletion Vector.

• Eficiência de varredura de arquivos Parquet otimizada.

Correções

• Corrigida a aplicação incorreta de fusos horários ao tipo DATETIME em consultas Paimon.

• Resolvida uma falha na leitura do tipo VARCHAR de fontes de dados Hudi.

• Corrigida a gravação incorreta de informações de commit do Paimon.

Busca textual

Novos recursos

• Recurso de busca textual lançado em beta. Esta versão resolve vários problemas de desempenho do CLucene, melhorando o desempenho da busca de texto em mais de 100%.

• Suporte a funções relacionadas a Tokenize.

Melhorias

• Estrutura de arquivos de índices invertidos otimizada para melhorar a eficiência das consultas.

• Index Tool aprimorado para facilitar a identificação e resolução rápida de problemas.