Hologres:Supported Flink service types

Versão do Flink

Versão do VVR (Ververica Runtime)

Versão do Hologres

Informações de atualização

Referências

1.20

11,6

3.2.x

4.0.x

4.1.x

Source table:

• Adicionado o modo de inicialização LATEST_OFFSET para consumir dados do Binlog a partir do offset mais recente.

• Adicionado suporte ao tipo array VARCHAR em assinaturas de Binlog.

Catalog:

• O Hologres Catalog agora expõe índices globais e chaves de varredura por prefixo como índices de catalog.

Geral:

• Adicionado um cache de requisições de sondagem JDBC para evitar timeout do SQL Gateway em cenários com múltiplas tabelas.

{{XREF_0}}

1.20

11,5

3.2.x

4.0.x

4.1.x

Source table:

• Adicionado o parâmetro scan.binlog.prefer.physical-column.over.metadata para priorizar a coluna física quando seu nome conflita com uma coluna de metadados.

• As source tables batch não realizam mais reshuffle por padrão.

Dimension table:

• Adicionada uma validação de lookup para tabelas colunares. Defina o parâmetro lookup.read.column-table.enabled como true para usar uma tabela colunar como dimension table.

Geral:

• Adicionado suporte à autenticação Access Key V4 (AKV4).

Correções de bugs:

• Corrigida uma NullPointerException (NPE) que ocorria ao receber um registro DELETE durante uma operação check-and-put.

• Atualizado o holo-client para corrigir leituras incorretas de colunas quando o column pruning estava ativo para o Binlog.

{{XREF_1}}

1.20

11,4

3.2.x

4.0.x

4.1.x

Sink table:

• Adicionado o parâmetro sink.ignore-null-when-update-by-expr.enabled para ignorar valores nulos durante atualizações que utilizam uma expressão de inserção.

• Adicionado suporte a expressões de conflito de inserção (conflict expr) para tratamento personalizado de conflitos.

• O modo stream copy agora é compatível com o formato de linha binário, melhorando o desempenho de gravação.

Dimension table:

• Adicionado suporte a filter pushdown em dimension tables.

Correções de bugs:

• Atualizado o holo-client para corrigir um bug que impedia o fechamento de conexões de dimension tables de um para muitos ao parar um job.

{{XREF_2}}

1.20

11,3

3.1.x

3.2.x

4.0.x

Source table:

• Adicionado suporte a compressão de dados e column pruning no consumo de Binlog, reduzindo o tráfego de rede e o uso de memória.

• Adicionado suporte a filter pushdown no Binlog, diminuindo transferências de dados desnecessárias.

Sink table:

• Corrigido um conflito entre o sufixo de partição e partições dinâmicas durante a criação.

• Adicionado suporte à gravação em colunas geradas.

Geral:

• As conexões agora alternam automaticamente para o frontend (FE) quando um tipo de dado não suportado pelo FE fixo é selecionado.

• Atualizado o holo-client para corrigir falhas de conexão que ocorriam quando o nome de um banco de dados continha @warehouse.

Correções de bugs:

• Corrigido um problema em que o connector não conseguia recuperar a partir de um checkpoint quando a tabela havia sido removida.

• Corrigido um problema em que o LSN do estado de partição era incorretamente inicializado como 0 em shards vazios ao consumir de uma tabela pai particionada.

• Corrigida uma falha ao ler dados RoaringBitmap via JDBC Binlog.

{{XREF_3}}

1.20

11,2

3.1.x

3.2.x

4.0.x

Sink table:

• Adicionada uma configuração em nível de tabela, sink.not-generate-binlog.enabled, para impedir a geração de Binlog durante gravações, evitando loops de consumo de Binlog.

• A política de dados sujos agora se aplica apenas a exceções reais de dados sujos.

Geral:

• Os metadados de tabela não são mais acessados ao criar um HologresDynamicTableSink, acelerando o envio de jobs.

Correções de bugs:

• Corrigido um problema de compatibilidade retroativa com configurações de source de Binlog e upsert.

• Corrigido um problema de compatibilidade retroativa com parâmetros de configuração do Hologres.

• Corrigidos problemas de compatibilidade com parâmetros obsoletos.

• Corrigida uma NPE que ocorria ao gravar um array TEXT contendo elementos nulos.

{{XREF_4}}

1.20

11,1

3.1.x

3.2.x

Source table:

• Adicionado suporte à especificação de valores de partição para assinar o Binlog de uma tabela particionada do Hologres.

Sink table:

• Adicionado suporte a partições com formato de data.

Dimension table:

• Adicionadas métricas de acertos e erros de cache.

Geral:

• O connector agora seleciona automaticamente o modo de conexão ideal com base em problemas conhecidos.

• Corrigido um problema em que opções com formatação não padrão em SQL hints não sobrescreviam as opções do catalog.

{{XREF_5}}

1.20

11.0

3.1.x

3.2.x

Geral:

• Removidos todos os códigos e dependências relacionados a RPC e HoloHub. O connector agora utiliza exclusivamente o modo JDBC. Os nomes dos parâmetros foram refatorados.

Source table:

• Source tables para dados completos e incrementais: após a conclusão de uma leitura de snapshot completo, o consumo incremental inicia a partir do LSN máximo atual para evitar perda de dados.

{{XREF_6}}

1.17

8.0.11

2.1.x

2.2.x

3.0.x

Source table:

• Adicionado suporte à leitura do Binlog de tabelas particionadas.

• Adicionado suporte a colunas de metadados em source tables.

• O tipo decimal no JDBC Binlog agora utiliza a escala do tipo Flink.

• Source tables para dados completos e incrementais: após a conclusão de uma leitura de snapshot, o consumo incremental agora inicia a partir do LSN máximo atual.

Sink table:

• Adicionada a funcionalidade check-and-put para gravações condicionais.

• Adicionado suporte a flushing agressivo, reduzindo a latência de visibilidade dos dados.

• O modo de gravação copy agora é compatível com o tipo de dado TIME.

• Adicionado o parâmetro de tamanho máximo do buffer de célula para o modo de gravação copy.

• Adicionado um idle-session-timeout no modo de gravação copy para evitar conexões ociosas por tempo prolongado.

Geral:

• Alterado o valor padrão do parâmetro remove-u0000-in-text.enabled para true.

• Adicionado suporte à compatibilidade de estado em cenários de upgrade e downgrade.

• A factory não valida mais os parâmetros de Binlog quando uma dimension table de catalog é usada, evitando erros falso-positivos.

• Os jobs agora repetem a tentativa apenas três vezes antes de falhar rapidamente durante a implantação, evitando longas esperas.

Correções de bugs:

• Atualizado o holo-client para corrigir um problema de parsing de URL JDBC.

• Corrigido um problema em que o consumo de JDBC Binlog para source tables de dados completos e incrementais iniciava a partir de LSN+1 após um checkpoint.

• Corrigido um erro de normalização de tipo em cenários CTAS quando um drop de coluna e uma alteração de tipo ocorriam simultaneamente.

{{XREF_7}}

1.17

8.0.9~8.0.10

2.1.x

2.2.x

3.0.x

• Corrigido um potencial deadlock ao registrar um novo cliente em um connection pool compartilhado.

• O ID de tabela não é mais verificado obrigatoriamente quando um job de consumo de Binlog retoma a partir de um estado salvo.

{{XREF_8}}

1.17

8.0.8

2.1.x

2.2.x

Sink table:

• Adicionado o parâmetro sink.delete-strategy para oferecer mais opções no tratamento de registros UPDATE_BEFORE, complementando a opção existente ignoredelete.

{{XREF_9}}

1.17

8.0.7

2.1.x

Dimension table:

• Corrigido um problema em que buscas frequentes de metadados para dimension tables com muitos campos causavam timeout na implantação do job.

Geral:

• Corrigido um erro de permissões insuficientes que ocorria quando diferentes tabelas utilizavam usuários distintos dentro de um connection pool compartilhado.

{{XREF_10}}

1.17

8.0.6

2.1.x

Source table:

• O connector agora alterna automaticamente do modo HoloHub para o modo JDBC no Hologres V2.1 ou posterior, pois o modo HoloHub foi descontinuado e não é mais compatível com essa versão. Para mais informações, consulte {{XREF_11}}.

Geral:

• Adicionado suporte ao parâmetro type-mapping.timestamp-converting.legacy para leitura e gravação corretas do tipo de dado Flink TIMESTAMP_LTZ. Para mais informações, consulte {{XREF_12}}.

• {{XREF_13}}

• {{XREF_14}}

• {{XREF_15}}

• {{XREF_16}}

1.17

8.0.5

2.0.x

2.1.x

Source table:

• No Hologres V2.1 e versões posteriores, não é mais necessário crie slots para consumir dados de Binlog via JDBC. Para mais informações, consulte {{XREF_17}}. A partir desta versão, publicações e slots não são mais criados automaticamente se a instância do Hologres for V2.1 ou posterior.

Sink table:

• Adicionado o parâmetro deduplication.enabled. O valor padrão é true. Quando defina como false, a result table ignora a deduplicação durante o processo de agregação e gravação. Esse recurso é útil em cenários como a reprodução completa de streams CDC upstream.

• Tabelas sem chaves primárias agora são compatíveis com gravações em modo bulkload, que consomem menos recursos do Hologres do que o modo jdbc_copy anterior.

Geral:

• Adicionado suporte à habilitação de criptografia em trânsito usando os parâmetros connection.ssl.mode e connection.ssl.root-cert.location.

• Adicionado um parâmetro de timeout para conexões JDBC internas, evitando que conexões de cliente fiquem sem resposta em cenários como reinicializações inesperadas do servidor.

• {{XREF_18}}

• {{XREF_19}}

1.17

8.0.4

2.0.x

2.1.x

Source table:

• Corrigido um problema em que uma publicação residual podia impedir o consumo de Binlog após uma reconstrução de tabela. O connector agora exclua automaticamente a publicação antiga.

Geral:

• As dimension tables e sink tables do Hologres no mesmo job agora compartilham um connection pool, aumentando o limite efetivo de conexões.

• {{XREF_20}}

• {{XREF_21}}

1.17

8.0.3

2.0.x

2.1.x

Geral:

• Independentemente da versão da instância do Hologres, as dimension tables e sink tables não são mais compatíveis com o modo RPC. Se o modo RPC for selecione, ele é automaticamente alterado para o modo jdbc_fixed. Recomenda-se fazer o upgrade da instância caso ela seja uma versão mais antiga.

{{XREF_22}}

1.15

6.0.7

• 1.3.x

• 2.0.x

• Source table:

  Adicionada compatibilidade com o Hologres V2.0. Se o connector detectar uma conexão com uma instância do Hologres de V2.0 ou posterior, o modo HoloHub Binlog é alternado automaticamente para o modo JDBC Binlog.

• Dimension table:

  Adicionada compatibilidade com o Hologres V2.0. Se o connector detectar uma conexão com uma instância do Hologres de V2.0 ou posterior, o modo RPC é alternado automaticamente para o modo jdbc_fixed.

• Sink table:

  • Adicionada compatibilidade com o Hologres V2.0. Se o connector detectar uma conexão com uma instância do Hologres de V2.0 ou posterior, o modo RPC é alternado automaticamente para o modo jdbc_fixed.

  • Adicionado suporte a atualizações parciais de colunas. É possível inserir apenas os campos declarados na instrução INSERT do Flink. Esse recurso simplifica cenários de merge em tabelas largas.

• Geral:

  Quando ocorre uma exceção de conversão de registro, o connector agora registra os dados de source e o resultado da conversão para facilitar a resolução de problemas com dados sujos.

• Correções de bugs:

  • Corrigido um problema em que usar o mesmo connectionPoolName para instâncias ou bancos de dados diferentes no mesmo job não gerava um erro.

  • Corrigida uma exceção de ponteiro nulo na versão 6.0.6 que ocorria quando um campo do tipo string em uma dimension table tinha valor null.

{{XREF_23}}

1.15

6.0.6

1.3.x

Source table:

• O parâmetro de nome de slot não é mais obrigatório ao consumir dados do Hologres Binlog no modo JDBC. Slots padrão podem ser criados para facilitar a migração do modo HoloHub.

• Adicionado o novo parâmetro enable_filter_push_down. As source tables batch não aplicam mais filter pushdown por padrão. Defina este parâmetro como true para ative o filter pushdown.

{{XREF_24}}

1.15

6.0.5

1.3.x

• Geral: ao iniciar um job, todas as informações de parâmetros são impressas no log do TaskManager para facilitar a resolução de problemas.

• CTAS/CDAS: adicionado um modo tolerante para tipos de dados de campos. Nesse modo, se ocorrer uma alteração de tipo na origem, a mudança é considerada bem-sucedida desde que os tipos original e novo possam ser normalizados para o mesmo tipo.

• Hologres Catalog: aprimorada a sintaxe ALTER TABLE para suportar a modificação de propriedades de tabelas físicas do Hologres, incluindo alteração de nomes de tabelas, adição de colunas, renomeação de colunas e modificação de comentários de colunas.

• {{XREF_25}}

• {{XREF_26}}

1.15

6.0.3~6.0.4

1.3.x

Source table:

• Adicionado um modo JDBC para consumo de dados do Hologres Binlog. Esse modo é compatível com mais tipos de dados e permite o uso de contas personalizadas.

• Adicionado suporte a filter pushdown para source tables batch e para a fase completa de source tables de dados completos e incrementais.

Sink table:

Adicionado suporte à gravação de dados no modo Fixed Copy. O Fixed Copy é um novo recurso do Hologres V1.3. Em comparação com o modo JDBC, o modo Fixed Copy oferece maior throughput e menor latência de dados via streaming, além de reduzir o consumo de memória do cliente ao eliminar o batching.

Hologres Catalog:

• Adicionado suporte à definição de propriedades padrão de tabela ao criar um catalog.

Parâmetro sdkMode: diferentes modos estão disponíveis para diferentes tipos de tabelas no Hologres. O parâmetro sdkMode agora é usado para consolidar a seleção de modo.

• {{XREF_29}}

1.13

4.0.18

1.1 e versões posteriores

Corrigido um problema em que o reporte de métricas para uma sink table degradava o desempenho de gravação.

1.13 e 1.15

4.0.15 e 6.0.2

1.1 e versões posteriores

Source table:

• As source tables batch agora diferenciam maiúsculas de minúsculas por padrão.

• Adicionado suporte à configuração do timeout de transação para operações Scan em source tables batch.

• Corrigido um problema em que o parsing de strings complexas em source tables batch podia falhar.

• Adicionado um modo Upsert para source tables de dados completos e incrementais.

Dimension table:

Adicionado suporte à configuração de um timeout de requisição assíncrona (asyncTimeoutMs) para dimension tables do Hologres.

Sink table:

• Adicionado suporte à sintaxe PARTITION BY para defina uma tabela particionada ao criar uma sink table do Hologres com CTAS.

• As métricas agora são compatíveis com a métrica currentSendTime.

• Apache Flink source table

• {{XREF_30}}

1.13

4.0.13

1.1 e versões posteriores

• Adicionado suporte a source tables para dados completos e incrementais.

• Adicionado suporte à DataStream API.

• {{XREF_32}}

1.13

4.0.11

0.10 e versões posteriores

Adicionado suporte a CTAS e CDAS.

• {{XREF_33}}

• {{XREF_34}}

1.13

4.0.8

0.10 e versões posteriores

Adicionado suporte ao Hologres Catalog para sink tables, source tables e dimension tables.

{{XREF_35}}

1.13

3.0.0

0.9 e versões posteriores

Adicionado suporte ao consumo de dados em tempo real do Hologres.

{{XREF_36}}

Severidade

Descrição

Versão afetada

Versão corrigida

Solução

P0

Ao gravar em um subconjunto de colunas em uma result table, se campos não gravados tiverem um valor padrão relacionado a tempo (como current_timestamp ou now()), o valor preenchido pode ser incorreto. Isso ocorre porque o modo FixedFE não trata corretamente os valores padrão relacionados a tempo.

11,0-11,5

N/A

Use a função now() do lado do Flink para passar o valor ao campo correspondente na result table. Como alternativa, defina o parâmetro connection.fixed.enabled como false.

P0

Durante o consumo de Binlog, se uma coluna física e uma coluna de metadados compartilharem o mesmo nome, como table_name, o connector lê incorretamente o valor da coluna de metadados em vez da coluna física, resultando em dados incorretos.

8.0.11, 11,0-11,4

11,5

Faça upgrade para a versão 11,5 ou posterior e defina scan.binlog.prefer.physical-column.over.metadata como true. Como alternativa, evite declarar colunas físicas com os mesmos nomes das colunas de metadados no DDL da source table de Binlog.

P1

Durante o consumo de Binlog, o column pruning pode ler dados para as colunas erradas. Isso ocorre porque o holo-client pode recuperar colunas inesperadas ao processar o column pruning.

11,3-11,5

Hotfixes foram lançados para todas as versões afetadas (11,3-11,5).

Um hotfix resolve este problema, portanto é improvável que você o encontre. Para jobs DataStream, utilize a versão mais recente do connector.

P2

O scanner de uma dimension table de um para muitos não é encerrado corretamente ao parar o job. Isso pode causar vazamentos de recursos ou timeouts durante o encerramento. Um problema na lógica interna de encerramento do scanner do holo-client é a causa raiz.

Versões anteriores à 11,3

11,4

Faça upgrade para a versão 11,4 ou posterior.

P1

Ao usar o recurso check-and-put, processar um registro de exclusão lança uma NullPointerException (NPE) e causa a falha do job.

8.0.11-11,4

11,5

Faça upgrade para a versão 11,5 ou posterior. Como alternativa, evite usar check-and-put em streams que contenham operações de exclusão.

P2

O connector não consegue retomar a partir de um checkpoint se uma tabela foi removida e recriada enquanto o job estava em execução.

11,0-11,2

11,3

Em um ambiente de testes, faça upgrade para a versão 11,3 ou posterior para evitar este problema. Observação: remover uma tabela durante o consumo de Binlog afeta a correção dos dados. Portanto, evite reconstruir uma tabela durante o consumo de Binlog em ambiente de produção.

P1

A leitura de dados RoaringBitmap via JDBC Binlog falha e lança uma exceção de parsing.

11,0-11,2

11,3

Faça upgrade para a versão 11,3 ou posterior.

P1

Ao consumir de uma tabela fisicamente particionada, se um shard não tiver dados, o connector inicializa incorretamente o Log Sequence Number (LSN) do estado como 0. Isso causa perda de dados quando o job retoma a partir desse estado.

Versões anteriores à 8.0.10, 11,0-11,2

8.0.11, 11,3

Faça upgrade para a versão 8.0.11, ou 11,3 ou posterior.

P1

Gravar um array TEXT contendo um elemento nulo lança uma NPE e causa a falha da operação de gravação.

11,0-11,1

11,2

Faça upgrade para a versão 11,2 ou posterior. Como alternativa, garanta que o array TEXT upstream não contenha elementos nulos.

P1

Um conflito entre o sufixo de criação de partição e o particionamento dinâmico causa a falha na criação da partição.

11,0-11,2

11,3

Faça upgrade para a versão 11,3 ou posterior.

P2

Exceções não relacionadas a dados sujos podem acionar a política de dados sujos, fazendo com que exceções válidas sejam tratadas incorretamente (por exemplo, descartadas silenciosamente).

11,0-11,1

11,2

Faça upgrade para a versão 11,2 ou posterior.

P1

Para uma source table de Integração Completa e Incremental, o JDBC Binlog inicia o consumo em LSN+1. Se o LSN atual já estiver em um checkpoint, retomar a partir dele pode pular um registro.

8.0.10 e versões anteriores

8.0.11

Faça upgrade para a versão 8.0.11.

P2

Em um cenário CTAS, se um drop de coluna e uma alteração de tipo ocorrerem na mesma operação, um erro de normalização de tipo causa a falha da alteração de schema.

8.0.10 e versões anteriores

8.0.11

Faça upgrade para a versão 8.0.11. Como alternativa, evite execute um drop de coluna e uma alteração de tipo na mesma operação.

P2

Ao usar uma dimension table de catalog, a validação dos parâmetros de Binlog pela factory causa uma exceção falso-positiva.

8.0.10 e versões anteriores

8.0.11

Faça upgrade para a versão 8.0.11.

P2

Em cenários com múltiplas tabelas, um número excessivo de requisições de polling JDBC causa timeout no SQL Gateway.

11,0-11,5

11,6

Faça upgrade para a versão 11,6. Como alternativa, reduza o número de tabelas do Hologres em um único job.

P2

Quando o modo FixedFE está selecione, se uma tabela contiver um tipo de dado não compatível com o FixedFE, a conexão não realiza downgrade automático para uma conexão FE, causando exceções de gravação ou consulta.

11,0-11,2

11,3

Faça upgrade para a versão 11,3 ou posterior. Como alternativa, especifique manualmente o modo de conexão FE.

P1

Ao consumir um Binlog no modo JDBC, pode ocorrer uma exceção "Binlog Convert Failed", ou a leitura de dados de alguns shards pode travar. Isso acontece porque o gateway da instância do Hologres apresenta um problema ao retornar uma exceção de timeout de backend para o cliente, fazendo com que a operação de leitura trave ou falhe com um erro de parsing.

N/A

N/A

Este problema é mais provável de ocorrer quando a contrapressão do job é alta. Se a leitura de dados travar, reinicie o job e retome a partir do checkpoint mais recente.

Para resolver completamente este problema, faça upgrade da instância do Hologres para V2.2.21 ou posterior.

P2

Os jobs são implantados lentamente ou atingem timeout. Uma análise de thread dump mostra que o processo está travado em GetTableSchema.

N/A

N/A

Este problema pode ter múltiplas causas. Siga estas etapas para diagnosticá-lo:

1. Verifique o {{XREF_37}} entre o cluster do Flink e a instância do Hologres.

2. Defina o parâmetro jdbcRetryCount como 1 para garantir que a causa raiz da exceção não seja ocultada por novas tentativas internas.

3. No Hologres V2.0 e versões anteriores, operações DDL frequentes podem causar atrasos na limpeza de metadados, o que pode retardar as consultas de metadados de tab