Este tópico lista os parâmetros WITH do Ververica Runtime (VVR) versão 11 e posteriores.
Descontinuação de parâmetros
Para aprimorar a arquitetura e a manutenção do sistema, alguns parâmetros legados do VVR 8 e versões anteriores foram descontinuados. As tabelas a seguir listam esses parâmetros e seus substitutos.
Parâmetros WITH
Geral
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
connector |
Tipo da tabela. |
String |
Sim |
— |
O valor deve ser |
|
dbname |
Nome do banco de dados. |
String |
Sim |
— |
É possível conectar-se a um virtual warehouse específico adicionando um sufixo ao nome do banco de dados. Por exemplo, para conectar uma tabela de dimensão ao virtual warehouse |
|
tablename |
Nome da tabela. |
String |
Sim |
— |
Se o schema não for |
|
username |
|
String |
Sim |
— |
Importante
Para evitar que suas informações de AccessKey sejam expostas, recomendamos usar variáveis de namespace para armazenar seus valores de AccessKey. Para mais informações, consulte Namespace variables. |
|
password |
|
String |
Sim |
— |
|
|
endpoint |
Endpoint do service Hologres. |
String |
Sim |
— |
Para mais informações, consulte Endpoints. |
|
connection.pool.size |
Tamanho do pool de conexões JDBC criado para uma única tabela Flink dentro de uma tarefa. |
Integer |
Não |
5 |
Se o desempenho do job for insuficiente, considere aumentar o tamanho do pool de conexões. O tamanho do pool é proporcional ao throughput de dados. Este parâmetro afeta apenas tabelas de dimensão e tabelas sink. |
|
connection.pool.name |
Tabelas no mesmo TaskManager podem compartilhar um pool de conexões usando o mesmo nome. |
String |
Não |
|
O valor padrão é Por exemplo, se um job contiver cinco tabelas Hologres (tabelas de dimensão A e B, e tabelas sink C, D e E), você pode configure as tabelas A e B para usarem Nota
|
|
connection.fixed.enabled |
Defina se o modo de conexão leve deve ser usado. |
Boolean |
Não |
— |
O Hologres possui um connection limit. A partir do Hologres V2.1, escritas em tempo real suportam conexões leves que não estão sujeitas a esse limite. Nota
|
|
connection.max-idle-ms |
Tempo limite de ociosidade para uma conexão JDBC, em milissegundos. |
Long |
Não |
60000 |
Se uma conexão permanecer ociosa por mais tempo que este valor, ela será fechada. Uma nova conexão é criada automaticamente quando necessário. |
|
connection.ssl.mode |
Especifique se a criptografia Secure Sockets Layer (SSL) em trânsito deve ser ativada e qual modo utilizar. |
String |
Não |
disable |
Nota
|
|
connection.ssl.root-cert.location |
Caminho para o certificado CA, necessário para modos de criptografia baseados em certificado. |
String |
Não |
— |
Se Nota
Para informações sobre como obter um certificado CA, consulte Download the CA certificate. |
|
retry-count |
Número de vezes para tentar novamente uma operação de escrita ou consulta em caso de falha de conexão. |
Integer |
Não |
10 |
— |
|
retry-sleep-step-ms |
Tempo de espera incremental para cada nova tentativa, em milissegundos. |
Long |
Não |
5000 |
Por exemplo, com o valor padrão de 5.000 (5 segundos), a primeira tentativa aguarda 5 segundos, a segunda 10 segundos, e assim por diante. |
|
meta-cache-ttl-ms |
Tempo de vida (TTL) para informações de TableSchema armazenadas em cache localmente, em milissegundos. |
Long |
Não |
600000 |
Unidade: milissegundos. |
|
serverless-computing.enabled |
Defina se recursos serverless devem ser usados. |
Boolean |
Não |
false |
Se este parâmetro for definido como Nota
Nota
Recomendamos ative este parâmetro para importações ou exportações de dados em grande escala, evitando impactos em outras consultas na sua instância Hologres. Para mais informações, consulte Overview. |
Parâmetros de tabela de source
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
source.binlog |
Defina se dados binlog devem ser consumidos. |
Boolean |
Não |
true |
|
|
source.binlog.read-mode |
Especifique o modo de leitura. |
ENUM |
Não |
AUTO |
Nota
A lógica de seleção para o modo AUTO é a seguinte:
|
|
source.binlog.change-log-mode |
Especifique os tipos de ChangeLog suportados pela tabela de source CDC. |
ENUM |
Não |
UPSERT |
Nota
Se o pipeline downstream incluir um operador de retração (por exemplo, usando |
|
source.binlog.startup-mode |
Especifique o modo de consumo para dados binlog. |
ENUM |
Não |
INITIAL |
Nota
|
|
source.binlog.batch-size |
Especifique o número de linhas a serem lidas por lote do binlog. |
Integer |
Não |
512 |
Não aplicável. |
|
source.binlog.request-timeout-ms |
Especifique o timeout para leitura de dados binlog. |
Long |
Não |
300000 |
Unidade: milissegundos. Nota
Um timeout pode indicar backpressure causado por operadores downstream processando dados da tabela de source muito lentamente. |
|
source.binlog.project-columns.enabled |
Defina se apenas os campos especificados na tabela do usuário devem ser lidos ao consumir dados binlog. |
Boolean |
Não |
Nenhum |
Os campos especificados são aqueles declarados na instrução Nota
Este parâmetro é suportado apenas no VVR 11.3 e posteriores e em instâncias Hologres V3.2 e posteriores. Geralmente não é necessário configure este parâmetro. O conector o ativa por padrão se os requisitos de versão forem atendidos. |
|
source.binlog.compression.enabled |
Defina se a compressão de dados em trânsito deve ser ativada durante a leitura de dados binlog. |
Boolean |
Não |
Nenhum |
Ao consumir o binlog, o servidor retorna um fluxo de bytes comprimido com o algoritmo LZ4. Isso melhora o desempenho de leitura e reduz o uso de largura de banda. Nota
Este parâmetro é suportado apenas no VVR 11.3 e posteriores e em instâncias Hologres V3.2 e posteriores. Geralmente não é necessário configure este parâmetro. O conector o ativa por padrão se os requisitos de versão forem atendidos. |
|
source.binlog.partition-binlog-mode |
Especifique o modo de consumo de binlog para uma tabela particionada. |
Enum |
Não |
DISABLE |
|
|
source.binlog.partition-binlog-lateness-timeout-minutes |
No modo DYNAMIC, especifique o timeout máximo de atraso ao consumir uma tabela particionada. |
Integer |
Não |
60 |
Por exemplo, se o particionamento dinâmico for por DIA, para a partição
Se o particionamento for por dia, o valor máximo é 24 * 60 = 1440 minutos. No modo DYNAMIC, o conector geralmente consome apenas uma partição por vez, mas pode consumir duas partições simultaneamente durante o período de atraso. |
|
source.binlog.partition-values-to-read |
No modo STATIC, especifique as partições a serem consumidas. Use vírgulas (,) para separar os valores de partição. |
String |
Não |
Nenhum |
|
|
startTime |
Especifique o horário inicial para o offset de consumo. |
String |
Não |
Nenhum |
Formato: yyyy-MM-dd hh:mm:ss. Se este parâmetro não for definido e o job não estiver retomando de um estado salvo, o consumo começa a partir do binlog mais antigo. |
|
source.scan.fetch-size |
Especifique o tamanho do lote para leituras em lote. |
Integer |
Não |
512 |
Não aplicável. |
|
source.scan.timeout-seconds |
Especifique o timeout para leituras em lote. |
Integer |
Não |
60 |
Unidade: segundos. |
|
source.scan.filter-push-down.enabled |
Defina se filtros devem ser enviados (push down) durante uma leitura em lote. |
Boolean |
Não |
false |
Nota
|
|
source.binlog.filter-push-down.enabled |
Defina se filtros devem ser enviados (push down) durante o consumo de binlog. |
Boolean |
Não |
false |
Nota
|
|
scan.prefer.physical-column.over.metadata-column |
Defina se a leitura de dados de uma coluna física deve ter prioridade quando ela compartilha o mesmo nome de uma coluna de metadados. |
Boolean |
Não |
false |
Este parâmetro é suportado apenas no VVR 11.5 e posteriores. Versões anteriores sempre priorizam a leitura de dados da coluna de metadados. |
Parâmetros de tabela sink
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
sink.write-mode |
Modo de escrita de dados. |
ENUM |
Não |
INSERT |
Nota
|
|
sink.on-conflict-action |
Política para tratar conflitos de chave primária. |
ENUM |
Não |
INSERT_OR_UPDATE |
|
|
sink.create-missing-partition |
Defina se uma partição deve ser criada automaticamente com base no valor de partição, caso não exista uma correspondente ao escrever em uma tabela particionada. |
Boolean |
Não |
false |
|
|
sink.delete-strategy |
Política para lidar com mensagens de retração. |
String |
Não |
CHANGELOG_STANDARD |
Nota
Ative a opção |
|
sink.ignore-null-when-update.enabled |
Quando |
Boolean |
Não |
false |
Nota
Este parâmetro é suportado apenas quando |
|
sink.ignore-null-when-update-by-expr.enabled |
Quando |
Boolean |
Não |
false |
Este método oferece melhor desempenho do que
Nota
|
|
sink.ignore-null-when-update.use-builtin.enabled |
Defina se o método integrado do SDK Hologres deve ser usado quando sink.ignore-null-when-update.enabled ou sink.ignore-null-when-update-by-expr.enabled estiver ativado. |
Boolean |
Não |
false |
O desempenho é equivalente quando sink.ignore-null-when-update.enabled está ativado. Nota
|
|
sink.default-for-not-null-column.enabled |
Especifique se o conector fornece um valor padrão quando null é escrito em uma coluna |
Boolean |
Não |
true |
Nota
Este parâmetro é suportado apenas quando |
|
sink.remove-u0000-in-text.enabled |
Especifique se o conector remove o caractere ilegal |
Boolean |
Não |
true |
|
|
sink.partial-insert.enabled |
Defina se apenas os campos definidos na instrução INSERT devem ser inseridos ou atualizados. |
Boolean |
Não |
false |
Nota
|
|
sink.deduplication.enabled |
Especifique se a deduplicação deve ser realizada durante o agrupamento em lote. |
Boolean |
Não |
true |
Nota
|
|
sink.aggressive-flush.enabled |
Defina se o modo de flush agressivo deve ser ativado. |
Boolean |
Não |
false |
Se definido como true, o conector força o envio (flush) de um lote quando a conexão está ociosa, mesmo que o lote não tenha atingido seu tamanho configurado. Isso reduz a latência de escrita de dados durante períodos de baixo tráfego. Nota
Este parâmetro é suportado apenas quando |
|
sink.insert.check-and-put.column |
Habilite atualizações condicionais e especifique a coluna a ser verificada. |
String |
Não |
Nenhum |
O valor deste parâmetro deve ser um nome de coluna existente na tabela Hologres. Importante
|
|
sink.insert.check-and-put.operator |
Operador de comparação para a operação de atualização condicional. |
String |
Não |
GREATER |
Compara a coluna de verificação do registro recebido com o valor existente na tabela. A atualização prossegue se a condição for atendida. Os operadores suportados são: |
|
sink.insert.check-and-put.null-as |
Durante uma atualização condicional, trata um valor nulo nos dados existentes como o valor especificado por este parâmetro. |
String |
Não |
Nenhum |
No PostgreSQL, qualquer comparação com |
|
sink.insert.batch-size |
No modo |
Integer |
Não |
512 |
O conector aciona uma escrita quando qualquer um dos limiares |
|
sink.insert.batch-byte-size |
No modo |
Long |
Não |
2097152 (2 MB) |
|
|
sink.insert.flush-interval-ms |
No modo |
Long |
Não |
10000 |
|
|
sink.copy.format |
Formato de transmissão de dados usado no modo COPY. |
String |
Não |
|
Formatos suportados para o modo
Formato suportado para o modo Nota
Este parâmetro é suportado apenas quando |
|
sink.insert.conflict-update-set |
Expressão Hologres usada para atualize a linha quando ocorre um conflito de chave primária. |
String |
Não |
Nenhum |
Equivalente a Por exemplo, se este parâmetro for definido como
Nota
Este parâmetro é suportado apenas quando |
|
sink.insert.conflict-where |
Condição de filtro Hologres para acionar uma atualização durante um conflito de chave primária. |
String |
Não |
Nenhum |
Equivalente a Por exemplo, se este parâmetro for definido como Nota
|
Parâmetros de tabela de dimensão
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
lookup.read.batch-size |
Número máximo de registros a serem agrupados em lote para consultas pontuais em uma tabela de dimensão Hologres. |
Integer |
Não |
256 |
Nenhum |
|
lookup.read.timeout-ms |
Timeout para consultas pontuais em uma tabela de dimensão. |
Long |
Não |
0, o que significa sem timeout. |
Nenhum |
|
lookup.read.column-table.enabled |
Defina se uma tabela orientada a colunas deve ser usada como tabela de dimensão. |
Boolean |
Não |
false |
Tabelas orientadas a colunas têm baixo desempenho para consultas pontuais. Recomendamos usar uma tabela orientada a linhas ou híbrida linha-coluna como tabela de dimensão. Um aviso é registrado se este parâmetro for ativado para uma tabela orientada a colunas. |
|
lookup.insert-if-not-exists |
Defina se um registro deve ser inserido caso não exista. |
Boolean |
Não |
false |
Se uma consulta pontual não encontrar correspondência para o registro atual na tabela de dimensão, o conector insere o registro. |
|
cache |
Política de cache. |
String |
Não |
Nenhum |
O Hologres suporta apenas duas políticas de cache: None e LRU. |
|
cacheSize |
Tamanho do cache, em linhas. |
Integer |
Não |
10000 |
Após selecione a política de cache LRU, você pode defina o tamanho do cache. A unidade é entradas. |
|
cacheTTLMs |
Tempo de vida (TTL) do cache, em milissegundos. |
Long |
Não |
Ver Observações. |
A unidade é milissegundos. O valor padrão de cacheTTLMs depende da configuração do cache:
|
|
cacheEmpty |
Defina se resultados de junção vazios devem ser armazenados em cache. |
Boolean |
Não |
true |
Importante
Decida se deve ative esta opção com base no seu cenário de negócios real.
|
|
async |
Defina se os resultados devem ser retornados de forma assíncrona. |
Boolean |
Não |
false |
Nota
|
|
lookup.async |
Defina se consultas assíncronas devem ser ativadas para tabelas de dimensão. |
Boolean |
Não |
true |
|
|
lookup.filter-push-down.enabled |
Defina se as condições de filtro da tabela de dimensão devem ser enviadas (push down) para o servidor Hologres. |
Boolean |
Não |
false |
Este recurso suporta apenas operações de comparação entre uma coluna e uma constante. O conector envia apenas operadores de igualdade (=) e comparação (<, <=, >, >=). Nota
Este parâmetro é suportado apenas no Realtime Compute Engine VVR 11.4 e posteriores. |