Este tópico lista os parâmetros WITH do Ververica Runtime (VVR) versão 11 e posteriores.
Descontinuação de parâmetros
Para aprimorar a arquitetura e a manutenção do sistema, alguns parâmetros legados do VVR 8 e versões anteriores foram descontinuados. As tabelas a seguir listam esses parâmetros e seus substitutos.
Parâmetros WITH
Geral
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
connector |
Tipo da tabela. |
String |
Sim |
— |
O valor deve ser |
|
dbname |
Nome do banco de dados. |
String |
Sim |
— |
É possível conectar-se a um warehouse virtual específico adicionando um sufixo ao nome do banco de dados. Por exemplo, para conectar uma tabela de dimensão ao warehouse virtual |
|
tablename |
Nome da tabela. |
String |
Sim |
— |
Se o esquema não for |
|
username |
|
String |
Sim |
— |
Importante
Para evitar que suas informações de AccessKey sejam expostas, recomendamos usar variáveis de namespace para armazenar seus valores de AccessKey. Para obter mais informações, consulte Namespace variables. |
|
password |
|
String |
Sim |
— |
|
|
endpoint |
Endpoint do service Hologres. |
String |
Sim |
— |
Para obter mais informações, consulte Endpoints. |
|
connection.pool.size |
Tamanho do pool de conexões JDBC criado para uma única tabela Flink dentro de uma tarefa. |
Integer |
Não |
5 |
Se o desempenho do job for insuficiente, considere aumentar o tamanho do pool de conexões. O tamanho do pool é proporcional ao throughput de dados. Este parâmetro afeta apenas tabelas de dimensão e tabelas sink. |
|
connection.pool.name |
Tabelas no mesmo TaskManager podem compartilhar um pool de conexões usando o mesmo nome. |
String |
Não |
|
O valor padrão é Por exemplo, se um job contiver cinco tabelas Hologres (tabelas de dimensão A e B, e tabelas sink C, D e E), você pode configure as tabelas A e B para usar Nota
|
|
connection.fixed.enabled |
Define se o modo de conexão leve deve ser usado. |
Boolean |
Não |
— |
O Hologres possui um connection limit. A partir do Hologres V2.1, escritas em tempo real suportam conexões leves que não estão sujeitas a esse limite. Nota
|
|
connection.max-idle-ms |
Tempo limite de ociosidade para uma conexão JDBC, em milissegundos. |
Long |
Não |
60000 |
Se uma conexão permanecer ociosa por mais tempo que este valor, ela será fechada. Uma nova conexão é criada automaticamente quando necessário. |
|
connection.ssl.mode |
Define se a criptografia Secure Sockets Layer (SSL) em trânsito deve ser ativada e qual modo usar. |
String |
Não |
disable |
Nota
|
|
connection.ssl.root-cert.location |
Caminho para o certificado CA, necessário para modos de criptografia baseados em certificado. |
String |
Não |
— |
Se Nota
Para obter informações sobre como adquirir um certificado CA, consulte Download the CA certificate. |
|
retry-count |
Número de vezes para tentar novamente uma operação de escrita ou consulta em caso de falha de conexão. |
Integer |
Não |
10 |
— |
|
retry-sleep-step-ms |
Tempo de espera incremental para cada nova tentativa, em milissegundos. |
Long |
Não |
5000 |
Por exemplo, com o valor padrão de 5.000 (5 segundos), a primeira nova tentativa aguarda 5 segundos, a segunda aguarda 10 segundos e assim por diante. |
|
meta-cache-ttl-ms |
Tempo de vida (TTL) das informações de TableSchema armazenadas em cache localmente, em milissegundos. |
Long |
Não |
600000 |
Unidade: milissegundos. |
|
serverless-computing.enabled |
Define se recursos serverless devem ser usados. |
Boolean |
Não |
false |
Se este parâmetro estiver definido como Nota
Nota
Recomendamos ative este parâmetro para importações ou exportações de dados em grande escala para evitar impacto em outras consultas na sua instância Hologres. Para obter mais informações, consulte Overview. |
Parâmetros de tabela de origem
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
source.binlog |
Define se os dados binlog devem ser consumidos. |
Boolean |
Não |
true |
|
|
source.binlog.read-mode |
Especifique o modo de leitura. |
ENUM |
Não |
AUTO |
Nota
A lógica de seleção para o modo AUTO é a seguinte:
|
|
source.binlog.change-log-mode |
Especifique os tipos de ChangeLog suportados pela tabela de origem CDC. |
ENUM |
Não |
UPSERT |
Nota
Se o pipeline downstream incluir um operador de retração (por exemplo, usando |
|
source.binlog.startup-mode |
Especifique o modo de consumo para dados binlog. |
ENUM |
Não |
INITIAL |
Nota
|
|
source.binlog.batch-size |
Especifique o número de linhas a serem lidas por lote do binlog. |
Integer |
Não |
512 |
Não aplicável. |
|
source.binlog.request-timeout-ms |
Especifique o tempo limite para leitura de dados binlog. |
Long |
Não |
300000 |
Unidade: milissegundos. Nota
Um tempo limite pode indicar contrapressão causada por operadores downstream processando dados da tabela de origem muito lentamente. |
|
source.binlog.project-columns.enabled |
Define se apenas os campos especificados na tabela do usuário devem ser lidos ao ler dados binlog. |
Boolean |
Não |
Nenhum |
Os campos especificados são aqueles declarados na instrução Nota
Este parâmetro é suportado apenas no VVR 11.3 e posteriores e em instâncias Hologres V3.2 e posteriores. Geralmente não é necessário configure este parâmetro. O conector o ativa por padrão se os requisitos de versão forem atendidos. |
|
source.binlog.compression.enabled |
Define se a compactação de dados em trânsito deve ser ativada ao ler dados binlog. |
Boolean |
Não |
Nenhum |
Ao consumir o binlog, o servidor retorna um fluxo de bytes compactado com o algoritmo LZ4. Isso melhora o desempenho de leitura e reduz o uso de largura de banda. Nota
Este parâmetro é suportado apenas no VVR 11.3 e posteriores e em instâncias Hologres V3.2 e posteriores. Geralmente não é necessário configure este parâmetro. O conector o ativa por padrão se os requisitos de versão forem atendidos. |
|
source.binlog.partition-binlog-mode |
Especifique o modo de consumo de binlog para uma tabela particionada. |
Enum |
Não |
DISABLE |
|
|
source.binlog.partition-binlog-lateness-timeout-minutes |
No modo DYNAMIC, especifique o tempo limite máximo de atraso ao consumir uma tabela particionada. |
Integer |
Não |
60 |
Por exemplo, se o particionamento dinâmico for por DIA, para a partição
Se o particionamento for por dia, o valor máximo é 24 * 60 = 1440 minutos. No modo DYNAMIC, o conector geralmente consome apenas uma partição por vez, mas pode consumir duas partições simultaneamente durante o período de atraso. |
|
source.binlog.partition-values-to-read |
No modo STATIC, especifique as partições a serem consumidas. Use vírgulas (,) para separar os valores de partição. |
String |
Não |
Nenhum |
|
|
startTime |
Especifique a hora de início para o offset de consumo. |
String |
Não |
Nenhum |
Formato: yyyy-MM-dd hh:mm:ss. Se este parâmetro não estiver definido e o job não estiver retomando de um estado salvo, o consumo começa a partir do binlog mais antigo. |
|
source.scan.fetch-size |
Especifique o tamanho do lote para leituras em lote. |
Integer |
Não |
512 |
Não aplicável. |
|
source.scan.timeout-seconds |
Especifique o tempo limite para leituras em lote. |
Integer |
Não |
60 |
Unidade: segundos. |
|
source.scan.filter-push-down.enabled |
Define se filtros devem ser enviados (push down) durante uma leitura em lote. |
Boolean |
Não |
false |
Nota
|
|
source.binlog.filter-push-down.enabled |
Define se filtros devem ser enviados (push down) durante o consumo de binlog. |
Boolean |
Não |
false |
Nota
|
|
scan.prefer.physical-column.over.metadata-column |
Define se a leitura de dados de uma coluna física deve ter prioridade quando ela compartilha o mesmo nome que uma coluna de metadados. |
Boolean |
Não |
false |
Este parâmetro é suportado apenas no VVR 11.5 e posteriores. Versões anteriores sempre priorizam a leitura de dados da coluna de metadados. |
Parâmetros de tabela sink
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
sink.write-mode |
Modo de escrita de dados. |
ENUM |
Não |
INSERT |
Nota
|
|
sink.on-conflict-action |
Política para tratar conflitos de chave primária. |
ENUM |
Não |
INSERT_OR_UPDATE |
|
|
sink.create-missing-partition |
Define se uma partição deve ser criada automaticamente com base no valor de partição se uma correspondente não existir ao escrever em uma tabela particionada. |
Boolean |
Não |
false |
|
|
sink.delete-strategy |
Política para tratar mensagens de retração. |
String |
Não |
CHANGELOG_STANDARD |
Nota
Ative a opção |
|
sink.ignore-null-when-update.enabled |
Quando |
Boolean |
Não |
false |
Nota
Este parâmetro é suportado apenas quando |
|
sink.ignore-null-when-update-by-expr.enabled |
Quando |
Boolean |
Não |
false |
Este método oferece melhor desempenho do que
Nota
|
|
sink.ignore-null-when-update.use-builtin.enabled |
Define se o método integrado do SDK Hologres deve ser usado quando sink.ignore-null-when-update.enabled ou sink.ignore-null-when-update-by-expr.enabled estiver ativado. |
Boolean |
Não |
false |
O desempenho é equivalente quando sink.ignore-null-when-update.enabled está ativado. Nota
|
|
sink.default-for-not-null-column.enabled |
Define se o conector fornece um valor padrão quando null é escrito em uma coluna |
Boolean |
Não |
true |
Nota
Este parâmetro é suportado apenas quando |
|
sink.remove-u0000-in-text.enabled |
Define se o conector remove o caractere ilegal |
Boolean |
Não |
true |
|
|
sink.partial-insert.enabled |
Define se apenas os campos definidos na instrução INSERT devem ser inseridos ou atualizados. |
Boolean |
Não |
false |
Nota
|
|
sink.deduplication.enabled |
Define se a deduplicação deve ser realizada durante o agrupamento em lotes. |
Boolean |
Não |
true |
Nota
|
|
sink.aggressive-flush.enabled |
Define se o modo de liberação agressiva deve ser ativado. |
Boolean |
Não |
false |
Se definido como true, o conector força a liberação de um lote quando a conexão está ociosa, mesmo que o lote não tenha atingido seu tamanho configurado. Isso reduz a latência de escrita de dados durante períodos de baixo tráfego. Nota
Este parâmetro é suportado apenas quando |
|
sink.insert.check-and-put.column |
Ativa atualizações condicionais e especifique a coluna a ser verificada. |
String |
Não |
Nenhum |
O valor deste parâmetro deve ser um nome de coluna existente na tabela Hologres. Importante
|
|
sink.insert.check-and-put.operator |
Operador de comparação para a operação de atualização condicional. |
String |
Não |
GREATER |
Compara a coluna de verificação do registro recebido com o valor existente na tabela. A atualização prossegue se a condição for atendida. Os operadores suportados são: |
|
sink.insert.check-and-put.null-as |
Durante uma atualização condicional, trata um valor nulo nos dados existentes como o valor especificado por este parâmetro. |
String |
Não |
Nenhum |
No PostgreSQL, qualquer comparação com |
|
sink.insert.batch-size |
No modo |
Integer |
Não |
512 |
O conector aciona uma escrita quando qualquer um dos limiares |
|
sink.insert.batch-byte-size |
No modo |
Long |
Não |
2097152 (2 MB) |
|
|
sink.insert.flush-interval-ms |
No modo |
Long |
Não |
10000 |
|
|
sink.copy.format |
Formato de transmissão de dados usado no modo COPY. |
String |
Não |
|
Formatos suportados para o modo
Formato suportado para o modo Nota
Este parâmetro é suportado apenas quando |
|
sink.insert.conflict-update-set |
Expressão Hologres usada para atualize a linha quando ocorre um conflito de chave primária. |
String |
Não |
Nenhum |
Equivalente a Por exemplo, se este parâmetro for definido como
Nota
Este parâmetro é suportado apenas quando |
|
sink.insert.conflict-where |
Condição de filtro Hologres para acionar uma atualização durante um conflito de chave primária. |
String |
Não |
Nenhum |
Equivalente a Por exemplo, se este parâmetro for definido como Nota
|
Parâmetros de tabela de dimensão
|
Parâmetro |
Descrição |
Tipo |
Obrigatório |
Padrão |
Observações |
|
lookup.read.batch-size |
Número máximo de registros a serem agrupados em lote para consultas pontuais em uma tabela de dimensão Hologres. |
Integer |
Não |
256 |
Nenhum |
|
lookup.read.timeout-ms |
Tempo limite para consultas pontuais em uma tabela de dimensão. |
Long |
Não |
0, o que significa sem tempo limite. |
Nenhum |
|
lookup.read.column-table.enabled |
Define se uma tabela orientada a colunas deve ser usada como tabela de dimensão. |
Boolean |
Não |
false |
Tabelas orientadas a colunas têm baixo desempenho para consultas pontuais. Recomendamos usar uma tabela orientada a linhas ou híbrida linha-coluna como tabela de dimensão. Um aviso é registrado se este parâmetro for ativado para uma tabela orientada a colunas. |
|
lookup.insert-if-not-exists |
Define se um registro deve ser inserido caso não exista. |
Boolean |
Não |
false |
Se uma consulta pontual não encontrar correspondência para o registro atual na tabela de dimensão, o conector insere o registro. |
|
cache |
Política de cache. |
String |
Não |
Nenhum |
O Hologres suporta apenas duas políticas de cache: None e LRU. |
|
cacheSize |
Tamanho do cache, em linhas. |
Integer |
Não |
10000 |
Após selecione a política de cache LRU, você pode defina o tamanho do cache. A unidade é entradas. |
|
cacheTTLMs |
Tempo de vida (TTL) do cache, em milissegundos. |
Long |
Não |
Ver Observações. |
A unidade é milissegundos. O valor padrão de cacheTTLMs depende da configuração do cache:
|
|
cacheEmpty |
Define se resultados de junção vazios devem ser armazenados em cache. |
Boolean |
Não |
true |
Importante
Decida se deve ative esta opção com base no seu cenário de negócios real.
|
|
async |
Define se os resultados devem ser retornados de forma assíncrona. |
Boolean |
Não |
false |
Nota
|
|
lookup.async |
Define se consultas assíncronas para tabelas de dimensão devem ser ativadas. |
Boolean |
Não |
true |
|
|
lookup.filter-push-down.enabled |
Define se as condições de filtro da tabela de dimensão devem ser enviadas (push down) para o servidor Hologres. |
Boolean |
Não |
false |
Este recurso suporta apenas operações de comparação entre uma coluna e uma constante. O conector envia apenas operadores de igualdade (=) e comparação (<, <=, >, >=). Nota
Este parâmetro é suportado apenas no Realtime Compute Engine VVR 11.4 e posteriores. |