O Realtime Compute for Apache Flink oferece suporte a diversos tipos de tabela e conectores para leitura e gravação em armazenamentos externos por meio do Flink SQL e da DataStream API.
Tipos de tabela
O Realtime Compute for Apache Flink define tabelas via Flink SQL ou DataStream API para ler e gravar dados em sistemas externos. O Flink SQL aceita os seguintes tipos de tabela:
Tabela source: ponto de entrada do fluxo de dados. Lê continuamente eventos brutos de sistemas externos, como Kafka ou MySQL CDC.
Tabela de dimensão (lookup): tabela de referência que enriquece dados em streaming ao associar informações estáticas ou de alteração lenta, como detalhes de usuários ou product.
Tabela sink: destino final do processamento. Grava resultados, como dados agregados ou combinados, em sistemas como data warehouses, bancos de dados ou filas de mensagens.
Conectores suportados
|
Banco de dados relacional |
Banco de dados NoSQL |
Fila de mensagens |
|
Data warehouse |
Data lake |
Serviços de log e armazenamento de objetos |
|
Ferramentas e depuração |
Bancos de dados chave-valor e de séries temporais |
Geral |
Detalhes do suporte aos conectores
|
Conector |
Flink SQL |
Flink CDC |
Modo de execução |
Tipo de API |
Atualizações no sink |
|||
|
Tabela source |
Tabela de dimensão |
Tabela sink |
Source de dados |
Sink |
||||
|
√ |
√ |
√ |
√ |
× |
Streaming |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
× |
√ |
√ |
√ |
Streaming |
SQL, DataStream e YAML para ingestão de dados |
Somente inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL, DataStream e Flink CDC |
Somente inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
× |
√ |
√ |
× |
Streaming |
SQL, DataStream e Flink CDC |
Somente inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
× |
√ |
× |
× |
Streaming e batch |
SQL e DataStream |
Somente inserções. |
|
|
√ |
√ |
√ |
√ |
× |
Streaming |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Streaming e batch |
SQL |
Sim |
|
|
√ |
× |
√ |
× |
× |
Streaming e batch |
SQL e DataStream |
Somente inserções. |
|
|
Nota
Este conector será descontinuado. Use o conector MySQL. |
× |
√ |
√ |
Use o conector MySQL. |
× |
Streaming e batch |
SQL |
Sim |
|
√ |
× |
√ |
× |
× |
Streaming |
SQL e DataStream |
Somente inserções. |
|
|
× |
√ |
√ |
× |
× |
Streaming |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Streaming |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Streaming |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Streaming |
SQL |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Streaming e batch |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Streaming e batch |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Streaming e batch |
SQL |
Sim |
|
|
√ |
× |
√ |
× |
√ |
Streaming |
SQL e Flink CDC |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Streaming e batch |
SQL e DataStream |
Sim |
|
|
× |
× |
√ |
× |
× |
Streaming e batch |
SQL |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Streaming |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Streaming e batch |
SQL e DataStream |
Sim |
|
|
× |
× |
√ |
× |
× |
Streaming |
SQL |
Somente inserções. |
|
|
√ |
× |
× |
√ |
× |
Streaming |
SQL e Flink CDC |
N/A |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
× |
√ |
× |
√ |
Streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
√ |
× |
× |
× |
Streaming e batch |
SQL |
N/A |
|
|
× |
× |
√ |
× |
× |
Streaming e batch |
SQL |
Sim |
|
|
√ |
× |
× |
× |
× |
Streaming e batch |
SQL |
N/A |
|
|
× |
× |
√ |
× |
√ |
Streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
× |
√ |
× |
× |
Streaming e batch |
SQL e DataStream |
Sim |
|