O Realtime Compute for Apache Flink oferece suporte a diversos tipos de tabela e conectores para leitura e gravação em armazenamentos externos por meio do Flink SQL e da DataStream API.
Tipos de tabela
O Realtime Compute for Apache Flink define tabelas via Flink SQL ou DataStream API para ler e gravar dados em sistemas externos. O Flink SQL aceita os seguintes tipos de tabela:
Tabela source: ponto de entrada do fluxo de dados. Lê continuamente eventos brutos de sistemas externos, como Kafka ou MySQL CDC.
Tabela de dimensão (lookup): tabela de referência que enriquece dados em streaming ao associar informações dimensionais estáticas ou de alteração lenta, como detalhes de usuários ou produtos.
Tabela sink: ponto de saída do processamento de dados. Grava resultados, como dados agregados ou combinados, em um sistema de destino, seja ele um data warehouse, banco de dados ou fila de mensagens.
Conectores suportados
|
Banco de dados relacional |
Banco de dados NoSQL |
Fila de mensagens |
|
Data warehouse |
Data lake |
Serviços de log e armazenamento de objetos |
|
Ferramentas e depuração |
Bancos de dados chave-valor e de séries temporais |
Geral |
Detalhes do suporte aos conectores
|
Conector |
Flink SQL |
Flink CDC |
Modo de execução |
Tipo de API |
Atualizações no sink |
|||
|
Tabela source |
Tabela de dimensão |
Tabela sink |
Source de dados |
Sink |
||||
|
√ |
√ |
√ |
√ |
× |
Modo streaming |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
× |
√ |
√ |
√ |
Streaming |
SQL, DataStream e YAML para ingestão de dados |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Streaming e batch |
SQL, DataStream e Flink CDC |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
× |
√ |
√ |
× |
Modo streaming |
SQL, DataStream e Flink CDC |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e batch |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
× |
√ |
× |
× |
Modos streaming e batch |
SQL e DataStream |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
√ |
× |
Modo streaming |
SQL, DataStream e Flink CDC |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modos streaming e batch |
SQL |
Sim |
|
|
√ |
× |
√ |
× |
× |
Modos streaming e batch |
SQL e DataStream |
Suporta apenas inserções. |
|
|
Nota
Este conector está sendo descontinuado. Use o conector MySQL. |
× |
√ |
√ |
Use o conector MySQL. |
× |
Modos streaming e batch |
SQL |
Sim |
|
√ |
× |
√ |
× |
× |
Modo streaming |
SQL e DataStream |
Suporta apenas inserções. |
|
|
× |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modos streaming e batch |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Modos streaming e batch |
SQL |
Sim |
|
|
PolarDB PostgreSQL (Oracle Compatible 1.0) (em descontinuação) |
× |
× |
√ |
× |
× |
Modos streaming e batch |
SQL |
Sim |
|
√ |
× |
√ |
× |
√ |
Modo streaming |
SQL e Flink CDC |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modos streaming e batch |
SQL e DataStream |
Sim |
|
|
× |
× |
√ |
× |
× |
Modos streaming e batch |
SQL |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Modos streaming e batch |
SQL e DataStream |
Sim |
|
|
× |
× |
√ |
× |
× |
Modo streaming |
SQL |
Suporta apenas inserções. |
|
|
√ |
× |
× |
√ |
× |
Modo streaming |
SQL e Flink CDC |
N/A |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
× |
√ |
× |
√ |
Modos streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
√ |
× |
× |
× |
Modos streaming e batch |
SQL |
N/A |
|
|
× |
× |
√ |
× |
× |
Modos streaming e batch |
SQL |
Sim |
|
|
√ |
× |
× |
× |
× |
Modos streaming e batch |
SQL |
N/A |
|
|
× |
× |
√ |
× |
√ |
Modos streaming e batch |
SQL e Flink CDC |
Sim |
|
|
√ |
× |
√ |
× |
× |
Modos streaming e batch |
SQL e DataStream |
Sim |
|