O Realtime Compute for Apache Flink oferece suporte a diversos tipos de tabela e conectores para leitura e gravação em armazenamento externo por meio do Flink SQL e da DataStream API.
Tipos de tabela
O Realtime Compute for Apache Flink define tabelas por meio do Flink SQL ou da DataStream API para ler e gravar em armazenamento externo. O Flink SQL oferece suporte aos seguintes tipos de tabela:
Tabela source: Ponto de entrada para um fluxo de dados. Lê continuamente dados de eventos brutos de sistemas externos, como Kafka ou MySQL CDC.
Tabela de dimensão (lookup): Tabela de referência que enriquece dados de streaming ao unir dados de dimensão estáticos ou de alteração lenta, como detalhes de usuários ou product.
Tabela sink: Ponto de saída para o processamento de dados. Grava resultados, como dados agregados ou unidos, em um sistema de destino, como um data warehouse, banco de dados ou fila de mensagens.
Conectores suportados
|
Banco de dados relacional |
Banco de dados NoSQL |
Fila de mensagens |
|
Data warehouse |
Data lake |
Serviços de log e armazenamento de objetos |
|
Ferramentas e depuração |
Bancos de dados de chave-valor e séries temporais |
Geral |
Detalhes de suporte dos conectores
|
Conector |
Flink SQL |
Flink CDC |
Modo de execução |
Tipo de API |
Atualizações ou exclusões de dados no sink |
|||
|
Tabela source |
Tabela de dimensão |
Tabela sink |
Fonte de dados |
Sink |
||||
|
Nota
Oferece suporte a conexões com o ApsaraDB RDS for MySQL, PolarDB for MySQL e MySQL autogerenciado. |
√ |
√ |
√ |
√ |
× |
Modo streaming |
SQL, DataStream e YAML de ingestão de dados |
Sim |
|
√ |
√ |
√ |
× |
√ |
Modos streaming e em lote |
SQL, DataStream e YAML de ingestão de dados |
Sim |
|
|
√ |
× |
√ |
√ |
√ |
Modo streaming |
SQL, DataStream e YAML de ingestão de dados |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e em lote |
SQL, DataStream e YAML de ingestão de dados |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e em lote |
SQL e YAML de ingestão de dados |
Sim |
|
|
√ |
× |
√ |
√ |
× |
Modo streaming |
SQL, DataStream e YAML de ingestão de dados |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e em lote |
SQL, DataStream e YAML de ingestão de dados |
Sim |
|
|
√ |
× |
√ |
× |
× |
Modos streaming e em lote |
SQL e DataStream |
Suporta apenas inserções. |
|
|
√ |
√ |
√ |
√ |
× |
Modo streaming |
SQL, DataStream e YAML de ingestão de dados |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modos streaming e em lote |
SQL |
Sim |
|
|
√ |
× |
√ |
× |
× |
Modos streaming e em lote |
SQL e DataStream |
Suporta apenas inserções. |
|
|
Nota
Este conector está sendo descontinuado. Use o conector MySQL. |
× |
√ |
√ |
Use o conector MySQL. |
× |
Modos streaming e em lote |
SQL |
Sim |
|
√ |
× |
√ |
× |
× |
Modo streaming |
SQL e DataStream |
Suporta apenas inserções. |
|
|
× |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modos streaming e em lote |
SQL |
Sim |
|
|
× |
√ |
√ |
× |
× |
Modos streaming e em lote |
SQL |
Sim |
|
|
× |
× |
√ |
× |
× |
Modos streaming e em lote |
SQL |
Sim |
|
|
√ |
× |
√ |
× |
√ |
Modo streaming |
SQL e YAML de ingestão de dados |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modos streaming e em lote |
SQL e DataStream |
Sim |
|
|
× |
× |
√ |
× |
× |
Modos streaming e em lote |
SQL |
Sim |
|
|
√ |
√ |
√ |
× |
× |
Modo streaming |
SQL |
Sim |
|
|
× |
× |
√ |
× |
√ |
Modos streaming e em lote |
DataStream, SQL e YAML de ingestão de dados |
Sim |
|
|
× |
× |
√ |
× |
× |
Modo streaming |
SQL |
Não |
|
|
√ |
× |
× |
√ |
× |
Modo streaming |
SQL e YAML de ingestão de dados |
N/D |
|
|
√ |
√ |
√ |
× |
√ |
Modos streaming e em lote |
SQL e YAML de ingestão de dados |
Sim |
|
|
√ |
× |
√ |
× |
√ |
Modos streaming e em lote |
SQL e YAML de ingestão de dados |
Sim |
|
|
√ |
√ |
× |
× |
× |
Modos streaming e em lote |
SQL |
N/D |
|
|
× |
× |
√ |
× |
× |
Modos streaming e em lote |
SQL |
Sim |
|
|
√ |
× |
× |
× |
× |
Modos streaming e em lote |
SQL |
N/D |
|
|
× |
× |
√ |
× |
√ |
Modos streaming e em lote |
SQL e YAML de ingestão de dados |
Sim |
|
|
√ |
× |
√ |
× |
× |
Modos streaming e em lote |
SQL e DataStream |
Sim |
|