O Fully Managed Flink inclui modelos de código integrados que abrangem padrões comuns do Flink SQL, desde definições básicas de linguagem de dados (DDL) e agregações de janela até junções, deduplicação e processamento de eventos complexos (CEP). Cada modelo fornece SQL funcional com comentários em linha para que você possa adaptá-lo à sua lógica de negócios sem começar do zero.
Não é possível implantar um job se o script SQL não incluir uma instrução INSERT INTO. Verifique se o script final contém pelo menos uma instrução INSERT INTO antes da implantação.
Limites
Os modelos de código exigem a versão vvr-4.0.12-flink-1.13 ou posterior do mecanismo de computação em tempo real.
Modelos suportados
A tabela a seguir lista todos os modelos disponíveis e seus casos de uso. Para obter a lista mais atualizada, consulte o console.
| Categoria | Modelo | Caso de uso |
|---|---|---|
| Modelos básicos | Create Table | Crie uma tabela persistente com uma instrução DDL e salve-a em um catálogo. |
| Modelos básicos | Create Temporary Table | Crie uma tabela com escopo limitado à sessão atual ou ao script SQL. |
| Modelos básicos | Create Temporary View | Reutilize subconsultas, organize consultas longas ou simplifique o desenvolvimento encapsulando a lógica em uma view nomeada. |
| Modelos básicos | INSERT INTO | Grave resultados de consulta em uma tabela de sistema de armazenamento externo para consumo downstream. |
| Modelos básicos | STATEMENT SET | Grave resultados de consulta em dois ou mais sistemas externos downstream em um único job. |
| Modelos básicos | Watermark | Processe dados fora de ordem definindo uma watermark em um campo existente e marcando-o como atributo de tempo. Consulte Tempo de evento e watermarks para mais informações. |
| Agregação e análise | GROUP BY | Agregue e analise dados de streaming em tempo real com GROUP BY do SQL. |
| Agregação e análise | Agregação de janela tumbling | Agrupe dados de séries temporais em janelas fixas e não sobrepostas e realize agregações dentro de cada janela. |
| Agregação e análise | Agregação de janela sliding | Desloque uma janela sobre os dados em um intervalo especificado para manter uma agregação contínua. |
| Agregação e análise | Agregação de janela cumulative | Obtenha resultados intermediários de agregação antes do fechamento da janela. Por exemplo, visualize o resultado mais recente a cada minuto dentro de uma janela de uma hora. Nota
A agregação de janela cumulative não oferece suporte a change data capture (CDC). O uso com fontes CDC causa um erro de validação de sintaxe: |
| Agregação e análise | Agregação de janela session | Colete estatísticas em tempo real sobre a atividade do usuário durante uma sessão ativa. A janela se fecha após um período de inatividade. |
| Agregação e análise | Agregação de janela OVER | Execute análises estatísticas em cada linha dentro de um intervalo deslizante de linhas anteriores. |
| Agregação e análise | Agregação de janela em cascata | Agregue o mesmo stream em múltiplas granularidades de tempo simultaneamente. Exemplo: 1 min, 5 min, 30 min e 1 hora. |
| Modelo de deduplicação | Deduplicação | Remova registros duplicados de um stream de dados com a sintaxe de deduplicação do Flink SQL. |
| Modelos Top-N | Top-N | Classifique registros e recupere os N principais ou inferiores em todo o stream. |
| Modelos Top-N | Window Top-N | Classifique registros e recupere os N principais ou inferiores dentro de uma janela de tempo específica. |
| Modelo CEP | Detecção de padrões (CEP) | Busque sequências de eventos correspondentes a um padrão definido com a sintaxe MATCH_RECOGNIZE. |
| Modelos de junção | Junção regular | Una streams de dados e consulte o conjunto de resultados combinado. |
| Modelos de junção | Junção por intervalo | Una registros de dois streams cujos timestamps estejam dentro de um intervalo de tempo especificado. |
| Modelos de junção | Junção com tabela temporal | Associe cada registro do stream à versão da linha da tabela válida no momento do evento. |
| Modelos de junção | Junção com tabela de dimensões | Enriqueça dados de streaming unindo-os a uma tabela de dimensões estática. |
Criar um job a partir de um modelo
As etapas a seguir usam o modelo Create Table como exemplo. O processo é igual para todos os outros modelos.
Pré-requisitos
Antes de começar, verifique se você tem:
Acesso a um workspace do Fully Managed Flink
Um workspace executando a versão vvr-4.0.12-flink-1.13 ou posterior do mecanismo de computação em tempo real
Abrir um modelo e criar um job
Faça login no console do Real-time Compute.
Na coluna Actions do workspace desejado, clique em Console.
Na página Data Studio > ETL, clique em New.
-
Na aba SQL Basic Template, clique duas vezes no modelo desejado. Alternativamente, selecione o modelo e clique em Next no canto inferior direito.
-
Se necessário, modifique o File Name, o Storage Location, a Engine Version e o código SQL conforme suas necessidades.
Clique em Create.
Próximos passos
Após criar o job, siga o fluxo de trabalho padrão de desenvolvimento para configurá-lo, implantá-lo e executá-lo. Consulte Mapa de desenvolvimento de jobs.