O Flink é um mecanismo de execução de fluxo de dados em streaming que gerencia a distribuição de dados, a comunicação e a tolerância a falhas no processamento distribuído de streams. Ele também oferece APIs de alto nível para criar tarefas distribuídas.
Compatibilidade com open source
O EMR Flink é totalmente compatível com o Flink open source. Principais recursos da comunidade:
Cenários
O Flink atende a diversos cenários de big data em tempo real, abrangendo aplicações técnicas e empresariais.
-
Áreas técnicas
O Flink abrange os seguintes cenários técnicos:
-
ETL em tempo real e streams de dados
O ETL em tempo real e os streams de dados transferem informações entre sistemas com limpeza e integração inline. Exemplos: indexação de mecanismos de busca em tempo real e pipelines de ETL para data warehouses.
-
Análise de dados em tempo real
A análise de dados em tempo real extrai insights acionáveis dos dados brutos assim que chegam. Exemplos: ranking diário dos 10 principais produtos, tempo de giro de estoque, taxas de cliques e taxas de abertura de push. Os resultados geralmente aparecem em painéis e relatórios em tempo real.
-
Aplicações orientadas a eventos
Aplicações orientadas a eventos processam eventos assinados usando estado interno. Exemplos: detecção de fraudes, controle de riscos e detecção de anomalias de O&M. Ao acionar uma regra de controle de risco, o sistema analisa o comportamento atual e histórico para decidir se alguma ação é necessária.
-
-
Aplicações empresariais
Na perspectiva empresarial, as aplicações comuns do Flink incluem:
Negócios: controle de risco em tempo real, recomendações em tempo real e indexação para mecanismos de busca.
Dados: data warehouses em tempo real, relatórios em tempo real e painéis em tempo real.
O&M: monitoramento em tempo real, detecção e alerta de anomalias em tempo real e depuração ponta a ponta.