Realtime Compute for Apache Flink abarca una amplia variedad de escenarios de procesamiento de big data en tiempo real, organizados por departamento de negocio y campo técnico.
Fuentes de datos e integración
Como motor de cómputo de streaming, Flink se usa ampliamente para procesar datos en tiempo real. Las fuentes de datos típicas incluyen registros de servicios en línea de instancias de Elastic Compute Service (ECS) y datos de sensores en escenarios del Internet de las cosas (IoT). Flink también puede suscribirse a actualizaciones de registro binario (binlog) de bases de datos relacionales como ApsaraDB RDS (RDS) y PolarDB. Servicios como DataHub, Simple Log Service (SLS) y Kafka recopilan estos datos de streaming y los envían a Realtime Compute for Apache Flink para su procesamiento. Posteriormente, los resultados pueden escribirse en servicios posteriores como MaxCompute, Hologres para análisis interactivo, Platform for AI y Elasticsearch.
Escenarios departamentales
Desde la perspectiva de negocio, Realtime Compute for Apache Flink se usa en los siguientes escenarios:
Departamentos de negocio: control de riesgos en tiempo real, recomendaciones en tiempo real y creación de índices en tiempo real para motores de búsqueda.
Departamentos de datos: almacenamiento de datos en tiempo real, informes en tiempo real y paneles en tiempo real.
Departamentos de operaciones y mantenimiento (O&M): monitoreo en tiempo real, detección de anomalías y alertas en tiempo real, además de depuración de extremo a extremo.
Campos técnicos
Desde la perspectiva técnica, Realtime Compute for Apache Flink cubre cuatro casos de uso principales:
ETL en tiempo real y flujos de datos
La extracción, transformación y carga (ETL) en tiempo real y los flujos de datos transfieren información de un punto a otro en tiempo real. Este proceso puede incluir tareas de limpieza e integración de datos. Algunos ejemplos comunes son la creación de un índice de búsqueda en tiempo real y la ejecución de procesos ETL para un almacén de datos en tiempo real.
Análisis de datos en tiempo real
El análisis de datos en tiempo real extrae e integra información de datos sin procesar para respaldar la toma de decisiones de negocio conforme ocurren los eventos. Las métricas típicas incluyen los 10 productos más vendidos por día, el tiempo promedio de rotación en almacén, la tasa promedio de clics en documentos y la tasa de apertura de notificaciones push. Los resultados se presentan en informes o paneles en tiempo real.
Aplicaciones orientadas a eventos
Las aplicaciones orientadas a eventos procesan o responden a eventos suscritos y, con frecuencia, mantienen un estado interno entre dichos eventos. Cuando una acción del usuario activa una regla (por ejemplo, una regla de control de riesgos), el sistema captura el evento, analiza el comportamiento actual e histórico del usuario y determina si debe tomar medidas. Algunos ejemplos comunes incluyen la detección de fraudes, los sistemas de control de riesgos y la detección de anomalías en O&M.
Sistema de control de riesgos
Realtime Compute for Apache Flink procesa tareas complejas de streaming y por lotes, y proporciona API para cálculos matemáticos complejos y reglas de procesamiento de eventos complejos. Esto permite a las empresas analizar datos en tiempo real y fortalecer sus capacidades de control de riesgos; por ejemplo, detectar patrones de clics anómalos en una aplicación o identificar cambios irregulares en flujos de datos de IoT.
Los diagramas de flujo en la sección de campos técnicos anterior provienen del sitio web oficial de Apache Flink .