Topik ini menjelaskan skenario umum Realtime Compute for Apache Flink dalam pemrosesan big data waktu nyata, dikelompokkan berdasarkan departemen bisnis dan bidang teknis.
Informasi latar belakang
Sebagai mesin komputasi aliran, Flink banyak digunakan untuk pemrosesan data waktu nyata, seperti log layanan online dari instans Elastic Compute Service (ECS) dan data sensor dari skenario Internet of Things (IoT). Flink juga dapat berlangganan pembaruan binary logging (binlog) dari database relasional, seperti ApsaraDB RDS (RDS) dan PolarDB. Data waktu nyata tersebut kemudian dapat dikumpulkan melalui layanan seperti DataHub, Simple Log Service (SLS), dan Kafka ke dalam Realtime Compute for Apache Flink untuk dianalisis dan diproses. Hasil analisisnya selanjutnya dapat dituliskan ke berbagai layanan data, seperti MaxCompute, Hologres untuk analisis interaktif, Platform for AI, dan Elasticsearch, sehingga meningkatkan pemanfaatan data dan membantu memenuhi kebutuhan bisnis.
Skenario departemen
Dari perspektif bisnis, Realtime Compute for Apache Flink digunakan dalam skenario berikut:
-
Departemen bisnis: pengendalian risiko waktu nyata, rekomendasi waktu nyata, dan pembuatan indeks waktu nyata untuk mesin pencari.
-
Departemen data: gudang data waktu nyata, laporan waktu nyata, dan dasbor waktu nyata.
-
Departemen O&M: pemantauan waktu nyata, deteksi anomali dan peringatan waktu nyata, serta debugging end-to-end.
Bidang teknis
Dari perspektif teknis, Realtime Compute for Apache Flink digunakan dalam skenario berikut:
ETL dan aliran data waktu nyata
Ekstrak, transformasi, dan muat (ETL) waktu nyata serta aliran data mengirimkan data dari satu titik ke titik lain secara waktu nyata, mencakup tugas pembersihan dan integrasi data. Contohnya termasuk pembuatan indeks pencarian secara waktu nyata atau menjalankan proses ETL untuk gudang data waktu nyata.
Analitik data waktu nyata
Analitik data adalah proses mengekstrak dan mengintegrasikan informasi dari data mentah untuk memenuhi tujuan bisnis. Misalnya, Anda dapat melihat 10 produk terlaris setiap hari, rata-rata waktu pergantian gudang, rata-rata laju klik dokumen, dan tingkat buka notifikasi dorong. Analitik data waktu nyata melakukan proses ini secara waktu nyata, dengan hasil yang sering ditampilkan pada laporan atau dasbor waktu nyata.
Aplikasi berbasis event
Aplikasi berbasis event memproses atau merespons serangkaian event yang telah dilanggankan dan sering bergantung pada status internal. Contohnya termasuk deteksi penipuan, sistem pengendalian risiko, dan sistem deteksi anomali O&M. Ketika perilaku pengguna memicu aturan pengendalian risiko, sistem akan menangkap event tersebut, lalu menganalisis perilaku pengguna saat ini dan sebelumnya untuk menentukan apakah langkah pengendalian risiko perlu diterapkan.
Sistem pengendalian risiko
Realtime Compute for Apache Flink dapat memproses tugas aliran dan batch yang kompleks serta menyediakan API yang kuat untuk melakukan perhitungan matematis kompleks dan menjalankan aturan Pemrosesan Peristiwa Kompleks. Hal ini membantu bisnis menganalisis data secara waktu nyata dan meningkatkan kemampuan pengendalian risiko mereka. Misalnya, Anda dapat mendeteksi perilaku klik dalam aplikasi atau mengidentifikasi perubahan tidak wajar dalam aliran data IoT.
Bagan alir untuk bidang teknis yang dijelaskan di atas berasal dari website resmi Apache Flink.