Flink adalah mesin eksekusi dataflow aliran yang menangani distribusi data, komunikasi, dan toleransi kesalahan untuk pemrosesan aliran terdistribusi. Flink juga menyediakan API tingkat tinggi untuk menulis tugas terdistribusi.
Kompatibilitas open source
EMR Flink sepenuhnya kompatibel dengan Flink open source. Sumber daya komunitas utama:
Skenario
Flink mendukung berbagai skenario data besar real-time, mencakup aplikasi teknis maupun enterprise.
-
Bidang teknis
Flink mencakup skenario teknis berikut:
-
ETL real-time dan aliran data
ETL real-time dan aliran data mengirimkan data antar sistem dengan pembersihan dan integrasi inline. Contoh: pengindeksan mesin pencari real-time dan pipeline ETL gudang data.
-
Analitik data real-time
Analitik data real-time mengekstraksi wawasan yang dapat ditindaklanjuti dari data mentah saat data tersebut tiba. Contoh: peringkat 10 produk teratas harian, waktu perputaran gudang, laju klik, dan tingkat buka dorongan (push open rates). Hasil biasanya ditampilkan pada dasbor waktu nyata dan laporan.
-
Aplikasi berbasis event
Aplikasi berbasis event memproses event yang telah berlangganan menggunakan state internal. Contoh: deteksi penipuan, pengendalian risiko, dan deteksi anomali O&M. Ketika aturan pengendalian risiko dipicu, sistem menganalisis perilaku saat ini dan historis untuk menentukan apakah diperlukan tindakan.
-
-
Aplikasi enterprise
Dari perspektif enterprise, aplikasi Flink umum meliputi:
-
Bisnis: pengendalian risiko real-time, rekomendasi real-time, dan pengindeksan mesin pencari.
-
Data: gudang data real-time, laporan real-time, dan dasbor waktu nyata.
-
O&M: pemantauan waktu nyata, deteksi anomali real-time dan peringatan, serta debugging end-to-end.
-