Inti dari Flink adalah mesin eksekusi aliran yang menyediakan fitur seperti distribusi data, komunikasi data, dan toleransi kesalahan untuk komputasi aliran terdistribusi. Berdasarkan mesin ini, Flink menawarkan API dengan tingkat abstraksi lebih tinggi untuk membantu Anda mengompilasi tugas terdistribusi.
Informasi latar belakang
EMR Flink sepenuhnya kompatibel dengan Flink sumber terbuka. Untuk informasi lebih lanjut, lihat dokumentasi resmi Flink sumber terbuka. Referensi:
Skenario
Flink banyak digunakan dalam komputasi data besar waktu nyata. Bagian ini menjelaskan skenario penggunaan Flink dari perspektif teknologi dan aplikasi perusahaan.
Teknologi
Dari perspektif teknologi, Flink cocok untuk skenario berikut:
Ekstraksi, Transformasi, dan Pemuatan (ETL) Waktu Nyata serta Aliran Data
Data dikirimkan dari Titik A ke Titik B melalui proses ETL waktu nyata dan aliran data. Selama pengiriman, operasi pembersihan dan integrasi data dapat dilakukan, seperti pengindeksan waktu nyata dalam sistem pencarian atau proses ETL dalam gudang data waktu nyata.
Analisis Data Waktu Nyata
Analisis data waktu nyata melibatkan ekstraksi dan integrasi informasi penting dari data mentah untuk mencapai tujuan bisnis. Contohnya termasuk melihat 10 produk terlaris harian, rata-rata waktu putar balik gudang, tingkat klik dokumen, dan jangkauan notifikasi push. Analisis ini memungkinkan Anda melihat laporan atau dasbor waktu nyata.
Aplikasi Berbasis Peristiwa
Aplikasi berbasis peristiwa adalah sistem yang memproses atau merespons peristiwa langganan. Sistem ini bergantung pada status internal dan merespons peristiwa mencurigakan selama deteksi penipuan, manajemen risiko, atau deteksi anomali O&M. Jika perilaku memicu aturan manajemen risiko, sistem akan menangkap peristiwa tersebut dan menganalisis perilaku saat ini dan sebelumnya untuk menentukan apakah manajemen risiko diperlukan.
Perusahaan
Dari perspektif perusahaan, Flink cocok untuk skenario berikut:
Departemen Bisnis: kontrol risiko waktu nyata, rekomendasi waktu nyata, dan pengindeksan waktu nyata mesin pencari
Departemen Data: gudang data waktu nyata, laporan waktu nyata, dan dasbor waktu nyata
Departemen O&M: pemantauan waktu nyata, deteksi anomali waktu nyata dan peringatan, serta debugging ujung ke ujung