Inti Flink adalah mesin eksekusi streaming yang menyediakan fitur seperti distribusi data, komunikasi data, dan toleransi kesalahan untuk komputasi streaming terdistribusi. Berdasarkan mesin tersebut, Flink menyediakan API dengan tingkat abstraksi lebih tinggi untuk memungkinkan Anda menyusun tugas terdistribusi.
Informasi latar belakang
EMR Flink sepenuhnya kompatibel dengan Flink open source. Untuk informasi selengkapnya, lihat dokumentasi resmi Flink open source. Referensi:
Skema penggunaan
Flink banyak digunakan dalam komputasi data besar real-time. Bagian ini menjelaskan skenario penggunaan Flink dari perspektif teknologi dan aplikasi perusahaan.
-
Teknologi
Dari perspektif teknologi, Flink cocok untuk skenario berikut:
-
Real-time extract, transform, load (ETL) dan aliran data
Data dikirimkan dari Titik A ke Titik B melalui proses ETL real-time dan aliran data. Selama pengiriman data, operasi pembersihan dan integrasi data mungkin diperlukan, seperti pengindeksan real-time dalam sistem pencarian dan proses ETL dalam gudang data real-time.
-
Analisis data real-time
Analisis data real-time adalah proses mengekstraksi dan mengintegrasikan informasi yang dibutuhkan dari data mentah untuk mencapai tujuan bisnis. Misalnya, Anda dapat melihat 10 produk terlaris per hari, waktu rata-rata pergantian di gudang, laju klik dokumen rata-rata, dan jangkauan notifikasi dorong. Analisis data real-time memungkinkan Anda mengakses laporan atau dasbor secara real-time.
-
Aplikasi berbasis event
Aplikasi berbasis event adalah sistem yang memproses atau merespons event langganan. Aplikasi ini bergantung pada status internal dan merespons event mencurigakan yang terdeteksi dalam deteksi penipuan, sistem manajemen risiko, atau sistem deteksi anomali O&M. Jika perilaku Anda memicu aturan manajemen risiko, sistem akan menangkap event tersebut dan menganalisis perilaku Anda saat ini serta sebelumnya untuk menentukan apakah tindakan manajemen risiko diperlukan.
-
-
Perusahaan
Dari perspektif perusahaan, Flink cocok untuk skenario berikut:
-
Departemen bisnis: pengendalian risiko real-time, rekomendasi real-time, dan pengindeksan mesin pencari real-time
-
Departemen data: gudang data real-time, laporan real-time, dan dasbor real-time
-
Departemen O&M: pemantauan real-time, deteksi anomali dan peringatan real-time, serta debugging end-to-end
-