Dengan pertumbuhan data yang pesat dan kebutuhan bisnis yang semakin kompleks, perusahaan memerlukan kemampuan pemrosesan data secara real-time. Sebagai kerangka kerja pemrosesan aliran yang kuat, Flink telah menjadi standar dalam komputasi real-time. Proses pengembangan dan operasi terstandarisasi sangat penting untuk meningkatkan efisiensi pemrosesan data dan memastikan stabilitas sistem. Proses ini juga mendukung kelancaran pengembangan proyek. Realtime Compute for Apache Flink menyediakan platform all-in-one untuk pengembangan, operasi, dan manajemen, mencakup seluruh siklus hidup proyek termasuk pengembangan draf, debugging data, operasi, pemantauan, Autopilot, serta diagnosis cerdas. Topik ini menjelaskan spesifikasi R&D dari Realtime Compute for Apache Flink, termasuk perencanaan fase, peran, dan tanggung jawab, serta proses pengembangan danau data real-time.
Perencanaan fase
Fase Kebutuhan: Manajer produk harus memahami kebutuhan bisnis, mengevaluasi kebutuhan pemrosesan data real-time, dan menulis dokumen kebutuhan.
Fase Desain: Arsitek data merancang arsitektur untuk memproses aliran data real-time berdasarkan dokumen kebutuhan, termasuk koneksi sumber data, konversi data, penyimpanan data, dan kueri data.
Fase Pengembangan: Pengembang menggunakan alat seperti Flink untuk mengimplementasikan logika pemrosesan data real-time sesuai dokumen desain dan melakukan pengujian unit.
Fase Pengujian: Insinyur pengujian menulis kasus uji dan melakukan pengujian fungsional, pengujian kinerja, dan pengujian pengecualian untuk memastikan akurasi dan stabilitas pemrosesan data.
Fase Penyebaran: Insinyur O&M menerbitkan draf pemrosesan data real-time yang dikembangkan sebagai penyebaran ke lingkungan produksi.
Fase O&M: Insinyur O&M dan pengembang bersama-sama memantau status sistem dan mengoptimalkan kinerja berdasarkan hasil pemantauan.
Peran dan tanggung jawab
Manajer Produk: Mengumpulkan dan mengevaluasi kebutuhan bisnis, menulis dokumen kebutuhan, serta berkomunikasi dengan tim teknis untuk memastikan implementasi kebutuhan.
Arsitek Data: Merancang arsitektur pemrosesan data real-time, termasuk desain arsitektur aliran data dan pemilihan solusi.
Pengembang: Menulis kode Flink atau mengembangkan aplikasi, mengimplementasikan logika pemrosesan data, serta melakukan pengujian unit seperti tinjauan kode dan debugging penyebaran.
Insinyur Pengujian: Menulis dan menjalankan kasus uji untuk memastikan stabilitas dan kinerja pemrosesan data.
Insinyur O&M: Menerapkan, memantau, dan memelihara sistem pemrosesan data real-time untuk memastikan ketersediaan tinggi dan stabilitas.
Ahli Keamanan: Mengimplementasikan enkripsi data, memelihara mekanisme kontrol akses, serta mengonfigurasi dan mengelola langkah-langkah isolasi jaringan untuk memastikan bahwa arsitektur pemrosesan data real-time memenuhi persyaratan keamanan dan kepatuhan.
Proses pengembangan danau data real-time
Analisis Kebutuhan
Manajer produk data bekerja sama dengan tim bisnis untuk memperjelas tujuan dan kebutuhan pemrosesan data real-time.
Manajer produk data menentukan kebutuhan bisnis, termasuk sumber data, tipe data, logika pemrosesan, dan persyaratan output.
Desain Arsitektur
Arsitek data merancang arsitektur pemrosesan data real-time, termasuk koneksi sumber data, konversi data, penyimpanan data, dan kueri data.
Arsitek data memilih alat pemrosesan data dan solusi penyimpanan yang sesuai.
Spesifikasi Keamanan
Ahli keamanan berpartisipasi dalam desain arsitektur untuk memastikan bahwa arsitektur memenuhi standar keamanan dan persyaratan kepatuhan.
Ahli keamanan mengimplementasikan langkah-langkah keamanan seperti masking data sensitif, kontrol akses, dan isolasi izin.
Pengembangan Draf
Pengembang melakukan operasi ekstraksi, transformasi, dan pemuatan (ETL) untuk mengonversi dan memproses data berdasarkan desain arsitektur.
Pengembang menggunakan Flink untuk mengimplementasikan logika pemrosesan data dan melakukan pengujian unit.
Tinjauan Kode
Pengembang melakukan tinjauan kode untuk memastikan kualitas dan keamanan kode.
Pengembang menggunakan alat otomatis untuk melakukan analisis kode statis.
Pengujian
Insinyur pengujian menulis kasus uji dan melakukan pengujian fungsional, pengujian kinerja, dan pengujian pengecualian.
Insinyur pengujian memastikan akurasi dan stabilitas pemrosesan data melalui pengujian.
Penyebaran
Insinyur O&M menerapkan sistem ke lingkungan produksi.
Insinyur O&M melakukan pemeriksaan keamanan dan memverifikasi konfigurasi sebelum penyebaran.
Pemantauan dan O&M
Insinyur O&M dan pengembang bersama-sama memantau status sistem.
Insinyur O&M mengoptimalkan kinerja dan menanggapi titik kegagalan berdasarkan hasil pemantauan.
Pengujian Kinerja
Insinyur pengujian melakukan pengujian beban dan uji stres untuk memastikan kinerja sistem di bawah beban tinggi.
Insinyur pengujian mengoptimalkan konfigurasi sistem dan alokasi sumber daya.
Cadangan dan Pemulihan
Insinyur O&M mencadangkan data secara berkala dan memulihkan data sesuai kebutuhan.
Insinyur O&M memverifikasi integritas dan kemampuan pemulihan data cadangan.
Audit dan Kepatuhan
Ahli keamanan melakukan audit keamanan dan pemeriksaan kepatuhan secara berkala.
Ahli keamanan memastikan bahwa semua operasi sesuai dengan peraturan hukum dan kebijakan perusahaan.
Referensi
Untuk informasi lebih lanjut tentang cara mengembangkan draf, lihat Pengembangan Draf.
Anda dapat menggunakan variabel untuk mencegah risiko keamanan yang disebabkan oleh informasi seperti pasangan AccessKey dan kata sandi dalam teks biasa di berbagai skenario, termasuk pengembangan draf SQL, JAR, atau Python. Untuk informasi lebih lanjut, lihat Kelola Variabel.
Setelah Anda mengembangkan draf, Anda harus menerbitkan draf sebagai penyebaran ke lingkungan produksi dan mengonfigurasi penyebaran.
Penyebaran Flink mendukung dua mode penyetelan otomatis: Autopilot dan penyetelan terjadwal. Anda juga dapat menggunakan fitur diagnosis penyebaran cerdas untuk memantau status kesehatan penyebaran. Untuk informasi lebih lanjut, lihat Diagnosis dan Optimasi Penyebaran.
Anda dapat memberikan pengguna Resource Access Management (RAM) izin minimum yang diperlukan pada sistem upstream dan downstream untuk lebih meningkatkan keamanan akses. Untuk informasi lebih lanjut, lihat Praktik Terbaik Akses Aman.