Node pengumpulan data berfungsi serupa dengan jendela dalam Flink SQL, menggabungkan pesan pada tugas penguraian berdasarkan jendela. Data teragregasi yang dihasilkan dapat digunakan untuk analisis lebih lanjut atau keluaran.
Petunjuk
Flink SQL mendukung fungsi jendela waktu tumbling, dikenal sebagai TUMBLE. Untuk informasi lebih lanjut, lihat TUMBLE.
Node pengumpulan data menyediakan jendela waktu dengan durasi tetap: 10 detik, 15 detik, 30 detik, 1 menit, 5 menit, 15 menit, dan 30 menit.
Jika jendela waktu yang dibutuhkan melebihi 30 menit, disarankan menggunakan workbench analisis SQL dalam Analysis Insight dengan memanfaatkan penjadwalan per jam. Untuk informasi lebih lanjut, lihat Langkah 3: Atur kebijakan penjadwalan pekerjaan dan publikasikan.
Untuk kebutuhan khusus, silakan hubungi dukungan teknis untuk mengajukan permintaan Anda.
Skenario
Sebagai contoh, sistem hemat energi taman bertujuan untuk mengurangi konsumsi energi dan biaya. Salah satu sub-tugas adalah mengidentifikasi ruang rapat dengan suhu AC (temperature) tertinggi setiap menit. Dalam kasus ini, konfigurasikan node pengumpulan data dengan ID ruangan (roomId) sebagai granularitas, panjang jendela 1 menit, dan algoritma agregasi MAX, mengeluarkan bidang seperti ID ruangan (roomId) dan suhu tertinggi per menit (max_temperature).
Prasyarat
Pastikan bahwa ekspresi perhitungan data atau filter penyaringan data telah diatur. Untuk informasi lebih lanjut, lihat Konfigurasikan komputasi data dan penyaringan data.
Informasi Latar Belakang
Untuk gambaran umum fitur penguraian data, lihat Catatan Penggunaan.
Untuk panduan menavigasi ruang kerja penguraian data, lihat Instruksi Ruang Kerja Penguraian Data.
Prosedur
Di kanvas tengah, klik ikon tambah
setelah node saat ini.Dalam daftar node yang muncul, pilih node Data Aggregation.
Klik sekali pada node Data Aggregation di kanvas. Di panel konfigurasi di sebelah kanan, atur bidang pengumpulan data sesuai detail dalam tabel di bawah ini.
Item Konfigurasi
Parameter
Deskripsi
Contoh
Konfigurasi Dasar
Bidang Pengelompokan
Pilih bidang untuk partisi data dalam fungsi jendela, yang berfungsi sebagai granularitas agregasi. Nilai ini tidak terpengaruh oleh logika agregasi jendela, seperti kunci produk (ProductKey), nama perangkat (DeviceName), dll.
Lihat "Skenario": Untuk menghitung suhu tertinggi untuk setiap ruang rapat, pilih ID ruangan (roomId) sebagai bidang pengelompokan.
Panjang Jendela
Pilih panjang jendela dari opsi berikut: 10s, 15s, 30s, 1min, 5min, 15min, 30min.
Untuk jendela lebih dari 1 jam, gunakan penjadwalan per jam melalui workbench SQL. Untuk detail tambahan, lihat Langkah 3: Atur kebijakan penjadwalan pekerjaan dan publikasikan.
Untuk kebutuhan khusus, silakan hubungi dukungan teknis untuk mengajukan permintaan Anda.
Lihat "Skenario": 1 menit.
Daftar Bidang Teragregasi
Konfigurasikan hal berikut:
Aggregated Field: Pilih bidang numerik untuk operasi agregasi.
Aggregation Result Field Name: Gunakan hanya angka, huruf, dan garis bawah, tidak boleh dimulai dengan angka, hindari duplikasi nama bidang yang ada, dan batasi hingga 30 karakter.
Lihat "Skenario":
Aggregated Field: Pilih suhu AC temperature.
Aggregation Result Field Name: Suhu tertinggi per menit max_temperature.
Aggregate Operation: Pilih MAX.
Konfigurasi Lanjutan
Toleransi Latensi
Satuan pengukuran: detik.
Untuk mengatasi ketidaksesuaian pesan yang mengakibatkan data dilaporkan setelah jendela aktual, mengonfigurasi bidang ini memungkinkan data tertunda untuk dikaitkan dengan jendela yang sesuai. Pendekatan ini selaras dengan mekanisme watermark dalam Flink SQL. Untuk informasi lebih lanjut, lihat Atribut Waktu.
Gunakan pengaturan default.
Untuk menyelesaikan konfigurasi node pengumpulan data, klik Save di pojok kanan atas workbench penguraian data.
PentingPerhatikan bahwa bidang keluaran dari node ini mencakup bidang pengelompokan dan daftar hasil agregasi. Bidang dari node sebelumnya tidak akan dilewatkan melalui node ini.
Apa yang Harus Dilakukan Selanjutnya
Setelah mengonfigurasi node perhitungan pesan berdekatan, lanjutkan dengan menyiapkan node pemrosesan lainnya atau konfigurasikan node target untuk menyelesaikan seluruh tugas penguraian.
Untuk instruksi tentang menyiapkan konversi nilai, lihat Konfigurasi Konversi Nilai.
Untuk instruksi tentang menyiapkan perhitungan pesan berdekatan, lihat Konfigurasikan komputasi pesan berdekatan.