Layanan Streaming Lakehouse yang sepenuhnya dikelola - Realtime Compute for Apache Flink

Topik ini mencakup fitur, keunggulan, dan penggunaan layanan integrasi lake-stream Fluss yang sepenuhnya dikelola.

Ikhtisar

Integrasi lake-stream Fluss secara otomatis menyinkronkan data dari Stream Storage Fluss ke data lake berbasis Paimon. Pendekatan ini menyediakan satu sumber data dengan dua tampilan, memungkinkan akses real-time tingkat milidetik sekaligus analisis historis ber-throughput tinggi.

Pekerjaan sinkronisasi data untuk integrasi lake-stream kini menggunakan mode yang sepenuhnya dikelola. Sistem secara otomatis menangani pembuatan, eksekusi, dan pemeliharaan pekerjaan sinkronisasi, sehingga Anda tidak perlu memantau status dasarnya.

Perbandingan dengan solusi sebelumnya

Item	Solusi Sebelumnya	Solusi yang Sepenuhnya Dikelola (Baru)
Ruang kerja	Anda harus memilih ruang kerja yang sudah ada secara manual.	Dikelola secara otomatis oleh sistem. Tidak diperlukan pemilihan.
Visibilitas status sinkronisasi	Anda hanya dapat melihat apakah pekerjaan sinkronisasi sedang berjalan, tetapi tidak dapat melihat status sinkronisasi masing-masing tabel.	Menyediakan metrik tingkat tabel seperti latensi sinkronisasi dan checkpoint sinkronisasi, serta mendukung pemberitahuan peringatan.
Kinerja sinkronisasi	Berdasarkan operator Flink standar.	Menggunakan operator native buatan sendiri yang meningkatkan kinerja sinkronisasi lebih dari 30%.
Maintenance	Anda harus memantau dan mengelola status pekerjaan sinkronisasi secara manual.	Sepenuhnya dikelola oleh sistem. Tidak diperlukan intervensi manual.

Kemampuan inti

Pemantauan sinkronisasi tingkat tabel

Mode yang sepenuhnya dikelola menyediakan observabilitas status sinkronisasi pada tingkat tabel.

Latensi sinkronisasi: Menampilkan keterlambatan sinkronisasi data setiap tabel dari lapisan stream Fluss ke lapisan lake Paimon. Metrik ini digunakan untuk mengevaluasi kesegaran data.
Checkpoint sinkronisasi: Menampilkan progres sinkronisasi saat ini untuk setiap tabel, mencerminkan status real-time dari sinkronisasi data.
Pemberitahuan peringatan: Memungkinkan Anda mengonfigurasi aturan peringatan untuk metrik kunci seperti latensi sinkronisasi. Sistem secara otomatis mengirim notifikasi ketika metrik tersebut tidak normal.

Operator sinkronisasi native buatan sendiri

Pekerjaan sinkronisasi yang sepenuhnya dikelola menggunakan operator native buatan sendiri, bukan operator Flink standar. Pendekatan ini mengoptimalkan pipeline sinkronisasi data secara mendalam dan meningkatkan kinerja lebih dari 30% dibandingkan versi sebelumnya.

O&M yang sepenuhnya dikelola

Pekerjaan sinkronisasi dibuat dan dikelola secara otomatis oleh sistem, tanpa perlu konfigurasi atau maintenance manual.
Sistem secara otomatis memulihkan diri dari pengecualian pekerjaan untuk memastikan kelangsungan sinkronisasi data.
Sistem secara otomatis melanjutkan dari checkpoint terakhir yang berhasil untuk memastikan semantik tepat-sekali.

Migrasi untuk pengguna yang sudah ada

Untuk pengguna solusi sebelumnya, sistem akan melakukan migrasi otomatis dan universal:

Setelah migrasi, sistem akan secara otomatis menggunakan pekerjaan sinkronisasi yang sepenuhnya dikelola untuk tabel yang telah mengaktifkan integrasi lake-stream.
Pekerjaan sinkronisasi non-dikelola asli Anda akan dihentikan dan dihapus secara otomatis.
Migrasi berlangsung mulus dan tidak memengaruhi bisnis Anda atau mengganggu sinkronisasi data. Setelah migrasi selesai, metode sinkronisasi non-dikelola tidak lagi didukung.
Batas default resource bayar sesuai penggunaan adalah 1.000 CU. Anda dapat menyesuaikan batas ini secara manual.

Catatan

Selama proses migrasi, sistem memastikan transisi checkpoint sinkronisasi yang mulus untuk mencegah kehilangan atau duplikasi data.

Penagihan

Pekerjaan sinkronisasi yang sepenuhnya dikelola mengonsumsi resource komputasi selama beroperasi. Rincian penagihan adalah sebagai berikut:

Bayar sesuai penggunaan: Resource yang dikonsumsi oleh pekerjaan sinkronisasi ditagih berdasarkan penggunaan aktual. Layanan ini gratis selama periode pratinjau publik dan akan menjadi layanan berbayar setelah rilis komersial resmi.
Resource yang dialokasikan: Sistem terlebih dahulu memotong biaya dari resource yang telah Anda alokasikan. Anda hanya ditagih berdasarkan skema bayar sesuai penggunaan untuk penggunaan yang melebihi alokasi Anda.

Catatan

Pilih jumlah resource yang dialokasikan secara tepat untuk mengurangi biaya.

Prasyarat

Aktivasi Layanan

Anda telah mengaktifkan layanan DLF dan membuat Catalog baru. Catalog ini harus berada di wilayah yang sama dengan Fluss, dan VPC tempat Flink berada serta VPC tempat Fluss berada harus ditambahkan ke daftar VPC tepercaya DLF. Untuk informasi lebih lanjut, lihat Otorisasi dan aktivasi DLF dan Konfigurasi VPC tepercaya.

Batasan Versi

DLF-Legacy tidak didukung.

Izin

Hanya pemilik kluster yang dapat mengaktifkan layanan integrasi lake-stream yang sepenuhnya dikelola.
Akun yang digunakan untuk mengaktifkan layanan harus memiliki izin berikut:

Izin AliyunDLFFullAccess di DLF, yang memberikan izin untuk membuat database dan tabel, serta melakukan operasi baca dan tulis pada mereka. Untuk informasi lebih lanjut, lihat Otorisasi Pengguna.

Aktifkan integrasi lake-stream

Langkah 1: Aktifkan integrasi lake-stream untuk kluster

Masuk ke Konsol Realtime Compute for Apache Flink.
Buka tab Streaming Storage Fluss dan klik Console di kolom Actions untuk membuka konsol Fluss.
Pada halaman Cluster Overview, klik tombol di pojok kanan bawah untuk mengaktifkan layanan dan menyelesaikan otorisasi layanan.

Langkah 2: Aktifkan integrasi lake-stream untuk tabel

Tabel baru

Di ruang kerja Flink Anda, daftarkan Catalog Fluss, lalu buat tabel di Development > Scripts.

CREATE TABLE `my-catalog`.`fluss`.`datalake_orders` (
  shop_id BIGINT,
  user_id BIGINT,
  num_orders INT,
  total_amount INT,
  PRIMARY KEY (shop_id, user_id) NOT ENFORCED
) WITH (
  'bucket.num' = '4',
  'table.datalake.enabled' = 'true',
  'table.datalake.freshness' = '30min'
);

Parameter Tambahan untuk Integrasi Lake-Stream

Parameter	Deskripsi	Default	Keterangan
table.datalake.enabled	Menentukan apakah integrasi lake-stream diaktifkan.	false	Jika parameter ini tidak ditentukan, Anda dapat mengaktifkan integrasi lake-stream secara manual di konsol.
table.datalake.freshness	Menentukan latensi maksimum yang diizinkan (kesegaran data) untuk data tabel Paimon relatif terhadap tabel sumber Fluss.	3min	Layanan Fluss secara otomatis melakukan sinkronisasi data berdasarkan konfigurasi ini. Nilai yang lebih kecil meningkatkan kesegaran data di data lake. Sebaliknya, jika bisnis Anda tidak sensitif terhadap latensi, nilai yang lebih besar dapat mengurangi konsumsi resource. Penting Parameter ini tidak dapat diubah setelah tabel dibuat.
paimon.*	Setiap parameter yang diawali dengan `paimon.` diteruskan sebagai konfigurasi untuk tabel lake Paimon yang mendasari.	None	Integrasi lake-stream Fluss membuat tabel lake Paimon yang mendasari menggunakan parameter Paimon default. Jika Anda perlu menentukan parameter lain untuk tabel lake Paimon, seperti mengatur format file ke ORC, Anda dapat menyetel `'paimon.file.format' = 'orc'`. Untuk konfigurasi parameter lainnya, lihat Paimon Configuration.

Penting

Membuat tabel Paimon dengan deletion vectors yang diaktifkan saat ini tidak didukung. Jangan meneruskan parameter 'paimon.deletion-vectors.enabled' = 'true'.

Tabel yang sudah ada

Aktifkan di Konsol

Di konsol Fluss, pilih Data dari panel navigasi kiri. Klik database target. Di daftar tabel data di sebelah kanan, klik tombol untuk mengaktifkan integrasi lake-stream.

Menggunakan SQL: Gunakan pernyataan ALTER TABLE.

ALTER TABLE datalake_orders SET ('table.datalake.enabled' = 'true');

Kueri data yang telah disinkronkan

Setelah Anda mengaktifkan integrasi lake-stream untuk tabel data, sistem secara otomatis menyinkronkan metadata tabel tersebut ke DLF. Di DLF, di bawah Catalog terkait, Anda dapat menemukan database dengan nama yang sama seperti di Fluss. Database ini berisi tabel dengan struktur dan metadata yang identik dengan tabel sumber, memungkinkan kueri dan manajemen terpadu.

Sebelum sinkronisasi, pastikan tidak ada tabel dengan nama yang sama di DLF, karena hal ini dapat menyebabkan kegagalan sinkronisasi atau konflik.

Konsistensi data dalam integrasi lake-stream

Setelah Anda mengaktifkan tabel integrasi lake-stream, data dari Fluss terus-menerus ditulis ke data lake berbasis Paimon melalui pekerjaan sinkronisasi Flink. Metadata struktural tabel dikelola secara terpusat oleh DLF dan disimpan selamanya.
Menghapus tabel integrasi lake-stream di Fluss tidak menghapus tabel lake yang telah disinkronkan (tabel Paimon) di DLF. Anda harus menghapus tabel tersebut secara manual di DLF.
Untuk tabel primary key, perubahan data ditangani menggunakan mode changelog:
- Ketika sebuah record dihapus, sistem secara fisik menghapus data historis dari tabel Paimon setelah proses tiering berikutnya selesai. Secara bersamaan, entri changelog dengan tipe DELETE ditambahkan.
- Ketika Anda melakukan kueri Union Read, mesin Flink secara otomatis menggabungkan data real-time di Fluss dengan data historis di Paimon, serta melakukan deduplikasi dan penggabungan state berdasarkan primary key dan changelog.
- Record yang dihapus secara logis tidak akan muncul dalam hasil kueri akhir, memastikan akurasi dan konsistensi hasil kueri.

Nonaktifkan integrasi lake-stream

Nonaktifkan integrasi lake-stream untuk tabel data

Dari Konsol: Di konsol Fluss, pilih Data dari panel navigasi kiri dan nonaktifkan integrasi lake-stream untuk setiap tabel yang telah diaktifkan.

Menggunakan SQL: Gunakan pernyataan ALTER TABLE.

ALTER TABLE datalake_orders SET ('table.datalake.enabled' = 'false');

Nonaktifkan Integrasi Lake-Stream untuk Kluster

Pada halaman Cluster Overview, klik tombol di pojok kanan bawah untuk menonaktifkan layanan integrasi lake-stream.

Catatan

Anda tidak dapat menonaktifkan layanan integrasi lake-stream di tingkat kluster jika layanan tersebut masih diaktifkan untuk tabel mana pun.
Ketika Anda menonaktifkan layanan integrasi lake-stream, pekerjaan sinkronisasi yang sepenuhnya dikelola juga berhenti berjalan.