Realtime Compute for Apache Flink:Panduan cepat Paimon: Fitur dasar

Prasyarat

• Jika Anda menggunakan pengguna RAM atau peran RAM, pastikan memiliki izin yang diperlukan untuk mengakses Konsol Realtime Compute for Apache Flink. Untuk informasi selengkapnya, lihat Manajemen izin.

• Anda telah membuat ruang kerja Flink. Untuk informasi selengkapnya, lihat Aktifkan Realtime Compute for Apache Flink.

• Anda telah mengaktifkan Object Storage Service (OSS) dan membuat bucket dengan kelas penyimpanan Standard. Untuk informasi selengkapnya, lihat Memulai penggunaan Konsol OSS. OSS digunakan untuk menyimpan file tabel Paimon, termasuk file data dan file metadata.

• Tabel Paimon hanya didukung pada Ververica Runtime (VVR) versi 8.0.5 atau yang lebih baru.

Langkah 1: Buat katalog Paimon

1. Buka editor skrip.

   1. Masuk ke Konsol Realtime Compute for Apache Flink.

   2. Pada kolom Actions ruang kerja target, klik Console.

   3. Di bilah navigasi kiri, klik Data Development > Data Query. Pada tab Query Script, buat Query Script baru.

2. Di editor, masukkan kode berikut untuk membuat katalog Paimon.

   -- my-catalog adalah nama katalog kustom.
   CREATE Catalog `my-catalog` WITH (
     'type' = 'paimon',
     'metastore' = 'filesystem',
     'warehouse' = '<warehouse>',
     'fs.oss.endpoint' = '<fs.oss.endpoint>',
     'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
     'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
   );

   Tabel berikut menjelaskan parameter tersebut.

   Parameter	Deskripsi	Wajib	Keterangan
   type	Jenis katalog.	Ya	Nilainya harus 'paimon'.
   metastore	Jenis metastore.	Ya	Contoh ini menggunakan filesystem. Untuk informasi tentang jenis lainnya, lihat Kelola katalog Paimon.
   warehouse	Direktori warehouse di bucket OSS Anda.	Ya	Formatnya adalah oss://<bucket>/<object>, dengan: bucket: nama bucket OSS yang telah Anda buat. object: path tempat Anda ingin menyimpan data. Anda dapat menemukan nama bucket dan object di Konsol OSS.
   fs.oss.endpoint	Titik akhir layanan OSS.	Tidak	Diperlukan jika bucket OSS yang ditentukan oleh warehouse berada di Wilayah berbeda dari ruang kerja Flink Anda atau milik Akun Alibaba Cloud lain. Untuk informasi selengkapnya, lihat Wilayah dan Titik Akhir. Catatan Jika Anda ingin menyimpan tabel Paimon di OSS-HDFS, Anda harus menentukan parameter fs.oss.endpoint, fs.oss.accessKeyId, dan fs.oss.accessKeySecret. Nilai fs.oss.endpoint menggunakan format cn-<region>.oss-dls.aliyuncs.com, misalnya cn-hangzhou.oss-dls.aliyuncs.com.
   fs.oss.accessKeyId	ID AccessKey dari Akun Alibaba Cloud atau RAM user yang memiliki izin untuk membaca dan menulis ke OSS.	Tidak	Diperlukan jika bucket OSS yang ditentukan oleh warehouse berada di Wilayah berbeda dari ruang kerja Flink Anda atau milik Akun Alibaba Cloud lain. Untuk informasi cara mendapatkan pasangan Kunci Akses, lihat Buat pasangan Kunci Akses.
   fs.oss.accessKeySecret	Rahasia AccessKey dari Akun Alibaba Cloud atau RAM user yang memiliki izin untuk membaca dan menulis ke OSS.	Tidak

3. Pilih kode yang membuat katalog Paimon, lalu klik Run di sebelah kiri.

   Pesan The following statement has been executed successfully! menunjukkan bahwa katalog berhasil dibuat.

Langkah 2: Buat database dan tabel Paimon

1. Pada halaman Scripts, masukkan kode berikut untuk membuat database Paimon bernama my_db dan tabel Paimon bernama my_tbl.

   CREATE DATABASE `my-catalog`.`my_db`;
   CREATE TABLE `my-catalog`.`my_db`.`my_tbl` (
     dt STRING,
     id BIGINT,
     content STRING,
     PRIMARY KEY (dt, id) NOT ENFORCED
   ) PARTITIONED BY (dt) WITH (
     'changelog-producer' = 'lookup'  
   );

   Catatan

   Untuk mengaktifkan konsumsi streaming dari tabel Paimon nanti, contoh ini mengatur changelog-producer menjadi lookup dalam klausa WITH, yang menggunakan strategi lookup untuk menghasilkan changelog. Untuk informasi selengkapnya, lihat Produksi changelog.

2. Pilih kode yang membuat database dan tabel Paimon, lalu klik Run di sebelah kiri.

   Jika muncul pesan The following statement has been executed successfully!, berarti database my_db dan tabel my_tbl berhasil dibuat.

Langkah 3: Tulis data ke tabel Paimon

1. Pada tab Drafts halaman Development > ETL, buat blank stream draft. Untuk informasi selengkapnya, lihat Kembangkan draft SQL. Salin pernyataan INSERT berikut ke editor SQL.

   -- Paimon hanya melakukan commit data setelah setiap checkpoint selesai.
   -- Interval checkpoint dipersingkat menjadi 10 detik agar data lebih cepat di-commit.
   -- Di lingkungan produksi, biasanya atur interval checkpoint dan interval minimum antar checkpoint antara 1 hingga 10 menit, sesuai kebutuhan latensi Anda.
   SET 'execution.checkpointing.interval'='10s';
   INSERT INTO `my-catalog`.`my_db`.`my_tbl` VALUES ('20240108',1,'apple'), ('20240108',2,'banana'), ('20240109',1,'cat'), ('20240109',2,'dog');

2. Di pojok kanan atas editor SQL, klik Deploy. Pada kotak dialog Deploy draft, konfigurasikan parameter sesuai petunjuk, lalu klik Confirm.

3. Pada halaman O&M > Deployments, temukan penerapan target, lalu klik Start di kolom Actions. Pilih Initial Mode, lalu klik Start.

   Saat status pekerjaan berubah menjadi FINISHED, data telah ditulis.

Langkah 4: Streaming data dari tabel Paimon

1. Buat blank stream draft. Salin kode SQL berikut ke editor SQL untuk mengeluarkan semua data dari tabel my_tbl ke log menggunakan konektor print.

   CREATE TEMPORARY TABLE Print (
     dt STRING,
     id BIGINT,
     content STRING
   ) WITH (
     'connector' = 'print'
   );
   INSERT INTO Print SELECT * FROM `my-catalog`.`my_db`.`my_tbl`;

2. Di pojok kanan atas editor SQL, klik Deploy. Pada kotak dialog Deploy draft, konfigurasikan parameter sesuai petunjuk, lalu klik Confirm.

3. Pada halaman O&M > Deployments, klik Start di kolom Actions penerapan target. Pilih Initial Mode, lalu klik Start.

4. Pada halaman detail penerapan, lihat hasil komputasi Flink.

   1. Pada halaman O&M > Deployments, klik nama penerapan target.

   2. Pada tab Logs, di bawah Running Logs, buka tab Running Task Managers, lalu klik tautan tugas di kolom Path, ID.

   3. Klik Stdout untuk melihat data Paimon yang dikonsumsi.

   Output Stdout menampilkan catatan INSERT untuk tabel Paimon: +I[20240108, 1, apple], +I[20240108, 2, banana], +I[20240109, 1, cat], dan +I[20240109, 2, dog], yang mengonfirmasi konsumsi streaming berhasil.

Langkah 5: Perbarui data di tabel Paimon

1. Buat blank stream draft, lalu salin kode SQL berikut ke editor SQL.

   SET 'execution.checkpointing.interval' = '10s';
   INSERT INTO `my-catalog`.`my_db`.`my_tbl` VALUES ('20240108', 1, 'hello'), ('20240109', 2, 'world');

2. Di pojok kanan atas editor SQL, klik Deploy. Pada kotak dialog Deploy draft, konfigurasikan parameter sesuai petunjuk, lalu klik Confirm.

3. Pada halaman O&M > Deployments, klik Start di kolom Actions penerapan target. Pilih Initial Mode, lalu klik Start.

   Saat status pekerjaan berubah menjadi FINISHED, data telah diperbarui.

4. Pada tab Stdout halaman Deployments untuk pekerjaan dari Langkah 4, lihat data yang diperbarui di tabel Paimon.

   Pada tab Running Task Managers, klik Pengelola Tugas target, lalu buka subtab Stdout. Catatan CDC untuk tabel Paimon muncul: -U[20240108, 1, apple], +U[20240108, 1, hello], -U[20240109, 2, dog], dan +U[20240109, 2, world]. -U menunjukkan catatan sebelum pembaruan, sedangkan +U menunjukkan catatan setelah pembaruan.

Langkah 6 (Opsional): Batalkan pekerjaan dan bersihkan sumber daya

Setelah pengujian, batalkan pekerjaan konsumsi streaming dan bersihkan sumber daya.

1. Pada halaman O&M > Deployments, klik Cancel di kolom Actions penerapan target untuk menghentikan pekerjaan.

2. Di editor pada tab Scripts, masukkan kode berikut untuk menghapus file data Paimon dan katalog Paimon.

   DROP DATABASE `my-catalog`.`my_db` CASCADE; -- Menghapus semua file data database Paimon dari OSS.
   DROP CATALOG `my-catalog`; -- Menghapus katalog Paimon dari metadata Konsol Realtime Compute for Apache Flink tetapi tidak memengaruhi file data di OSS.

   Pesan The following statement has been executed successfully! menunjukkan bahwa file data dan katalog Paimon berhasil dihapus.

Topik terkait

• Untuk informasi selengkapnya tentang menulis data ke atau mengonsumsi data dari tabel Paimon, lihat Tulis data ke dan konsumsi data dari tabel Paimon.

• Untuk memodifikasi skema tabel Paimon (seperti menambah kolom atau mengubah tipe kolom) atau memodifikasi sementara parameter tabel, lihat Modifikasi skema tabel.

• Untuk optimasi umum pada tabel primary key Paimon dan tabel Append Scalable, lihat Optimasi performa Paimon.

• Untuk pertanyaan umum tentang Paimon, lihat Konektor.