Realtime Compute for Apache Flink:Panduan cepat menggunakan tabel materialized

1. (Opsional) Buat katalog Paimon.

   Fitur tabel materialized didasarkan pada Apache Paimon. Anda harus membuat katalog Paimon dengan tipe metastore Filesystem . Jika Anda sudah membuatnya, langkah ini dapat dilewati. Untuk informasi selengkapnya, lihat Buat katalog Paimon.

   Buat katalog Paimon

   1. Masuk ke Konsol Realtime Compute for Apache Flink.

   2. Pada kolom Actions ruang kerja yang dituju, klik Console.

   3. Di panel navigasi sebelah kiri, pilih Data Management dan klik Create Catalog. Lalu, pilih Apache Paimon dan klik Next.

      

      Deskripsi parameter:

      Parameter	Deskripsi	Catatan
      metastore	Tipe metastore.	Dalam contoh ini, digunakan Filesystem.
      catalog name	Nama katalog Paimon.	Masukkan nama kustom. Contoh ini menggunakan paimon.
      warehouse	Direktori gudang data di Object Storage Service (OSS).	Formatnya adalah oss://<bucket>/<object>, dengan: <bucket>: Nama bucket OSS Anda. `` adalah path tempat data Anda disimpan. Anda dapat melihat nama bucket dan objek Anda di Konsol OSS.
      fs.oss.endpoint	Titik akhir layanan OSS.	Jika Flink dan OSS berada di Wilayah yang sama, gunakan titik akhir internal. Jika tidak, gunakan titik akhir publik. Untuk informasi selengkapnya, lihat Wilayah dan titik akhir.
      fs.oss.accessKeyId	ID AccessKey dari Akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS.	Untuk informasi selengkapnya tentang cara mendapatkan Pasangan Kunci Akses, lihat Buat Pasangan Kunci Akses. Untuk mencegah Pasangan Kunci Akses Anda terekspos dalam teks biasa, kami menyarankan Anda menggunakan variabel. Untuk informasi selengkapnya, lihat Kelola variabel.
      fs.oss.accessKeySecret	Rahasia AccessKey dari Akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS.

2. Buat tabel ods_user_log dan ods_dim_product.

   1. Masuk ke Konsol Realtime Compute for Apache Flink.

   2. Untuk ruang kerja yang dituju, klik Console di kolom Actions.

   3. Di panel navigasi sebelah kiri, pilih Data Studio > Scripts. Salin dan tempel kode berikut untuk membuat tabel sumber.

      Contoh ini menggunakan katalog Paimon bernama paimon dan database default.

      CREATE TABLE `paimon`.`default`.`ods_user_log` (
        item_id INT NOT NULL,
        user_id INT NOT NULL,
        vtime TIMESTAMP(6),
        ds VARCHAR(10) NOT NULL
      ) 
      PARTITIONED BY(ds)
      WITH (
        'bucket' = '4',            -- Tentukan 4 bucket.
        'bucket-key' = 'item_id'   -- Tentukan kunci bucket. Data dengan item_id yang sama ditempatkan di bucket yang sama.
      );
      
      CREATE TABLE `paimon`.`default`.`ods_dim_product` (
        item_id INT NOT NULL,
        title VARCHAR(255),
        pict_url VARCHAR(255), 
        brand_id INT,
        seller_id INT,
        PRIMARY KEY(item_id) NOT ENFORCED
      ) WITH (
        'bucket' = '4',
        'bucket-key' = 'item_id'
      );

   4. Klik Run di pojok kanan atas untuk membuat tabel data yang sesuai.

   5. Di panel navigasi sebelah kiri, pilih Data Management. Lalu, klik Katalog Paimon yang sesuai dan klik Refresh untuk melihat tabel baru.

3. Gunakan konektor Faker data generator untuk menghasilkan data simulasi dan menulis data tersebut ke tabel Paimon.

   1. Di panel navigasi sebelah kiri, pilih Data Studio > ETL.

   2. Klik New, pilih Blank Stream Draft, klik Next, lalu klik Create.

   3. Salin pernyataan SQL berikut ke editor.

      CREATE TEMPORARY TABLE `user_log` (
        item_id INT,  // ID Produk
        user_id INT,  // ID Pengguna
        vtime TIMESTAMP,  
        ds AS DATE_FORMAT(CURRENT_DATE,'yyyyMMdd')
      ) WITH (
        'connector' = 'faker',    -- Konektor Faker
        'fields.item_id.expression'='#{number.numberBetween ''0'',''1000''}',    -- Hasilkan bilangan acak antara 0 dan 1000.
        'fields.user_id.expression'='#{number.numberBetween ''0'',''100''}',
        'fields.vtime.expression'='#{date.past ''5'',''HOURS''}',           -- Hasilkan data dari 5 jam terakhir berdasarkan tanggal dan waktu saat ini.
        'rows-per-second' = '3'   -- Hasilkan 3 baris per detik.
       );
        
       CREATE TEMPORARY TABLE `dim_product` (
        item_id INT NOT NULL,
        title VARCHAR(255),
        pict_url VARCHAR(255), 
        brand_id INT,
        seller_id INT,
        PRIMARY KEY(item_id) NOT ENFORCED
       ) WITH (
        'connector' = 'faker',    -- Konektor Faker
        'fields.item_id.expression'='#{number.numberBetween ''0'',''1000''}',
        'fields.title.expression'='#{book.title}',
        'fields.pict_url.expression'='#{internet.domainName}',
        'fields.brand_id.expression'='#{number.numberBetween ''1000'',''10000''}',   
        'fields.seller_id.expression'='#{number.numberBetween ''1000'',''10000''}',
        'rows-per-second' = '3'        -- Hasilkan 3 baris per detik.
       );
      
      BEGIN STATEMENT SET; 
      
      INSERT INTO `paimon`.`default`.`ods_user_log` 
        SELECT 
        item_id,
        user_id,
        vtime,
        CAST(ds AS VARCHAR(10)) AS ds
      FROM `user_log`;
      INSERT INTO `paimon`.`default`.`ods_dim_product`
        SELECT 
        item_id,
        title,
        pict_url,
        brand_id,
        seller_id
      FROM `dim_product`;
      
      END; 

   4. Di pojok kanan atas, klik Deploy.

   5. Di panel navigasi sebelah kiri, klik Operation Center > Deployments. Untuk penerapan yang dituju, klik Start di kolom Actions, pilih Stateless Start, lalu klik Start.

4. Kueri data simulasi.

   Di panel navigasi sebelah kiri, pilih Data Development > Data Query. Salin pernyataan SQL berikut ke editor SQL dan klik Run di pojok kanan atas.

   SELECT * FROM `paimon`.`default`.ods_dim_product LIMIT 10;
   
   SELECT * FROM `paimon`.`default`.ods_user_log LIMIT 10;

   

Pratinjau data

Anda dapat melihat pratinjau 100 baris data terbaru dalam tabel materialized.

1. Di panel navigasi sebelah kiri, Anda dapat mengklik Data Lineage dan mencari tabel materialized yang dituju.

2. Setelah mengklik tampilan tabel materialized yang dituju, klik Details di pojok kanan bawah halaman.

3. Pada tab Data Preview, klik ikon Query.

   

Kueri data

Di panel navigasi sebelah kiri, buka Data Development > Data Query. Salin pernyataan SQL berikut ke editor SQL, pilih potongan kode tersebut, lalu klik Run untuk mengkueri tabel materialized dws_overall.

SELECT * FROM `paimon`.`default`.dws_overall ORDER BY hh;