E-MapReduce:Bangun data lake terpadu stream-batch dengan Flink, EMR Serverless Spark, dan Paimon

Realtime Compute for Apache Flink

Realtime Compute for Apache Flink Alibaba Cloud adalah layanan cloud arsitektur tanpa server yang sepenuhnya dikelola untuk Apache Flink. Layanan ini menyediakan platform siap pakai terpadu untuk pengembangan, operasi, dan pemeliharaan, serta menawarkan penagihan yang fleksibel. Layanan ini mencakup kemampuan siklus hidup lengkap seperti pengembangan pekerjaan, debugging data, eksekusi dan pemantauan pekerjaan, tuning otomatis, serta diagnostik cerdas. Untuk informasi lebih lanjut, lihat Apa itu Realtime Compute for Apache Flink?.

Apache Paimon

Apache Paimon adalah format penyimpanan data lake terpadu yang menggunakan Flink dan Spark untuk menghadirkan arsitektur lakehouse real-time guna unifikasi stream-batch. Paimon secara inovatif menggabungkan format lakehouse dengan teknologi Log-structured Merge-tree (LSM), sehingga memberikan kemampuan pembaruan streaming real-time dan kapabilitas pemrosesan aliran penuh pada data lake. Untuk informasi lebih lanjut, lihat Apache Paimon.

Langkah 1: Buat katalog Paimon

Katalog Paimon memungkinkan Anda mengelola semua tabel Paimon dalam direktori gudang yang sama dan menghubungkannya ke produk Alibaba Cloud lainnya. Untuk informasi lebih lanjut tentang cara membuat dan menggunakan katalog Paimon, lihat Kelola katalog Paimon.

1. Masuk ke Konsol Realtime Compute for Apache Flink.

2. Pada kolom Actions ruang kerja target Anda, klik Console.

3. Buat katalog Paimon.

   Tambahkan katalog Paimon tipe DLF menggunakan antarmuka pengguna. Anda tidak perlu memasukkan Informasi AccessKey secara manual. Untuk petunjuk lengkap, lihat Kelola katalog Paimon.

4. Buat tabel Paimon.

   Pada editor Script, masukkan perintah berikut. Lalu, pilih kode tersebut dan klik Run.

   CREATE TABLE IF NOT EXISTS `paimon`.`test_paimon_db`.`test_append_tbl`
   (
       id       STRING,
       data     STRING,
       category INT,
       ts       STRING,
       dt       STRING,
       hh       STRING
   ) PARTITIONED BY (dt, hh)
   WITH (
       'write-only' = 'true'
   );

5. Buat pekerjaan stream.

   1. Buat pekerjaan baru.

      1. Pada panel navigasi kiri, pilih Development > ETL.

      2. Buat pekerjaan stream baru. Pada kotak dialog New Blank Stream Draft, konfigurasikan parameter pekerjaan.

         Parameter	Deskripsi
         Name	Nama pekerjaan. Catatan Nama pekerjaan harus unik dalam proyek saat ini.
         Engine Version	Versi engine Flink untuk pekerjaan saat ini. Untuk informasi lebih lanjut tentang nomor versi, kompatibilitas versi, dan tonggak siklus hidup, lihat Versi engine.

      3. Klik create.

   2. Tulis kode.

      Pada draft stream baru, masukkan kode berikut untuk menghasilkan data secara kontinu menggunakan konektor datagen dan menuliskannya ke tabel Paimon.

      CREATE TEMPORARY TABLE datagen
      (
          id        string,
          data      string,
          category  int
      )
      WITH (
          'connector' = 'datagen',
          'rows-per-second' = '100',
          'fields.category.kind' = 'random',
          'fields.category.min' = '1',
          'fields.category.max' = '10'
      );
      INSERT INTO `paimon`.`test_paimon_db`.`test_append_tbl`
      SELECT
          id,
          data,
          category,
          cast(LOCALTIMESTAMP as string) as ts,
          cast(CURRENT_DATE as string) as dt,
          cast(hour(LOCALTIMESTAMP) as string) as hh
      FROM datagen;

   3. Klik Deploy untuk menerbitkan pekerjaan ke lingkungan produksi.

   4. Pada halaman Deployments, mulai pekerjaan tersebut. Untuk informasi lebih lanjut, lihat Mulai pekerjaan.

Langkah 2: Buat session SQL

Session SQL mendukung pengembangan dan kueri SQL. Untuk informasi lebih lanjut tentang session, lihat Session Manager.

1. Buka halaman Sessions.

   1. Masuk ke Konsol EMR.

   2. Pada panel navigasi kiri, pilih EMR Serverless > Spark.

   3. Pada halaman Spark, klik nama ruang kerja target.

   4. Pada halaman EMR Serverless Spark, klik Sessions pada panel navigasi kiri.

2. Pada katalog data ruang kerja Serverless Spark Anda, tambahkan DLF Catalog yang telah Anda buat pada Langkah 1.

3. Buat session SQL.

   1. Pada tab SQL Session, klik Connect to SQL Session.

   2. Pada halaman Create SQL Session, konfigurasikan parameter berikut, biarkan parameter lain tetap pada nilai default-nya, lalu klik create.

      Parameter	Deskripsi
      Name	Nama kustom untuk session SQL. Misalnya, paimon_compute.

   3. Pada kolom Actions, klik START.

Langkah 3: Jalankan kueri interaktif atau orkestrasi tugas

EMR Serverless Spark menawarkan dua mode operasional untuk kebutuhan berbeda: kueri interaktif dan orkestrasi task. Mode kueri interaktif ideal untuk kueri cepat dan debugging, sedangkan mode orkestrasi task mendukung siklus hidup lengkap pengembangan, penerbitan, dan pemeliharaan pekerjaan.

Saat data sedang dituliskan, Anda dapat menggunakan EMR Serverless Spark untuk menjalankan kueri interaktif pada tabel Paimon kapan saja guna memeriksa status data real-time dan melakukan analisis cepat. Selain itu, Anda dapat menerbitkan pekerjaan yang telah dikembangkan dan membuat alur kerja untuk mengatur berbagai task. Anda dapat mengonfigurasi kebijakan penjadwalan untuk mengotomatiskan task, sehingga memastikan pemrosesan dan analisis data yang efisien dan otomatis.