Realtime Compute for Apache Flink:Pekerjaan Flink SQL

Prasyarat

• Pengguna RAM atau Peran RAM yang Anda gunakan memiliki izin yang diperlukan untuk Konsol Realtime Compute. Untuk informasi selengkapnya, lihat izin.

• Ruang kerja Flink telah dibuat. Untuk informasi selengkapnya, lihat Aktifkan Realtime Compute for Apache Flink.

Langkah 1: Buat draf SQL

1. Buka halaman pembuatan draf SQL.

   1. Masuk ke Konsol Realtime Compute.

   2. Temukan ruang kerja Flink yang dituju, lalu klik Console pada kolom Actions.

   3. Pada panel navigasi, klik Development > ETL.

2. Klik ikon , lalu klik New Blank Stream Draft. Masukkan File Name dan pilih Engine Version.

   Realtime Compute for Apache Flink menyediakan berbagai templat kode dan templat sinkronisasi data. Setiap templat mencakup deskripsi kasus penggunaan, contoh kode, dan instruksi. Anda dapat mengklik templat untuk mempelajari fitur produk dan sintaks guna menerapkan logika bisnis Anda. Untuk informasi selengkapnya, lihat Templat kode dan Templat sinkronisasi data.

   Parameter	Deskripsi	Contoh
   File Name	Nama draf SQL. Catatan Nama harus unik dalam proyek saat ini.	flink-test
   Engine Version	Versi mesin Flink untuk draf SQL. Kami menyarankan menggunakan versi dengan tag Recommend atau Stable untuk keandalan dan kinerja yang lebih baik. Untuk informasi selengkapnya tentang versi mesin, lihat Catatan rilis dan Versi mesin.	vvr-8.0.8-flink-1.17

3. Klik Create.

Langkah 2: Tulis SQL dan lihat konfigurasi draf

1. Tulis kode SQL.

   Salin SQL berikut ke editor. Contoh ini menggunakan konektor Datagen untuk menghasilkan aliran data acak dan konektor Print untuk menulis output ke log konsol. Untuk informasi selengkapnya tentang konektor yang didukung, lihat Konektor yang didukung.

   -- Buat tabel sumber sementara bernama datagen_source.
   CREATE TEMPORARY TABLE datagen_source(
     randstr VARCHAR
   ) WITH (
     'connector' = 'datagen' -- Gunakan konektor Datagen.
   );
   
   -- Buat tabel sink sementara bernama print_table.
   CREATE TEMPORARY TABLE print_table(
     randstr  VARCHAR
   ) WITH (
     'connector' = 'print',   -- Gunakan konektor Print.
     'logger' = 'true'        -- Tulis output ke log.
   );
   
   -- Pilih substring dari bidang randstr dan masukkan ke tabel sink.
   INSERT INTO print_table
   SELECT SUBSTRING(randstr,0,8) from datagen_source;

   Catatan

   • Contoh ini menggunakan pernyataan INSERT INTO untuk menulis data ke satu tabel sink. Anda juga dapat menggunakan pernyataan INSERT INTO untuk menulis data ke beberapa tabel sink. Untuk informasi selengkapnya, lihat Pernyataan INSERT INTO.

   • Di lingkungan produksi, gunakan tabel yang terdaftar di Catalogs, bukan tabel sementara. Untuk informasi selengkapnya, lihat Catalogs.

2. Lihat konfigurasi draf.

   Di sebelah kanan editor SQL, Anda dapat melihat atau mengonfigurasi pengaturan pada beberapa tab.

   Tab	Deskripsi
   More configurations	Engine version: Untuk informasi selengkapnya, lihat Versi mesin dan Kebijakan siklus hidup. Kami menyarankan Anda menggunakan versi yang direkomendasikan atau stabil. Tag versi sebagai berikut: Recommend: Versi minor terbaru dari versi utama saat ini. Stable: Versi minor terbaru dari versi utama dalam periode layanan, dengan cacat yang diketahui telah diperbaiki. Normal: Versi minor lain yang masih dalam periode layanan. Deprecated: Versi yang telah melewati tanggal akhir masa pakai (EOL). Additional dependencies: Dependensi tambahan yang diperlukan untuk pekerjaan, seperti fungsi sementara. Otentikasi Kerberos: Aktifkan otentikasi Kerberos dan konfigurasikan kluster Kerberos terdaftar beserta informasi principal. Jika Anda belum mendaftarkan kluster Kerberos, lihat Daftarkan kluster Hive Kerberos.
   Code structure	Data flow: Gunakan diagram alur data untuk melihat alur data secara cepat. Tree structure: Gunakan diagram struktur pohon untuk melihat sumber data secara cepat.
   Version information	Anda dapat melihat riwayat versi draf SQL di sini. Untuk informasi selengkapnya tentang fungsi pada kolom Actions, lihat Kelola versi draf.

(Opsional) Langkah 3: Validasi dan debug draf SQL

1. Validasi draf SQL.

   Validasi memeriksa semantik SQL, konektivitas jaringan, dan metadata tabel yang digunakan dalam draf Anda. Setelah validasi, Anda dapat mengklik SQL Optimization di area hasil untuk melihat potensi risiko SQL dan saran optimasi.

   1. Di pojok kanan atas editor SQL, klik Deep Check.

   2. Pada kotak dialog Deep Check, klik Confirm.

   Catatan

   Jika terjadi kesalahan waktu habis, Anda mungkin melihat pesan berikut: RPC timeout kemungkinan disebabkan oleh parsing SQL yang terlalu kompleks. Pertimbangkan untuk menaikkan nilai opsi flink.sqlserver.rpc.execution.timeout dalam konfigurasi Flink, yang secara default bernilai 120 s.

   Solusi: Tambahkan parameter konfigurasi berikut di bagian atas editor SQL Anda.

   SET 'flink.sqlserver.rpc.execution.timeout' = '600s';

2. Debug draf SQL.

   Fitur debug memungkinkan Anda mensimulasikan jalannya pekerjaan untuk memeriksa output dan memverifikasi logika SELECT atau INSERT Anda. Fitur ini meningkatkan efisiensi pengembangan dan mengurangi risiko kualitas data.

   Catatan

   Fitur debug tidak menulis data ke tabel sink.

   1. Di pojok kanan atas editor SQL, klik Debug.

   2. Pada kotak dialog Debug, pilih kluster debug dan klik Next.

      Jika tidak tersedia kluster session, Anda harus membuatnya terlebih dahulu. Kluster session harus menggunakan versi mesin yang sama dengan draf SQL dan dalam status berjalan. Untuk informasi selengkapnya, lihat Langkah 1: Buat kluster session.

   3. Konfigurasikan data debug dan klik OK.

      Untuk informasi selengkapnya tentang konfigurasi tersebut, lihat Langkah 2: Debug pekerjaan.

Langkah 4: Terapkan draf SQL

Di pojok kanan atas editor SQL, klik Deploy. Pada kotak dialog Deploy New Version, konfigurasikan parameter sesuai kebutuhan dan klik OK.

Saat menerapkan draf, Anda dapat memilih queue atau session cluster sebagai Deployment target. Tabel berikut membandingkan kedua opsi tersebut.

Langkah 5: Jalankan pekerjaan dan lihat hasilnya

1. Pada panel navigasi, klik O&M > Deployments.

2. Temukan pekerjaan yang dituju, lalu klik Start pada kolom Actions.

   Pilih stateless start, lalu klik Start. Pekerjaan sedang berjalan ketika statusnya berubah menjadi Running. Untuk informasi selengkapnya tentang parameter startup, lihat Jalankan pekerjaan.

3. Pada halaman detail Deployment, lihat hasil pekerjaan Flink.

   1. Pada halaman O&M > Deployments, klik nama pekerjaan yang dituju.

   2. Pada tab Logs, klik subtab Running TaskManagers. Pada kolom Path, ID, klik TaskManager tertentu.

   3. Klik tab Logs dan cari log yang terkait dengan PrintSinkOutputWriter.

      Jika Anda menemukan entri log yang berisi rantai Source: datagen_source → Calc → Sink: print_table, maka aliran data sedang diproses dengan benar.

(Opsional) Langkah 6: Hentikan pekerjaan

Untuk menerapkan perubahan pada pekerjaan (seperti modifikasi kode, pembaruan parameter WITH, atau perubahan versi), Anda harus menerapkan ulang, menghentikan, lalu menjalankannya kembali. Restart juga diperlukan untuk stateless start atau untuk menerapkan perubahan konfigurasi non-dinamis. Untuk informasi selengkapnya tentang cara menghentikan pekerjaan, lihat Hentikan pekerjaan.

1. Pada halaman O&M > Deployments, temukan pekerjaan yang dituju, lalu klik Cancel pada kolom Actions.

2. Klik OK.

Dokumen terkait

• FAQ pengembangan dan O&M pekerjaan

  • Pengembangan pekerjaan

  • O&M pekerjaan

• Konfigurasi informasi pekerjaan

  • Anda dapat mengonfigurasi sumber daya sebelum menjalankan pekerjaan atau memodifikasinya untuk deployment yang sedang berjalan. Dua mode konfigurasi sumber daya didukung: dasar (coarse-grained) dan ahli (fine-grained). Untuk informasi selengkapnya, lihat Konfigurasi sumber daya pekerjaan.

  • Anda dapat mengonfigurasi tingkat log dan menentukan output berbeda untuk setiap tingkat. Untuk informasi selengkapnya, lihat Konfigurasi output log pekerjaan.

• Alur kerja pengembangan untuk jenis pekerjaan lainnya

  • Pekerjaan Flink JAR

  • Pekerjaan Flink Python

  • Ingesti database real-time

• Praktik terbaik untuk Flink

  • Bangun gudang data real-time dengan Hologres

  • Bangun streaming lakehouse dengan Paimon dan StarRocks