All Products
Search

This Product

    Realtime Compute for Apache Flink:Konfigurasikan manajemen data Paimon

    Document Center

    Realtime Compute for Apache Flink:Konfigurasikan manajemen data Paimon

    Last Updated:Sep 11, 2026

    Untuk menjalankan operasi manajemen tabel Paimon—seperti compacting file kecil dan sorting data—di Konsol Pengembangan, terapkan JAR paimon-flink-action sebagai penerapan JAR. Topik ini mencakup pengunduhan paket yang diperlukan, pengunggahannya sebagai artefak, dan pembuatan penerapan tersebut.

    Prasyarat

    Sebelum memulai, pastikan Anda telah memiliki:

    • Ververica Runtime (VVR) 8.0.5 atau versi yang lebih baru (versi sebelumnya tidak mendukung tabel Paimon)

    Unduh paket JAR

    Paket JAR yang Anda butuhkan bergantung pada versi engine dari penerapan Anda.

    VVR 11.x (disarankan)

    Gunakan paket JAR dari komunitas Apache Paimon untuk mendapatkan kemampuan manajemen tabel lake terbaru. Unduh kedua paket berikut: paimon-flink-action dan paimon-flink-1.20. VVR 11.x kompatibel dengan Flink 1.20 dari komunitas.

    VVR 8.x

    Gunakan paket JAR tetap yang disediakan oleh Realtime Compute for Apache Flink:

    Buat penerapan JAR

    1. Di Konsol Pengembangan, buka Artifacts dan klik Upload Artifact. Unggah kedua paket JAR yang telah Anda unduh.

    2. Buka O&M > Deployments, lalu klik Create Deployment > JAR Deployment.

    3. Pada dialog Create JAR Deployment, isi bidang-bidang berikut:

      Field Description Example
      Deployment Mode Pilih Stream Mode atau Batch Mode sesuai kebutuhan. Batch Mode
      Deployment Name Nama untuk penerapan ini. paimon-compaction
      Engine Version Pilih VVR 8.0.5 atau versi yang lebih baru. vvr-8.0.5-flink-1.17
      JAR URI Pilih JAR paimon-flink-action yang telah Anda unggah. —
      Entry Point Class Biarkan kosong. —
      Entry Point Main Arguments Parameter aksi yang diteruskan ke metode main. Tentukan parameter berdasarkan operasi Paimon yang ingin Anda jalankan. Misalnya, untuk sorting data, lihat Data consumption. Beberapa aksi Paimon menggunakan mode eksekusi ringan secara default dan tidak memulai pekerjaan Flink. Realtime Compute for Apache Flink mengharuskan program dalam penerapan JAR untuk memulai pekerjaan Flink, sehingga tambahkan --force_start_flink_job true ke argumen. Untuk parameter catalog_conf yang dibutuhkan oleh suatu aksi, lihat Konfigurasikan parameter catalog_conf. —
      Additional Dependencies Pilih paket JAR kedua yang telah Anda unggah: paimon-ali-vvr untuk VVR 8.x, atau paimon-flink-1.20 untuk VVR 11.x. Pastikan Anda telah mengunggahnya ke Artifacts pada Langkah 1 sebelum memilihnya di sini. —

    4. Klik Deploy.

    5. Temukan penerapan tersebut dalam daftar dan klik Start. Untuk detailnya, lihat Start a job.

    Konfigurasikan parameter catalog_conf

    Aksi Paimon mengakses katalog target menggunakan parameter catalog_conf. Parameter yang Anda atur bergantung pada tipe katalog.

    Katalog DLF

    Atur parameter katalog DLF, termasuk pasangan AccessKey. Untuk informasi selengkapnya, lihat Access DLF with Flink DataStream.

    Parameter Description Example
    type Tipe katalog. Nilainya diurai secara otomatis dari JAR kustom. Jangan ubah nilai ini. paimon
    metastore Tipe metastore. Atur nilainya menjadi rest. rest
    uri Titik akhir VPC dari DLF REST Catalog Server, dalam format http://[region-id]-vpc.dlf.aliyuncs.com. Untuk informasi selengkapnya, lihat Service endpoints. http://cn-hangzhou-vpc.dlf.aliyuncs.com
    warehouse Nama katalog DLF. dlf_test
    token.provider Penyedia token. Atur nilainya menjadi dlf. dlf
    dlf.access-key-id ID AccessKey dari Akun Alibaba Cloud Anda atau Pengguna RAM. None
    dlf.access-key-secret Rahasia AccessKey dari Akun Alibaba Cloud Anda atau Pengguna RAM. None

    Filesystem metastore

    Atur parameter warehouse dan AccessKey OSS. Untuk informasi selengkapnya, lihat Manage Paimon catalogs.

    Option Description Required Remarks
    warehouse Direktori gudang data di OSS. Yes Formatnya adalah oss://<bucket>/<object>, dengan bucket sebagai nama Bucket OSS Anda dan object sebagai path tempat data Anda disimpan. Anda dapat melihat keduanya di Konsol OSS.
    fs.oss.endpoint Titik akhir OSS. Yes Gunakan titik akhir VPC jika ruang kerja Flink dan Bucket OSS berada di Wilayah yang sama. Jika tidak, gunakan titik akhir publik. Parameter ini wajib diisi ketika Bucket OSS yang ditentukan oleh warehouse berada di Wilayah berbeda dari ruang kerja Flink, atau dimiliki oleh akun lain. Untuk informasi selengkapnya, lihat Regions and endpoints.
    fs.oss.accessKeyId ID AccessKey dari Akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS. Yes Untuk informasi selengkapnya, lihat Create an AccessKey pair.
    fs.oss.accessKeySecret Rahasia AccessKey dari Akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS. Yes
    Penting

    Konfigurasikan fs.oss.endpoint, fs.oss.accessKeyId, dan fs.oss.accessKeySecret dalam parameter waktu proses penerapan Flink. Mengaturnya di catalog_conf mungkin tidak berlaku.

    Langkah selanjutnya