All Products
Search

This Product

    Data Lake Formation:Akses DLF dengan Flink DataStream

    Document Center

    Data Lake Formation:Akses DLF dengan Flink DataStream

    Last Updated:Mar 27, 2026

    Gunakan API Flink DataStream untuk menulis data ke tabel Apache Paimon yang dikelola oleh katalog Data Lake Formation (DLF) melalui Paimon REST.

    Prasyarat

    Sebelum memulai, pastikan Anda telah memiliki:

    Penting

    DLF hanya mendukung akses melalui VPC. Ujilah program DataStream Anda di kluster yang berada dalam VPC yang sama dengan DLF, bukan pada mesin lokal.

    Cara kerja

    1. Tambahkan paimon-flink-*.jar dan paimon-oss-*.jar sebagai dependensi dalam proyek Flink Anda.

    2. Daftarkan katalog DLF dalam program Anda menggunakan FlinkCatalogFactory.

    3. Paketkan program sebagai JAR dan sebarkan di Realtime Compute for Apache Flink.

    Langkah 1: Tambahkan dependensi

    Sertakan paimon-oss-*.jar dan paimon-flink-*.jar dalam proyek Anda menggunakan salah satu metode berikut:

    Unggah ke konsol

    Unggah file JAR tersebut sebagai dependensi tambahan di Konsol Realtime Compute for Apache Flink saat menyebarkan pekerjaan Anda. Tidak diperlukan perubahan pada pom.xml.

    Tambahkan dependensi Maven

    Tambahkan kode berikut ke pom.xml proyek Anda:

    <properties>
  <!-- Tentukan versi 1.1 atau lebih baru. Lihat tabel versi di bawah. -->
  <paimon.version>YOUR_PAIMON_VERSION</paimon.version>
  <flink.main.version>YOUR_FLINK_VERSION</flink.main.version>
</properties>

<dependencies>
  <dependency>
    <groupId>org.apache.paimon</groupId>
    <artifactId>paimon-flink-${flink.main.version}</artifactId>
    <version>${paimon.version}</version>
  </dependency>
  <dependency>
    <groupId>org.apache.paimon</groupId>
    <artifactId>paimon-oss</artifactId>
    <version>${paimon.version}</version>
  </dependency>
</dependencies>

    Gunakan nilai berikut untuk ${flink.main.version} berdasarkan versi Ververica Runtime (VVR) Anda:

    Versi VVR ${flink.main.version}
    VVR 8.x 1.17
    VVR 11.x 1.20

    Langkah 2: Daftarkan katalog DLF

    Gunakan FlinkCatalogFactory.createPaimonCatalog untuk mendaftarkan katalog DLF dalam program Anda. Parameter uri mengarah ke Titik akhir VPC DLF untuk Wilayah Anda. Untuk nilai Titik akhir, lihat Wilayah dan Titik akhir.

    Options options = new Options();
options.set("type", "paimon");
options.set("metastore", "rest");
options.set("uri", "http://<region-id>-vpc.dlf.aliyuncs.com"); // contoh: http://ap-southeast-1-vpc.dlf.aliyuncs.com
options.set("warehouse", "<your-catalog-name>");               // Nama katalog Paimon di DLF
options.set("token.provider", "dlf");
options.set("dlf.access-key-id", "<your-access-key-id>");
options.set("dlf.access-key-secret", "<your-access-key-secret>");
Catalog catalog = FlinkCatalogFactory.createPaimonCatalog(options);

    Untuk kredensial AccessKey, lihat Lihat informasi Pasangan Kunci Akses Pengguna RAM.

    Parameter katalog

    Parameter Deskripsi Wajib Contoh
    type Jenis katalog, secara otomatis diurai dari JAR kustom. Jangan ubah nilai ini. Ya paimon-1-ali-11.0
    metastore Jenis metastore untuk DLF. Atur ke rest. Ya rest
    uri Titik akhir VPC DLF. Format: http://[region-id]-vpc.dlf.aliyuncs.com Ya http://ap-southeast-1-vpc.dlf.aliyuncs.com
    warehouse Nama katalog Paimon di DLF. Ya dlf_test
    token.provider Penyedia token. Atur ke dlf. Ya dlf
    dlf.access-key-id ID AccessKey untuk otentikasi. Lihat Lihat informasi Pasangan Kunci Akses Pengguna RAM. Ya —
    dlf.access-key-secret Rahasia AccessKey untuk otentikasi. Ya —

    Langkah 3: Bangun dan sebarkan

    Paketkan program dan semua dependensinya menjadi satu file JAR, lalu unggah dan jalankan di Realtime Compute for Apache Flink. Lihat Kembangkan pekerjaan JAR.

    Langkah selanjutnya