Realtime Compute for Apache Flink:Kelola katalog Paimon

Buat katalog Filesystem

Opsi 1: Gunakan konsol (Direkomendasikan)

1. Buka halaman Catalogs.

   1. Login ke Management Portal. Temukan ruang kerja target dan klik Console di kolom Actions.

   2. Di panel navigasi kiri, klik Catalogs.

2. Klik Create Catalog, pilih Apache Paimon, lalu klik Next.

3. Atur metastore menjadi filesystem dan konfigurasikan pengaturan katalog lainnya.

Opsi 2: Gunakan SQL

Jalankan perintah berikut di editor SQL dari Development > Scripts:

CREATE CATALOG `my-catalog` WITH (
  'type' = 'paimon',
  'metastore' = 'filesystem',
  'warehouse' = '<warehouse>',
  'fs.oss.endpoint' = '<fs.oss.endpoint>',
  'fs.oss.accessKeyId' = '<fs.oss.accessKeyId>',
  'fs.oss.accessKeySecret' = '<fs.oss.accessKeySecret>'
);

• Parameter umum

  Item konfigurasi	Deskripsi	Wajib	Keterangan
  my-catalog	Nama katalog Paimon.	Ya	Masukkan nama kustom.
  type	Jenis katalog.	Ya	Atur ke paimon.
  metastore	Jenis metastore.	Ya	Nilai yang valid: filesystem: Menyimpan metadata di OSS. dlf: Menyimpan metadata di DLF.

• Parameter OSS

  Item konfigurasi	Deskripsi	Wajib	Keterangan
  warehouse	Direktori gudang data di OSS.	Ya	Formatnya adalah oss://<bucket>/<object>, di mana: bucket: nama bucket OSS Anda. object: jalur tempat data Anda disimpan. Lihat nama bucket dan object Anda di konsol OSS.
  fs.oss.endpoint	Titik akhir layanan OSS.	Ya	Jika Flink dan DLF berada di wilayah yang sama, gunakan titik akhir VPC. Jika tidak, gunakan titik akhir jaringan publik. Parameter ini diperlukan jika bucket OSS yang ditentukan untuk warehouse tidak berada di wilayah yang sama dengan ruang kerja Flink, atau jika Anda menggunakan bucket OSS milik akun Alibaba Cloud lain. Wilayah dan Titik Akhir dan Buat AccessKey.
  fs.oss.accessKeyId	ID AccessKey akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS.	Ya
  fs.oss.accessKeySecret	Rahasia AccessKey akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS.	Ya

• OSS-HDFS (VVR 11.8 atau lebih baru)

  Untuk menggunakan OSS-HDFS sebagai penyimpanan untuk Katalog Filesystem Paimon, gunakan contoh SQL berikut:

  CREATE CATALOG `my_catalog` WITH (
    'type' = 'paimon',
    'metastore' = 'filesystem',
    'warehouse' = 'dls://<bucket>.<dls-endpoint>/<warehouse-path>',
    'fs.oss.endpoint' = '<dls-endpoint>',
    'fs.oss.accessKeyId' = '<access-key-id>',
    'fs.oss.accessKeySecret' = '<access-key-secret>',
    'fs.dls.client.mode.enabled' = 'false',
    'fs.dls.data.endpoint' = '<oss-data-endpoint>'
  );

  Tabel berikut menjelaskan parameter-parameter tersebut.

  Parameter	Deskripsi	Wajib	Keterangan
  warehouse	Direktori warehouse di OSS-HDFS.	Ya	Format: dls://<bucket>.<dls-endpoint>/<warehouse-path>. <dls-endpoint> sama dengan fs.oss.endpoint.
  fs.oss.endpoint	Titik akhir layanan OSS-HDFS.	Ya	Di konsol OSS, buka bagian "Overview > Access Ports" bucket target dan periksa HDFS Service Endpoint.
  fs.oss.accessKeyId	ID AccessKey akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS-HDFS.	Ya	—
  fs.oss.accessKeySecret	Rahasia AccessKey yang sesuai dengan ID AccessKey.	Ya	—
  fs.dls.client.mode.enabled	Menentukan apakah akan mengaktifkan DLS Client Mode.	Ya	Atur ke false.
  fs.dls.data.endpoint	Titik akhir data yang digunakan oleh DLS untuk mengakses data OSS yang mendasarinya.	Ya	Di konsol OSS, buka bagian "Overview > Access Ports" bucket target dan periksa OSS internal Endpoint. Anda juga dapat merujuk ke dokumentasi "Wilayah dan titik akhir".

Buat katalog DLF

Kelola database

Jalankan perintah berikut di editor SQL dari Development > Scripts.

• Buat database

  Database default dibuat secara otomatis. Untuk membuat database tambahan:

  -- Ganti my-catalog dengan nama katalog Paimon Anda.
  USE CATALOG `my-catalog`;
  
  -- Ganti my_db dengan nama database kustom dalam bahasa Inggris.
  CREATE DATABASE `my_db`;

• Hapus database

  Penting

  Database default tidak dapat dihapus dari katalog DLF. Namun, Anda dapat menghapusnya dari katalog Filesystem.

  -- Ganti my-catalog dengan nama katalog Paimon Anda.
  USE CATALOG `my-catalog`;
  
  -- Ganti my_db dengan nama database yang ingin Anda hapus.
  DROP DATABASE `my_db`; -- Menghapus database hanya jika tidak berisi tabel.
  DROP DATABASE `my_db` CASCADE; -- Menghapus database beserta semua tabel di dalamnya.
  

Lihat atau hapus katalog

1. Di Management Portal, klik Console di kolom Actions untuk ruang kerja target.

2. Di halaman Catalogs, lihat atau hapus katalog Apache Paimon.

   • Di halaman Catalog List, lihat nama dan jenis katalog. Untuk melihat database dan tabel dalam katalog, klik View di kolom Actions.

   • Di halaman Catalog List, klik Delete di kolom Actions untuk katalog yang akan dihapus.

     Catatan

     Menghapus katalog hanya menghapus registrasinya di Flink. File data yang mendasarinya tidak terpengaruh. Daftarkan ulang katalog untuk memulihkan akses.

     Atau, di editor SQL dari Development > Scripts, Anda dapat memasukkan DROP CATALOG <catalog name>;, pilih kode tersebut, lalu klik Run.