OpenLake:Migrasikan katalog Paimon FileSystem ke DLF

Langkah 1: Buat pekerjaan JAR

1. Login ke Konsol manajemen Realtime Compute for Apache Flink.

2. Pada daftar ruang kerja fully managed Flink, klik nama ruang kerja Anda.

3. Pada panel navigasi sebelah kiri, pilih Operation Center > Deployments.

4. Klik Deploy Job, pilih JAR Job, lalu konfigurasikan parameter berikut.

   Parameter	Deskripsi	Contoh
   Deployment Mode	Parameter ini tetap diatur ke Batch Mode.	Batch Mode
   Deployment Name	Masukkan nama untuk pekerjaan JAR.	migrate_paimon
   Engine Version	Pilih versi mesin komputasi waktu nyata.	vvr-8.0.11-flink-1.17
   JAR URI	Unggah paket JAR paimon-flink-action.	Unggah paket paimon-flink-action-1.3-SNAPSHOT-for-clone-20250909.jar. Jika sudah pernah diunggah sebelumnya, pilih dari daftar drop-down.
   Entry Point Class	Kelas titik masuk program.	Biarkan kosong.
   Entry Point Main Arguments	Parameter yang diteruskan ke metode main.	Biarkan kosong untuk saat ini. Parameter spesifik tergantung pada pekerjaan. Untuk informasi selengkapnya, lihat Langkah 2.
   Additional Dependencies	Tentukan path atau nama file dependensi yang akan disambungkan.	Unggah paket paimon-ali-vvr-8.0-vvp-1.3-ali-SNAPSHOT-for-clone-20250909.jar. Jika sudah pernah diunggah sebelumnya, pilih dari daftar drop-down.

   Catatan

   Untuk informasi selengkapnya tentang parameter deployment, lihat Terapkan pekerjaan JAR.

5. Klik Deploy untuk membuat pekerjaan JAR.

Langkah 2: Sesuaikan parameter dan mulai pekerjaan

Pekerjaan Flink dapat memigrasikan seluruh katalog, seluruh database, atau satu tabel saja. Sesuaikan parameter Entry Point Main Arguments berdasarkan tujuan migrasi Anda.

1. Pada halaman Job O&M, temukan pekerjaan JAR yang telah Anda buat lalu klik Details.

2. Pada halaman Deployment Details, klik Edit di pojok kanan atas dan tentukan parameter Entry Point Main Arguments.

   Metodenya bervariasi tergantung pada jenis tabel sumber Anda:

   clone
   --parallelism '<parallelism>'
   --database '<database-name>'
   --table '<table-name>'
   --catalog_conf 'metastore=filesystem'
   --catalog_conf "warehouse=<warehouse>"
   --catalog_conf 'fs.oss.endpoint=<fs.oss.endpoint>'
   --catalog_conf 'fs.oss.accessKeyId=<fs.oss.accessKeyId>'
   --catalog_conf 'fs.oss.accessKeySecret=<fs.oss.accessKeySecret>'
   --target_database '<target-database-name>'
   --target_table '<target-table-name>'
   --target_catalog_conf 'metastore=rest'
   --target_catalog_conf 'warehouse=<target-warehouse>'
   --target_catalog_conf 'uri=<dlf.next.endpoint>'
   --target_catalog_conf 'token.provider=dlf'
   --target_catalog_conf 'dlf.access-key-id=<dlf.access-key-id>'
   --target_catalog_conf 'dlf.access-key-secret=<dlf.access-key-secret>'
   --clone_from 'paimon'
   --where '<filter-spec>'

   Tabel berikut menjelaskan item konfigurasi tersebut.

   Item Konfigurasi	Deskripsi	Wajib	Keterangan
   parallelism	Konkurensi pekerjaan.	Tidak	Contoh: 16
   database-name	Nama database katalog FileSystem yang akan dikloning.	Tidak	Contoh: my_database
   table-name	Nama tabel data Katalog FileSystem yang akan dikloning.	Tidak	Contoh: my_table
   warehouse	Path repositori OSS untuk katalog FileSystem yang akan dikloning.	Ya	Formatnya adalah oss://<bucket>/<object>. Dalam format tersebut: bucket: nama bucket OSS Anda. object: path tempat data Anda disimpan. Lihat nama bucket dan object Anda di Konsol OSS.
   fs.oss.endpoint	Titik akhir layanan OSS.	Ya	Untuk informasi selengkapnya tentang cara mendapatkan titik akhir, lihat Wilayah dan titik akhir. Contoh OSS: oss-cn-hangzhou-internal.aliyuncs.com. Contoh OSS-HDFS: cn-hangzhou.oss-dls.aliyuncs.com
   fs.oss.accessKeyId	ID AccessKey dari Akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS.	Ya	Gunakan AccessKey yang sudah ada atau buat yang baru. Untuk informasi selengkapnya, lihat Buat AccessKey. Catatan Untuk mengurangi risiko kebocoran rahasia AccessKey, AccessKey Secret hanya ditampilkan saat Anda membuatnya dan tidak dapat diambil kembali nanti. Simpan rahasia AccessKey Anda dengan aman.
   fs.oss.accessKeySecret	Rahasia AccessKey dari Akun Alibaba Cloud atau Pengguna RAM yang memiliki izin baca dan tulis pada OSS.	Ya
   target-database-name	Nama database DLF hasil kloning.	Tidak	Contoh: target_database
   target-table-name	Nama tabel data DLF hasil kloning.	Tidak	Contoh: targety_table
   target-warehouse	Nama katalog data DLF hasil kloning.	Ya	Lihat nama katalog data di Konsol DLF. Untuk informasi selengkapnya, lihat Katalog data.
   dlf.next.endpoint	Titik akhir layanan DLF.	Ya	Untuk informasi selengkapnya, lihat Titik akhir. Contoh: cn-hangzhou-vpc.dlf.aliyuncs.com
   dlf.access-key-id	ID AccessKey yang diperlukan untuk mengakses layanan DLF.	Ya	Gunakan AccessKey yang sudah ada atau buat yang baru. Untuk informasi selengkapnya, lihat Buat AccessKey. Catatan Untuk mengurangi risiko kebocoran rahasia AccessKey, AccessKey Secret hanya ditampilkan saat Anda membuatnya dan tidak dapat diambil kembali nanti. Simpan rahasia AccessKey Anda dengan aman.
   dlf.access-key-secret	Rahasia AccessKey yang diperlukan untuk mengakses layanan DLF.	Ya
   clone_from	Jenis tabel sumber yang akan dikloning.	Ya	'paimon'
   filter-spec	Kondisi filter untuk partisi selama proses kloning.	Tidak	dt = '2024-10-01'

   Penting

   • Jika ingin memigrasikan seluruh database, jangan atur parameter table-name dan target-table-name.

   • Jika ingin memigrasikan seluruh katalog data, jangan atur parameter database-name dan target-database-name.

   • Saat memigrasikan seluruh katalog data atau database, Anda dapat mengecualikan tabel tertentu dengan mengatur parameter --excluded_tables <excluded-tables-spec>. Contoh: my_db.my_tbl,my_db2.my_tbl2. Jangan atur parameter ini untuk migrasi satu tabel.

3. Setelah mengonfigurasi parameter, klik Save pada halaman Deployment Details.

4. Pada halaman Job O&M, klik Start di samping pekerjaan JAR. Kemudian, mulai pekerjaan dengan parameter default.

Langkah 3: Verifikasi hasil

Saat status pekerjaan berubah menjadi Finished, login ke Konsol DLF dan verifikasi bahwa migrasi berhasil.

• Untuk migrasi katalog lengkap: Periksa apakah struktur katalog, database, dan tabel di DLF konsisten dengan yang ada di katalog FileSystem.

• Untuk migrasi database lengkap: Periksa apakah struktur database dan tabel di DLF konsisten dengan yang ada di katalog FileSystem.

• Untuk migrasi satu tabel: Periksa apakah struktur tabel di DLF konsisten dengan yang ada di katalog FileSystem.