Realtime Compute for Apache Flink:Kloning namespace

Kasus penggunaan

Batasan

• Batasan wilayah: Anda hanya dapat mengkloning namespace dalam wilayah yang sama.

• Cakupan kloning: Anda hanya dapat mengkloning namespace, bukan seluruh workspace.

• Konten yang tidak disertakan: Orkestrasi task, antrian, izin, dan konfigurasi alert tidak dikloning.

• Kebijakan versi: Hanya draft terbaru dari lingkungan pengembangan dan deployment terbaru dari lingkungan operasional yang dikloning. Versi draft historis diabaikan.

• Operasi konkuren: Anda tidak dapat secara bersamaan mengkloning satu namespace sumber ke beberapa target, atau beberapa sumber ke satu target.

• Kompatibilitas penyimpanan: Jika workspace sumber menggunakan penyimpanan yang sepenuhnya dikelola, workspace target juga harus menggunakan penyimpanan yang sepenuhnya dikelola. Anda tidak dapat memilih workspace yang menggunakan OSS sebagai target.

• Kompatibilitas arsitektur: Kloning hanya didukung antar namespace dengan arsitektur yang sama. Kloning lintas arsitektur antara x86 dan ARM tidak didukung.

• Kloning stateful: Kloning stateful yang menggunakan checkpoint atau savepoint hanya didukung untuk versi engine VVR 6.0.2 dan yang lebih baru.

Catatan penggunaan

Izin
Untuk mengkloning namespace, Anda harus memiliki role Editor pada namespace sumber maupun target. Sistem menggunakan identitas pengguna ini untuk autentikasi end-to-end. Untuk informasi lebih lanjut, lihat Authorize users in the development console.

Batasan kloning

• Penguncian resource: Anda tidak dapat mengubah konfigurasi resource selama proses kloning.

• Operasi tidak dapat dibatalkan: Operasi kloning bersifat ireversibel. Jika Anda menghentikan proses, Anda harus menghapus secara manual semua resource yang telah dikloning.

• Hindari duplikasi: Melakukan kloning ke namespace target yang sama beberapa kali akan menghasilkan resource duplikat.

• Izin penyimpanan: Untuk mengkloning dari penyimpanan OSS ke penyimpanan yang sepenuhnya dikelola, Anda juga harus memberikan izin read-only, termasuk aksi ListObject, pada bucket yang terikat ke namespace kepada akun yang sepenuhnya dikelola arn:sts::1060219998962774:assumed-role/aliyunstreamasidefaultrole/refresh_token. Untuk informasi lebih lanjut, lihat Set a bucket policy.

Status job yang dikloning

Saat Anda memilih kloning stateful:

• Untuk job streaming yang telah selesai atau dihentikan, sistem mengkloning snapshot terbaru atau system checkpoint.

• Untuk job streaming yang sedang berjalan atau dalam transisi, jika kebijakan kloning job streaming yang berjalan diatur ke Do not skip, sistem secara otomatis membuat snapshot sebelum kloning. Namun, karena job terus berjalan, sistem mungkin menghasilkan system checkpoint yang lebih baru, sehingga snapshot yang dikloning mungkin bukan status terbaru.

Periksa status job streaming

• Dalam skenario migrasi, hentikan job sumber sebelum kloning untuk mencegah inkonsistensi data akibat status baru yang dihasilkan.

• Menjalankan job sumber dan salinan hasil kloning secara bersamaan dapat mengganggu logika bisnis Anda. Pastikan tidak ada dampak sebelum menjalankan job hasil kloning.

• System checkpoint yang berhasil menunjukkan bahwa job hasil kloning berfungsi dengan benar. Pantau statusnya secara cermat.

Tangani konflik penamaan
Sistem secara otomatis mengganti nama entitas apa pun di namespace target yang memiliki nama sama dengan entitas yang dikloning. Anda dapat melihat daftar item yang diganti namanya di halaman Details riwayat kloning.

Perbarui konfigurasi secara manual
Anda harus memperbarui nama katalog dalam kode dan konfigurasi job secara manual karena tidak diperbarui otomatis selama kloning. Hal ini mencegah job gagal.

Debug job
Setelah kloning selesai, job dan session cluster dihentikan. Job hasil kloning mungkin gagal dijalankan, misalnya karena pengaturan dependensi yang hilang. Lakukan tindakan berikut:

1. Debug draft job.

2. Periksa apakah file dependensi sesuai harapan.

3. Sesuaikan konfigurasi dependensi job.

Prosedur

1. Siapkan namespace sumber, workspace target, dan namespace target. Untuk informasi lebih lanjut, lihat Activate Realtime Compute for Apache Flink atau Manage namespaces.

2. Kloning entitas dan konfigurasi namespace.

   1. Login ke Realtime Compute for Apache Flink console.

   2. Pada kolom More untuk workspace sumber, pilih Namespace Cloning > Start.

   3. Konfigurasi pengaturan kloning.

      1. Pilih namespace sumber dan target.

      2. Pilih objek yang akan dikloning.

         Anda dapat memilih objek yang akan dikloning sesuai kebutuhan, seperti draft job, deployment, file resource, katalog kustom, UDF, konektor, format data, dan konfigurasi variabel.

         Saat Anda mengkloning deployment, semua job di namespace saat ini dipilih secara default. Anda dapat memfilter daftar untuk memilih job tertentu. Pemfilteran didukung berdasarkan nama job, jenis job, versi engine, status run, dan waktu terakhir job dikloning.

      3. Konfigurasi kebijakan kloning.

         Konfigurasi	Opsi	Deskripsi
         Streaming job state cloning policy	With state	Mengkloning snapshot terbaru atau system checkpoint untuk mencegah pemrosesan ulang data yang telah diproses.
         	Stateless	Hanya mengkloning konfigurasi dan kode job, tanpa snapshot atau system checkpoint apa pun.
         Running streaming job cloning policy	Skip	Melewatkan job streaming yang sedang berjalan untuk mencegah gangguan data akibat status baru yang dihasilkan oleh job sumber. Direkomendasikan untuk skenario migrasi.
         	Do not skip	Membuat snapshot job streaming yang sedang berjalan sebelum kloning untuk memastikan status terbaru ditangkap. Direkomendasikan untuk skenario backup.
         Error handling policy	Skip and continue	Jika suatu entitas gagal dikloning, kegagalan tersebut dicatat dan proses dilanjutkan untuk entitas yang tersisa.
         	Stop cloning	Jika ada entitas yang gagal dikloning, seluruh task kloning segera dihentikan. Data yang berhasil dikloning tetap dipertahankan.
         	Allow stateless cloning	Jika kloning stateful gagal, proses secara otomatis beralih ke kloning stateless dan dilanjutkan.

   4. Klik Start.

3. Lihat progres dan hasil kloning.

   • Selama kloning

     Tak lama setelah Anda mengklik Start, notifikasi muncul di atas daftar workspace. Klik View cloning progress untuk memantau proses. Proses ini mungkin memakan waktu lama, tetapi Anda dapat menjalankannya di latar belakang.

     Dalam kotak dialog Namespace Cloning, Anda dapat melihat progres kloning untuk setiap modul, termasuk metadata management, session management, Security Center, data development, dan job operations. Di bagian bawah kotak dialog, Anda dapat menemukan tombol Run in Background dan Stop cloning.

   • Setelah kloning selesai

     Pada kolom More untuk workspace target, pilih Namespace Cloning > History, lalu klik Details. Anda dapat melihat kategori, jumlah total, dan jumlah kegagalan entitas yang dikloning. Daftar entitas yang diganti namanya juga ditampilkan.

Dokumen terkait