Cara melakukan migrasi kluster Kafka yang dikelola sendiri ke Message Queue for Apache Kafka - ApsaraMQ for Kafka

Message Queue for Apache Kafka menyediakan layanan migrasi cloud yang sepenuhnya terkelola dan bebas perawatan untuk menyinkronkan data antara kluster yang dikelola sendiri atau instans lintas cloud dengan instans Message Queue for Apache Kafka. Setelah migrasi selesai, metadata (informasi konfigurasi Topik dan Grup) serta data pesan dari kluster sumber akan disinkronkan ke instans target. Metadata pada instans target tetap konsisten dengan metadata kluster sumber dan terus diperbarui secara berkelanjutan.

Prasyarat

Anda telah membeli dan men-deploy instans ApsaraMQ for Kafka instance yang memenuhi persyaratan berikut:

Item	Deskripsi
Status	Running
Versi	Versi minor terbaru dari 2.2.0 atau 2.6.2.

Catatan

Anda dapat melihat status dan versi instance Anda di bagian Enter Basic Information pada halaman Instances di Message Queue for Apache Kafka console.

Batasan

Fitur cloud migration dari ApsaraMQ for Kafka memiliki batasan berikut:

Item	Batas
Quantity	Anda dapat membuat maksimal 20 tugas migrasi untuk setiap `instance`. Fitur `cloud migration` dan `connector` berbagi sumber daya dalam satu `instance`.
Edition type	Serverless instance Untuk instans non-Serverless: Professional Edition (High Write) atau Professional Edition (High Read).
Source instance version	Versi open source harus 1.0.0 atau lebih baru.

Penagihan

Komponen migrasi cloud untuk ApsaraMQ for Kafka akan mulai dikenai biaya pada 1 Agustus 2026. Untuk informasi selengkapnya, lihat CU postpaid.

Persyaratan jaringan

Jika Anda perlu menggunakan fitur migrasi cloud untuk menyinkronkan data dari instans yang dikelola sendiri di internet publik ke ApsaraMQ for Kafka, atau menyinkronkan data lintas wilayah dari instans ApsaraMQ for Kafka di VPC ke instans ApsaraMQ for Kafka di VPC lain, Anda perlu mengaktifkan akses internet untuk instans tersebut lalu menyinkronkan data melalui internet. Untuk informasi selengkapnya, lihat Enable internet access (Optional).

Jika Anda perlu menggunakan fitur cloud migration untuk menyinkronkan data dari instance di satu VPC ke instance ApsaraMQ for Kafka di VPC lain, wilayah ApsaraMQ for Kafka dan ApsaraMQ for Kafka mendukung koneksi VPC otomatis. Di wilayah lain, Anda harus menghubungkan VPC secara manual. Untuk informasi selengkapnya, lihat Connect VPCs across regions.

Aktifkan akses internet (opsional)

Untuk menggunakan fitur cloud migration guna mengakses layanan Alibaba Cloud lain atau titik akhir publik secara cross-region, Anda harus mengaktifkan internet access.

Buat gateway NAT untuk VPC 1 yang menampung instans Message Queue for Apache Kafka.

Untuk informasi selengkapnya, lihat Internet NAT Gateway.
Asosiasikan elastic IP address dengan nat gateway.

Untuk informasi selengkapnya, lihat Mengaitkan EIP dengan sumber daya cloud.
Buat entri SNAT untuk vSwitch yang digunakan oleh instans Message Queue for Apache Kafka di VPC 1.

Untuk informasi selengkapnya, lihat Create and manage SNAT entries.

Buat dan deploy tugas migrasi cloud

Masuk ke ApsaraMQ for Kafka console. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.
Pada panel navigasi di sebelah kiri, klik Migration, lalu klik Cloud Migration.
Pada tab Cloud Migration, klik Create Task.

Pada panel Create Cloud Migration Task, konfigurasikan parameter berikut.

Pada tab Configure Basic Information, tentukan Task Name dan pilih Destination Instance, lalu klik Next.

Pada tab Configure Source Service, konfigurasikan parameter layanan sumber, lalu klik Next.

Jika Anda memilih VPC (Interconnection Between Self-managed Instance and VPC) untuk Source Instance Type, konfigurasikan parameter berikut.

Parameter	Deskripsi	Contoh
Source Region	Pilih `region` dari `instance` sumber.	China (Hangzhou)
Endpoint	Titik akhir instans sumber. Anda hanya perlu memasukkan alamat salah satu broker. Sistem secara otomatis menemukan dan menghubungkan ke semua node dalam kluster.	192.168.XX.XX:9092
VPC ID	Nilai ini diisi otomatis berdasarkan VPC `instance` sumber dan tidak dapat diubah.	vpc-test-c****
vSwitch ID	`vSwitch ID` dari `instance` sumber.	vsw-bp1gbjqsf53og****
Security Group	Pilih `security group` dari `instance` sumber.	alikafka_pre-cn-7mz2****
Security Protocol	Pilih `security protocol` dari `instance` sumber. PLAINTEXT SASL_PLAINTEXT SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SASL_SSL SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SSL Truststore File: Unggah file sertifikat. SSL Truststore Password: Masukkan password sertifikat. SSL Endpoint Identification Algorithm: Algoritma yang digunakan untuk memverifikasi identitas server selama komunikasi SSL, yang membantu mencegah serangan man-in-the-middle. Anda dapat memasukkan `https`, `http`, atau biarkan kosong.	PLAINTEXT
Number of Tasks	Pilih jumlah tugas untuk sinkronisasi data. Nilai yang valid: 1 6 12	12
Synchronize SASL Users	Menentukan apakah akan menyinkronkan pengguna SASL selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Topic ACLs	Menentukan apakah akan menyinkronkan ACL `topic` selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes. Yes: Menyinkronkan ACL `topic` dari `instance` sumber ke `instance` tujuan. Jika `instance` sumber adalah `self-managed cluster`, Anda harus membuat pengguna SASL secara manual pada `instance` tujuan untuk menyinkronkan ACL `topic`. No: Tidak menyinkronkan ACL `topic` dari `instance` sumber ke `instance` tujuan.	Yes
Synchronize Consumer Groups	Menentukan apakah akan menyinkronkan `consumer group` dari `instance` sumber ke `instance` tujuan selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Consumer Offsets	Menentukan apakah akan menyinkronkan `consumer offset` dari `instance` sumber ke `instance` tujuan selama migrasi data. Parameter ini hanya muncul ketika Anda mengklik Configure Runtime Environment dan mengatur Synchronize Consumer Groups menjadi Yes. Nilai default adalah Yes.	Yes
Topic	`topic` pada `instance` sumber yang akan disinkronkan ke `instance` tujuan. Jika Anda membiarkan parameter ini kosong, semua `topic` akan disinkronkan. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic
Create Topics to Use Local Storage	Tentukan `topic` non-compacted mana yang akan dibuat dengan `local storage` pada `instance` tujuan. Jika Anda membiarkan parameter ini kosong, `topic` akan dibuat dengan `cloud storage`. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic

Peringatan

Konfigurasikan hanya satu tugas migrasi untuk setiap topik. Jika beberapa tugas migrasi menyinkronkan data ke topik tujuan yang sama, data duplikat akan ditulis. Tugas migrasi tidak mendukung deduplikasi.

Jika Anda memilih Public Network (IDC or Cross-cloud Instance) untuk Source Instance Type, konfigurasikan parameter berikut.

Parameter	Deskripsi	Contoh
Endpoint	Titik akhir instans sumber. Anda hanya perlu memasukkan alamat salah satu broker. Sistem secara otomatis menemukan dan menghubungkan ke semua node dalam kluster.	192.168.XX.XX:9092
Security Group	Pilih `security group` dari `instance` sumber.	alikafka_pre-cn-7mz2****
Security Protocol	Pilih `security protocol` dari `instance` sumber. PLAINTEXT SASL_PLAINTEXT SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SASL_SSL SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SSL Truststore File: Unggah file sertifikat. SSL Truststore Password: Masukkan password sertifikat. SSL Endpoint Identification Algorithm: Algoritma yang digunakan untuk memverifikasi identitas server selama komunikasi SSL, yang membantu mencegah serangan man-in-the-middle. Anda dapat memasukkan `https`, `http`, atau biarkan kosong.	PLAINTEXT
Number of Tasks	Pilih jumlah tugas untuk sinkronisasi data. Nilai yang valid: 1 6 12	12
Synchronize SASL Users	Menentukan apakah akan menyinkronkan informasi pengguna SASL ke `instance` tujuan selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Topic ACLs	Menentukan apakah akan menyinkronkan ACL `topic` selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes. Yes: Menyinkronkan ACL `topic` dari `instance` sumber ke `instance` tujuan. Jika `instance` sumber adalah `self-managed cluster`, Anda harus membuat pengguna SASL secara manual pada `instance` tujuan untuk menyinkronkan ACL `topic`. No: Tidak menyinkronkan ACL `topic` dari `instance` sumber ke `instance` tujuan.	Yes
Synchronize Consumer Groups	Menentukan apakah akan menyinkronkan `consumer group` dari `instance` sumber ke `instance` tujuan selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Consumer Offsets	Menentukan apakah akan menyinkronkan `consumer offset` dari `instance` sumber ke `instance` tujuan selama migrasi data. Parameter ini hanya muncul ketika Anda mengklik Configure Runtime Environment dan mengatur Synchronize Consumer Groups menjadi Yes. Nilai default adalah Yes.	Yes
Topic	`topic` pada `instance` sumber yang akan disinkronkan ke `instance` tujuan. Jika Anda membiarkan parameter ini kosong, semua `topic` akan disinkronkan. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic
Create Topics to Use Local Storage	Tentukan `topic` non-compacted mana yang akan dibuat dengan `local storage` pada `instance` tujuan. Jika Anda membiarkan parameter ini kosong, `topic` akan dibuat dengan `cloud storage`. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic

Peringatan

Pada tab Configure Destination Service, klik Create.

Setelah tugas dibuat, pada halaman Migration, pilih instans target dari daftar drop-down Instance. Dalam daftar instans, temukan tugas yang telah Anda buat lalu klik Deploy di kolom Actions.

Pada halaman Migration, jika Status tugas adalah Running, tugas berhasil dideploy.

Operasi lainnya

Pada halaman Migration, pilih instance yang relevan dari daftar drop-down Instance, temukan tugas tersebut, lalu gunakan opsi di kolom Actions.

Lihat detail tugas: Klik Details. Pada halaman detail tugas, lihat Basic Information, Source Service, Destination Service, dan Runtime Environment.
Lihat progres sinkronisasi: Klik Synchronization Progress, pilih topic yang ingin dilihat, lalu klik OK.
Ubah konfigurasi tugas: Klik Modify Configuration. Pada panel yang muncul, ubah parameter tugas sesuai kebutuhan.
Reset consumer offsets: Pilih More > Reset Consumer Offset, atur topic dan metode reset, lalu klik OK. Untuk informasi selengkapnya tentang cara mereset consumer offset, lihat Reset consumer offsets.
Untuk menjalankan atau menghentikan tugas, pilih More > Suspend atau More > Enable. Lalu, pada kotak dialog Note, klik OK.
Untuk menghapus tugas, pilih More > Delete, lalu klik OK pada kotak dialog Note.