Cara melakukan migrasi kluster Kafka yang dikelola sendiri ke Message Queue for Apache Kafka - ApsaraMQ for Kafka

Message Queue for Apache Kafka menyediakan layanan migrasi cloud terkelola penuh dan bebas perawatan untuk menyinkronkan data antara kluster yang dikelola sendiri atau instans lintas cloud dengan instans Message Queue for Apache Kafka. Setelah migrasi selesai, metadata (informasi konfigurasi Topik dan Grup) serta data pesan dari kluster sumber akan disinkronkan ke instans target. Metadata pada instans target tetap konsisten dengan metadata kluster sumber dan terus diperbarui secara berkala.

Prasyarat

Anda telah membeli dan men-deploy ApsaraMQ for Kafka Instans yang memenuhi persyaratan berikut:

Item	Deskripsi
Status	Running
Versi	Versi minor terbaru dari 2.2.0 atau 2.6.2.

Catatan

Anda dapat melihat status dan versi instance Anda di bagian Enter Basic Information pada halaman Instances di Message Queue for Apache Kafka console.

Batasan

Fitur cloud migration dari ApsaraMQ for Kafka memiliki batasan berikut:

Item	Batas
Jumlah	Anda dapat membuat maksimal 20 tugas migrasi untuk setiap `instance`. Fitur `cloud migration` dan `connector` berbagi sumber daya dalam satu `instance`.
Jenis Edisi	Instans Serverless Untuk instans non-Serverless: Professional Edition (High Write) atau Professional Edition (High Read).
Versi instans sumber	Versi open source harus 1.0.0 atau lebih baru.

Penagihan

Komponen migrasi cloud untuk ApsaraMQ for Kafka akan mulai dikenai biaya pada 1 Agustus 2026. Untuk informasi selengkapnya, lihat CU Postpaid.

Persyaratan jaringan

Jika Anda perlu menggunakan fitur migrasi cloud untuk menyinkronkan data dari instans yang dikelola sendiri di internet publik ke ApsaraMQ for Kafka, atau menyinkronkan data lintas wilayah dari instans ApsaraMQ for Kafka di VPC ke instans ApsaraMQ for Kafka di VPC lain, Anda perlu mengaktifkan akses internet untuk instans tersebut lalu menyinkronkan data melalui internet. Untuk informasi selengkapnya, lihat Enable internet access (Optional).

Jika Anda perlu menggunakan fitur migrasi cloud untuk menyinkronkan data dari instans di satu VPC ke instans ApsaraMQ for Kafka di VPC lain, wilayah ApsaraMQ for Kafka mendukung koneksi VPC otomatis. Di wilayah lain, Anda harus menghubungkan VPC secara manual. Untuk informasi selengkapnya, lihat Menghubungkan VPC antar wilayah.

Aktifkan akses internet (opsional)

Untuk menggunakan fitur cloud migration guna mengakses layanan Alibaba Cloud lain atau titik akhir publik secara cross-region, Anda harus mengaktifkan internet access.

Buat gateway NAT untuk VPC 1 yang menampung instans Message Queue for Apache Kafka.

Untuk informasi selengkapnya, lihat Internet NAT Gateway.
Asosiasikan elastic IP address dengan nat gateway.

Untuk informasi selengkapnya, lihat Associate an EIP with a cloud resource.
Buat entri SNAT untuk vSwitch yang digunakan oleh instans Message Queue for Apache Kafka di VPC 1.

Untuk informasi selengkapnya, lihat Create and manage SNAT entries.

Buat dan deploy tugas migrasi cloud

Masuk ke ApsaraMQ for Kafka console. Pada halaman Overview, pilih wilayah di bagian Resource Distribution.
Pada panel navigasi di sebelah kiri, klik Migration, lalu klik Cloud Migration.
Pada tab Cloud Migration, klik Create Task.

Pada panel Create Cloud Migration Task, konfigurasikan parameter berikut.

Pada tab Configure Basic Information, tentukan Task Name dan pilih Destination Instance, lalu klik Next.

Pada tab Configure Source Service, konfigurasikan parameter layanan sumber, lalu klik Next.

Jika Anda memilih VPC (Interconnection Between Self-managed Instance and VPC) untuk Source Instance Type, konfigurasikan parameter berikut.

Parameter	Deskripsi	Contoh
Source Region	Pilih `region` instans sumber.	China (Hangzhou)
Endpoint	`Endpoint` instans sumber.	192.168.XX.XX:9092
VPC ID	Nilai ini diisi otomatis berdasarkan VPC instans sumber dan tidak dapat diubah.	vpc-test-c****
vSwitch ID	`vSwitch ID` instans sumber.	vsw-bp1gbjqsf53og****
Security Group	Pilih `security group` instans sumber.	alikafka_pre-cn-7mz2****
Security Protocol	Pilih `security protocol` instans sumber. PLAINTEXT SASL_PLAINTEXT SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SASL_SSL SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SSL Truststore File: Unggah file sertifikat. SSL Truststore Password: Masukkan password sertifikat. SSL Endpoint Identification Algorithm: Algoritma yang digunakan untuk memverifikasi identitas server selama komunikasi SSL, yang membantu mencegah serangan man-in-the-middle. Anda dapat memasukkan `https`, `http`, atau biarkan kosong.	PLAINTEXT
Number of Tasks	Pilih jumlah tugas untuk sinkronisasi data. Nilai yang valid: 1 6 12	12
Synchronize SASL Users	Menentukan apakah akan menyinkronkan pengguna SASL selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Topic ACLs	Menentukan apakah akan menyinkronkan ACL `topic` selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes. Yes: Menyinkronkan ACL `topic` dari instans sumber ke instans tujuan. Jika instans sumber adalah `self-managed cluster`, Anda harus membuat pengguna SASL secara manual di instans tujuan untuk menyinkronkan ACL `topic`. No: Tidak menyinkronkan ACL `topic` dari instans sumber ke instans tujuan.	Yes
Synchronize Consumer Groups	Menentukan apakah akan menyinkronkan `consumer group` dari instans sumber ke instans tujuan selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Consumer Offsets	Menentukan apakah akan menyinkronkan `consumer offset` dari instans sumber ke instans tujuan selama migrasi data. Parameter ini hanya muncul ketika Anda mengklik Configure Runtime Environment dan mengatur Synchronize Consumer Groups menjadi Yes. Nilai default adalah Yes.	Yes
Topic	`Topic` pada instans sumber yang akan disinkronkan ke instans tujuan. Jika Anda membiarkan parameter ini kosong, semua `topic` akan disinkronkan. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic
Create Topics to Use Local Storage	Tentukan `topic` non-compacted mana yang akan dibuat dengan `local storage` pada instans tujuan. Jika Anda membiarkan parameter ini kosong, `topic` akan dibuat dengan `cloud storage`. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic

Jika Anda memilih Public Network (IDC or Cross-cloud Instance) untuk Source Instance Type, konfigurasikan parameter berikut.

Parameter	Deskripsi	Contoh
Endpoint	`Endpoint` instans sumber.	192.168.XX.XX:9092
Security Group	Pilih `security group` instans sumber.	alikafka_pre-cn-7mz2****
Security Protocol	Pilih `security protocol` instans sumber. PLAINTEXT SASL_PLAINTEXT SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SASL_SSL SASL Username: Masukkan username SASL. SASL Password: Masukkan password SASL. SASL mechanism: Mekanisme autentikasi SASL. Nilai yang valid: PLAIN, SCRAM-SHA-256, dan SCRAM-SHA-512. SSL Truststore File: Unggah file sertifikat. SSL Truststore Password: Masukkan password sertifikat. SSL Endpoint Identification Algorithm: Algoritma yang digunakan untuk memverifikasi identitas server selama komunikasi SSL, yang membantu mencegah serangan man-in-the-middle. Anda dapat memasukkan `https`, `http`, atau biarkan kosong.	PLAINTEXT
Number of Tasks	Pilih jumlah tugas untuk sinkronisasi data. Nilai yang valid: 1 6 12	12
Synchronize SASL Users	Menentukan apakah akan menyinkronkan informasi pengguna SASL ke instans tujuan selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Topic ACLs	Menentukan apakah akan menyinkronkan ACL `topic` selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes. Yes: Menyinkronkan ACL `topic` dari instans sumber ke instans tujuan. Jika instans sumber adalah `self-managed cluster`, Anda harus membuat pengguna SASL secara manual di instans tujuan untuk menyinkronkan ACL `topic`. No: Tidak menyinkronkan ACL `topic` dari instans sumber ke instans tujuan.	Yes
Synchronize Consumer Groups	Menentukan apakah akan menyinkronkan `consumer group` dari instans sumber ke instans tujuan selama migrasi data. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment. Nilai default adalah Yes.	Yes
Synchronize Consumer Offsets	Menentukan apakah akan menyinkronkan `consumer offset` dari instans sumber ke instans tujuan selama migrasi data. Parameter ini hanya muncul ketika Anda mengklik Configure Runtime Environment dan mengatur Synchronize Consumer Groups menjadi Yes. Nilai default adalah Yes.	Yes
Topic	`Topic` pada instans sumber yang akan disinkronkan ke instans tujuan. Jika Anda membiarkan parameter ini kosong, semua `topic` akan disinkronkan. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic
Create Topics to Use Local Storage	Tentukan `topic` non-compacted mana yang akan dibuat dengan `local storage` pada instans tujuan. Jika Anda membiarkan parameter ini kosong, `topic` akan dibuat dengan `cloud storage`. Parameter ini muncul setelah Anda mengklik Configure Runtime Environment.	test-topic

Pada tab Configure Destination Service, klik Create.

Setelah tugas dibuat, pada halaman Migration, pilih instans target dari daftar drop-down Instance. Di daftar instans, temukan tugas yang telah Anda buat lalu klik Deploy di kolom Actions.

Pada halaman Migration, jika Status tugas adalah Running, berarti tugas berhasil dideploy.

Operasi lainnya

Pada halaman Migration, pilih instance yang relevan dari daftar drop-down Instance, temukan tugas tersebut, lalu gunakan opsi di kolom Actions.

Lihat detail tugas: Klik Details. Di halaman detail tugas, lihat Basic Information, Source Service, Destination Service, dan Runtime Environment.
Lihat progres sinkronisasi: Klik Synchronization Progress, pilih topic yang ingin dilihat, lalu klik OK.
Ubah konfigurasi tugas: Klik Modify Configuration. Di panel yang muncul, ubah parameter tugas sesuai kebutuhan.
Reset consumer offset: Pilih More > Reset Consumer Offset, atur topic dan metode reset, lalu klik OK. Untuk informasi selengkapnya tentang cara mereset consumer offset, lihat Reset consumer offsets.
Untuk menjalankan atau menghentikan tugas, pilih More > Suspend atau More > Enable. Lalu, di kotak dialog Note, klik OK.
Untuk menghapus tugas, pilih More > Delete, lalu klik OK di kotak dialog Note.