Impor metadata Apache Kafka ke Cloud Message Queue untuk Kafka - ApsaraMQ for Kafka

Tema ini menjelaskan cara membuat tugas migrasi di konsol ApsaraMQ for Kafka untuk memigrasikan metadata dari klaster Apache Kafka yang dikelola sendiri ke instance ApsaraMQ for Kafka.

Proses migrasi

Catatan penggunaan

Anda tidak dapat membuat tugas impor metadata untuk instance ApsaraMQ for Kafka tanpa server.
Jika klaster Apache Kafka yang dikelola sendiri yang ingin Anda migrasikan metadata-nya tidak mendukung akses Internet, gunakan fitur impor metadata untuk memigrasikan metadata tersebut. Jika tidak, gunakan fitur migrasi cloud. Untuk informasi lebih lanjut, lihat Migrasikan metadata dan data pesan dari klaster Apache yang dikelola sendiri ke instance ApsaraMQ for Kafka.
Fitur impor metadata hanya mengimpor konfigurasi topik dan grup dari klaster Apache Kafka yang dikelola sendiri ke instance ApsaraMQ for Kafka. Fitur ini cocok untuk skenario di mana data pesan tidak dimigrasikan. Jika Anda ingin memigrasikan baik data pesan maupun metadata, gunakan fitur migrasi cloud. Untuk informasi lebih lanjut, lihat Migrasikan metadata dan data pesan dari klaster Apache yang dikelola sendiri ke instance ApsaraMQ for Kafka.
Dalam tema ini, metadata dari klaster Apache Kafka yang dikelola sendiri yang tidak mendukung akses Internet akan dimigrasikan.

Langkah 1: Evaluasi spesifikasi

ApsaraMQ for Kafka menyediakan fitur evaluasi spesifikasi yang menilai dan merekomendasikan spesifikasi instance ApsaraMQ for Kafka berdasarkan informasi klaster Apache Kafka yang dikelola sendiri, seperti lalu lintas klaster, kapasitas disk, dan jenis disk. Untuk informasi lebih lanjut, lihat Evaluasi spesifikasi.

Langkah 2: Beli instance

Beli instance ApsaraMQ for Kafka berdasarkan spesifikasi yang dievaluasi dan segera terapkan. Saat membeli instance, tentukan apakah akan mengaktifkan akses Internet sesuai kebutuhan bisnis Anda.

Untuk informasi tentang cara membeli dan menerapkan instance yang terhubung ke Internet dan virtual private cloud (VPC), lihat Beli dan terapkan instance yang terhubung ke Internet dan VPC.
Untuk informasi tentang cara membeli dan menerapkan instance yang terhubung ke VPC, lihat Beli dan terapkan instance yang terhubung ke VPC.

Langkah 3: Ekspor metadata

Masuk ke server klaster Apache Kafka yang dikelola sendiri, unduh, dan instal JDK 8 atau 11. Untuk informasi lebih lanjut, lihat Java Downloads.
Unduh alat ekspor kafka-migration-assessment.jar.
Jalankan perintah berikut untuk memberikan izin eksekusi pada file JAR:
```
chmod 777 kafka-migration-assessment.jar
```

Jalankan perintah berikut untuk mengekspor metadata dari klaster Apache Kafka yang dikelola sendiri:

java -jar kafka-migration-assessment.jar MigrationFromZk --sourceZkConnect <yourHost:yourPort> --sourceBootstrapServers <yourHost:yourPort> --targetDirectory <yourDirectoryName> --fileName <yourFileName> --commit

Parameter	Deskripsi	Contoh
sourceZkConnect	Alamat IP dan port node ZooKeeper tempat klaster Apache Kafka yang dikelola sendiri diterapkan. Jika Anda tidak mengonfigurasi parameter ini, alat ekspor metadata secara otomatis mendapatkan alamat IP dan nomor port.	192.168.XX.XX:2181
sourceBootstrapServers	Alamat IP dan port klaster Apache Kafka yang dikelola sendiri. Jika Anda tidak mengonfigurasi parameter ini, alat ekspor metadata secara otomatis mendapatkan alamat IP dan nomor port.	192.168.XX.XX:9092
targetDirectory	Direktori tempat Anda ingin menyimpan file metadata. Jika Anda tidak mengonfigurasi parameter ini, file metadata diekspor ke direktori saat ini secara default.	../home/
fileName	Nama file metadata. Jika Anda tidak mengonfigurasi parameter ini, nama default kafka-metadata-export.json digunakan.	metadata.json
commit	Mengonfirmasi tugas.	commit
installTsar	Menentukan apakah akan menginstal Taobao System Activity Reporter (Tsar). Secara default, Tsar tidak diinstal secara otomatis. Tsar dapat digunakan untuk mendapatkan informasi akurat tentang spesifikasi mesin yang digunakan untuk menjalankan klaster Apache Kafka yang dikelola sendiri dan penggunaan memori, lalu lintas, serta konfigurasi klaster baru-baru ini. Instalasi otomatis Tsar memerlukan waktu lama untuk diselesaikan dan mungkin gagal jika lingkungan tidak kompatibel.	None
evaluate	Menentukan apakah akan mendapatkan informasi tentang spesifikasi mesin yang digunakan untuk menjalankan klaster Apache Kafka yang dikelola sendiri dan penggunaan memori, lalu lintas, serta konfigurasi klaster baru-baru ini untuk evaluasi spesifikasi. Nilai valid: true dan false. Nilai default: true. Jika Anda mengatur parameter ini ke true, konsol ApsaraMQ for Kafka mengevaluasi dan merekomendasikan spesifikasi instance ApsaraMQ for Kafka ke mana metadata dimigrasikan. Jika Anda tidak ingin menggunakan fitur evaluasi spesifikasi, atur parameter ini ke false.	None

Setelah mengekspor metadata, sistem menghasilkan file JSON di direktori yang ditentukan.

Lihat file metadata di direktori yang ditentukan. Anda juga dapat mengunduh dan menyimpan file tersebut ke mesin lokal Anda.

Langkah 4: Buat tugas impor metadata

Masuk ke konsol ApsaraMQ for Kafka. Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi sisi kiri, klik Migration. Pada halaman yang muncul, klik tab Metadata Import.
Di tab Metadata Import, klik Create Task.
Di panel Create Metadata Import Task, konfigurasikan parameter dan klik Create.
1. Di langkah Create Task, konfigurasikan parameter Task Name dan Destination Instance dan unggah file metadata yang diperoleh di Langkah 2: Ekspor metadata.
2. Di langkah Edit Topic, lakukan operasi berikut:
  - Tambahkan topik: Klik Add Topic. Di panel yang muncul, konfigurasikan parameter Name, Description, Partitions, dan Message Type.
  - Ubah topik: Temukan topik yang ingin Anda ubah dan klik Modify di kolom Actions. Di panel yang muncul, konfigurasikan parameter Description, Partitions, Message Type, dan Log Cleanup Policy.
  - Hapus topik: Temukan topik yang ingin Anda hapus dan klik Delete di kolom Actions. Di pesan Note, klik OK.
3. Di langkah Edit Group, lakukan operasi berikut:
  - Tambahkan grup: Klik Add Group. Di panel yang muncul, konfigurasikan parameter Group ID dan Description.
  - Ubah grup: Temukan grup yang ingin Anda ubah dan klik Modify di kolom Actions. Di panel yang muncul, konfigurasikan parameter Description.
  - Hapus grup: Temukan grup yang ingin Anda hapus dan klik Delete di kolom Actions. Di pesan Note, klik OK.
Setelah tugas impor metadata dibuat, Anda dapat melihat kemajuan migrasi topik dan grup di kolom Topic Migration Progress dan Group Migration Progress di halaman Migration. Anda juga dapat mengklik Details di kolom Actions untuk melihat detail tugas impor metadata.

Langkah 5: Lihat hasil migrasi

Masuk ke ApsaraMQ for Kafka console. Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi sisi kiri, klik Instances.
Di halaman Instances, klik nama instance yang ingin dikelola.
Lihat topik dan grup di instance tersebut.
- Di panel navigasi sisi kiri, klik Topics. Di halaman yang muncul, lihat topik yang telah dibuat di instance tersebut.
- Di panel navigasi sisi kiri, klik Groups. Di halaman yang muncul, lihat grup yang telah dibuat di instance tersebut.

Apa yang harus dilakukan selanjutnya

Aktifkan grup konsumen baru untuk instance ApsaraMQ for Kafka untuk mengonsumsi pesan di instance tersebut.
Aktifkan produser baru untuk instance ApsaraMQ for Kafka, matikan produser asli, dan biarkan grup konsumen asli terus mengonsumsi pesan di klaster Apache Kafka yang dikelola sendiri.
Setelah semua pesan di klaster Apache Kafka yang dikelola sendiri dikonsumsi oleh grup konsumen asli, matikan mereka dan klaster Apache Kafka yang dikelola sendiri.