ApsaraMQ for Kafka:Impor metadata dari kluster Apache Kafka yang dikelola sendiri

Apa yang dimigrasikan

Cara kerja

Impor metadata mengikuti proses empat langkah:

1. (Opsional) Evaluasi spesifikasi — Dapatkan rekomendasi spesifikasi instans berdasarkan beban kerja kluster sumber Anda.

2. Ekspor metadata — Jalankan tool JAR pada sebuah node di kluster yang dikelola sendiri. Tool ini terhubung ke ZooKeeper, membaca konfigurasi topik dan kelompok konsumen, lalu menuliskannya ke file JSON.

3. Buat tugas impor metadata — Unggah file JSON ke konsol ApsaraMQ for Kafka dan tinjau topik serta kelompok konsumen sebelum membuatnya di instans tujuan.

4. Verifikasi hasil — Pastikan topik dan kelompok konsumen muncul di instans tujuan.

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Menginstal Java Development Kit (JDK) 8 (unduh JDK 8)

• Membeli dan men-deploy instans ApsaraMQ for Kafka:

  • Beli dan deploy instans terhubung-VPC

  • Beli dan deploy instans terhubung Internet dan VPC

Batasan

• Impor metadata tidak didukung untuk instans ApsaraMQ for Kafka arsitektur tanpa server (serverless).

Evaluasi spesifikasi (opsional)

Gunakan fitur evaluasi spesifikasi untuk mendapatkan rekomendasi spesifikasi instans berdasarkan beban kerja kluster yang dikelola sendiri Anda.

1. Masuk ke Konsol ApsaraMQ for Kafka. Pada bagian Resource Distribution di halaman Overview, pilih wilayah instans tujuan Anda.

2. Di panel navigasi kiri, klik Migration. Klik tab Metadata Import.

3. Klik Evaluation.

4. Di panel Evaluation, masukkan informasi beban kerja kluster sumber Anda:

   Parameter	Deskripsi	Wajib	Contoh
   Major Version	Versi Apache Kafka di kluster yang dikelola sendiri Anda	Ya	0.10.x
   Migration from IDC	Apakah kluster sumber berjalan di pusat data internet (IDC)	Ya	Ya
   Maximum Cluster Traffic	Throughput produksi atau konsumsi pesan puncak, dalam MB/s	Ya	20
   Public Network Traffic	Bandwidth internet yang dibutuhkan, dalam MB/s. Masukkan 0 jika akses internet tidak diperlukan	Ya	0
   SSD	Apakah kluster sumber menggunakan solid-state drive (SSD)	Ya	Ya
   Disk Capacity	Kapasitas disk total, dalam GB	Ya	500
   Partitions	Jumlah total partisi di semua topik yang akan dimigrasikan	Ya	800
   Replicas	Jumlah replika per topik	Ya	3 Replicas
   Scenario	Tipe beban kerja untuk produksi dan konsumsi pesan	Ya	Business Message
   Response Latency	Persyaratan latensi untuk produksi dan konsumsi pesan	Ya	No Special Requirements

5. Klik OK. Bagian Recommended Instance Specifications menampilkan edisi, spesifikasi traffic, dan ukuran disk yang direkomendasikan untuk instans tujuan Anda.

Ekspor metadata

Jalankan tool ekspor metadata pada sebuah node di kluster Apache Kafka yang dikelola sendiri untuk menghasilkan file JSON yang berisi konfigurasi topik dan kelompok konsumen.

1. Unduh tool ekspor metadata: kafka-migration-assessment.jar.

2. Unggah file JAR ke sebuah node di kluster Kafka yang dikelola sendiri Anda.

3. Berikan izin eksekusi pada file JAR:

      chmod 777 kafka-migration-assessment.jar

4. Jalankan perintah ekspor: Ganti placeholder dengan nilai Anda:

   Parameter	Deskripsi	Wajib	Default	Contoh
   sourceZkConnect	Alamat IP dan port node ZooKeeper untuk kluster yang dikelola sendiri Anda. Jika dihilangkan, tool akan mendeteksi nilai ini secara otomatis	Tidak	Auto-detected	192.168.XX.XX:2181
   sourceBootstrapServers	Alamat IP dan port broker Kafka di kluster yang dikelola sendiri Anda. Jika dihilangkan, tool akan mendeteksi nilai ini secara otomatis	Tidak	Auto-detected	192.168.XX.XX:9092
   targetDirectory	Direktori tempat menulis file JSON output	Tidak	Current directory	../home/
   fileName	Nama file JSON output	Tidak	kafka-metadata-export.json	metadata.json
   commit	Menyimpan tugas	Ya	--	--
   installTsar	Menginstal Taobao System Activity Reporter (Tsar) untuk mengumpulkan spesifikasi mesin dan penggunaan resource. Instalasi dapat memakan waktu lama dan gagal di lingkungan yang tidak kompatibel	Tidak	Not installed	--
   evaluate	Mengumpulkan spesifikasi mesin dan penggunaan resource untuk evaluasi spesifikasi. Atur ke false untuk melewati	Tidak	true	false

      java -jar kafka-migration-assessment.jar MigrationFromZk \
        --sourceZkConnect <zookeeper-host:port> \
        --sourceBootstrapServers <kafka-host:port> \
        --targetDirectory <output-directory> \
        --fileName <output-filename> \
        --commit

5. Verifikasi bahwa file JSON ada di direktori output yang ditentukan.

   Catatan

   Unduh file tersebut ke mesin lokal Anda untuk diunggah ke konsol ApsaraMQ for Kafka pada langkah berikutnya.

Buat tugas impor metadata

Unggah file JSON yang diekspor dan konfigurasikan topik serta kelompok konsumen yang akan dibuat di instans ApsaraMQ for Kafka tujuan.

1. Masuk ke Konsol ApsaraMQ for Kafka. Pada halaman Overview, di bagian Resource Distribution, pilih wilayah instans tujuan Anda.

2. Di panel navigasi kiri, klik Migration. Klik tab Metadata Import.

3. Klik Create Task.

4. Di panel Create Metadata Import Task, lakukan langkah-langkah berikut: Create Task: Konfigurasikan Task Name dan Destination Instance, lalu unggah file JSON metadata yang diekspor dalam Ekspor metadata. Edit Topic: Tinjau topik yang diimpor dan sesuaikan sesuai kebutuhan. Edit Group: Tinjau kelompok konsumen yang diimpor dan sesuaikan sesuai kebutuhan.

   • Add a group: Klik Add Group dan konfigurasikan parameter Group ID dan Description.

   • Ubah kelompok: Klik Modify di kolom Actions untuk memperbarui Description.

   • Hapus kelompok: Klik Delete di kolom Actions, lalu klik OK di dialog konfirmasi.

5. Klik Create untuk memulai tugas impor metadata. Setelah tugas dibuat, tab Metadata Import menampilkan Topic Migration Progress dan Group Migration Progress untuk setiap tugas. Klik Details di kolom Actions untuk melihat detail lengkap tugas.

Verifikasi hasil migrasi

Pastikan topik dan kelompok konsumen telah dibuat di instans tujuan.

1. Masuk ke ApsaraMQ for Kafka console. Pada bagian Resource Distribution di halaman Overview, pilih wilayah instans tujuan Anda.

2. Di panel navigasi kiri, klik Instances. Klik nama instans tujuan.

3. Verifikasi topik: Di panel navigasi kiri, klik Topics. Pastikan semua topik yang diharapkan terdaftar.

4. Verifikasi kelompok konsumen: Di panel navigasi kiri, klik Groups. Pastikan semua kelompok konsumen yang diharapkan terdaftar.