All Products
Search
Document Center

:Migrasikan metadata dari cluster Apache Kafka mandiri ke instance baru ApsaraMQ for Kafka

Last Updated:Nov 09, 2025

Proses migrasi metadata melibatkan pemindahan metadata dari cluster Apache Kafka mandiri ke instance ApsaraMQ for Kafka. Anda dapat mengekspor metadata dari cluster Apache Kafka mandiri dan mengimpornya ke instance ApsaraMQ for Kafka. Sistem kemudian akan membuat topik dan grup pada instance ApsaraMQ for Kafka berdasarkan metadata yang diimpor untuk menyelesaikan migrasi.

Prasyarat

  • Instance ApsaraMQ for Kafka telah dibeli dan diterapkan. Untuk informasi lebih lanjut, lihat Langkah 2: Beli dan Terapkan Instance.

    Sebelum memigrasikan metadata dari cluster Apache Kafka mandiri ke instance ApsaraMQ for Kafka, gunakan fitur evaluasi spesifikasi dari ApsaraMQ for Kafka untuk mengevaluasi spesifikasi cluster seperti penggunaan lalu lintas, kapasitas disk, jenis disk, dan jumlah partisi. Ini membantu Anda memilih instance ApsaraMQ for Kafka yang sesuai dengan kebutuhan bisnis Anda. Untuk informasi lebih lanjut tentang fitur evaluasi spesifikasi, lihat Evaluasi Spesifikasi Instance.

  • Java Development Kit (JDK) 8 atau versi lebih baru telah diunduh. Untuk informasi lebih lanjut, lihat Unduhan Java.

  • Taobao System Activity Reporter (Tsar) telah diinstal. Untuk informasi lebih lanjut, lihat tsar.

    Untuk mendapatkan konfigurasi mesin yang digunakan untuk cluster Apache Kafka mandiri secara akurat, disarankan untuk menginstal Tsar sebelum memigrasikan metadata. Anda juga dapat mengonfigurasi parameter --installTsar untuk menginstal Tsar secara otomatis saat menjalankan alat migrasi. Namun, instalasi otomatis Tsar memerlukan waktu yang lama dan mungkin gagal jika lingkungan tidak kompatibel.

Catatan

Instance Serverless ApsaraMQ for Kafka tidak mendukung alat ekspor metadata yang digunakan dalam topik ini.

Informasi latar belakang

Metadata dari cluster Apache Kafka mandiri mencakup konfigurasi topik dan grup dalam cluster. Metadata tersebut disimpan di ZooKeeper, dan setiap node cluster Apache Kafka mandiri mendapatkan metadata terbaru dari ZooKeeper. Dengan cara ini, metadata yang diekspor dari setiap node cluster konsisten dan mutakhir. Anda dapat mengekspor metadata dari cluster Apache Kafka mandiri ke file JSON dan mengimpornya ke cluster lain untuk pencadangan.

Langkah 1: Ekspor metadata

Ikuti langkah-langkah berikut untuk mengekspor metadata dari cluster Apache Kafka mandiri menggunakan alat ekspor metadata:

  1. Klik kafka-migration-assessment.jar untuk mengunduh file yang berisi alat ekspor metadata.

  2. Unggah file yang berisi alat ekspor metadata ke cluster Apache Kafka mandiri Anda.

  3. Jalankan perintah berikut di direktori tempat file disimpan agar file JAR dapat dieksekusi:

    chmod 777 kafka-migration-assessment.jar
  4. Jalankan perintah berikut untuk mengekspor metadata dari cluster Apache Kafka mandiri:

    java -jar kafka-migration-assessment.jar MigrationFromZk  \ 
    --sourceZkConnect <host:port>  \ 
    --sourceBootstrapServers <host:port>  \ 
    --targetDirectory ../xxx/  \ 
    --fileName metadata.json  \ 
    --commit

    Parameter

    Deskripsi

    Contoh

    sourceZkConnect

    Alamat IP dan nomor port ZooKeeper tempat cluster Apache Kafka mandiri diterapkan. Jika Anda tidak mengonfigurasi parameter ini, alat ekspor metadata secara otomatis mendapatkan alamat IP dan nomor port.

    192.168.XX.XX:2181

    sourceBootstrapServers

    Alamat IP dan nomor port cluster Apache Kafka mandiri. Jika Anda tidak mengonfigurasi parameter ini, alat ekspor metadata secara otomatis mendapatkan alamat IP dan nomor port.

    192.168.XX.XX:9092

    targetDirectory

    Direktori tempat Anda ingin menyimpan file metadata yang diekspor. Jika Anda tidak mengonfigurasi parameter ini, direktori saat ini akan digunakan secara otomatis.

    ../home/

    fileName

    Nama file metadata. Jika Anda tidak mengonfigurasi parameter ini, nama file default kafka-metadata-export.json akan digunakan.

    metadata.json

    commit

    Commit dan jalankan kode.

    commit

    installTsar

    Menentukan apakah akan menginstal Tsar. Secara default, Tsar tidak diinstal secara otomatis.

    Tsar dapat digunakan untuk mendapatkan informasi akurat tentang spesifikasi mesin yang digunakan untuk menjalankan cluster Apache Kafka mandiri dan penggunaan memori terkini, penggunaan lalu lintas, serta konfigurasi cluster. Instalasi otomatis Tsar memerlukan waktu yang lama untuk diselesaikan dan mungkin gagal jika lingkungan tidak kompatibel.

    Tidak ada

    evaluate

    Menentukan apakah akan mendapatkan informasi tentang spesifikasi mesin yang digunakan untuk menjalankan cluster Apache Kafka mandiri dan penggunaan memori terkini, penggunaan lalu lintas, serta konfigurasi cluster untuk evaluasi spesifikasi. Nilai valid: true dan false. Nilai default: true, yang menentukan bahwa konsol ApsaraMQ for Kafka mengevaluasi dan merekomendasikan spesifikasi instance ApsaraMQ for Kafka ke mana metadata dimigrasikan.

    Jika Anda tidak ingin menggunakan fitur evaluasi spesifikasi, atur parameter ini ke false.

    Tidak ada

    Setelah mengekspor metadata, file JSON akan dibuat di direktori yang ditentukan untuk menyimpan file metadata yang diekspor.

    File metadata yang diekspor dapat dilihat di direktori yang ditentukan dan diunduh ke mesin lokal Anda.

Langkah 2: Buat tugas impor metadata

Buat tugas

  1. Masuk ke konsol ApsaraMQ for Kafka.

  2. Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.

  3. Di panel navigasi sisi kiri, klik Migration.

  4. Di halaman Migration, klik tab Metadata Import dan klik Create Task.

  5. Di panel Create Metadata Import Task, konfigurasikan parameter dan klik Create.

    1. Di langkah Create Task, konfigurasikan parameter Task Name dan Destination Instance dan unggah file metadata yang Anda peroleh di Langkah 1: Ekspor Metadata.

    2. Di langkah Edit Topic, lakukan operasi berikut pada topik dan grup yang ingin Anda migrasikan:

      • Tambahkan topik: Klik Add Topic. Di panel yang muncul, konfigurasikan parameter Name, Description, Partitions, dan Message Type.

      • Ubah topik: Temukan topik yang ingin Anda ubah dan klik Modify di kolom Actions. Di panel yang muncul, konfigurasikan parameter Description, Partitions, Message Type, dan Log Cleanup Policy.

      • Hapus topik: Temukan topik yang ingin Anda hapus dan klik Delete di kolom Actions. Di pesan Note, klik OK.

    3. Di langkah Edit Group, lakukan operasi berikut:

      • Tambahkan grup: Klik Add Group. Di panel yang muncul, konfigurasikan parameter Group ID dan Description.

      • Ubah grup: Temukan grup yang ingin Anda ubah dan klik Modify di kolom Actions. Di panel yang muncul, konfigurasikan parameter Description.

      • Hapus grup: Temukan grup yang ingin Anda hapus dan klik Delete di kolom Actions. Di pesan Note, klik OK.

Lihat kemajuan migrasi

Setelah membuat tugas impor metadata, Anda dapat melihat kemajuan migrasi topik dan grup di tab Metadata Import halaman Migration. Anda juga dapat mengklik Details di kolom Actions tugas untuk melihat detail tugas.image

Migrasi metadata memerlukan waktu sekitar 30 menit untuk selesai. Setelah metadata dimigrasikan, Anda dapat menggunakan topik dan grup yang dimigrasikan ke instance ApsaraMQ for Kafka.

Langkah 3: Verifikasi hasil migrasi

  1. Di halaman Instances, klik nama instance yang ingin Anda kelola.

  2. Lihat topik dan grup di instance tujuan.

    • Di panel navigasi sisi kiri, klik Topics. Di halaman Topics, lihat topik yang dibuat di instance.

    • Di panel navigasi sisi kiri, klik Groups. Di halaman Groups, lihat grup yang dibuat di instance.

Langkah 4: Hapus tugas migrasi

Di tab Metadata Import halaman Migration, temukan tugas migrasi yang ingin Anda hapus dan klik Delete di kolom Actions.

Apa yang harus dilakukan selanjutnya

Setelah memigrasikan metadata dari cluster Apache Kafka mandiri ke instance ApsaraMQ for Kafka, periksa apakah Anda perlu memperbarui titik akhir yang digunakan oleh klien untuk mengakses instance. Untuk informasi lebih lanjut, lihat Lihat Titik Akhir.