Topik ini menjelaskan cara membuat tugas migrasi di konsol ApsaraMQ for Kafka untuk memigrasikan metadata kluster Apache Kafka yang dikelola sendiri ke instance ApsaraMQ for Kafka.
Prasyarat
Java Development Kit (JDK) 8 telah diunduh dan diinstal. Untuk informasi lebih lanjut, lihat Java Downloads.
Sebuah instance ApsaraMQ for Kafka telah dibeli dan diterapkan.
Untuk informasi tentang cara membeli instance dan menerapkannya dalam virtual private cloud (VPC), lihat Beli dan Terapkan Instance yang Mengizinkan Akses dari VPC.
Untuk informasi tentang cara membeli instance yang dapat diakses melalui Internet dan VPC serta menerapkannya, lihat Beli dan Terapkan Instance yang Mengizinkan Akses dari Internet dan VPC.
Informasi latar belakang
Metadata kluster Apache Kafka mencakup konfigurasi topik dan grup dalam kluster. Metadata ini disimpan di ZooKeeper. Setiap node kluster Apache Kafka mendapatkan metadata terbaru dari ZooKeeper, sehingga metadata yang diekspor dari setiap node selalu terbaru dan identik. Anda dapat mengekspor metadata kluster Apache Kafka ke file JSON dan mengimpornya ke kluster lain untuk pencadangan.
Metode migrasi metadata digunakan untuk memigrasikan metadata kluster Apache Kafka yang dikelola sendiri ke instance ApsaraMQ for Kafka Alibaba Cloud. Anda dapat mengekspor metadata kluster Apache Kafka yang dikelola sendiri dan mengimpornya ke instance ApsaraMQ for Kafka. ApsaraMQ for Kafka secara otomatis membuat topik dan grup di instance tujuan ApsaraMQ for Kafka berdasarkan metadata. Dengan cara ini, metadata kluster Apache Kafka yang dikelola sendiri dimigrasikan ke Message Queue for Apache Kafka.
Ekspor metadata
Gunakan alat ekspor metadata untuk mengekspor metadata kluster Apache Kafka yang dikelola sendiri.
Klik kafka-migration-assessment.jar untuk mengunduh file yang berisi alat ekspor metadata.
Unggah file yang berisi alat ekspor metadata ke kluster Apache Kafka yang dikelola sendiri.
Jalankan perintah berikut di direktori tempat file disimpan agar file JAR dapat dieksekusi:
chmod 777 kafka-migration-assessment.jarJalankan perintah berikut untuk mengekspor metadata kluster Apache Kafka yang dikelola sendiri:
java -jar kafka-migration-assessment.jar MigrationFromZk \ --sourceZkConnect <host:port> \ --sourceBootstrapServers <host:port> \ --targetDirectory ../xxx/ \ --fileName metadata.json \ --commitParameter
Deskripsi
Contoh
sourceZkConnect
Alamat IP dan port node ZooKeeper tempat kluster Apache Kafka yang dikelola sendiri diterapkan. Jika Anda tidak mengonfigurasi parameter ini, alat ini akan otomatis mendapatkan alamat IP dan nomor port.
192.168.XX.XX:2181
sourceBootstrapServers
Alamat IP dan port kluster Apache Kafka yang dikelola sendiri. Jika Anda tidak mengonfigurasi parameter ini, alat ini akan otomatis mendapatkan alamat IP dan nomor port.
192.168.XX.XX:9092
targetDirectory
Direktori tempat Anda ingin menyimpan file metadata. Jika Anda tidak mengonfigurasi parameter ini, file metadata akan diekspor ke direktori saat ini secara default.
../home/
fileName
Nama file metadata. Jika Anda tidak mengonfigurasi parameter ini, nama default kafka-metadata-export.json akan digunakan.
metadata.json
commit
Mengonfirmasi tugas.
commit
installTsar
Menentukan apakah akan menginstal Taobao System Activity Reporter (Tsar). Secara default, Tsar tidak diinstal secara otomatis.
Tsar dapat digunakan untuk mendapatkan informasi akurat tentang spesifikasi mesin yang digunakan untuk kluster Apache Kafka yang dikelola sendiri dan penggunaan memori, lalu lintas, dan konfigurasi terbaru kluster. Instalasi otomatis Tsar memerlukan waktu yang lama dan mungkin gagal jika lingkungan tidak kompatibel.
N/A
evaluate
Menentukan apakah akan mendapatkan spesifikasi mesin yang digunakan untuk kluster Apache Kafka yang dikelola sendiri dan penggunaan memori, lalu lintas, dan konfigurasi terbaru kluster. ApsaraMQ for Kafka dapat mengevaluasi informasi spesifikasi dan merekomendasikan spesifikasi untuk instance tujuan ApsaraMQ for Kafka berdasarkan informasi yang dikumpulkan. Kami menyarankan Anda membuat instance tujuan berdasarkan kebutuhan bisnis Anda.
Nilai default adalah true. Nilai ini menentukan bahwa alat mengumpulkan informasi spesifikasi. Jika Anda tidak ingin menggunakan fitur evaluasi spesifikasi, atur nilai parameter ini menjadi false.
N/A
Setelah mengekspor metadata, sistem akan menghasilkan file JSON di direktori yang ditentukan.
Anda dapat melihat file metadata di direktori yang ditentukan. File tersebut juga dapat diunduh dan disimpan ke mesin lokal Anda.
Buat tugas migrasi
Masuk ke konsol ApsaraMQ for Kafka.
Di bagian Resource Distribution halaman Overview, pilih wilayah tempat instance ApsaraMQ for Kafka yang ingin Anda kelola berada.
Di panel navigasi sisi kiri, klik Migration.
Di halaman Migration to Cloud, klik Create Task.
Di bagian Create Task wizard Buat Tugas, konfigurasikan parameter dan klik Next.
Masukkan nama tugas di bidang Description.
Klik Click here to upload a metadata file di sebelah Metadata dan unggah file metadata yang Anda ekspor dari kluster Apache Kafka yang dikelola sendiri. File harus dalam format JSON.
Di bagian Purchase Instance wizard Buat Tugas, klik Next.
Di bagian Deploy Instance dari wizard Create Task, pilih instansi tujuan ApsaraMQ for Kafka dan klik Create Task.
Di halaman Migration, Anda dapat melihat bahwa tugas berada dalam keadaan Migrating. Setelah tugas migrasi selesai, Anda dapat menggunakan topik dan grup yang secara otomatis dibuat oleh Message Queue for Apache Kafka di instance tujuan berdasarkan metadata yang dimigrasikan.
Hapus tugas migrasi
Di halaman Migration, temukan tugas migrasi yang ingin Anda hapus dan klik Delete di kolom Actions.