ApsaraDB for ClickHouse：Tingkatkan versi mesin utama dengan memigrasikan data

Versi yang didukung

Metode peningkatan yang dijelaskan dalam topik ini berlaku untuk kluster ApsaraDB for ClickHouse Community-compatible Edition dengan versi mesin utama 19.15 atau lebih baru. Untuk informasi lebih lanjut tentang versi mesin utama terbaru, lihat Catatan Rilis untuk ApsaraDB for ClickHouse Community-compatible Edition.

Prasyarat

• Kluster sumber dan tujuan harus memenuhi persyaratan berikut:

  • Kluster tersebut adalah kluster ApsaraDB for ClickHouse Community-compatible Edition.

    Catatan

    Jika Anda ingin memigrasikan data antara kluster ApsaraDB for ClickHouse Community-compatible Edition dan kluster ApsaraDB for ClickHouse Enterprise Edition, lihat Apakah kluster ClickHouse Community Edition dapat dimigrasikan ke kluster Enterprise Edition?.

  • Kluster tersebut dalam status Berjalan.

  • Nama pengguna dan kata sandi akun database telah dibuat untuk kluster tersebut.

  • Jika penyimpanan bertingkat data panas dan dingin diaktifkan untuk kluster sumber, aktifkan juga untuk kluster tujuan. Jika dinonaktifkan untuk kluster sumber, nonaktifkan juga untuk kluster tujuan.

  • Kluster ditempatkan di wilayah yang sama dan menggunakan virtual private cloud (VPC) yang sama. Alamat IP kluster sumber ditambahkan ke daftar putih kluster tujuan, dan sebaliknya. Jika tidak, selesaikan masalah jaringan terlebih dahulu. Untuk informasi lebih lanjut, lihat bagian Bagaimana cara menyelesaikan masalah konektivitas jaringan antara kluster target dan sumber data? dari topik FAQ.

    Catatan

    Anda dapat menjalankan pernyataan SELECT * FROM system.clusters; untuk menanyakan alamat IP kluster ApsaraDB for ClickHouse. Untuk informasi lebih lanjut tentang cara mengonfigurasi daftar putih, lihat Konfigurasikan Daftar Putih.

• Kluster tujuan harus memenuhi persyaratan tambahan berikut:

  • Versi mesin utama kluster tujuan lebih baru dari kluster sumber.

  • Ruang penyimpanan yang tersedia (tidak termasuk penyimpanan dingin) dari kluster tujuan lebih besar dari atau sama dengan 1,2 kali ruang penyimpanan yang digunakan (tidak termasuk penyimpanan dingin) dari kluster sumber.

• Setiap tabel lokal di kluster sumber sesuai dengan tabel terdistribusi unik.

Catatan penggunaan

• Anda tidak dapat menurunkan versi mesin utama setelah versi mesin utama ditingkatkan.

• Sebelum memigrasikan data, pastikan bahwa tidak ada operasi manajemen seperti operasi perluasan, peningkatan, atau penurunan yang sedang dilakukan pada kluster ApsaraDB for ClickHouse sumber dan kluster tujuan.

• Migrasi data penuh dan migrasi data inkremental didukung antar kluster ApsaraDB for ClickHouse.

• Isi Migrasi:

  • Anda dapat memigrasikan objek berikut dari kluster sumber: kluster, basis data, tabel, kamus data, tampilan materialisasi, izin pengguna, dan konfigurasi kluster.

  • Anda tidak dapat memigrasikan tabel Kafka atau RabbitMQ.

    Penting

    Untuk memastikan bahwa data Kafka dan RabbitMQ tidak terpecah, hapus tabel Kafka dan RabbitMQ di kluster sumber dan buat tabel yang sesuai di kluster tujuan atau gunakan grup konsumen yang berbeda.

  • Anda hanya dapat memigrasikan skema tabel non-MergeTree seperti tabel eksternal dan tabel log.

    Catatan

    Jika kluster sumber berisi tabel non-MergeTree, tabel non-MergeTree di kluster tujuan hanya memiliki skema tabel dan tidak ada data bisnis spesifik setelah migrasi. Anda dapat menggunakan fungsi remote untuk memigrasikan data bisnis spesifik. Untuk informasi lebih lanjut, lihat bagian Gunakan Fungsi Remote untuk Memigrasikan Data dari topik Migrasi Data dari Kluster ClickHouse yang Dikelola Sendiri ke Kluster ApsaraDB for ClickHouse.

• Volume Data:

• Setelah versi mesin utama ditingkatkan, ubah titik akhir di pengaturan klien Anda menjadi titik akhir kluster tujuan.

Dampak pada kluster

• Kluster Sumber: Selama migrasi data, Anda dapat membaca dan menulis data ke tabel di kluster sumber. Namun, Anda tidak dapat melakukan operasi DDL pada kluster sumber, seperti menambah, menghapus, dan memodifikasi metadata di basis data dan tabel.

• Kluster Tujuan: Setelah migrasi, kluster tersebut melakukan operasi penggabungan secara sering selama periode tertentu. Ini mengarah pada peningkatan penggunaan I/O dan latensi yang lebih tinggi dalam permintaan layanan. Kami merekomendasikan agar Anda membuat rencana untuk menangani dampak potensial dari latensi permintaan layanan. Anda harus menghitung durasi operasi penggabungan. Untuk informasi lebih lanjut, lihat Hitung Durasi Operasi Penggabungan Setelah Migrasi.

Prosedur

Langkah 1: Buat tugas migrasi

1. Masuk ke Konsol ApsaraDB for ClickHouse.

2. Di halaman Clusters, klik tab Clusters of Community-compatible Edition dan klik ID kluster yang ingin Anda kelola.

3. Di panel navigasi di sebelah kiri, klik Data Migration and Synchronization > Migration from Self-managed ClickHouse or ApsaraDB for ClickHouse.

4. Di halaman yang muncul, klik Create Migration Task.

   1. Konfigurasikan kluster sumber dan tujuan.

      Konfigurasikan parameter di bagian Informasi Instance Sumber dan bagian Informasi Instance Tujuan, lalu klik Test Connectivity and Proceed.

      Catatan

      Setelah tes koneksi berhasil, lanjutkan ke langkah Konten Migrasi. Jika tes koneksi gagal, konfigurasikan ulang kluster sumber dan tujuan sesuai petunjuk.

      

   2. Konfirmasi konten migrasi.

      Di halaman yang muncul, baca informasi tentang konten migrasi data dan klik Next: Pre-detect and Start Synchronization.

   3. Sistem melakukan pra-pemeriksaan pada konfigurasi migrasi dan kemudian memulai tugas migrasi di backend setelah pra-pemeriksaan berhasil.

      Sistem melakukan pra-pemeriksaan berikut pada kluster sumber dan tujuan: Instance Status Detection, Storage Space Detection, dan Local Table and Distributed Table Detection.

      • Jika pra-pemeriksaan berhasil, lakukan operasi berikut:

        1. Baca informasi tentang dampak migrasi data pada kluster.

        2. Konfigurasikan parameter Time of Stopping Data Writing.

           Catatan

           • Untuk memastikan konsistensi data, Anda perlu mengonfigurasi kluster sumber untuk menangguhkan operasi penulisan data selama 10 menit terakhir migrasi.

           • Untuk memastikan tingkat keberhasilan migrasi data, kami merekomendasikan agar Anda menentukan nilai lebih besar dari atau sama dengan 30 menit.

           • Tugas migrasi harus selesai dalam lima hari setelah tugas dibuat dan dimulai. Oleh karena itu, tanggal akhir Time of Stopping Data Writing harus kurang dari atau sama dengan tanggal saat ini ditambah 5 hari.

           • Untuk mengurangi dampak migrasi data pada bisnis Anda, kami merekomendasikan agar Anda mengonfigurasi rentang waktu selama jam-jam sepi.

        3. Klik Completed.

           Catatan

           Setelah Anda klik Selesai, tugas dibuat dan dimulai.

      • Jika pra-pemeriksaan gagal, Anda perlu mengikuti petunjuk di layar untuk menyelesaikan masalah dan kemudian mengonfigurasi ulang parameter tugas migrasi. Tabel berikut menjelaskan item pra-pemeriksaan.

        Item	Deskripsi
        Cluster Status Detection	Sebelum Anda memigrasikan data, pastikan bahwa tidak ada operasi manajemen seperti operasi perluasan, peningkatan, atau penurunan yang sedang dilakukan pada kluster sumber dan kluster tujuan. Jika operasi manajemen sedang dilakukan pada kluster sumber dan kluster tujuan, sistem tidak dapat memulai tugas migrasi.
        Storage Space Detection	Sebelum tugas migrasi dimulai, sistem memeriksa ruang penyimpanan kluster sumber dan kluster tujuan. Pastikan bahwa ruang penyimpanan kluster tujuan lebih besar dari atau sama dengan 1,2 kali ruang penyimpanan kluster sumber.
        Local Table and Distributed Table Detection	Jika tidak ada tabel terdistribusi yang dibuat untuk tabel lokal atau beberapa tabel terdistribusi dibuat untuk tabel lokal yang sama dari kluster sumber, pra-pemeriksaan gagal. Anda harus menghapus tabel terdistribusi yang berlebihan atau membuat tabel terdistribusi unik.

Langkah 2: Periksa apakah tugas migrasi dapat diselesaikan

Jika kecepatan tulis kluster sumber lebih rendah dari 20 MB/s, lewati langkah ini.

Jika kecepatan tulis kluster sumber lebih tinggi dari 20 MB/s, Anda harus memeriksa kecepatan tulis kluster tujuan. Dalam kebanyakan kasus, kecepatan tulis node tunggal di kluster tujuan lebih tinggi dari 20 MB/s. Untuk memastikan migrasi berhasil, kecepatan tulis kluster tujuan harus sebanding dengan kluster sumber. Anda dapat melakukan operasi berikut untuk memeriksa kecepatan tulis aktual kluster tujuan:

1. Periksa disk throughput kluster tujuan untuk menentukan kecepatan tulis aktual. Untuk informasi lebih lanjut tentang cara melihat disk throughput, lihat Lihat Informasi Pemantauan Kluster.

2. Bandingkan kecepatan tulis.

   1. Jika kecepatan tulis kluster tujuan lebih tinggi dari kluster sumber, migrasi mungkin berhasil. Lanjutkan ke Langkah 3.

   2. Jika kecepatan tulis kluster tujuan lebih rendah dari kluster sumber, migrasi mungkin gagal. Kami merekomendasikan agar Anda membatalkan tugas migrasi dan memigrasikan data secara manual. Untuk informasi lebih lanjut, lihat Batalkan Tugas Migrasi dan Migrasi Manual.

Langkah 3: Lihat tugas migrasi

1. Di halaman Clusters, klik tab Clusters of Community-compatible Edition dan klik ID kluster yang ingin Anda kelola.

2. Di panel navigasi di sebelah kiri, klik Migrate Instance.

   Di halaman yang muncul, lihat informasi berikut tentang tugas migrasi: Migration Status, Running Information, dan Data Write-Stop Window.

   Catatan

   Ketika waktu migrasi tersisa yang ditampilkan di kolom Running Information kurang dari atau sama dengan 10 menit dan status migrasi adalah Migrasi, penghentian penulisan data untuk kluster sumber dipicu. Bagian berikut menjelaskan aturan untuk penghentian penulisan data:

   • Jika waktu ketika penghentian penulisan data dipicu jatuh dalam jendela waktu yang telah ditentukan, kluster sumber menangguhkan operasi penulisan data.

   • Jika waktu ketika penghentian penulisan data dipicu tidak jatuh dalam jendela waktu yang telah ditentukan dan kurang dari atau sama dengan tanggal pembuatan dan mulai tugas ditambah 5 hari, Anda dapat memodifikasi jendela waktu untuk melanjutkan tugas migrasi.

   • Jika waktu ketika penghentian penulisan data dipicu tidak jatuh dalam jendela waktu yang telah ditentukan dan lebih dari tanggal pembuatan dan mulai tugas ditambah 5 hari, tugas migrasi gagal. Anda harus membatalkan tugas migrasi, membersihkan data yang telah dimigrasikan di kluster tujuan, dan membuat ulang tugas migrasi untuk memigrasikan data.

(Opsional) Langkah 4: Batalkan tugas migrasi

1. Di halaman Clusters, klik tab Clusters of Community-compatible Edition dan klik ID kluster yang ingin Anda kelola.

2. Di panel navigasi di sebelah kiri, klik Migrate Instance.

3. Klik Cancel Migration di kolom Actions dari tugas migrasi yang ingin Anda kelola.

4. Di pesan Cancel Migration, klik OK.

   Catatan

   • Setelah tugas migrasi dibatalkan, status tugas tidak diperbarui secara langsung. Kami merekomendasikan agar Anda menyegarkan halaman secara berkala untuk melihat status tugas.

   • Setelah tugas dibatalkan, nilai parameter Migration Status untuk tugas berubah menjadi Selesai.

   • Sebelum Anda memulai ulang tugas migrasi, Anda harus membersihkan data yang telah dimigrasikan di kluster tujuan untuk menghindari duplikasi data.

(Opsional) Langkah 5: Modifikasi jendela waktu penghentian penulisan data

1. Di halaman Clusters, klik tab Clusters of Community-compatible Edition dan klik ID kluster yang ingin Anda kelola.

2. Di panel navigasi di sebelah kiri, klik Migrate Instance.

3. Klik Modify Data Write-Stop Time Window di kolom Actions dari tugas migrasi yang ingin Anda kelola.

4. Di kotak dialog Modify Data Write-Stop Time Window, konfigurasikan parameter Time of Stopping Data Writing.

   Catatan

   Aturan untuk menyetel Time of Stopping Data Writing sama dengan aturan untuk Time of Stopping Data Writing yang disetel ketika Anda membuat tugas migrasi.

5. Klik OK.

Apa yang harus dilakukan selanjutnya: Hapus kluster sumber