All Products
Search

This Product

    ApsaraDB for ClickHouse:migrasi data antar kluster ApsaraDB for ClickHouse

    Document Center

    ApsaraDB for ClickHouse:migrasi data antar kluster ApsaraDB for ClickHouse

    Last Updated:Mar 14, 2026

    Jika Anda berencana mengubah versi kluster ApsaraDB for ClickHouse Edisi Kompatibel Komunitas, Anda dapat menggunakan fitur migrasi instans di Konsol ApsaraDB for ClickHouse untuk melakukan migrasi data. Fitur ini mendukung migrasi penuh dan inkremental sehingga menjamin integritas data.

    Prasyarat

    • Kluster sumber dan tujuan harus memenuhi persyaratan berikut:

      • Kedua kluster harus merupakan kluster Edisi Kompatibel Komunitas.

        Catatan

        Untuk melakukan migrasi dari kluster Edisi Kompatibel Komunitas ke kluster Edisi Perusahaan, atau sebaliknya, lihat Migrasi kluster ClickHouse Edisi Kompatibel Komunitas ke kluster Edisi Perusahaan.

      • Semua berjalan.

      • Keduanya harus memiliki akun database dan kata sandi.

      • Status penyimpanan tier panas dan dingin harus konsisten antara keduanya.

      • Keduanya harus menggunakan VPC yang sama dan berada di Wilayah yang sama. Anda harus menambahkan alamat IP masing-masing ke daftar putih mereka. Jika kondisi ini tidak terpenuhi, Anda harus terlebih dahulu menyelesaikan masalah jaringan. Untuk informasi selengkapnya, lihat Cara menyelesaikan masalah konektivitas jaringan antara kluster tujuan dan sumber data.

        Catatan

        Anda dapat menjalankan SELECT * FROM system.clusters; untuk melihat alamat IP instans ApsaraDB for ClickHouse. Untuk informasi lebih lanjut tentang konfigurasi daftar putih, lihat Atur daftar putih.

    • Kluster tujuan juga harus memenuhi persyaratan berikut:

      • Versinya harus lebih baru dari atau sama dengan versi kluster sumber. Untuk versi terbaru, lihat Edisi Kompatibel Komunitas.

      • Ruang penyimpanan disk yang belum digunakan (tidak termasuk cold storage) harus minimal 1,2 × ruang penyimpanan disk yang telah digunakan (tidak termasuk cold storage) pada kluster sumber.

    • Setiap tabel lokal di kluster sumber harus memiliki satu tabel terdistribusi yang unik.

    Catatan penggunaan

    • Kecepatan migrasi: Kecepatan migrasi untuk satu node di kluster tujuan biasanya melebihi 20 MB/detik. Jika kecepatan write untuk satu node di kluster sumber juga melebihi 20 MB/detik, Anda harus mengevaluasi apakah kecepatan migrasi kluster tujuan mampu mengimbangi kecepatan write kluster sumber. Jika tidak, migrasi mungkin tidak pernah selesai.

    • Selama migrasi, kluster tujuan menjeda operasi merge, tetapi kluster sumber tidak.

      • Isi migrasi:

      • Anda dapat melakukan migrasi kluster, database, tabel, kamus data, Tampilan yang di-materialisasi, izin pengguna, dan konfigurasi kluster.

        • Hanya kamus data yang dibuat menggunakan SQL yang dapat dimigrasikan. Kamus data yang dibuat menggunakan XML tidak didukung.

          Untuk memeriksa, Anda dapat menjalankan perintah berikut: SELECT * FROM system.dictionaries WHERE (database = '') OR isNull(database);. Jika perintah tersebut mengembalikan hasil, berarti terdapat kamus data yang dibuat menggunakan XML.

        • Jika kamus data mengakses layanan eksternal, Anda harus memastikan layanan tersebut tersedia dan daftar putihnya mengizinkan akses dari kluster. Jika kamus data menggunakan Tabel internal dari instans ClickHouse saat ini sebagai Sumber data dan parameter HOST diatur ke alamat IP, akses mungkin gagal setelah migrasi karena alamat IP berubah. Dalam hal ini, Anda harus mengonfirmasi alamat IP HOST baru untuk instans ClickHouse dan membuat ulang kamus data secara manual.

      • Tabel engine Kafka dan RabbitMQ tidak didukung untuk migrasi.

        • Penting

        Untuk memastikan data Kafka dan RabbitMQ tidak terpecah, Anda harus mengosongkan tabel engine Kafka dan RabbitMQ dari kluster sumber. Setelah itu, Anda dapat membuatnya di kluster tujuan atau menggunakan kelompok konsumen yang berbeda.

        Hanya skema tabel dari tabel non-MergeTree, seperti tabel eksternal dan tabel Log, yang dapat dimigrasikan.

        Catatan

        Jika kluster sumber berisi tabel non-MergeTree, tabel-tabel tersebut di kluster tujuan hanya akan memiliki skemanya setelah migrasi, tanpa data bisnis apa pun. Untuk memigrasikan data bisnis tersebut, Anda dapat menggunakan fungsi remote. Untuk informasi selengkapnya, lihat Gunakan fungsi remote untuk migrasi data.

    • Volume data:

      • Data dingin: Data dingin bermigrasi secara lambat. Anda harus mengosongkan data dingin di kluster sumber agar ukuran totalnya tidak melebihi 1 TB. Jika tidak, migrasi mungkin gagal karena durasi yang terlalu lama.

      • Data panas: Jika data panas melebihi 10 TB, tingkat kegagalan tugas migrasi sangat tinggi. Anda tidak boleh menggunakan metode ini untuk migrasi.

    • Jika data Anda tidak memenuhi ketentuan di atas, Anda harus melakukan migrasi manual.

    Dampak terhadap kluster

    • Kluster sumber: Selama migrasi data, Anda dapat membaca dan menulis ke tabel di kluster sumber. Namun, Anda tidak dapat melakukan operasi Data Definition Language (DDL), seperti menambah, menghapus, atau memodifikasi metadata database dan tabel.

      Penting

      • Untuk memastikan tugas migrasi selesai, kluster sumber secara otomatis menjeda penulisan data dalam rentang waktu jendela write-stop yang telah ditentukan ketika perkiraan waktu migrasi tersisa di Konsol mencapai 10 menit atau kurang.

      • Kluster sumber secara otomatis melanjutkan penulisan data jika semua data berhasil dimigrasikan dalam rentang waktu yang telah ditentukan, atau jika rentang waktu tersebut berakhir sebelum migrasi selesai.

    • Kluster tujuan: Setelah migrasi, kluster tujuan melakukan operasi merge secara intensif selama periode tertentu. Hal ini meningkatkan penggunaan I/O dan dapat menyebabkan latensi yang lebih tinggi pada permintaan layanan. Anda harus merencanakan dampak potensial dari peningkatan latensi ini. Anda dapat menghitung sendiri durasi operasi merge tersebut. Untuk informasi tentang cara menghitung durasi, lihat Hitung durasi merge setelah migrasi.

    Prosedur

    Penting

    Anda harus melakukan langkah-langkah berikut pada kluster tujuan, bukan kluster sumber.

    Langkah 1: Buat tugas migrasi

    1. Login ke Konsol ApsaraDB for ClickHouse.

    2. Pada halaman Clusters, pilih tab Clusters of Community-compatible Edition, lalu klik ID kluster tujuan.

    3. Di panel navigasi kiri, klik Data Migration and Synchronization > Migration from ClickHouse.

    4. Klik Create Migration Task.

      1. Konfigurasikan instans sumber dan tujuan.

        Isi informasi berikut, lalu klik Test Connectivity and Proceed.

        Catatan

        Setelah uji koneksi berhasil, Anda dapat melanjutkan ke langkah berikutnya. Jika uji koneksi gagal, Anda harus mengonfigurasi ulang instans sumber dan tujuan sesuai petunjuk.

        image

      2. Konfirmasi isi migrasi.

        Baca dengan cermat informasi tentang isi migrasi di halaman tersebut, lalu klik Next: Pre-detect and Start Synchronization.

      3. Sistem melakukan pemeriksaan awal dan memulai tugas.

        Sistem melakukan Instance Status Detection, Storage Space Detection, dan Local Table and Distributed Table Detection pada instans sumber dan tujuan.

        • Pemeriksaan berhasil:

          1. Baca dengan cermat informasi di halaman tentang dampak terhadap instans selama migrasi.

          2. Atur Time of Stopping Data Writing.

            Catatan

            • Kluster sumber harus menghentikan penulisan data selama 10 menit terakhir migrasi untuk menjamin konsistensi data.

            • Untuk memastikan tingkat keberhasilan migrasi yang tinggi, Anda harus mengatur waktu write-stop minimal 30 menit.

            • Tugas migrasi harus selesai dalam waktu lima hari sejak dibuat. Oleh karena itu, tanggal akhir untuk Time of Stopping Data Writing tidak boleh lebih dari tanggal saat ini + 5 hari.

            • Untuk mengurangi dampak terhadap bisnis Anda, Anda dapat mengatur jendela waktu write-stop pada jam sepi Anda.

          3. Klik Completed .

            Catatan

            Saat Anda mengklik Completed, tugas akan dibuat dan dimulai.

        • Jika pemeriksaan gagal, ikuti petunjuk untuk menyelesaikan masalah tersebut, lalu coba kembali migrasi data. Item pemeriksaan dan persyaratannya adalah sebagai berikut.

          Check item

          Detection Requirements

          Instance Status Detection

          Saat migrasi dimulai, tidak boleh ada tugas management yang sedang berjalan di kluster sumber atau tujuan, seperti scale-out atau perubahan konfigurasi. Jika ada tugas management yang sedang berjalan, Anda tidak dapat memulai tugas migrasi.

          Storage Space Detection

          Sebelum migrasi, periksa ruang penyimpanan. Ruang penyimpanan kluster tujuan harus minimal 1,2 kali ruang penyimpanan kluster sumber.

          Local Table and Distributed Table Detection

          Jika tabel lokal di kluster sumber tidak memiliki tabel terdistribusi, atau tabel terdistribusinya tidak unik, pemeriksaan akan gagal. Hapus tabel terdistribusi tambahan atau buat tabel terdistribusi yang unik.

    Langkah 2: Evaluasi apakah migrasi dapat diselesaikan

    Jika kecepatan write kluster sumber kurang dari 20 MB/detik, Anda dapat melewati langkah ini.

    Jika kecepatan write kluster sumber lebih besar dari 20 MB/detik, kecepatan write per node kluster tujuan secara teoretis juga lebih besar dari 20 MB/detik. Untuk memastikan kecepatan write kluster tujuan mampu mengimbangi kecepatan write kluster sumber dan menyelesaikan migrasi, Anda harus memeriksa kecepatan write aktual kluster tujuan untuk mengevaluasi kelayakan migrasi. Lakukan langkah-langkah berikut:

    1. Periksa throughput Disk kluster tujuan untuk menentukan kecepatan write aktualnya. Untuk informasi lebih lanjut tentang cara melihat throughput Disk, lihat Lihat metrik pemantauan.

    2. Bandingkan kecepatan write kluster tujuan dan sumber.

      1. Jika kecepatan write kluster tujuan lebih besar dari kecepatan write kluster sumber, migrasi memiliki tingkat keberhasilan yang tinggi. Anda kemudian dapat melanjutkan ke Langkah 3.

      2. Jika kecepatan write kluster tujuan lebih rendah dari kluster sumber, migrasi mungkin gagal. Kami menyarankan Anda untuk membatalkan tugas migrasi atau melakukan migrasi manual.

    Langkah 3: Lihat tugas migrasi

    1. Pada halaman Clusters, pilih tab Clusters of Community-compatible Edition, lalu klik ID kluster tujuan.

    2. Di panel navigasi kiri, klik Data Migration and Synchronization > Migration from ClickHouse.

      Di halaman daftar migrasi instans, Anda dapat melihat Migration Status, Running Information, dan Data Write-Stop Window tugas migrasi.

      Catatan

      Saat perkiraan waktu tersisa di kolom Running Information mencapai 10 menit atau kurang dan status migrasi adalah Migrating, write-stop kluster sumber dipicu untuk menjamin konsistensi data. Aturannya sebagai berikut:

      • Jika waktu pemicu berada dalam jendela waktu write-stop yang telah ditentukan untuk kluster sumber, kluster sumber akan menghentikan penulisan data.

      • Jika waktu pemicu tidak berada dalam jendela waktu write-stop yang telah ditentukan untuk kluster sumber dan kurang dari atau sama dengan tanggal pembuatan tugas + 5 hari, Anda harus mengubah jendela waktu write-stop agar migrasi dapat dilanjutkan.

      • Jika waktu pemicu tidak berada dalam jendela waktu write-stop yang telah ditentukan untuk kluster sumber dan lebih besar dari tanggal pembuatan tugas + 5 hari, migrasi gagal. Anda harus membatalkan tugas migrasi, menghapus data yang telah dimigrasikan di kluster tujuan, lalu membuat ulang tugas migrasi.

    Langkah 4: (Opsional) Batalkan tugas migrasi

    1. Pada halaman Clusters, buka Clusters of Community-compatible Edition dan klik ID kluster target.

    2. Di panel navigasi kiri, klik Data Migration and Synchronization > Migration from ClickHouse.

    3. Di kolom Actions tugas migrasi target, klik Cancel Migration.

    4. Di kotak dialog Cancel Migration, klik OK .

      Catatan

      • Setelah Anda membatalkan migrasi, daftar tugas tidak langsung diperbarui. Refresh halaman secara berkala untuk memeriksa status tugas.

      • Setelah tugas dibatalkan, Migration Status -nya berubah menjadi Completed.

      • Sebelum memulai migrasi baru, Anda harus menghapus data yang telah dimigrasikan dari kluster tujuan untuk menghindari duplikasi data.

    Langkah 5: (Opsional) Ubah jendela waktu write-stop

    1. Pada halaman Clusters, pilih tab Clusters of Community-compatible Edition, lalu klik ID kluster tujuan.

    2. Di panel navigasi kiri, klik Data Migration and Synchronization > Migration from ClickHouse.

    3. Di kolom Actions tugas migrasi target, klik Modify Data Write-Stop Time Window.

    4. Di kotak dialog Modify Data Write-Stop Time Window, pilih Time of Stopping Data Writing.

      Catatan

      Aturan untuk mengatur Time of Stopping Data Writing sama dengan aturan yang digunakan saat membuat tugas migrasi.

    5. Klik OK .

    Referensi

    Untuk melakukan migrasi data dari kluster ClickHouse self-managed ke ApsaraDB for ClickHouse, lihat Migrasi data dari kluster ClickHouse self-managed ke kluster ApsaraDB for ClickHouse Edisi Kompatibel Komunitas.