ApsaraDB for ClickHouse:Peningkatan versi mesin utama satu klik

Prasyarat

Kluster berada dalam status Running.

Catatan Penggunaan

• Anda tidak dapat membatalkan proses peningkatan versi mesin utama satu klik setelah dimulai.

  Catatan

  Rollback versi tidak didukung setelah peningkatan versi mesin utama satu klik. Jika Anda perlu kembali ke versi sebelumnya setelah upgrade, lakukan upgrade dengan mengkloning kluster. Untuk informasi selengkapnya, lihat Upgrade the major engine version by cloning.

• Untuk memastikan upgrade berjalan lancar, kami menyarankan agar Anda menghentikan operasi write dari aplikasi sebelum memulai upgrade. Meskipun kluster secara otomatis menghentikan operasi write selama proses, kegagalan menghentikannya di sisi aplikasi sebelumnya dapat menyebabkan penundaan panjang atau mencegah sinkronisasi selesai tepat waktu, sehingga memperlambat upgrade.

• Untuk meminimalkan dampak pada bisnis Anda, kami sangat menyarankan agar Anda melakukan validasi berikut sebelum upgrade:

  • Validasi kompatibilitas dan performa: Verifikasi perbedaan fitur, sintaks, dan performa untuk operasi write dan query.

  • Validasi durasi upgrade: Instans melakukan restart beberapa kali selama peningkatan versi. Untuk beberapa instans, satu kali restart mungkin memerlukan waktu lama karena jumlah database, tabel, atau partisi (parts) yang besar.

    Penting

    Jika kluster menggunakan Tiered Storage for Hot and Cold Data dan Anda melakukan validasi kloning, peningkatan satu klik akan memakan waktu lebih lama daripada validasi. Hal ini karena operasi kloning tidak mencakup data dingin, sedangkan upgrade aktual mencakupnya.

  Untuk informasi tentang cara melakukan validasi, lihat Validate version compatibility.

Dampak pada kluster

Kluster melakukan restart beberapa kali selama peningkatan versi. Selama restart tersebut, kluster tidak tersedia untuk operasi read maupun write. Kami menyarankan agar Anda melakukan upgrade selama jam sepi.

Validasi kompatibilitas versi

Karena peningkatan versi mesin utama satu klik tidak dapat di-rollback, kami sangat menyarankan agar Anda menguji upgrade terlebih dahulu. Pastikan versi baru sepenuhnya kompatibel dengan fitur versi sumber dan durasi upgrade dapat diterima sebelum melanjutkan. Ikuti langkah-langkah berikut untuk melakukan validasi:

1. Buka halaman Cluster Information instans target. Di panel navigasi kiri, klik Backup and Restoration. Setelah instans dibackup, klik Restore Instance.

2. Pilih Clone from real-time replica dan atur versi mesin target ke versi yang ingin Anda tingkatkan.

3. Buat kluster hasil kloning.

4. Lakukan validasi kompatibilitas.

   1. Validasi kompatibilitas query bisnis Anda dengan versi baru. Untuk informasi selengkapnya, lihat SQL compatibility validation.

   2. Lakukan pengujian regresi untuk fitur-fitur bisnis Anda.

Prosedur

1. Masuk ke Konsol ApsaraDB for ClickHouse dengan Akun Alibaba Cloud Anda.

2. Di pojok kiri atas halaman, pilih wilayah tempat kluster target berada.

3. Di panel navigasi kiri, klik Clusters of Community-compatible Edition.

4. Temukan kluster target dan klik ID kluster untuk menuju ke halaman Cluster Information.

5. Di bagian Cluster Properties, klik Major Version Upgrade di samping Version.

6. Konfigurasikan parameter berikut sesuai petunjuk dan klik OK.

   Parameter	Description	Example
   Upgrade cluster kernel version to	Versi target kluster. Rollback versi tidak didukung setelah upgrade. Saat ini, hanya versi 23.8 yang didukung.	23.8 (versi LTS)
   Version upgrade execution time	Waktu untuk melakukan upgrade kluster. Penting Jika Anda memilih untuk melakukan upgrade pada waktu tertentu atau dalam jendela maintenance, status kluster berubah dari Running menjadi Upgrading. Sebelum waktu yang ditentukan atau jendela maintenance tiba, kluster tetap dapat melayani permintaan baca dan tulis secara normal, tetapi Anda tidak dapat melakukan operasi maintenance seperti perubahan konfigurasi instans, scaling, atau migration. Specified Time: Pilih waktu mendatang untuk melakukan upgrade versi utama. Upgrade Within Maintenance Window: Upgrade dilakukan selama jendela maintenance yang telah dikonfigurasi untuk kluster. Update Now: Memulai upgrade segera.	2024-05-29 14:46
   Perform clone validation	Pilih Clone Validation Performed atau Skip Clone Verification (Not Recommended).	Clone validation performed

Prasyarat

Kluster berada dalam status Running.

Catatan Penggunaan

• Peningkatan versi mesin utama satu klik hanya melibatkan satu kluster, dan Anda tidak dapat melakukan rollback versi setelah upgrade selesai.

  Catatan

  Rollback versi tidak didukung setelah peningkatan versi mesin utama satu klik. Jika Anda perlu kembali ke versi sebelumnya setelah upgrade, lakukan upgrade dengan migrasi data. Untuk informasi selengkapnya, lihat Upgrade the major engine version by data migration.

• Saat meng-upgrade kluster, perhatikan poin-poin berikut mengenai database dan tabelnya:

  • Untuk tabel yang menggunakan engine keluarga MergeTree, data historis dimigrasikan ke kluster baru dan didistribusikan ulang secara otomatis selama upgrade.

  • Untuk tabel yang tidak menggunakan engine keluarga MergeTree, seperti tabel eksternal atau tabel Log, hanya skema tabel yang dimigrasikan. Data tidak dimigrasikan.

  • Untuk tampilan yang di-materialisasi (materialized view), hanya skemanya yang dimigrasikan. Data tidak dimigrasikan.

  • Tabel engine Kafka dan RabbitMQ tidak dapat dimigrasikan langsung melalui fitur upgrade Konsol. Anda harus mencatat statement DDL tabel-tabel tersebut dan menghapusnya dari kluster sebelum upgrade untuk mencegah gangguan pada tugas upgrade. Setelah upgrade selesai, Anda harus membangun kembali tabel-tabel tersebut. Untuk langkah-langkah detail, lihat prosedur di bawah.

  • Alamat IP node internal berubah setelah upgrade. Jika write dan akses data Anda bergantung pada alamat IP node, Anda harus mendapatkan Blok CIDR VPC baru kluster.

• Untuk meminimalkan dampak pada bisnis Anda, kami sangat menyarankan agar Anda melakukan validasi berikut sebelum upgrade:

  • Validasi kompatibilitas dan performa: Verifikasi perbedaan fitur, sintaks, dan performa untuk operasi write dan query.

  • Validasi durasi upgrade: Instans melakukan restart beberapa kali selama peningkatan versi. Untuk beberapa instans, satu kali restart mungkin memerlukan waktu lama karena jumlah database, tabel, atau partisi (parts) yang besar.

  Untuk informasi tentang cara melakukan validasi, lihat Validate version compatibility.

Dampak pada kluster

Kluster Edisi Komunitas dapat dibaca dan ditulis sepanjang proses upgrade, kecuali 10 menit terakhir migrasi ketika kluster menjadi read-only. Untuk memeriksa sisa waktu migrasi, lihat View upgrade progress.

Validasi kompatibilitas versi

Karena peningkatan versi mesin utama satu klik tidak dapat di-rollback, kami sangat menyarankan agar Anda menguji upgrade terlebih dahulu. Pastikan versi baru sepenuhnya kompatibel dengan fitur versi sumber dan durasi upgrade dapat diterima sebelum melanjutkan. Ikuti langkah-langkah berikut untuk melakukan validasi:

1. Beli kluster baru untuk melakukan validasi migrasi. Untuk informasi selengkapnya, lihat Upgrade the major engine version by data migration.

2. Di kluster baru, lakukan validasi kompatibilitas SQL. Untuk informasi selengkapnya, lihat SQL compatibility validation.

3. Lakukan pengujian regresi untuk fitur-fitur bisnis Anda.

Langkah 1: Catat dan bersihkan tabel engine Kafka/RabbitMQ

Tabel engine Kafka dan RabbitMQ tidak dapat dimigrasikan langsung melalui fitur upgrade Konsol. Anda harus mencatat statement DDL tabel-tabel tersebut dan menghapusnya dari kluster sebelum upgrade untuk mencegah gangguan pada tugas upgrade.

1. Masuk ke kluster dan jalankan statement berikut untuk meng-query tabel yang perlu ditangani.

   /*
   create_table_query: statement definisi tabel
   dependencies_database: database yang bergantung pada tabel ini
   dependencies_table: nama tabel yang bergantung pada tabel ini
   Gunakan dependencies_database dan dependencies_table untuk mengidentifikasi tampilan materialisasi yang bergantung pada tabel Kafka/RabbitMQ
   */
   SELECT * FROM system.tables WHERE engine IN ('RabbitMQ', 'Kafka');

2. Lihat definisi tampilan materialisasi untuk memeriksa apakah tabel targetnya adalah tabel implisit.

   /*
   Lihat definisi tampilan materialisasi.
   Jika tabel target tampilan materialisasi adalah tabel implisit, perhatikan hal berikut:
   Menghapus tampilan materialisasi juga akan menghapus tabel implisit, sehingga menyebabkan kehilangan data.
   Contoh: Jika CREATE MATERIALIZED VIEW [db.]table_name [TO[db.]name] tidak menentukan klausa TO,
   sistem secara otomatis membuat tabel implisit dalam format '.inner_id.<TABLE_UUID>' atau '.inner.<TABLE>'
   */
   SELECT * FROM system.tables WHERE database='<DATABASE>' AND name = '<MATERIALIZED_VIEW_NAME>';

3. Jika tampilan materialisasi dibuat tanpa klausa TO, sistem secara otomatis menghasilkan tabel target implisit dengan awalan .inner atau .inner_id. Tabel implisit ini dimigrasikan ke node kluster baru selama upgrade, tetapi karena mekanisme penamaan internal, membuat ulang tampilan materialisasi asli secara langsung dapat menyebabkan konflik penamaan. Oleh karena itu, Anda harus terlebih dahulu mengganti nama tabel target implisit menjadi nama tabel biasa.

   -- Ganti nama tabel target implisit menjadi nama tabel biasa (jalankan di semua node)
   RENAME TABLE <database>.`.inner_id.<uuid>` TO <database>.<new_target_table_name> ON CLUSTER default;

4. Hapus tampilan materialisasi dan tabel engine Kafka/RabbitMQ.

   Penting

   Anda harus menghapus terlebih dahulu tampilan materialisasi yang mereferensikan tabel Kafka/RabbitMQ, lalu menghapus tabel engine Kafka/RabbitMQ. Jika tidak, operasi upgrade gagal.

   -- Hapus tampilan materialisasi terlebih dahulu
   DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;
   
   -- Lalu hapus tabel engine Kafka/RabbitMQ
   DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

Langkah 2: Upgrade kluster

1. Masuk ke Konsol ApsaraDB for ClickHouse dengan Akun Alibaba Cloud Anda.

2. Di pojok kiri atas halaman, pilih wilayah tempat kluster target berada.

3. Di panel navigasi kiri, klik Clusters of Community-compatible Edition.

4. Temukan kluster target dan klik ID kluster untuk menuju ke halaman Cluster Information.

5. Di bagian Cluster Properties, klik Major Version Upgrade di samping Version.

6. Konfigurasikan parameter berikut sesuai petunjuk dan klik OK.

   Parameter	Deskripsi	Contoh
   Upgrade cluster kernel version to	Versi target kluster. Rollback versi tidak didukung setelah upgrade. Saat ini, hanya versi 23.8 yang didukung.	23.8 (LTS version)
   Time of Stopping Data Writing	Untuk memastikan konsistensi data sebelum dan sesudah upgrade, kluster secara otomatis menghentikan operasi write selama 10 menit terakhir upgrade. Aturan berikut berlaku untuk pengaturan waktu suspensi write: Untuk memastikan upgrade berhasil, kami menyarankan agar Anda mengatur waktu suspensi write minimal 30 menit. Upgrade harus selesai dalam waktu 5 hari. Oleh karena itu, tanggal akhir untuk Time of Stopping Data Writing harus kurang dari atau sama dengan tanggal saat ini + 5 hari. Untuk meminimalkan dampak suspensi write pada bisnis Anda, kami menyarankan agar Anda mengatur waktu suspensi write pada periode jam sepi Anda.	2025-03-20 10:08 - 2025-03-25 10:08
   Perform instance migration validation	Pilih Verification Performed atau Skip instance migration validation (Not Recommended).	Instance migration validation performed

7. Langkah selanjutnya

   • Jika kluster sumber berisi tabel engine Kafka atau RabbitMQ, lakukan Langkah 3 hingga 5 pada waktu yang tepat selama upgrade. Untuk detailnya, lihat bagian di bawah.

   • Untuk melihat progres upgrade, lihat View the upgrade progress.

   • Jika waktu suspensi write yang ditentukan telah lewat tetapi status kluster masih Upgrading, Anda harus modify the write suspension time untuk menyelesaikan migrasi.

   • Jika upgrade memengaruhi bisnis Anda dan Anda ingin menghentikannya dengan cepat, Anda dapat cancel the upgrade.

Langkah 3: Bangun kembali tabel engine Kafka/RabbitMQ selama migrasi data

Saat tugas upgrade memasuki fase Data Migration (setelah migrasi skema tabel selesai), gunakan statement DDL yang telah disimpan sebelumnya untuk membangun kembali tabel engine Kafka/RabbitMQ dan tampilan materialisasi downstream-nya. Setelah dibangun kembali, data inkremental kembali mengalir dan secara otomatis disinkronkan ke node kluster baru.

-- Bangun kembali tabel engine Kafka/RabbitMQ
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- Bangun kembali tampilan materialisasi (menggunakan klausa TO yang mengarah ke tabel target yang telah diganti namanya)
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

Langkah 4: Hapus tabel engine Kafka/RabbitMQ sebelum suspensi write

Tidak lama sebelum jendela suspensi write yang dikonfigurasi, hapus tabel engine Kafka/RabbitMQ dan tampilan materialisasi downstream-nya di kluster untuk menghentikan write data inkremental dan memastikan konsistensi sinkronisasi data akhir.

-- Hapus tampilan materialisasi terlebih dahulu
DROP TABLE <database>.<materialized_view_name> ON CLUSTER default;

-- Lalu hapus tabel engine Kafka/RabbitMQ
DROP TABLE <database>.<kafka_or_rabbitmq_table_name> ON CLUSTER default;

Langkah 5: Bangun kembali tabel engine Kafka/RabbitMQ setelah upgrade

Setelah tugas upgrade selesai, gunakan statement DDL yang telah disimpan sebelumnya untuk membangun kembali tabel engine Kafka/RabbitMQ dan tampilan materialisasi downstream-nya di kluster yang telah di-upgrade untuk mengembalikan pipeline konsumsi data inkremental.

-- Bangun kembali tabel engine Kafka/RabbitMQ
CREATE TABLE <database>.<kafka_or_rabbitmq_table_name> (...)
ENGINE = Kafka/RabbitMQ
SETTINGS ...;

-- Bangun kembali tampilan materialisasi (menggunakan klausa TO yang mengarah ke tabel target yang telah diganti namanya)
CREATE MATERIALIZED VIEW <database>.<materialized_view_name> TO <database>.<new_target_table_name>
AS SELECT ... FROM <database>.<kafka_or_rabbitmq_table_name>;

Lihat progres upgrade

1. Masuk ke Konsol ApsaraDB for ClickHouse dengan Akun Alibaba Cloud Anda.

2. Di pojok kiri atas halaman, pilih wilayah tempat kluster target berada.

3. Di panel navigasi kiri, klik Clusters of Community-compatible Edition.

4. Temukan kluster target dan klik ID kluster untuk menuju ke halaman Cluster Information.

5. Di bagian Cluster Status, klik View Progress di samping Status.

   Kotak dialog Modify Data Write-Stop Time Window muncul, tempat Anda dapat melihat progres upgrade. Misalnya, Anda dapat melihat progres migrasi skema MergeTree, migrasi data, perkiraan sisa waktu migrasi data, dan progres migrasi skema lainnya.

Ubah waktu penangguhan tulis

Jika waktu suspensi write yang ditentukan telah lewat tetapi status kluster masih Upgrading, migrasi data belum selesai. Anda harus menyesuaikan waktu suspensi write untuk memastikan upgrade selesai dengan sukses.

1. Masuk ke Konsol ApsaraDB for ClickHouse dengan Akun Alibaba Cloud Anda.

2. Di pojok kiri atas halaman, pilih wilayah tempat kluster target berada.

3. Di panel navigasi kiri, klik Clusters of Community-compatible Edition.

4. Temukan kluster target dan klik ID kluster untuk menuju ke halaman Cluster Information.

5. Di bagian Cluster Status, klik View Progress di samping Status.

6. Di kotak dialog Modify Data Write-Stop Time Window yang muncul, ubah Time of Stopping Data Writing dan klik Confirm.

   Catatan

   Aturan untuk mengatur Time of Stopping Data Writing sama dengan aturan untuk parameter Time of Stopping Data Writing yang dijelaskan di Upgrade the cluster.

Batalkan upgrade

Jika upgrade memengaruhi bisnis Anda dan Anda ingin menghentikannya dengan cepat, Anda dapat membatalkan upgrade.

1. Masuk ke Konsol ApsaraDB for ClickHouse dengan Akun Alibaba Cloud Anda.

2. Di pojok kiri atas halaman, pilih wilayah tempat kluster target berada.

3. Di panel navigasi kiri, klik Clusters of Community-compatible Edition.

4. Temukan kluster target dan klik ID kluster untuk menuju ke halaman Cluster Information.

5. Di bagian Cluster Status, klik View Progress di samping Status.

6. Di kotak dialog Modify Data Write-Stop Time Window yang muncul, klik Cancel Upgrade.

   Catatan

   Setelah Anda mengklik Cancel Upgrade, tugas upgrade tidak berhenti segera. Tugas akan berhenti sepenuhnya setelah sekitar 5 menit.