ApsaraDB for ClickHouse：Penyimpanan bertingkat data panas dan data dingin

Prasyarat

Informasi latar belakang

• Data panas adalah data yang sering diakses dan disimpan pada SSD yang ditingkatkan (ESSD) atau disk ultra. Disk-disk ini dipilih saat Anda membuat kluster. Penyimpanan data panas cocok untuk skenario bisnis yang memerlukan query berperforma tinggi.

• Data dingin adalah data yang jarang diakses. Data dingin disimpan pada disk data dingin dengan biaya penyimpanan rendah untuk memenuhi kebutuhan penyimpanan yang hemat biaya.

  Penyimpanan bertingkat data panas dan data dingin menyediakan kebijakan penyimpanan berikut:

  Kebijakan penyimpanan	Deskripsi
  Kebijakan penyimpanan default	Data baru yang ditulis disimpan pada disk data panas untuk mendukung query yang efisien. Jika jumlah data panas yang tersimpan mencapai ambang batas penyimpanan, file bagian data dengan ukuran terbesar di disk data panas secara otomatis dipindahkan ke disk data dingin. Dengan cara ini, data panas baru yang ditulis dapat disimpan pada disk data panas.
  Kebijakan penyimpanan berbasis waktu hidup (TTL)	Tambahkan klausa TTL ke kebijakan penyimpanan default. Dengan cara ini, semua data yang dihasilkan sebelum periode tertentu dalam klausa TTL secara otomatis dipindahkan ke disk data dingin.

Perhatian

• Kami menyarankan Anda mengaktifkan penyimpanan bertingkat data panas dan data dingin hanya selama jam-jam non-puncak. Mengaktifkan fitur ini menyebabkan restart kluster. Selama restart, Anda hanya dapat melihat informasi kluster. Anda tidak dapat meningkatkan, menambah kapasitas, atau mengurangi kapasitas kluster, atau memodifikasi konfigurasi parameter.

• Saat menggunakan penyimpanan bertingkat data panas dan data dingin, Anda harus menentukan kebijakan penyimpanan untuk tabel.

  • Saat membuat tabel, Anda dapat menggunakan SETTINGS storage_policy = 'hot_to_cold' untuk menentukan kebijakan penyimpanan data.

  • Anda dapat memodifikasi kebijakan penyimpanan data dari tabel yang sudah ada.

    Kluster dengan penyimpanan bertingkat data panas dan data dingin diaktifkan setelah 1 Januari 2024

    Eksekusi pernyataan berikut untuk memodifikasi kebijakan penyimpanan data:

    ALTER TABLE <table_name> MODIFY SETTING storage_policy = 'hot_to_cold';

    Kluster dengan penyimpanan bertingkat data panas dan data dingin diaktifkan sebelum 1 Januari 2024

    Anda dapat mengajukan tiket untuk menambahkan kebijakan penyimpanan data panas dan dingin. Dengan cara ini, Anda dapat menggunakan kebijakan tersebut untuk memigrasi data dari disk data panas ke disk data dingin.

• Fitur penyimpanan bertingkat data panas dan data dingin tidak dapat dinonaktifkan setelah diaktifkan.

Tagihan

• Anda akan ditagih untuk fitur penyimpanan bertingkat data panas dan data dingin berdasarkan aturan berikut:

  Jenis penyimpanan	Rincian tagihan
  Penyimpanan data panas	Kapasitas penyimpanan yang Anda beli untuk kluster khusus untuk data panas. Anda tidak perlu membeli penyimpanan tambahan untuk data panas setelah Anda membeli kluster.
  Penyimpanan data dingin	Anda akan ditagih untuk penyimpanan data dingin berdasarkan metode penagihan bayar sesuai pemakaian. Anda tidak perlu membeli penyimpanan untuk data dingin sebelum menggunakan penyimpanan. Anda akan ditagih untuk penyimpanan data dingin setiap jam berdasarkan penyimpanan yang digunakan.

• Untuk informasi lebih lanjut tentang harga satuan penyimpanan data dingin, lihat Biaya penyimpanan kluster ApsaraDB for ClickHouse.

• Rumus tagihan: Biaya ruang penyimpanan dingin = Harga satuan penyimpanan data dingin × Penyimpanan data dingin yang digunakan × Durasi penggunaan.

• Sebagai contoh, jika harga satuan penyimpanan data dingin adalah USD 0,000026 per GB-jam dan 2.000 GB data dingin disimpan dari pukul 19:00 hingga 20:00, total biaya dihitung berdasarkan rumus berikut: USD 0,000026 per GB-jam × 2.000 GB × 1 jam = USD 0,052. Jika Anda melepaskan 500 GB ruang penyimpanan data dingin antara pukul 20:00 dan 21:00, hanya 1.500 GB penyimpanan yang digunakan. Dalam hal ini, total biaya yang dikenakan antara pukul 20:00 dan 21:00 dihitung berdasarkan rumus berikut: USD 0,000026 per GB-jam × 1.500 GB × 1 jam = USD 0,039.

Aktifkan penyimpanan bertingkat data panas dan data dingin

1. Masuk ke konsol ApsaraDB for ClickHouse.

2. Di bilah navigasi atas, pilih wilayah tempat kluster Anda ditempatkan.

3. Di halaman Clusters, klik tab Clusters of Community-compatible Edition dan klik ID kluster yang ingin Anda kelola.

4. Di panel navigasi sisi kiri, klik Cold and hot layered storage.

5. Klik Click to Enable Layered Storage.

6. Di pesan Enable Layered Storage, klik OK.

   Kemudian, sistem akan me-restart kluster. Setelah status kluster berubah dari Changing Configuration menjadi Running, penyimpanan bertingkat data panas dan data dingin diaktifkan.

Kebijakan penyimpanan default yang digunakan setelah penyimpanan bertingkat data panas dan data dingin diaktifkan

Tabel berikut menjelaskan parameter untuk kebijakan penyimpanan default yang digunakan setelah penyimpanan bertingkat data panas dan data dingin diaktifkan.

Tambahkan kebijakan penyimpanan bertingkat berbasis TTL

Tambahkan klausa TTL ke kebijakan penyimpanan default. Dengan cara ini, semua data yang dihasilkan sebelum periode tertentu dalam klausa TTL secara otomatis dipindahkan ke disk data dingin.

TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk'

Contoh

CREATE TABLE ttl_test_tbl
(
    `f1` String,
    `f2` String,
    `f3` Int64,
    `f4` Float64,
    `date` Date
)
ENGINE = MergeTree()
PARTITION BY date
ORDER BY f1
TTL date + INTERVAL 90 DAY TO DISK 'cold_disk'
SETTINGS storage_policy = 'hot_to_cold';

Modifikasi penyimpanan bertingkat berbasis TTL data panas dan data dingin

Anda dapat memodifikasi parameter time_column yang menentukan tanggal atau kolom tipe tanggal dan parameter number yang menentukan interval dalam kebijakan penyimpanan bertingkat berbasis TTL.

ALTER TABLE <table_name> ON CLUSTER default MODIFY TTL <time_column> + INTERVAL <number> TO DISK 'cold_disk';

Migrasi data pada disk data panas dan disk data dingin

• Eksekusi pernyataan berikut untuk memindahkan data dari disk data panas ke disk data dingin:

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'cold_disk';

• Eksekusi pernyataan berikut untuk memindahkan data dari disk data dingin ke disk data panas:

  ALTER TABLE <table_name> ON CLUSTER default MOVE PARTITION <partition> TO DISK 'default';

  Catatan

  partition menentukan nama partisi. Anda dapat melihat nilainya di tabel sistem system.parts.

Lihat data pada disk data panas dan disk data dingin

• Eksekusi pernyataan berikut untuk melihat data pada disk data panas:

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='default' AND active = 1;

• Eksekusi pernyataan berikut untuk melihat data pada disk data dingin:

  SELECT * FROM system.parts WHERE database = '<db_name>' AND TABLE = '<tbl_name>' AND disk_name ='cold_disk' AND active = 1;

Lihat ruang disk

SELECT * FROM system.disks;

┌─name─────┬─────────path───────────────────────────┬─free_space───────────┬─total_space ─────────┬─used_space───┬─keep_free_space───┬──type──┐
│ cold_disk│ /clickhouse/data/data/disks/cold_disk/ │ 18446744073709551615 │ 18446744073709551615 │ 115312080698 │   0               │   OSS  │
│ default  │ /clickhouse/data/data/                 │ 201663209472         │ 207083249664         │ 5420040192   │   0               │  local │ 
└ ───────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────────

SELECT move_ttl_info.min,move_ttl_info.max FROM system.parts WHERE database ='<db_name>'AND table = '<tb_name>'AND disk_name = 'default'