MaxCompute:Sumber daya penyimpanan - Penyimpanan tiered

Pengaturan kustom manual

Untuk tabel non-partisi atau partisi, atur secara manual kelas penyimpanan ke IA storage class atau penyimpanan jangka panjang. Perubahan berlaku segera.

ALTER TABLE <TABLE_NAME> [PARTITION(<PARTITION_SPEC>)]
        SET <TBLPROPERTIES|PARTITIONPROPERTIES>("storagetier"="standard|lowfrequency|longterm");

Konfigurasi otomatis menggunakan aturan siklus hidup

Anda dapat mengonfigurasi aturan siklus hidup penyimpanan tiered di tingkat proyek atau tabel partisi. Aturan ini secara otomatis mengonversi kelas penyimpanan berdasarkan kondisi yang ditentukan:

• Aturan tingkat proyek:

  Setelah Anda menetapkan aturan tingkat proyek, aturan tersebut menjadi aturan default untuk semua tabel non-partisi dalam proyek dan semua partisi dalam tabel partisi yang tidak memiliki aturannya sendiri. Tabel dan partisi tersebut secara otomatis dikonversi ke kelas penyimpanan yang ditentukan.

• Pengaturan di tingkat tabel partisi:

  Setelah Anda menetapkan aturan untuk tabel partisi tertentu, aturan tersebut menggantikan aturan tingkat proyek. Semua partisi dalam tabel yang memenuhi kondisi aturan secara otomatis dikonversi ke kelas penyimpanan yang ditentukan.

GET_PARTITION_META

struct GET_PARTITION_META(<tableName>, <pt_col1>, <pt_col2>, ..., <pt_col_n>);

Catatan

• Saat menambahkan aturan tingkat baris ke tabel, pertimbangkan pola akses pengguna selain yang dikontrol. Jika pengguna lain telah mengakses tabel, tetapkan aturan eksplisit untuk mereka guna menghindari penyaringan data yang tidak diinginkan akibat pembatasan akses yang tidak disengaja. Untuk informasi lebih lanjut, lihat Row-level access control.

• Secara default, tabel MaxCompute dapat diakses melalui SQL dan mesin eksternal (seperti Spark dan Flink). Namun, hanya mesin SQL MaxCompute yang mendukung fungsi GET_PARTITION_META. Jika Anda menggunakan GET_PARTITION_META dalam kontrol akses tingkat baris, tabel hanya dapat dibaca oleh mesin SQL MaxCompute. Mesin lain tidak dapat mengakses tabel tersebut.

• Untuk mengakses data di bawah izin tingkat baris, Anda juga harus memiliki izin SELECT pada data tersebut.

• Perilaku pemangkasan partisi bervariasi tergantung pada kondisi filter yang digunakan dengan GET_PARTITION_META.

  • Jika kondisi filter hanya melibatkan bidang partisi—misalnya, mengizinkan akses ke penyimpanan Standard di mana nilai partisi tingkat pertama adalah 2024:

    GET_PARTITION_META('storage_table', pt1, pt2).storagetier == 'standard') AND pt1='2024'

    Saat Anda mengakses storage_table menggunakan SQL dan klausa WHERE tidak mengandung kondisi partisi, sistem secara native mendukung pemangkasan partisi untuk menghindari pemindaian tabel penuh dan hanya mengizinkan akses read-only ke partisi dalam storage_table yang memenuhi persyaratan.

  • Jika kondisi filter mencakup bidang non-partisi yang dikombinasikan dengan operator AND—misalnya, mengizinkan akses ke penyimpanan Standard di mana a>100:

    GET_PARTITION_META('storage_table', pt1, pt2).storagetier == 'standard') AND a > 100

    Saat Anda mengkueri storage_table tanpa kondisi partisi dalam klausa WHERE, pemangkasan partisi tetap berlaku. Hanya partisi yang disimpan sebagai standard yang diakses.

  • Jika kondisi filter mencakup bidang non-partisi yang dikombinasikan dengan operator OR—misalnya, mengizinkan akses ke penyimpanan Standard atau di mana a>100:

    get_partition_meta('storage_table', pt1, pt2).storagetier == 'standard') OR a > 100

    Saat Anda mengkueri storage_table, dua skenario berlaku:

    • Jika klausa WHERE tidak memiliki kondisi partisi, semua partisi dipindai untuk menemukan data di mana a>100.

    • Jika klausa WHERE mencakup kondisi partisi, hanya partisi yang ditentukan yang dipindai untuk data yang sesuai dengan standard atau a>100.

Contoh

Buat tabel partisi storage_table.

CREATE TABLE storage_table(a BIGINT, b BIGINT) PARTITIONED BY (pt1 STRING, pt2 STRING);

• Contoh 1:

  Buat kebijakan bernama policy01 untuk kelompok pengguna DEFAULT. Kebijakan ini hanya mengizinkan akses ke data penyimpanan Standard dalam storage_table. Semua pengguna (termasuk Pemilik Proyek) ditolak akses ke data IA storage class atau penyimpanan jangka panjang dan menerima hasil kosong.

  CREATE ROW ACCESS POLICY policy01 
  ON storage_table 
  TO DEFAULT 
  FILTER USING (get_partition_meta('storage_table', pt1, pt2).storagetier == 'standard');

  Jika Ringkasan Logview menampilkan kata kunci berikut, penyaringan tingkat baris dipicu:

  WARNING:[1,15] row access policy is enabled on table yyy_hp_storagetier.storage_table01. Ini menunjukkan bahwa kebijakan akses baris diterapkan selama kueri.

• Contoh 2:

  Berikan pengguna user_x izin policy02 untuk mengakses data IA storage class dan penyimpanan jangka panjang dalam storage_table.

  CREATE ROW ACCESS POLICY policy02 
  ON storage_table 
  TO USER (user_x)  -- You can also grant to a role using TO role rolename, then assign the role to user_x.
  FILTER USING (get_partition_meta('storage_table', pt1, pt2).storagetier IN ('lowfrequency','longterm'));

  Dua skenario berlaku:

  • Jika tabel telah dikonfigurasi dengan izin policy01, semua pengguna (kecuali user_x) dapat mengakses data penyimpanan standard storage_table, tetapi tidak dapat mengakses data akses jarang atau penyimpanan jangka panjang, dan upaya apa pun untuk melakukannya mengembalikan nilai kosong. Untuk user_x, akses ke data akses jarang dan penyimpanan jangka panjang storage_table diizinkan, tetapi akses ke data penyimpanan standard tidak diizinkan dan mengembalikan nilai kosong.

  • Jika policy01 tidak ditetapkan, semua pengguna (kecuali user_x) tidak dapat mengakses data apa pun dalam storage_table (hasil kosong). Hanya user_x yang dapat mengakses data IA storage class dan penyimpanan jangka panjang tetapi tidak dapat mengakses data penyimpanan Standard (hasil kosong).

• Contoh 3:

  Berikan pengguna user_y izin policy03 untuk mengakses semua data dalam storage_table.

  CREATE ROW ACCESS POLICY policy03 
  ON storage_table 
  TO USER (user_y)  -- You can also grant to a role using TO role rolename, then assign the role to user_y.
  FILTER USING (true);  -- Constant true allows access to all data in the table.

  Dua skenario berlaku:

  • Jika tabel telah ditetapkan dengan izin policy01, semua pengguna (kecuali user_y) dapat mengakses data penyimpanan Standard storage_table, tetapi tidak dapat mengakses akses jarang atau penyimpanan jangka panjang, dan permintaan tersebut mengembalikan nilai kosong. Pengguna user_y dapat mengakses data semua kelas penyimpanan dalam storage_table.

  • Jika tabel belum diberi izin policy01, semua pengguna (kecuali user_y) tidak dapat mengakses data apa pun yang disimpan dalam storage_table, dan permintaan tersebut mengembalikan nilai kosong. Hanya user_y yang dapat mengakses data semua kelas penyimpanan dalam storage_table.