MaxCompute：Sumber daya penyimpanan - Penyimpanan berjenjang

Pengaturan kustom manual

Anda dapat mengatur tier penyimpanan tabel non-partisi atau partisi secara manual ke IA atau Archive. Pengaturan ini berlaku segera.

ALTER TABLE <TABLE_NAME> [PARTITION(<PARTITION_SPEC>)]
        SET <TBLPROPERTIES|PARTITIONPROPERTIES>("storagetier"="standard|lowfrequency|longterm");

Atur secara otomatis menggunakan aturan lifecycle

Anda dapat mengonfigurasi aturan lifecycle untuk penyimpanan berjenjang di tingkat project atau tabel partisi. Sistem akan secara otomatis mengonversi tier penyimpanan berdasarkan aturan tersebut.

• Pengaturan tingkat project:

  Setelah dikonfigurasi, aturan ini berlaku sebagai aturan default untuk semua tabel non-partisi dalam project dan untuk partisi dalam tabel partisi yang tidak memiliki aturan khusus. Tabel dan partisi tersebut akan secara otomatis dikonversi ke tier penyimpanan yang sesuai.

• Pengaturan tingkat tabel partisi:

  Setelah aturan khusus ditetapkan untuk tabel partisi, aturan tersebut memiliki prioritas lebih tinggi daripada aturan tingkat project. Jika semua partisi dalam tabel memenuhi aturan tersebut, partisi tersebut akan secara otomatis dikonversi ke tier penyimpanan yang sesuai.

GET_PARTITION_META

struct GET_PARTITION_META(<tableName>, <pt_col1>, <pt_col2>, ..., <pt_col_n>);

Perhatian

• Saat Anda menambahkan aturan tingkat baris ke tabel, pertimbangkan perilaku akses pengguna lain. Jika pengguna lain telah mengakses tabel tersebut, tetapkan aturan eksplisit untuk mereka guna mencegah penolakan akses yang tidak diinginkan dan masalah penyaringan data. Untuk informasi lebih lanjut, lihat Kontrol akses tingkat baris.

• Secara default, tabel MaxCompute dapat diakses tidak hanya melalui SQL tetapi juga oleh mesin eksternal, seperti Spark dan Flink, yang membaca data tabel. Namun, fungsi GET_PARTITION_META saat ini hanya didukung oleh mesin SQL MaxCompute. Oleh karena itu, jika fungsi GET_PARTITION_META digunakan dalam kontrol akses tingkat baris, tabel tersebut hanya dapat dibaca melalui mesin SQL MaxCompute. Mesin lain tidak dapat mengakses tabel tersebut.

• Untuk mengakses data, Anda harus memiliki izin akses data, khususnya izin SELECT pada data, selain memenuhi persyaratan izin tingkat baris.

• Kondisi filter dalam GET_PARTITION_META menghasilkan efek pemangkasan partisi yang berbeda tergantung skenarionya.

  • Kondisi filter hanya melibatkan bidang partisi dari tabel partisi. Misalnya, Anda dapat mengizinkan akses ke tier penyimpanan Standard dan mensyaratkan bahwa nilai partisi tingkat pertama adalah 2024.

    GET_PARTITION_META('storage_table', pt1, pt2).storagetier == 'standard') AND pt1='2024'

    Saat Anda menggunakan SQL untuk mengakses storage_table, jika klausa WHERE tidak berisi kondisi partisi, sistem mendukung pemangkasan partisi untuk mencegah pemindaian tabel penuh. Hanya partisi dalam storage_table yang memenuhi persyaratan yang diakses.

  • Kondisi filter berisi nilai bidang non-partisi, dan operator AND digunakan untuk menghubungkan kedua kondisi filter tersebut. Misalnya, Anda dapat mengizinkan akses ke tier penyimpanan Standard dan menggunakan operator AND dengan nilai non-partisi a>100.

    GET_PARTITION_META('storage_table', pt1, pt2).storagetier == 'standard') AND a > 100

    Saat Anda menggunakan SQL untuk mengakses storage_table, jika klausa WHERE tidak berisi kondisi partisi, pemangkasan partisi tetap didukung. Hanya partisi yang disimpan di tier standard yang diakses.

  • Kondisi filter berisi nilai bidang non-partisi, dan operator OR digunakan untuk menghubungkan kedua kondisi filter tersebut. Misalnya, Anda dapat mengizinkan akses ke tier penyimpanan Standard dan menggunakan operator OR dengan nilai non-partisi a>100.

    get_partition_meta('storage_table', pt1, pt2).storagetier == 'standard') OR a > 100

    Saat Anda menggunakan SQL untuk mengakses storage_table, dua skenario mungkin terjadi:

    • Jika klausa WHERE tidak berisi kondisi partisi, semua partisi diakses untuk memindai data yang memenuhi kondisi a>100.

    • Jika klausa WHERE berisi kondisi partisi, hanya data dalam partisi yang bersesuaian yang memenuhi kondisi standard atau a>100 yang dipindai.

Contoh penggunaan

Definisikan tabel partisi storage_table.

CREATE TABLE storage_table(a BIGINT, b BIGINT) PARTITIONED BY (pt1 STRING, pt2 STRING);

• Contoh 1:

  Berikan izin policy01 kepada pengguna default untuk mengakses data penyimpanan Standard di storage_table. Semua pengguna, termasuk pemilik project, tidak dapat mengakses data penyimpanan IA atau Archive, dan nilai null dikembalikan untuk permintaan tersebut.

  CREATE ROW ACCESS POLICY policy01 
  ON storage_table 
  TO DEFAULT 
  FILTER USING (get_partition_meta('storage_table', pt1, pt2).storagetier == 'standard');

  Jika kata kunci berikut muncul di bagian Summary Logview, penyaringan tingkat baris dipicu.

  

• Contoh 2:

  Berikan izin policy02 kepada pengguna user_x untuk mengakses data penyimpanan IA dan Archive di storage_table.

  CREATE ROW ACCESS POLICY policy02 
  ON storage_table 
  TO USER (user_x)  --Anda juga dapat memberikan izin kepada role menggunakan TO role rolename lalu memberikan role tersebut kepada pengguna.
  FILTER USING (get_partition_meta('storage_table', pt1, pt2).storagetier IN ('lowfrequency','longterm'));

  Dua skenario mungkin terjadi:

  • Jika tabel sudah memiliki izin policy01, semua pengguna kecuali `user_x` dapat mengakses data penyimpanan Standard di storage_table tetapi tidak dapat mengakses data penyimpanan IA atau Archive. Nilai null dikembalikan untuk data yang tidak dapat diakses. Pengguna `user_x` dapat mengakses data penyimpanan IA dan Archive di storage_table tetapi tidak dapat mengakses data penyimpanan Standard. Nilai null dikembalikan untuk data yang tidak dapat diakses ini.

  • Jika izin policy01 tidak dikonfigurasi untuk tabel tersebut, semua pengguna kecuali `user_x` ditolak akses ke data penyimpanan apa pun di storage_table, yang menghasilkan nilai kembalian null. Hanya `user_x` yang diberikan akses ke data penyimpanan IA dan Archive tetapi ditolak akses ke data penyimpanan Standard, yang juga menghasilkan nilai null.

• Contoh 3:

  Berikan izin policy03 kepada pengguna user_y untuk mengakses semua data di storage_table.

  CREATE ROW ACCESS POLICY policy03 
  ON storage_table 
  TO USER (user_y)  -- Anda juga dapat memberikan izin kepada role menggunakan klausa TO role rolename lalu memberikan role tersebut kepada pengguna.
  FILTER USING (true);  -- Konstanta true menunjukkan bahwa semua data dalam tabel dapat diakses

  Dua skenario mungkin terjadi:

  • Jika tabel memiliki izin policy01, semua pengguna kecuali `user_y` dapat mengakses data penyimpanan Standard di storage_table. Mereka tidak dapat mengakses data penyimpanan IA atau Archive, dan nilai null dikembalikan untuk permintaan tersebut. Pengguna user_y dapat mengakses data dari semua kelas penyimpanan di storage_table.

  • Jika tabel tidak memiliki izin policy01, semua pengguna kecuali `user_y` tidak dapat mengakses data apa pun di storage_table, dan nilai null dikembalikan. Hanya pengguna user_y yang dapat mengakses data semua kelas penyimpanan di storage_table.