MaxCompute:Backup lokal

Batasan tabel Delta

• Tabel Delta atau partisi yang di-drop dapat dipulihkan sepenuhnya, tetapi tidak ke versi minor tertentu. Untuk mengkueri versi minor tertentu, gunakan time travel.

• Setelah tabel yang di-drop dipulihkan:

  • Mengkueri tabel pada waktu sebelum drop mengembalikan data seolah-olah drop tidak pernah terjadi.

  • Mengkueri pada waktu antara drop dan pemulihan tidak mengembalikan data apa pun (sistem menganggapnya sebagai data yang dihapus).

  • Menjalankan kueri pada waktu after the restore mengembalikan data seolah-olah perintah DROP dan proses pemulihan tidak pernah terjadi. Data yang dipulihkan tidak dianggap sebagai Data inkremental.

  • Mengajukan kueri terhadap partition yang dihapus sebelum dipulihkan tidak mengembalikan hasil apa pun (sama seperti kueri biasa terhadap partisi yang tidak ada), bukan kesalahan.

• Setiap siklus drop-dan-pulihkan menghasilkan timestamp commit dan nomor versi baru. Saat tabel berpartisi dipulihkan, versi terpisah dibuat untuk setiap partisi.

Daftar semua tabel termasuk tabel yang di-drop

SHOW HISTORY FOR tables;

Filter berdasarkan nama:

SHOW HISTORY FOR tables LIKE test_restore_1;

Contoh output:

Name                	Id                              	Type            	IsPartitioned 	CreateTime         	DropTime
test_restore_1      	a0b06367bd054d17a55505aa31601b89	MANAGED_TABLE   	FALSE         	2025-07-18 16:32:13

Memerlukan izin List pada proyek. Lihat Izin MaxCompute.

Lihat riwayat versi tabel

SHOW HISTORY FOR TABLE <table_name> [LIMIT <n>] [LSN '<lsn>' | OFFSET <offset>];

Contoh:

SHOW HISTORY FOR TABLE test_restore_1;

Contoh output:

ObjectType	ObjectId                        	ObjectName          	VERSION(LSN)    	Time               	Operation
TABLE     	a0b06367bd054d17a55505aa31601b89	test_restore_1      	0000000000000001	2025-07-18 16:32:14	CREATE
TABLE     	a0b06367bd054d17a55505aa31601b89	test_restore_1      	0000000000000002	2025-07-18 16:52:08	OVERWRITE
TABLE     	a0b06367bd054d17a55505aa31601b89	test_restore_1      	0000000000000003	2025-07-18 16:52:12	OVERWRITE
TABLE     	a0b06367bd054d17a55505aa31601b89	test_restore_1      	0000000000000004	2025-07-18 16:52:14	OVERWRITE
TABLE     	a0b06367bd054d17a55505aa31601b89	test_restore_1      	0000000000000005	2025-07-18 16:52:17	OVERWRITE

Memerlukan izin ShowHistory pada tabel. Jika tabel telah di-drop, perintah ini mengembalikan error. Gunakan SHOW HISTORY FOR tables LIKE <table_name>; sebagai gantinya.

Lihat riwayat versi tabel yang di-drop

Gunakan ID tabel yang diperoleh dari SHOW HISTORY FOR tables:

SHOW HISTORY FOR TABLE test_restore_2 ('id'='437b29466ba948b392b2090ec0a60fc2');

Memerlukan izin List pada proyek.

Lihat riwayat versi partisi

-- Berdasarkan spesifikasi partisi
SHOW HISTORY FOR TABLE test_restore_part_1 PARTITION(ds='20250701');

-- Berdasarkan ID partisi (untuk partisi yang di-drop)
SHOW HISTORY FOR TABLE test_restore_part_1 PARTITION('id'='271aebf3e17a4a8e9f6b35733bf63db4');

Memerlukan izin ShowHistory pada tabel.

Untuk melihat beberapa partisi sekaligus:

SHOW HISTORY FOR TABLE test_restore_part_1 ('id'='fbee66b56cf544d2a9999d5d0ce5d352')
  PARTITION(ds='20250701') PARTITION(ds='20250702');

Pulihkan tabel yang di-drop

RESTORE TABLE <table_name> ('id'='<table_id>');

Nama tabel tidak boleh bentrok dengan tabel yang sudah ada. Ubah nama tabel yang ada terlebih dahulu jika diperlukan.

Contoh:

-- Ubah nama tabel yang bentrok
ALTER TABLE test_restore_2 RENAME TO test_restore_2_rename;

-- Pulihkan tabel yang di-drop
RESTORE TABLE test_restore_2 ('id'='437b29466ba948b392b2090ec0a60fc2');

Permissions:

• Tabel yang ada: izin Update pada tabel.

• Tabel yang tidak ada: izin CreateTable pada proyek.

Pulihkan tabel ke versi tertentu

RESTORE TABLE <table_name> TO LSN '<lsn>';

Contoh:

RESTORE TABLE test_restore_1 TO LSN '0000000000000004';

SELECT * FROM test_restore_1;
-- Mengembalikan:
-- +------------+
-- | colname    |
-- +------------+
-- | 2          |
-- +------------+

Pulihkan tabel ke versi tertentu sebagai tabel baru

RESTORE TABLE <table_name> TO LSN '<lsn>' AS <new_table_name>;

Perintah ini memiliki tiga perilaku tergantung pada tabel target:

Contoh — pulihkan dan ubah nama:

RESTORE TABLE test_restore_2 TO LSN '0000000000000003' AS test_restore_new;

SELECT * FROM test_restore_new;
-- Mengembalikan:
-- +------------+
-- | colname    |
-- +------------+
-- | 1          |
-- +------------+

Pulihkan tabel berpartisi yang di-drop

RESTORE TABLE <table_name> ('id'='<table_id>');

Semua partisi yang ada pada saat drop dipulihkan.

Pulihkan partisi yang di-drop

Pulihkan satu atau beberapa partisi yang di-drop ke tabel yang sudah ada:

RESTORE TABLE <table_name> PARTITION('id'='<partition_id>') [PARTITION('id'='<partition_id>')];

Tabel harus ada. Jika tabel juga di-drop, pulihkan tabel terlebih dahulu.

Contoh:

-- Lihat ID partisi
SHOW HISTORY FOR TABLE test_restore_part_y;

-- Pulihkan dua partisi yang di-drop
RESTORE TABLE test_restore_part_y
  PARTITION('id'='a14d6cb4ab0c46378a6e284b257bbfaa')
  PARTITION('id'='8c85184ec0b44fba8198274401df2519');

Pulihkan partisi ke versi tertentu

RESTORE TABLE <table_name>
  PARTITION(<partition_spec>) [PARTITION(<partition_spec>)]
  TO LSN '<lsn>';

Saat memulihkan beberapa partisi ke satu LSN, setiap partisi dipulihkan ke LSN yang ditentukan jika LSN tersebut benar-benar ada untuk partisi tersebut. Jika tidak, partisi dipulihkan ke LSN terdekat sebelumnya.

Contoh: Partisi pt1 memiliki LSN 100, 102, 104, 106. Partisi pt2 memiliki LSN 101, 103, 104, 105. Memulihkan keduanya ke LSN 102 akan memulihkan pt1 ke 102 dan pt2 ke 101.

RESTORE TABLE test_restore_part_y
  PARTITION(ds='20250701') PARTITION(ds='20250702')
  TO LSN '0000000000000010';

Pulihkan partisi ke versi tertentu sebagai tabel baru

RESTORE TABLE <table_name>
  PARTITION(<partition_spec>) [PARTITION(<partition_spec>)]
  TO LSN '<lsn>' AS <new_table_name>;

Buat tabel Delta, masukkan data, lalu drop dan pulihkan

-- Buat tabel Delta
CREATE TABLE mf_dt (pk BIGINT NOT NULL PRIMARY KEY,
                    val BIGINT NOT NULL)
                    PARTITIONED BY (dd STRING, hh STRING)
                    TBLPROPERTIES ("transactional"="true");

-- Masukkan data
INSERT OVERWRITE TABLE mf_dt PARTITION(dd='01', hh='01')
  VALUES (1, 1), (2, 2), (3, 3);

INSERT INTO TABLE mf_dt PARTITION(dd='01', hh='01')
  VALUES (3, 30), (4, 4), (5, 5);

SELECT * FROM mf_dt WHERE dd='01' AND hh='01';
-- Mengembalikan:
-- +----+-----+----+----+
-- | pk | val | dd | hh |
-- +----+-----+----+----+
-- | 1  | 1   | 01 | 01 |
-- | 4  | 4   | 01 | 01 |
-- | 5  | 5   | 01 | 01 |
-- | 2  | 2   | 01 | 01 |
-- | 3  | 30  | 01 | 01 |
-- +----+-----+----+----+

Dapatkan ID tabel untuk pemulihan

Jalankan DESC EXTENDED mf_dt; dan temukan bidang TableID pada bagian Extended Info:

TableID:  cd607cd938dc4ca6886dd12212995604

Drop dan pulihkan tabel

DROP TABLE mf_dt;

RESTORE TABLE mf_dt ('id' = 'cd607cd938dc4ca6886dd12212995604');

-- Verifikasi data
SELECT * FROM mf_dt WHERE dd='01' AND hh='01';
-- Mengembalikan data yang sama seperti sebelum drop.

Drop dan pulihkan partisi

-- Dapatkan ID partisi
SHOW HISTORY FOR TABLE mf_dt;

-- Drop partisi
ALTER TABLE mf_dt DROP PARTITION (dd = '01', hh = '01');

-- Pulihkan partisi
RESTORE TABLE mf_dt PARTITION('id' = '51d38cc9ded344cf99188cd1a806e5d2');

-- Verifikasi data
SELECT * FROM mf_dt WHERE dd='01' AND hh='01';
-- Mengembalikan data yang sama seperti sebelum drop.

Time travel pada tabel yang dipulihkan

Setelah tabel Delta dipulihkan, kueri time travel tetap berfungsi:

-- Kueri versi tertentu
SELECT * FROM mf_dt version AS OF 2 WHERE dd = '01' AND hh = '01';
-- Mengembalikan:
-- +----+-----+----+----+
-- | pk | val | dd | hh |
-- +----+-----+----+----+
-- | 1  | 1   | 01 | 01 |
-- | 3  | 3   | 01 | 01 |
-- | 2  | 2   | 01 | 01 |
-- +----+-----+----+----+

-- Kueri versi terbaru
SELECT * FROM mf_dt version AS OF get_latest_version('mf_dt')
  WHERE dd = '01' AND hh = '01';
-- Mengembalikan data saat ini.

Pembersihan paksa dengan PURGE

Dalam operasi normal, biarkan sistem menangani pembersihan secara otomatis. Gunakan PURGE TABLE hanya dalam keadaan darurat—misalnya, ketika jumlah file berlebihan menyebabkan ketidakstabilan disk atau data historis menyebabkan lonjakan biaya tak terduga.

PURGE TABLE <table_name>;

Contoh:

CREATE TABLE mf_ttt (pk BIGINT NOT NULL PRIMARY KEY,
                     val BIGINT NOT NULL)
                     TBLPROPERTIES ("transactional"="true");

INSERT INTO TABLE mf_ttt VALUES (1, 1), (2, 2);
INSERT INTO TABLE mf_ttt VALUES (2, 20), (3, 3);

-- Time travel mengembalikan data versi 2
SELECT * FROM mf_ttt version AS OF 2;
-- +----+-----+
-- | pk | val |
-- +----+-----+
-- | 1  | 1   |
-- | 2  | 2   |
-- +----+-----+

-- Setelah compaction, time travel tetap berfungsi
ALTER TABLE mf_ttt compact major;
SELECT * FROM mf_ttt version AS OF 2;
-- Hasil sama seperti di atas

-- Setelah purge, time travel mengembalikan data berbeda
PURGE TABLE mf_ttt;
SELECT * FROM mf_ttt version AS OF 2;
-- +----+-----+
-- | pk | val |
-- +----+-----+
-- | 1  | 1   |
-- | 3  | 3   |
-- | 2  | 20  |
-- +----+-----+