Tabel Delta mendukung penulisan dan penyimpanan data secara bertahap. Untuk mendukung kueri bertahap yang efisien serta optimasi komputasi, sintaks SQL baru dirancang untuk memfasilitasi pemrosesan bertahap hampir real-time.
Proses kueri incremental
Gambar berikut menggambarkan proses kueri incremental dari tabel Delta.
Setelah Anda memasukkan pernyataan SQL, mesin akan mengurai rentang versi yang ditentukan untuk menanyakan semua file delta dalam rentang waktu tertentu. Kemudian, mesin menggabungkan data dalam file delta tersebut untuk menghasilkan output.
File data baru dihasilkan selama operasi pengelompokan dan penggabungan. Dalam file data baru ini, catatan asli diorganisir dan dioptimalkan tanpa penambahan catatan logika baru. Oleh karena itu, catatan dalam file data baru tidak dianggap sebagai data baru untuk output. Kueri incremental dioptimalkan untuk memenuhi kebutuhan bisnis. Setelah optimasi, catatan yang dihasilkan selama penggabungan dan pengelompokan dikecualikan dari kueri incremental. MaxCompute tidak membaca file dasar selama kueri incremental, melainkan hanya membaca semua file delta dalam rentang waktu tertentu dan menggabungkan data sesuai dengan kebijakan yang ditentukan untuk menghasilkan output.
Gambar di atas menunjukkan cara menanyakan data dalam tabel transaksi bernama src.
Skema tabel terdiri dari kolom pk dan kolom val.
Bagian kiri gambar di atas menggambarkan proses perubahan data. Titik waktu t1 hingga t5 mewakili versi waktu transaksi. Lima transaksi penulisan data dilakukan, dan lima file delta dihasilkan.
Operasi penggabungan dilakukan pada titik waktu t2 dan t4, menghasilkan dua file dasar b1 dan b2.
Dalam contoh ini, jika nilai di kolom Begin adalah t1-1 dan nilai di kolom End adalah t1, MaxCompute hanya perlu membaca file delta d1 pada t1 untuk menghasilkan output. Jika nilai di kolom Begin adalah t2, MaxCompute perlu membaca dua file delta d1 dan d2. Jika nilai di kolom Begin adalah t1 dan nilai di kolom End adalah t2-1, rentang waktu kueri adalah (t1, t2). Dalam hal ini, baris kosong dikembalikan karena tidak ada data tambahan yang dimasukkan selama rentang waktu tersebut.