MaxCompute：Optimasi pengorganisasian data untuk tabel PK Delta

Tantangan

Tabel Delta mendukung impor data inkremental hampir real-time tingkat menit. Dalam skenario lalu lintas tinggi, jumlah file inkremental kecil dapat meningkat pesat, sehingga menimbulkan permasalahan berikut:

• Biaya penyimpanan tinggi dan peningkatan beban I/O.

• Pembaruan metadata yang sering akibat banyaknya file kecil.

• Eksekusi analisis lebih lambat dan operasi baca/tulis data menjadi tidak efisien.

Oleh karena itu, diperlukan layanan penggabungan file kecil yang dirancang dengan baik—dikenal sebagai layanan Clustering—untuk secara otomatis mengoptimalkan skenario ini.

Solusi

Layanan Clustering dijalankan oleh Storage Service internal MaxCompute dan dirancang untuk menggabungkan file-file kecil. Clustering tidak mengubah status antara historis apa pun dari data, artinya layanan ini tidak menghapus status historis antara dari catatan mana pun.

Alur Kerja

Alur kerja keseluruhan layanan Clustering ditunjukkan pada gambar berikut.

1. Penggabungan bertingkat

   Layanan ini menggunakan kebijakan clustering berdasarkan skenario bisnis baca/tulis khas. Secara berkala, layanan ini mengevaluasi file data berdasarkan beberapa dimensi, seperti ukuran dan kuantitas, lalu melakukan penggabungan bertingkat.

   1. Tingkat 0 → Tingkat 1: File Delta terkecil dari operasi tulis awal (file data biru pada gambar) digabungkan menjadi file Delta berukuran menengah (file data kuning pada gambar).

   2. Tingkat 1 → Tingkat 2: Ketika file Delta berukuran menengah mencapai skala tertentu, penggabungan tingkat lebih tinggi dipicu untuk menghasilkan file yang lebih besar dan dioptimalkan (file data oranye pada gambar).

2. Menghindari amplifikasi baca/tulis

   1. Isolasi file besar: File data yang melebihi ukuran tertentu, seperti file T8 di Bucket3, dikecualikan dari penggabungan.

   2. Batas rentang waktu: File dengan rentang waktu yang besar tidak digabungkan untuk mencegah pembacaan sejumlah besar data historis yang berada di luar rentang waktu kueri selama Time Travel atau kueri inkremental.

   3. Pemicu eksekusi otomatis: Setiap operasi clustering membaca dan menulis data setidaknya sekali, sehingga mengonsumsi sumber daya komputasi dan I/O serta menyebabkan amplifikasi baca/tulis. Untuk memastikan efisiensi, mesin MaxCompute secara otomatis memicu operasi berdasarkan status sistem.

3. Konkurensi dan transaksionalitas

   1. Eksekusi konkuren: Karena data dipartisi dan disimpan berdasarkan BucketIndex, layanan Clustering berjalan secara konkuren di tingkat bucket, sehingga secara signifikan mengurangi waktu proses keseluruhan.

   2. Jaminan transaksional: Layanan Clustering berinteraksi dengan Meta Service untuk mengambil daftar tabel atau partisi yang akan diproses. Setelah operasi selesai, layanan ini meneruskan informasi tentang file data baru dan lama ke Meta Service. Meta Service memainkan peran kunci dalam mendeteksi konflik transaksi, mengoordinasikan pembaruan metadata yang mulus untuk file baru dan lama, serta mengamankan pembersihan file data lama.

Tantangan

Tabel Delta mendukung operasi UPDATE dan DELETE. Operasi ini menulis catatan baru untuk menandai status sebelumnya dari catatan lama, bukan memodifikasi catatan lama secara langsung. Banyaknya operasi semacam ini dapat menyebabkan:

• Redundansi data: Catatan redundan dalam status antara meningkatkan biaya penyimpanan dan komputasi.

• Efisiensi kueri lebih rendah

Oleh karena itu, diperlukan layanan Compaction yang dirancang dengan baik untuk menghilangkan status antara dan mengoptimalkan skenario ini.

Solusi

Compaction menggabungkan file data tertentu, termasuk BaseFile dan DeltaFile. Layanan ini menggabungkan beberapa catatan dengan kunci primer yang sama dan menghilangkan status antara UPDATE dan DELETE, sehingga hanya catatan dengan status terbaru yang dipertahankan. Akhirnya, sebuah BaseFile baru dihasilkan yang hanya berisi data INSERT.

Alur Kerja

Alur kerja keseluruhan layanan Compaction adalah sebagai berikut.