MaxCompute：Pengelompokan Hash

• Sintaks

  CREATE TABLE [IF NOT EXISTS] <table_name>
               [(<col_name> <data_type> [comment <col_comment>], ...)]
               [comment <table_comment>]
               [PARTITIONED BY (<col_name> <data_type> [comment <col_comment>], ...)]
               [CLUSTERED BY (<col_name> [, <col_name>, ...])
               [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
               INTO <number_of_buckets> BUCKETS] [AS <select_statement>]

• Contoh
  • Tabel Non-partisi

    CREATE TABLE T1 (a string, b string, c bigint)
                 CLUSTERED BY (c)
                 SORTED by (c) INTO 1024 BUCKETS;

  • Tabel Partisi

    CREATE TABLE T1 (a string, b string, c bigint)
           PARTITIONED BY (dt string)
           CLUSTERED BY (c)
           SORTED by (c) INTO 1024 BUCKETS;

• Parameter
  • CLUSTERED BY

    Menentukan kunci hash berdasarkan mana MaxCompute melakukan operasi hash pada kolom tertentu. Setelah operasi hash dilakukan, MaxCompute mendistribusikan data ke bucket berdasarkan nilai hash. Untuk mencegah masalah skew data dan hot spot serta meningkatkan efisiensi eksekusi konkurensi, kami sarankan Anda menentukan kolom dengan rentang nilai besar dan jumlah nilai kunci duplikat yang kecil di CLUSTERED BY. Untuk mengoptimalkan operasi join, kami sarankan Anda memilih kunci join atau kunci agregat yang sering digunakan. Kunci join dan agregat mirip dengan kunci utama dalam database konvensional.

  • SORTED BY

    Menentukan cara mengurutkan bidang dalam bucket. Untuk meningkatkan kinerja kueri, kami sarankan Anda menjaga konfigurasi SORTED BY konsisten dengan parameter CLUSTERED BY. Jika Anda menentukan parameter SORTED BY, MaxCompute secara otomatis menghasilkan indeks dan mempercepat kueri berdasarkan indeks.

  • INTO number_of_buckets BUCKETS

    Menentukan jumlah bucket. Parameter ini wajib dan ditentukan berdasarkan jumlah data. Semakin banyak bucket menunjukkan konkurensi yang lebih tinggi dan efisiensi eksekusi pekerjaan yang lebih tinggi. Namun, jika terdapat jumlah bucket yang berlebihan, file kecil yang berlebihan mungkin dihasilkan. Konkurensi yang terlalu tinggi juga meningkatkan waktu CPU. Kami sarankan Anda menjaga ukuran data setiap bucket antara 500 MB hingga 1 GB. Jika sebuah tabel sangat besar, Anda dapat meningkatkan ukuran data setiap bucket secara tepat. Dalam skenario optimasi join, langkah shuffle dan sort harus dihapus dari operasi join pada dua tabel. Oleh karena itu, jumlah bucket dalam sebuah tabel harus merupakan kelipatan dari jumlah bucket di tabel lainnya. Sebagai contoh, satu tabel memiliki 256 bucket dan tabel lainnya memiliki 512 bucket. Kami sarankan Anda menetapkan jumlah bucket menjadi 2 pangkat N, seperti 512, 1.024, 2.048, atau 4.096. Dengan cara ini, MaxCompute dapat secara otomatis membagi dan menggabungkan bucket, dan langkah shuffle dan sort dapat dihapus.

• Sintaks

  -- Ubah tabel menjadi tabel yang dikelompokkan berdasarkan hash.
  ALTER TABLE <table_name> [CLUSTERED BY (<col_name> [, <col_name>, ...])
                         [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
                         INTO <number_of_buckets> BUCKETS];
  -- Ubah tabel yang dikelompokkan berdasarkan hash menjadi tabel non-hash-clustered.
  ALTER TABLE <table_name> NOT CLUSTERED;

• Catatan Penggunaan
  • Pernyataan ALTER TABLE hanya dapat memodifikasi properti klustering tabel partisi. Properti klustering tidak dapat dimodifikasi setelah ditambahkan ke tabel non-partisi.
  • Pernyataan ALTER TABLE hanya berlaku untuk partisi baru tabel, yang mencakup partisi baru yang dihasilkan dengan menggunakan pernyataan INSERT OVERWRITE. Partisi baru disimpan berdasarkan properti pengelompokan hash. Format penyimpanan partisi yang ada tetap tidak berubah.
  • Pernyataan ALTER TABLE hanya berlaku untuk partisi baru tabel. Oleh karena itu, Anda tidak dapat menentukan partisi dalam pernyataan ini.

DESC EXTENDED <table_name>;

DESC EXTENDED <table_name> partition(<pt_spec>);

CREATE TABLE t1 (id bigint, 
                 a string, 
                 b string)
             CLUSTERED BY (id)
             SORTED BY (id) into 1000 BUCKETS; 
... 
SELECT t1.a, t1.b FROM t1 WHERE t1.id=12345;

1. Pekerjaan kueri dapat menemukan bucket yang sesuai dengan nilai 12345. Dengan cara ini, pekerjaan hanya perlu memindai data di satu bucket saja, bukan semua 1.000 bucket. Proses ini disebut pemangkasan bucket.
2. Data dalam bucket diurutkan dan disimpan berdasarkan kolom id. MaxCompute secara otomatis membuat indeks dan menggunakan fungsi INDEX LOOKUP untuk menemukan catatan yang relevan.

SELECT department, SUM(salary) FROM employee GROUP BY (department);

• Pengelompokan hash tidak digunakan.
• Pengelompokan hash digunakan.