MaxCompute:Hash Clustering

SELECT t1.a, t2.b FROM t1 JOIN t2 ON t1.id = t2.id;

Bir Hash Clustering tablosu oluşturmak için aşağıdaki deyimi kullanabilirsiniz. Hash anahtarı olan bir kümeleme anahtarı ve hash paketlerinin sayısını belirtmeniz gerekir. Sıralama isteğe bağlıdır. Ancak en iyi performans için çoğu durumda sıralama anahtarını kümeleme anahtarıyla aynı ayarlamanız önerilir.

• Sözdizimi

  CREATE TABLE [IF NOT EXISTS] <table_name>
               [(<col_name> <data_type> [comment <col_comment>], ...)]
               [comment <table_comment>]
               [PARTITIONED BY (<col_name> <data_type> [comment <col_comment>], ...)]
               [CLUSTERED BY (<col_name> [, <col_name>, ...])
               [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
               INTO <number_of_buckets> BUCKETS] [AS <select_statement>]

• Örnekler

  • Bölümlenmemiş tablo

    CREATE TABLE T1 (a string, b string, c bigint)
                 CLUSTERED BY (c)
                 SORTED by (c) INTO 1024 BUCKETS;

  • Bölümlenmiş tablo

    CREATE TABLE T1 (a string, b string, c bigint)
           PARTITIONED BY (dt string)
           CLUSTERED BY (c)
           SORTED by (c) INTO 1024 BUCKETS;

• Özellikler

  • CLUSTERED BY

    Hash anahtarını belirtir. MaxCompute belirtilen sütunlarda hash işlemi gerçekleştirir ve verileri hash değerlerine göre paketlere dağıtır. Veri eğrilmesini önlemek, sıcak noktaların oluşmasını engellemek ve iyi bir paralel yürütme sağlamak için CLUSTERED BY yan tümcesinde geniş bir değer aralığına sahip ve az yinelenen anahtar değeri içeren sütunları seçin. Birleştirmeleri optimize etmek için geleneksel veritabanlardaki birincil anahtarlara benzer şekilde sık kullanılan birleştirme veya toplama anahtarlarını da seçebilirsiniz.

  • SORTED BY

    Bir paket içindeki alanların sıralama düzenini belirtir. Daha iyi performans elde etmek için SORTED BY anahtarını CLUSTERED BY anahtarıyla aynı ayarlayın. SORTED BY yan tümcesi belirtildiğinde MaxCompute otomatik olarak bir dizin oluşturur ve bunu sorguları hızlandırmak için kullanır.

  • INTO number_of_buckets BUCKETS

    Hash paketlerinin sayısını belirtir. Bu sayı zorunludur ve veri hacmine bağlıdır. Paket sayısı arttıkça eşzamanlılık artar ve iş çalışma süreleri kısalabilir. Ancak çok fazla paket aşırı sayıda küçük dosya oluşturabilir ve yüksek eşzamanlılık CPU süresini artırabilir. Her paketin boyutunun 500 MB ile 1 GB arasında olacak şekilde paket sayısını ayarlamanız önerilir. Çok büyük tablolar için bu sayı daha büyük olabilir. Karıştırma ve sıralama adımlarını kaldırarak birleştirmeleri optimize etmek için iki tablonun paket sayısının birbirinin katı olması gerekir; örneğin 256 ve 512. Paket sayısı için 512, 1024, 2048 veya 4096 gibi 2'nin kuvveti olan bir sayı kullanmanız önerilir. Bu sistemin hash paketlerini otomatik olarak bölmesine ve birleştirmesine olanak tanır ayrıca karıştırma ve sıralama adımlarını kaldırır.

Bir bölümlemeli tablo için Hash Clustering özelliklerini eklemek veya kaldırmak üzere ALTER TABLE deyimini kullanabilirsiniz.

• Deyimler

  -- Change the table to a Hash Clustering table
  ALTER TABLE <table_name> [CLUSTERED BY (<col_name> [, <col_name>, ...])
                         [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
                         INTO <number_of_buckets> BUCKETS];
  -- Change a Hash Clustering table to a non-Hash Clustering table
  ALTER TABLE <table_name> NOT CLUSTERED;

• Notlar

  • ALTER TABLE deyimi kümeleme özelliklerini yalnızca bölümlemeli tablolar için değiştirir. Bölümlenmemiş tablolar için kümeleme özellikleri ayarlandıktan sonra değiştirilemez.

  • ALTER TABLE deyimi yalnızca bölümlemeli tablonun yeni bölümlerini, INSERT OVERWRITE ile oluşturulan bölümler dahil olmak üzere etkiler. Yeni bölümler yeni kümeleme özellikleriyle depolanır. Mevcut veri bölümleri değişmeden kalır.

  • Deyim yalnızca yeni bölümleri etkilediğinden deyimde PARTITION yan tümcesini belirtmeyin.

ALTER TABLE deyimi mevcut tablolar için uygundur. Yeni kümeleme özellikleri eklendikten sonra yeni bölümler Hash Clustering kullanılarak depolanır.

Bir Hash Clustering tablosu oluşturduktan sonra özelliklerini görüntülemek için aşağıdaki komutu çalıştırabilirsiniz. Hash Clustering özellikleri Extended Info bölümünde görüntülenir.

DESC EXTENDED <table_name>;

Dönüş sonucuna bir örnek aşağıda verilmiştir.

| Owner: ALIYUN$                          | Project:
| TableComment:
|
| CreateTime:               2017-06-19 14:10:55
| LastDDLTime:              2017-06-19 14:10:55
| LastModifiedTime:         2017-06-19 14:13:13
|
| InternalTable: YES    | Size: 21680295746
|
| Native Columns:
|
| Field           | Type    | Label | Comment
|
| l_orderkey      | bigint  |       |
| l_partkey       | bigint  |       |
| l_suppkey       | bigint  |       |
| l_linenumber    | bigint  |       |
| l_quantity      | double  |       |
| l_extendedprice | double  |       |
| l_discount      | double  |       |
| l_tax           | double  |       |
| l_returnflag    | string  |       |
| l_linestatus    | string  |       |
| l_shipdate      | string  |       |
| l_commitdate    | string  |       |
| l_receiptdate   | string  |       |
| l_shipinstruct  | string  |       |
| l_shipmode      | string  |       |
| l_comment       | string  |       |
|
| Extended Info:
|
| TableID:
| IsArchived:          false
| PhysicalSize:        65040887238
| FileNum:             1001
| ClusterType:         hash
| BucketNum:           1000
| ClusterColumns:      [l_orderkey]
| SortColumns:         [l_orderkey ASC]

Bölümlenmiş bir tablo için tablo özelliklerini görüntüledikten sonra bölüm özelliklerini görüntülemek üzere aşağıdaki komutu çalıştırabilirsiniz.

DESC EXTENDED <table_name> partition(<pt_spec>);

Dönüş sonucuna bir örnek aşağıda verilmiştir.

| PartitionSize: 754

| CreateTime:               2017-07-07 14:01:03
| LastDDLTime:              2017-07-07 14:01:03
| LastModifiedTime:         2017-07-07 14:01:03

| IsExstore:                false
| IsArchived:               false
| PhysicalSize:             2262
| FileNum:                  2
| ClusterType:              hash
| BucketNum:                500
| ClusterColumns:           [c1]
| SortColumns:              [c1 ASC]

CREATE TABLE t1 (id bigint, 
                 a string, 
                 b string)
             CLUSTERED BY (id)
             SORTED BY (id) into 1000 BUCKETS; 
... 
SELECT t1.a, t1.b FROM t1 WHERE t1.id=12345;

idid

1. Sorgu 12345 değeri için ilgili hash paketini bulur. Bu işlem 1.000 paketin tamamını taramak yerine yalnızca bir paketi taramayı gerektirir. Bu sürece paket budama (bucket pruning) denir.

2. Paket içindeki veriler id alanına göre sıralandığından MaxCompute otomatik olarak bir dizin oluşturur. MaxCompute ardından ilgili kayıtları doğrudan konumlandırmak için dizin araması kullanır.

Bu optimizasyon yalnızca mapper sayısını büyük ölçüde azaltmakla kalmaz mapper'ların dizini kullanarak veri sayfasını doğrudan konumlandırmasına da olanak tanır. Bu sayede yüklenen ve okunan veri miktarı önemli ölçüde azalır.

Örneğin büyük veri görevi 1.111 mapper başlatmış ve 26 eşleşen kaydı bulmak için 42,7 milyar kayıt okumuştur. Toplam çalışma süresi 1 dakika 48 saniyedir. Hash Clustering tablosu kullanıldığında aynı verideki aynı sorgu tek bir paketi doğrudan konumlandırabilir ve dizini kullanarak yalnızca sorgu verilerini içeren sayfaları okuyabilir. Bu işlem yalnızca 4 mapper kullanır 10.000 kayıt okur ve yalnızca 6 saniye sürer.

Aşağıdaki sorgu için:

SELECT department, SUM(salary) FROM employee GROUP BY (department);

Genellikle bu sorgu department sütunundaki verileri karıştırıp sıralar ve ardından her bir department grubunu saymak için akış toplamı (stream aggregation) gerçekleştirir. Ancak tablo verileri zaten department alanına göre kümelenmiş ve sıralanmışsa karıştırma ve sıralama işlemlerine gerek kalmaz.

Aşağıdaki deneyde TPC-H veri setinden 100 GB'lık lineitem tablosu kullanılmıştır. Tablo int, double ve string gibi çeşitli veri türleri içerir. Aynı veriler ve sıkıştırma yöntemi kullanılarak Hash Clustering uygulanan ve uygulanmayan bir tablonun depolama boyutu karşılaştırılmıştır. Aşağıdaki şekillerde gösterildiği gibi Hash Clustering uygulanan tablo yaklaşık %10 daha az depolama alanı kullanmıştır.

• Hash Clustering olmadan

  
  odps@xxx>desc tpch_lineitem;
  +------------------------------------------------------------------------------------+
  | Owner:                 xxx             | Project:      xxx                       |
  | TableComment:                                                                      |
  +------------------------------------------------------------------------------------+
  | CreateTime:            2016-04-17 21:48:08                                          |
  | LastDDLTime:           2016-04-17 21:48:08                                          |
  | LastModifiedTime:      2016-04-17 21:50:10                                          |
  +------------------------------------------------------------------------------------+
  | InternalTable: YES     | Size: 23573055432                                          |
  +------------------------------------------------------------------------------------+
  | Native Columns:                                                                     |
  +------------------------------------------------------------------------------------+
  | Field             | Type       | Label  | Comment                                  |
  +------------------------------------------------------------------------------------+
  | l_orderkey        | bigint     |        |                                          |
  | l_partkey         | bigint     |        |                                          |
  | l_suppkey         | bigint     |        |                                          |
  | l_linenumber      | bigint     |        |                                          |
  | l_quantity        | double     |        |                                          |
  | l_extendedprice   | double     |        |                                          |
  | l_discount        | double     |        |                                          |
  | l_tax             | double     |        |                                          |
  | l_returnflag      | string     |        |                                          |
  | l_linestatus      | string     |        |                                          |
  | l_shipdate        | string     |        |                                          |
  | l_commitdate      | string     |        |                                          |
  | l_receiptdate     | string     |        |                                          |
  | l_shipinstruct    | string     |        |                                          |
  | l_shipmode        | string     |        |                                          |
  | l_comment         | string     |        |                                          |
  +------------------------------------------------------------------------------------+

• Hash Clustering ile

  
  odps@ xxx      >desc tpch_lineitem_hash_500;
  
  | Owner:          xxx               | Project:    xxx
  | TableComment:
  
  | CreateTime:          2017-07-13 14:40:11
  | LastDDLTime:         2017-07-13 14:40:11
  | LastModifiedTime:    2017-07-13 15:05:04
  
  | InternalTable: YES  | Size: 21658913950
  
  | Native Columns:
  
  | Field            | Type      | Label | Comment
  
  | l_orderkey       | bigint    |       |
  | l_partkey        | bigint    |       |
  | l_suppkey        | bigint    |       |
  | l_linenumber     | bigint    |       |
  | l_quantity       | double    |       |
  | l_extendedprice  | double    |       |
  | l_discount       | double    |       |
  | l_tax            | double    |       |
  | l_returnflag     | string    |       |
  | l_linestatus     | string    |       |
  | l_shipdate       | string    |       |
  | l_commitdate     | string    |       |
  | l_receiptdate    | string    |       |
  | l_shipinstruct   | string    |       |
  | l_shipmode       | string    |       |
  | l_comment        | string    |       |