MaxCompute:Aralık kümeleme

Hash kümelemeli tabloların aşağıdaki avantajları vardır:

• Belirli bir sütun değerine göre veri sorgulamak istediğinizde, hash algoritmasını kullanarak doğrudan ilgili hash paketini bulabilirsiniz. Bu işleme paket budama adı verilir. Paketteki veriler sıralı şekilde depolanıyorsa veriyi daha da hassas konumlandırmak için dizinlerden yararlanabilirsiniz. Böylece taranan veri miktarı azalır ve sorgu verimliliği artar.

• İki tabloyu her tablodaki belirli bir sütuna göre birleştirirseniz ve bu sütunlardan biri hash’lenmişse shuffle adımı kaldırılabilir. Bu sayede hesaplama kaynaklarından tasarruf sağlanır.

Hash kümeleme özelliği hakkında daha fazla bilgi için bkz. Hash kümeleme.

Hash kümelemenin aşağıdaki sınırlamaları bulunur:

• Paketleri oluşturmak için hash algoritması kullandığınızda veri eğikliği sorunları ortaya çıkabilir. Birleştirme eğikliğine benzer şekilde, veri eğikliği de hash algoritmasının doğal bir sonucudur. Girdi verileri paketler arasında eşit dağılmadığında eğiklik oluşur ve paketlerdeki veri miktarları büyük farklılıklar gösterir. Hash kümelemede her paket genellikle eşzamanlı işleme birimi olarak ele alınır. Paket boyutları arasındaki dengesizlik uzun kuyruk gecikmelerine yol açabilir.

• Paket budama yalnızca eşitlik sorgularını destekler. Bir sütunun değerlerinin 0’dan büyük olması gibi eşitsizlik koşullarına dayalı sorgularda, aranan verinin hangi pakette bulunduğu belirlenemez. Bu durumda tüm paketlerin taranması gerekir.

• Birden fazla kümeleme anahtarı içeren sorgularda performans iyileştirmesi yalnızca tüm kümeleme anahtarlarının kullanıldığı ve tüm sorgu koşullarının eşitlik koşulu olduğu durumlarda mümkündür.

  Örneğin, aşağıdaki ifadeyle oluşturulan tablodan veri sorgulamak istediğinizde performans ancak C1=x AND C2=y koşulu kullanıldığında artar. C1=x veya C2=y gibi tekil koşullar hash kümelemeye dayalı hızlandırma sağlamaz. Bunun nedeni, anahtarların hash değerlerinin sorgu sırasında çiftler halinde birleştirilmesidir. Anahtar hash değerleri birlikte değerlendirilmezse aranan verinin bulunduğu paket tespit edilemez ve paket budama uygulanamaz.

  CREATE TABLE T2 (C1 int, C2 int, C3 string)
     CLUSTERED BY (C1, C2)
        SORTED by (C1, C2)
         INTO 1024 BUCKETS;

Aralık kümeleme, verileri kümeleme anahtarlarının tam sıralamasına göre birden çok ayrık aralığa böler. Her bir aralık bir paket olarak kabul edilir ve aşağıdaki iki koşulu da karşılaması gerekir:

• Yinelenen değerler aynı pakette depolanır.

• Her paketteki değer sayısı yaklaşık olarak eşittir.

Aşağıdaki örnek ifade, T adlı bir tablo oluşturur.

CREATE TABLE T (C1 int) 
    RANGE CLUSTERED BY (C1) 
    SORTED BY (c1) 
    INTO 3 BUCKETS;

C1 sütunundaki değerler şunlardır: { 1, 8, -3, 2, 4, 1, 1, 3, 8, 20, -8, 9 }.

Aralık kümeleme etkinleştirildikten sonra aşağıdaki paketler elde edilir.

• Paket 0 : { -8, -3, 1, 1, 1 }

• Paket 1 : { 2, 3, 4 }

• Paket 2 : { 8, 8, 9, 20 }

Aralık kümeleme işlemi MaxCompute tarafından otomatik olarak uygulanır. Her bir aralığı manuel olarak belirtmeniz gerekmez. Büyük veri senaryolarında aralıkların manuel yapılandırılması verimli veya uygulanabilir değildir. MaxCompute verileri otomatik olarak sıralar ve örnekleme yapar, her aralığın veri dağılımına göre bir histogram oluşturur ve ardından her aralığın histogramını birleştirip hesaplar. Bu sayede MaxCompute aralık kümelemenin en iyi performansını sağlar.

Bir tablo oluştururken hem RANGE CLUSTERED BY hem de SORTED BY ifadelerini belirterek verilerin genel olarak sıralanmasını sağlayabilirsiniz. Ardından MaxCompute, genel dizin ve dosya dizini olmak üzere iki düzeyde dizinler otomatik olarak oluşturur. Aşağıdaki şekilde gösterildiği gibi bu dizinler, anahtar değerlerin hızlı bir şekilde konumlandırılmasına ve aranmasına olanak tanır.

Aralık kümelemenin, karma kümelemeye göre aşağıdaki avantajları vardır:

• Aralık sorgularını destekler.

  Örneğin, sorgu koşulu c < 3 ise sistem, genel dizini kullanarak Paket 2 ve Paket 3'ü dışlayabilir ve ardından Paket 0 ile Paket 1'den veri sorgulayabilir. Karma kümelemede paket budaması yalnızca eşitlik sorguları için gerçekleştirilebilir.

• Çoklu anahtar sorgularını destekler.

  Örneğin, bir tablo oluştururken RANGE CLUSTERED BY (c1, c2, c3) SORTED BY (c1, c2, c3) belirtirseniz aralık kümeleme ve veri depolama c1, c2 ve c3 sırasına göre uygulanır. Bu sayede tablo verilerini c1 = 100 AND c2 > 0 veya c1 = 100 AND c2 = 50 AND c3 < 5 gibi karmaşık koşullara göre sorgulayabilirsiniz. Bu tür bir sorgu, karma kümeleme temelinde uygulanamaz.

  Önemli

  Çoklu anahtarlara dayalı bir sorguda, sorgu koşulundaki anahtarlar sıralı olmalı ve yalnızca son anahtar bir değer aralığı belirtmek için kullanılmalıdır.

• Aralık kümeleme, genel sıralamanın verimli bir şekilde uygulanmasını sağlar.

  Aralık kümeleme kullanılmadan önce MaxCompute, verileri genel olarak sıralamak için yalnızca bir örnek kullanabilir; bu da düşük verimlilikle sonuçlanır. Aralık kümeleme kullanıldıktan sonra her aralıktaki veri eş zamanlı olarak sıralanıp birleştirilebilir ve bu da verimliliği önemli ölçüde artırır.

Bir aralık kümelenmiş tablo oluşturmak için CREATE TABLE ifadesini kullanabilirsiniz. Bu ifade içinde RANGE CLUSTERED BY parametresini belirtmeniz gerekir. INTO number_of_buckets BUCKETS ve SORTED BY parametreleri ise isteğe bağlıdır. Genellikle, SORTED BY ve RANGE CLUSTERED BY için aynı değerleri belirtmenizi öneririz. Bu yaklaşım, en iyi optimizasyon etkisini elde etmenize olanak tanır.

• Sözdizimi

  CREATE TABLE [IF NOT EXISTS] <table_name>
               [(<col_name> data_type [comment <col_comment>], ...)]
               [comment table_comment]
               [PARTITIONED BY (<col_name> data_type [comment <col_comment>], ...)]
               [RANGE CLUSTERED BY (<col_name> [, <col_name>, ...])
               [SORTED BY (<col_name> [ASC | DESC]
               [, <col_name> [ASC | DESC] ...])]
               [INTO <number_of_buckets> BUCKETS]]
               [AS select_statement]

• Örnekler

  • Bölümlenmemiş tablo

    CREATE TABLE T1 (a string, b string, c int)
                 RANGE CLUSTERED BY (c)
                 SORTED by (c)
                 INTO 1024 BUCKETS;

  • Bölümlenmiş tablo

    CREATE TABLE T1 (a string, b string, c int)
                 PARTITIONED BY (dt int)
                 RANGE CLUSTERED BY (c)
                 SORTED by (c)
                 INTO 1024 BUCKETS;

• Parametreler

  • RANGE CLUSTERED BY

    Aralık kümeleme için anahtarları belirtir. Bu parametreyi belirttiğinizde MaxCompute, belirlediğiniz paket sayısına göre verilerin bir veya daha fazla sütununu uygun aralıklara sıralar ve örnekler. Veri eğriliği sorunlarını ve sıcak noktaları önlemek ile eşzamanlı sorguların performansını artırmak için RANGE CLUSTERED BY içinde geniş değer aralığına sahip ve yinelenen anahtar değeri az olan sütunları belirtmenizi öneririz. Sorgu performansını optimize etmek amacıyla, sık kullanılan toplama anahtarlarını veya filtre anahtarlarını bu parametrede tanımlamanız faydalı olacaktır.

  • SORTED BY

    Bir paket içindeki alanların nasıl sıralanacağını belirtir. En iyi sorgu performansına ulaşmak için SORTED BY ve RANGE CLUSTERED BY parametrelerinde aynı değerleri kullanmanızı öneririz. SORTED BY belirtildiğinde MaxCompute otomatik olarak genel bir dizin ve dosya dizinleri oluşturur; sorguları hızlandırmak üzere bu dizinlerden yararlanır.

  • INTO number_of_buckets BUCKETS

    Hash kümelemenin aksine, INTO number_of_buckets BUCKETS aralık kümeleme için isteğe bağlıdır. Bu parametreyi belirtmezseniz MaxCompute, veri miktarına göre paket sayısını otomatik olarak belirler. Çoğu durumda, paket sayısını gerçek durumunuza göre ayarlamanızı öneririz.

    Hash kümelemeye benzer şekilde, aralık kümelemede de paket boyutuna (512 MB ila 1 GB) göre paket sayısını ayarlamanızı öneririz. Aşırı büyük tablolar için çok sayıda pakete ihtiyaç duyulabilir; ancak bir tablodaki paket sayısının 4.000'i aşmaması tavsiye edilir.

Bölümlendirilmiş tablolar için, aralık kümeleme özelliklerini eklemek veya kaldırmak amacıyla ALTER TABLE ifadesini çalıştırabilirsiniz.

• Sözdizimi

  -- Change a table to a range-clustered table.
  ALTER TABLE <table_name> [RANGE CLUSTERED BY (<col_name> [, <col_name>, ...])
                           [SORTED BY (<col_name> [ASC | DESC] [, <col_name> [ASC | DESC] ...])]
                           [INTO <number_of_buckets> BUCKETS];
  -- Change a range-clustered table to a non-range-clustered table.
  ALTER TABLE <table_name> NOT CLUSTERED;

• Kullanım notları

  • ALTER TABLE ifadesi yalnızca bölümlendirilmiş bir tablonun kümeleme özelliklerini değiştirebilir. Bölümlendirilmemiş bir tabloya kümeleme özellikleri eklendikten sonra bu özellikler değiştirilemez.

  • ALTER TABLE ifadesi yalnızca tablonun yeni bölümleri için geçerlidir; bunlar INSERT OVERWRITE ifadesi kullanılarak oluşturulan yeni bölümleri de kapsar. Yeni bölümler kümeleme özelliklerine göre depolanır. Mevcut bölümlerin depolama biçimleri değişmez.

  • ALTER TABLE ifadesi yalnızca tablonun yeni bölümleri için geçerli olduğundan, bu ifade içinde bölüm belirtemezsiniz.

ALTER TABLE ifadesi mevcut tablolar için uygundur. Aralık kümeleme özellikleri eklendikten sonra yeni bölümler bu özelliklere göre depolanır.

Aralık kümeleme özelliğine sahip bir tablo oluşturduktan sonra, tablo özelliklerini görüntülemek için aşağıdaki ifadeyi çalıştırabilirsiniz. Aralık kümeleme özellikleri, döndürülen sonucun Extended Info bölümünde gösterilir.

DESC EXTENDED <table_name>;

Örnek çıktı:

Owner: ALIYUNxxx                | Project: xxx
  TableComment:

+----------------------------+
| CreateTime:               2018-01-15 16:05:30  |
| LastDDLTime:              2018-01-15 16:05:30  |
| LastModifiedTime:         2018-01-15 16:05:30  |
+----------------------------+
| InternalTable: YES   | Size: 0               |
+----------------------------+
| Native Columns:                                |
+----------------------------+
| Field            | Type     | Label | Comment  |
+----------------------------+
| l_orderkey       | bigint   |       |          |
| l_partkey        | bigint   |       |          |
| l_suppkey        | bigint   |       |          |
| l_linenumber     | bigint   |       |          |
| l_quantity       | double   |       |          |
| l_extendedprice  | double   |       |          |
| l_discount       | double   |       |          |
| l_tax            | double   |       |          |
| l_returnflag     | string   |       |          |
| l_linestatus     | string   |       |          |
| l_shipdate       | string   |       |          |
| l_commitdate     | string   |       |          |
| l_receiptdate    | string   |       |          |
| l_shipinstruct   | string   |       |          |
| l_shipmode       | string   |       |          |
| l_comment        | string   |       |          |
+----------------------------+
| Extended Info:                                 |
+----------------------------+
| TableID:                   xxx                 |
| IsArchived:                false               |
| PhysicalSize:              0                   |
| FileNum:                   0                   |
| ClusterType:               range               |
| BucketNum:                 1024                |
| ClusterColumns:            [l_orderkey]        |
| SortColumns:               [l_orderkey ASC]    |
+----------------------------+

Extended Info bölümünde ClusterType değeri range, BucketNum değeri 1024, ClusterColumns değeri [l_orderkey] ve SortColumns değeri [l_orderkey ASC] olarak görünür. Bu durum, tablonun Aralık Kümeleme özellikleriyle başarıyla yapılandırıldığını doğrular.

Bölümlendirilmiş bir tablo için, belirli bir bölümün kümeleme özelliklerini görüntülemek üzere aşağıdaki ifadeyi de çalıştırabilirsiniz.

DESC EXTENDED <table_name> partition(<pt_spec>);

Çıktıda yer alan ClusterType, BucketNum, ClusterColumns ve SortColumns olmak üzere dört nitelik, ilgili bölümün Aralık Kümeleme yapılandırmasını belirtir.

odps@ tpch_100g>desc extended xndai_test_range partition(pt="20180115");

| PartitionSize: 0

| CreateTime:               2018-01-15 16:31:10
| LastDDLTime:              2018-01-15 16:31:10
| LastModifiedTime:         2018-01-15 16:31:10

| IsExstore:          false
| IsArchived:         false
| PhysicalSize:       0
| FileNum:            0
| ClusterType:        range
| BucketNum:          1024
| ClusterColumns:     [c1]
| SortColumns:        [c1 ASC]

Örneğin, basit bir sorgu koşulu olan id < 3 için sistem, koşulu iyileştiriciden ayıklar ve bu koşulu (-∞, 3) değer aralığına dönüştürür. Bu durumda, sistem önceden belirtilen değer aralığında olmayan verileri içeren Hem Paket 2 hem de Paket 3'ü dışlamak için paket budama amacıyla genel dizini kullanabilir. Ardından, sistem Paket 0 ve Paket 1'deki her dosyanın dizinini kullanarak verilere hızla ulaşabilir. Aşağıdaki şekilde gösterilen bu sürece yüklem aşağı itme adı verilir. Aşağıdaki örnek ifade, veri kümesinde aralık kümelemesi gerçekleştirildikten sonra 100 GB'lık bir veri kümesinden veri sorgulamak için kullanılan bir TPC-H Sorgu 6 ifadesidir. Bir TPC-H Sorgu 6 ifadesinde, aralık filtrelemeye dayalı bir toplama işlemi gerçekleştirilir. Aralık kümelemesi, iki düzeydeki dizinleri kullanarak verilere hızla ulaşabilir. Bu sayede, sorgu yürütme süresi ve tüketilen CPU ve bellek kaynakları önemli ölçüde azalır.

select sum(l_extendedprice * l_discount) as revenue
  from tpch_lineitem l
 where l_shipdate >= '1994-01-01'
   and l_shipdate < '1995-01-01'
   and l_discount >= 0.05
   and l_discount <= 0.07
   and l_quantity < 24;

Bu örnekte, mf_tab tablosunu aralığa dayalı kümelenmiş (range-clustered) bir tabloya dönüştürmek için aşağıdaki ifade kullanılır. Bu yaklaşım, çoklu anahtar sorgularını daha iyi anlamanıza yardımcı olur.

ALTER TABLE mf_project.mf_tab 
            RANGE CLUSTERED BY (project_name, name)
            SORTED BY (project_name, name)
            INTO 1024 BUCKETS;

Tablo aralığa dayalı kümelenmiş bir tabloya dönüştürüldükten sonra proje düzeyinde toplu sorgular gerçekleştirebilirsiniz. Örnek ifade:

SELECT COUNT(*)
  from mf_project.mf_tab
 WHERE project_name="xxxdw"
   AND ds="20180115"
   AND type="TABLE";

Bir tabloyu kesin olarak konumlandırmak için birden fazla anahtar da kullanabilirsiniz. Örnek ifade:

SELECT count(*)
  from mf_project.mf_tab
 WHERE project_name="xxxdw"
   AND name="adm_ctu_cle_kba_midun_trade_dd"
   AND type="TABLE";

Aralık sorguları için de birden fazla anahtar kullanmanız mümkündür. Aşağıdaki ifade, adları adm ile başlayan tabloları sorgular.

SELECT count(*)
  from mf_project.mf_tab
 WHERE project_name="xxxdw"
   AND name>="adm"
   AND name < "adn"
   AND type="TABLE";

Yukarıdaki tüm sorgular, aralığa dayalı kümelemenin genel sıralama özelliğinden tam yararlanabilir ve yüklem itme (predicate pushdown) gerçekleştirerek tablo taraması için gereken G/Ç işlemlerini azaltır. Böylece veri filtreleme ve hesaplama sırasında tüketilen CPU ve bellek kaynaklarından tasarruf edilir.

Örneğin, T adlı bir tablodaki k1, k2 sütunları küme anahtarlarıdır.

• Sorgu koşulu k1 < 5 ise dizin tabanlı sorgu hızlandırması sağlanabilir.

• Sorgu koşulu k1 = 10 AND k2 = 20 ise dizin tabanlı sorgu hızlandırması sağlanabilir.

• Sorgu koşulu k1 = 10 AND k2 < 0 ise dizin tabanlı sorgu hızlandırması sağlanabilir.

• Sorgu koşulu k2 < 0 ise dizin tabanlı sorgu hızlandırması sağlanamaz. Bunun nedeni, sorgu koşulunda k1 değerinin belirtilmemiş olmasıdır.

• Sorgu koşulu k1 < 0 AND k2 > 0 ise k1 < 0 koşulunu sağlayan veriler için dizin tabanlı hızlandırma kullanılabilir; k2 > 0 koşulunu sağlayan veriler için ise tablo taraması gerekir.

Örneğin, aşağıdaki CREATE TABLE ifadesi kullanılarak T adlı bir tablo oluşturulur. Bu tablodan veri sorgularken, GROUP BY işlemini tablo verileri üzerinde bir map aşamasında gerçekleştirebilirsiniz.

CREATE TABLE T (department int, team string, employee string)
       RANGE CLUSTERED BY (department, team)
       SORTED BY (c1, c2)
       INTO 1024 BUCKETS;

SELECT COUNT(*) from T GROUP BY department, team;

Aşağıdaki ifade, foo tablosunun veri yapısını göstermektedir.

create table foo(a bigint, b bigint, c bigint)
       range clustered by (a,b)
       sorted by(a,b) into 3 buckets;

foo tablosunun paketlerinde depolanan veriler aşağıdaki aralıklara düşer:

Bucket 0: [1,1 : 3,3]
Bucket 1: [5,5 : 7,7]
Bucket 2: [8,8 : 9,9]

Önceki paket aralıkları Bucket N: [lower bound values : upper bound values] biçiminde belirtilir. Veriler a sütununa göre toplandığında bunun yerine aşağıdaki paket aralıkları kullanılır:

Bucket 0: [1 : 3]
Bucket 1: [5 : 7]
Bucket 2: [8 : 9]

a ve b sütunlarına göre toplama işlemleri için doğrudan bir yürütme planı oluşturabilir, her paketteki verileri toplamak üzere üç örnek başlatabilir ve ardından çıkış sonucunu döndürebilirsiniz.

Ancak, a sütununun değerleri birden fazla pakete dağıldığında geçersiz bir sonuç döndürülür. Örnek:

Bucket 0: [1,1 : 3,3]
Bucket 1: [3,5 : 7,7]
Bucket 2: [7,8 : 9,9]

a sütunu, iki ayrı pakette saklanan 3 ve 7 olmak üzere iki değere sahiptir. Geçerli bir sonuç elde etmek için a sütununda aynı değere sahip demetleri aynı örneğe yerleştirmeniz ve bunları toplamanız gerekir. Bu şekilde, aşağıdaki şekilde gösterildiği gibi paketler yeniden oluşturulur. Kırmızı kesikli çizgiler arasındaki boşluk, her örneğin okuyabileceği veri aralığını belirtir. Aralık kümelemesi için histogramlar gereklidir. Kümeleme anahtarları ve sıralama anahtarları aynı olan bir aralık kümeleme tablosunda, aralık kümeleme tablosuna veri eklediğinizde her paket için karşılık gelen çalışan, kümeleme anahtarlarının değerlerini elde etmek üzere her 10.000 satırda bir bir demet örnekleme işlemi gerçekleştirir. Elde edilen değerler bir histogramda kaydedilir. Her paketin histogramı küme meta veri dosyalarında depolanır. Bu tür histogram eş derinlikli histogram olarak adlandırılır.

Her paketin histogramı elde edildikten sonra, aşağıdaki kurallara göre her çalışan için paketleri yeniden oluşturabilirsiniz:

• Aynı gruplama anahtarına sahip demetler aynı pakette depolanır.

• Veriler paketlere eşit şekilde dağıtılır.

Her yeni paketin alt sınır değerlerine dayanarak, her çalışan geçerli bir aralıktaki verileri okuyabilir ve geçerli bir sonuç döndürebilir.

Aşağıdaki içerik, performans iyileştirmelerini test etmek amacıyla TPC-H veri kümesinde 1 TB veriden oluşan partsupp tablosunu kullanır. partsupp tablosunu aralığa göre kümelenmiş bir tabloya dönüştürmek için aşağıdaki deyimi çalıştırın:

CREATE TABLE partsupp ( PS_PARTKEY BIGINT NOT NULL,
                        PS_SUPPKEY BIGINT NOT NULL,
                        PS_AVAILQTY BIGINT NOT NULL,
                        PS_SUPPLYCOST  DECIMAL(15,2)  NOT NULL,
                        PS_COMMENT     VARCHAR(199) NOT NULL)
             RANGE CLUSTERED BY(PS_PARTKEY, PS_SUPPKEY)
             SORTED BY(PS_PARTKEY, PS_SUPPKEY) INTO 128 BUCKETS;

Testi gerçekleştirmek için aşağıdaki sorgu deyimini çalıştırın:

SELECT ps_partkey, count(*) c FROM partsupp GROUP BY ps_partkey;

• Optimizasyonu devre dışı bırakmak için aşağıdaki komutu çalıştırın:

   set odps.optimizer.enable.range.partial.repartitioning=false;

  Aşağıda, optimizasyon devre dışı bırakıldığında iş çalıştırma günlüğü gösterilmektedir.

  
  resource cost: cpu 9.17 Core * Min, memory 15.15 GB * Min
  inputs:
      yuan_tpch_range_1t.partsupp: 800000000 (3376541880 bytes)
  outputs:
  Job run time: 14.000
  Job run mode: fuxi job
  Job run engine: execution engine
  M1:
      instance count: 128
      run time: 7.000
      instance time:
          min: 2.000, max: 4.000, avg: 2.000
      input records:
          TableScan1: 800000000 (min: 5496040, max: 6780663, avg: 6251772)
      output records:
          StreamLineWrite1: 200001977 (min: 1374023, max: 1695182, avg: 1562958)
      writer dumps:
          StreamLineWrite1: (min: 0, max: 0, avg: 0)
  R2_1:
      instance count: 43
      run time: 14.000
      instance time:
          min: 3.000, max: 4.000, avg: 3.000
      input records:
          StreamLineRead1: 200001977 (min: 4647288, max: 4654888, avg: 4651214)
      output records:
          AdhocSink1: 200000000 (min: 4647242, max: 4654834, avg: 4651168)
      reader dumps:
          StreamLineRead1: (min: 0, max: 0, avg: 0)

• Optimizasyonu etkinleştirmek için aşağıdaki komutu çalıştırın:

  set odps.optimizer.enable.range.partial.repartitioning=true;

  Örnek çıktı:

  
  resource cost: cpu 4.38 Core * Min, memory 4.38 GB * Min
  inputs:
      yuan_tpch_range_1t.partsupp: 800000000 (18493328320 bytes)
  outputs:
  Job run time: 6.000
  Job run mode: fuxi job
  Job run engine: execution engine
  M1:
      instance count: 128
      run time: 6.000
      instance time:
          min: 1.000, max: 3.000, avg: 2.000
      input records:
          TableScan1: 800000000 (min: 5625876, max: 6259956, avg: 6254874)
      output records:
          AdhocSink1: 200000000 (min: 1406469, max: 1564989, avg: 1563718)

Test sonucu, optimizasyon etkinleştirildikten sonra sorgu hızının %57 arttığını, CPU kullanımının %52 azaldığını ve bellek kullanımının %71 düştüğünü göstermektedir. Performans iyileştirmeleri, veri miktarına ve sorgu türlerine bağlı olarak değişiklik gösterebilir.

Varsayılan olarak, aralık kümeleme tabloları için genel sıralama hızlandırma özelliği devre dışı bırakılır. Genel sıralama hızlandırmayı etkinleştirmek için aşağıdaki komutu çalıştırın:

set odps.optimizer.distribute.ordering.enable=true;

Karma kümelemeye kıyasla aralık kümelemenin aşağıdaki sınırlamaları bulunur:

• Aralık kümelemenin veri oluşturma maliyetleri, karma kümelemeye göre daha yüksektir. Karma kümeleme yalnızca verilerin hash'lenmesi ve sıralanması gibi basit bir işlemdir. Buna karşın aralık kümeleme için veri örnekleme, sıralama ve histogram birleştirme adımları gerekir. Çalıştırma süreleri, CPU kullanımı ve bellek tüketimi dahil olmak üzere toplam kaynak tüketimi, karma kümelemeye kıyasla daha fazladır. Bu nedenle, sorunları çözmek için karma kümeleme yeterliyse aralık kümeleme kullanmanıza gerek yoktur.

• DYNAMIC PARTITION veya INSERT INTO işlemlerinde aralık kümeleme desteklenmez.

• Aralık kümeleme yalnızca inner join, left outer join, right outer join ve semi join işlemleri için desteklenir. Anti-join veya full outer join işlemlerinde aralık kümeleme desteklenmez.

• Aralık kümeleme tablolarında RANGE CLUSTERED BY ifadesinde belirtilen anahtarlar, SORTED BY ifadesinde belirtilen anahtarlarla aynı olmalıdır. Örneğin, foo adlı bir tablo oluştururken range clustered by (a,b) sorted by (a,b) belirtirseniz bu konudaki optimizasyonlardan yararlanabilirsiniz. Ancak bar adlı bir tablo için range clustered by(a,b) sorted by (b,a) belirtirseniz bu konudaki optimizasyonlardan yararlanamazsınız.

• JOIN veya GROUP BY işlemlerinde belirtilen anahtarlar, RANGE CLUSTERED BY ifadesinde belirtilen anahtarların ön eki veya tamamı olmalıdır. Örneğin, bir tablo oluşturma deyimi içinde range clustered by(a,b,c) sorted by(a,b,c) belirtildiğini varsayalım. Bu konudaki optimizasyonlardan yalnızca JOIN veya GROUP BY anahtarı olarak a, a,b veya a,b,c belirtildiğinde yararlanabilirsiniz. Anahtar olarak b veya a,c belirtildiğinde ise bu optimizasyonlardan yararlanamazsınız.

• Bölümlendirilmiş bir aralık kümeleme tablosundan iki veya daha fazla bölüm okumak isterseniz bu konudaki optimizasyonlardan yararlanamazsınız. Bu optimizasyonlar yalnızca tek bölümlü bölümlendirilmiş tablolar ve bölümlendirilmemiş tablolar için geçerlidir.