Columnstore dizini verileri fiziksel olarak birincil anahtar sırasına göre ve güncellenen satırlar için ekleme sırasına göre yazılır; bu da verilerin genellikle sıralı olmadığı anlamına gelir. Kasıtlı bir sıralama yapılmazsa, In-Memory Column Index (IMCI) budayıcısının bir sorguyu karşılamak için gerekenden daha fazla sütun veri bloğu okuması gerekir. Sıralama anahtarları, sütun veri bloklarının fiziksel sıralamasını kontrol etmenizi sağlar; böylece budayıcı ilgisiz blokları atlayabilir ve G/Ç işlemlerini azaltabilir.
Nasıl çalışır?
Columnstore dizini verileri, her biri 64.000 satır içeren satır grupları halinde düzenlenir. Her satır grubu içinde sütunlar, sütun veri bloklarında paketlenir. Her blok, verilerinin minimum ve maksimum değerlerini meta veri olarak (yaklaşık bir dizin) saklar. Bir sorgu çalıştırıldığında, IMCI budayıcısı tüm sütun veri bloklarını sorgu yüklemine ve bu meta verilere dayanarak üç kategoriye ayırır:
İlgili — okunması gerekir
Muhtemelen ilgili — aday olarak okunur
İlgisiz — tamamen atlanır
Sütun veri bloklarının fiziksel sırası, bu budamanın ne kadar etkili olduğunu belirler. SELECT * FROM t WHERE c >= 8 gibi bir sorgu için, sıralanmamış bir blok kümesi tüm blokların yüklenmesini gerektirir. Sıralı bir küme ise, budayıcının maksimum değeri 8'den küçük olan herhangi bir bloğu atlamasına olanak tanır.

Sıralama anahtarlarını ne zaman kullanmalısınız?
Sıralama anahtarları şu durumlarda en etkilidir:
Tablonuz büyükse (yüzlerce gigabayt veya daha fazla).
Sorgular seçiciyse — tam tabloyu taramak yerine satırların küçük bir alt kümesini filtrelerler.
Sorgularınızın büyük bir yüzdesi aynı filtre sütunlarını kullanıyorsa.
Sıralama anahtarları şu durumlarda daha az yararlıdır:
Sorgular, seçici filtreler olmadan tablonun çoğunu tarıyorsa.
Yazma aktarım hızı, okuma performansından daha önemliyse — artımlı sıralama, yazma işlemleri için kaynak serbest bırakmak amacıyla yazma iş yükü yüksek olduğunda yavaşlar.
Oluşturma süresi kısıtlıysa — sıralama, dizin oluşturma süresini önemli ölçüde artırır (bkz. Performans referansı).
Ön koşullar
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
-
Aşağıdaki sürümlerden birinde bulunan bir Enterprise Edition PolarDB for MySQL kümesi:
Yeni bir columnstore dizini oluştururken veri sıralama:
Sürüm Minimum revizyon PolarDB for MySQL 8.0.1 8.0.1.1.32 PolarDB for MySQL 8.0.2 8.0.2.2.12 Artımlı sıralama:
Sürüm Minimum revizyon PolarDB for MySQL 8.0.1 8.0.1.1.39.1 PolarDB for MySQL 8.0.2 8.0.2.2.20.1
Küme sürümünüzü kontrol etmek için bkz. Sürüm numarasını sorgulama.
Sınırlamalar
BLOB, JSON ve GEOMETRY sütunları sıralama anahtarı olarak kullanılamaz.
Artımlı sıralama, işaretli olmayan integer veya Decimal sütunlarının sıralama anahtarı olarak kullanılmasını desteklemez.
Artımlı sıralama, sırayı yalnızca sıralama anahtarının ilk sütununa göre korur. Ek sıralama anahtarı sütunları artımlı olarak korunmaz.
Yazma iş yükü yüksek olduğunda, artımlı sıralama yazma işlemleri için kaynak serbest bırakmak amacıyla yavaşlar.
Sıralama anahtarı sütunlarını seçin
Doğru sütunların seçilmesi, elde edeceğiniz budama faydasının miktarını belirler. Aşağıdaki yönergeleri izleyin:
Aralık veya eşitlik filtrelerinde kullanılan sütunlara öncelik verin. Bunlar, min-max budamadan en çok faydalanır. Tarih aralığı sorguları için (örneğin,
WHERE order_date BETWEEN ... AND ...), tarih sütunu güçlü bir adaydır.Önde gelen anahtar olarak düşük kardinaliteli sütunları tercih edin. Budayıcı, önde gelen sıralama anahtarı sütununun nispeten düşük kardinaliteye sahip olduğu durumlarda blokları en etkili şekilde atlar. Çok yüksek kardinaliteye sahip bir sütun (örneğin, benzersiz bir kullanıcı kimliği), geniş min-max aralıklarına sahip bloklar üretir ve atlama etkinliğini azaltır.
Birleştirme koşul sütunlarını ikincil anahtarlar olarak ekleyin, eğer kalan kapasiteniz varsa.
Sıralama anahtarı sütunlarının sayısını sınırlayın. Ek sütunlar, azalan budama faydasıyla birlikte oluşturma süresini artırır.
Sıralama anahtarlarını yapılandırın
Adım 1: Veri sıralamayı etkinleştirin
imci_enable_pack_order_key parametresini ON olarak ayarlayın.
Bu parametre varsayılan olarak ON durumundadır. Değiştirmediyseniz, yeni oluşturulan columnstore dizinleri için sıralama zaten etkindir.
PolarDB konsolu ile bir veritabanı oturumu arasındaki parametre adlandırma farkları için bkz. Parametreler.
Adım 2: Tabloya sıralama anahtarları ekleyin
Sıralama anahtarı sütunlarını belirtmek için aşağıdaki ifadeyi çalıştırın:
ALTER TABLE table_name COMMENT 'columnar=1 order_key=column_name[,column_name]';
| Parametre | Açıklama |
|---|---|
table_name |
Tablonun adı. |
column_name |
Sıralama anahtarı olarak kullanılacak sütun. Birden fazla sütunu virgülle ayırın. |
Örnek — lineitem tablosunu teslim tarihi ve gönderim moduna göre sıralayın:
ALTER TABLE lineitem COMMENT='columnar=1 order_key=l_receiptdate,l_shipmode';
Adım 3: Oluşturma ilerlemesini izleyin
Oluşturma ilerlemesini takip etmek için INFORMATION_SCHEMA.IMCI_ASYNC_DDL_STATS öğesini sorgulayın:
SELECT * FROM INFORMATION_SCHEMA.IMCI_ASYNC_DDL_STATS;
Sütun açıklamaları için bkz. IMCI'ler için DDL yürütme hızını ve oluşturma ilerlemesini görüntüleme.
Parametreler
Sıralamayı etkinleştirmek veya devre dışı bırakmak ve paralelligi yapılandırmak için kümenizde aşağıdaki parametreleri ayarlayın.
Parametre adları PolarDB konsolu ile bir veritabanı oturumu arasında farklılık gösterir.
PolarDB console:loose_ön ekiyle parametre adlarını kullanın (örneğin,loose_imci_enable_pack_order_key). Konsol, MySQL yapılandırma dosyası uyumluluğu için bu ön eki ekler.
Veritabanı oturumu (SQL istemcisi veya komut satırı):loose_ön ekini kaldırın ve temel parametre adını kullanın (örneğin,imci_enable_pack_order_key).
| Parametre | Açıklama | Varsayılan |
|---|---|---|
loose_imci_enable_pack_order_key | Yeni bir columnstore dizini oluştururken verilerin sıralanıp sıralanmayacağını kontrol eder. Etkinleştirmek için ON, devre dışı bırakmak için OFF olarak ayarlayın. | ON |
loose_imci_enable_pack_order_key_changed_rebuild | Sıralama düzeni değiştiğinde tablonun yeniden oluşturulup oluşturulmayacağını kontrol eder. Yeniden oluşturmayı zorunlu kılmak için ON, atlamak için OFF olarak ayarlayın. | OFF |
loose_imci_parallel_build_threads_per_table | Tek bir tablo için columnstore dizini oluşturmak üzere kullanılan iş parçacığı sayısı. Geçerli değerler: 1–128. | 8 |
Sıralama nasıl uygulanır?
Yeni bir columnstore dizini oluştururken sıralama
Sıralama işlemi, ikincil dizinler için Veri Tanımlama Dili (DDL) sıralama algoritmasını yansıtır. Hem tek iş parçacıklı hem de çok iş parçacıklı modlar desteklenir:
Tek iş parçacıklı: Standart iki yollu birleştirme sıralaması.
Çok iş parçacıklı: Kaybeden ağacı ile k yollu harici birleştirme sıralaması, isteğe bağlı örneklemeli sıralama ile.
İşlem dört geçişte gerçekleşir:
Verileri birincil anahtar sırasına göre gezin, tam satırları veri dosyalarına yazın ve sıralama anahtarı sütunlarını sıralama arabelleğine ekleyin. Her iş parçacığı kendi veri dosyasına yazar.
Sıralama arabelleği dolduğunda, içeriğini sıralama anahtarı kombinasyonuna göre sıralayın ve birleştirme dosyalarına boşaltın.
Birleştirme dosyalarını çiftler halinde birleştirerek sıralayın, sıralanmış çıktıyı geçici dosyalara yazın ve ardından birleştirme dosyalarını geçici dosyalarla değiştirin.
Tüm birleştirme dosyaları sıralanana kadar 3. geçişi tekrarlayın. Ardından, her kaydı birleştirme dosyalarından okuyun, ofseti kullanarak veri dosyalarından tam satırı alın ve bunu columnstore dizinine ekleyin.
Artımlı sıralama
Artımlı sıralama aşamalıdır; zaman içinde veri bloklarının düzenini iyileştirir ancak tam sıralama garantisi vermez. Süreç şöyledir:
Zaman damgası aralıklarında yüksek örtüşmeye sahip grupları seçerek tüm veri bloklarını çiftler halinde gruplayın.
Her çifti birleştirerek sıralayın ve iki yeni sıralı veri bloğu oluşturun.
Tüm veri blokları sıralanana kadar tekrarlayın.
Artımlı sıralama, sırayı yalnızca sıralama anahtarının ilk sütununa göre korur.
Performans referansı
Oluşturma süresi ve sorgu süresi (100 GB TPC-H, lineitem tablosu, 16 iş parçacığı)
Sıralama, oluşturma süresini artırır ancak sorgu süresini önemli ölçüde azaltır.
| Veri Kümesi | Oluşturma Süresi | Sorgu Süresi (TPC-H Q12) |
|---|---|---|
| Sıralanmamış | 6 dakika | 7,47 sn |
| Sıralı | 35 dakika | 1,25 sn |
Test koşulları: LRU önbelleği = 10 GB, yürütücü belleği = 10 GB. TPC-H Q12 sorgusu:
SELECT
l_shipmode,
SUM(CASE
WHEN o_orderpriority = '1-URGENT' OR o_orderpriority = '2-HIGH'
THEN 1
ELSE 0
END) AS high_line_count,
SUM(CASE
WHEN o_orderpriority <> '1-URGENT' AND o_orderpriority <> '2-HIGH'
THEN 1
ELSE 0
END) AS low_line_count
FROM
orders,
lineitem
WHERE
o_orderkey = l_orderkey
AND l_shipmode in ('MAIL', 'SHIP')
AND l_commitdate < l_receiptdate
AND l_shipdate < l_commitdate
AND l_receiptdate >= date '1994-01-01'
AND l_receiptdate < date '1994-01-01' + interval '1' year
GROUP BY
l_shipmode
ORDER BY
l_shipmode;
Bölümleme ile birleştirilmiş sıralama anahtarları (1 TB TPC-H, 32 çekirdek, 256 GB bellek)
Aşağıdaki sonuçlar, sıralanmamış columnstore dizinlerini bölümlere ve sıralama anahtarlarına sahip columnstore dizinleriyle karşılaştırır. Kullanılan tablo tanımları:
CREATE TABLE region ( r_regionkey BIGINT NOT NULL,
r_name CHAR(25) NOT NULL,
r_comment VARCHAR(152)) COMMENT 'COLUMNAR=1';
CREATE TABLE nation ( n_nationkey BIGINT NOT NULL,
n_name CHAR(25) NOT NULL,
n_regionkey BIGINT NOT NULL,
n_comment VARCHAR(152)) COMMENT 'COLUMNAR=1';
CREATE TABLE part ( p_partkey BIGINT NOT NULL,
p_name VARCHAR(55) NOT NULL,
p_mfgr CHAR(25) NOT NULL,
p_brand CHAR(10) NOT NULL,
p_type VARCHAR(25) NOT NULL,
p_size BIGINT NOT NULL,
p_container CHAR(10) NOT NULL,
p_retailprice DECIMAL(15,2) NOT NULL,
p_comment VARCHAR(23) NOT NULL) COMMENT 'COLUMNAR=1';
CREATE TABLE supplier ( s_suppkey BIGINT NOT NULL,
s_name CHAR(25) NOT NULL,
s_address VARCHAR(40) NOT NULL,
s_nationkey BIGINT NOT NULL,
s_phone CHAR(15) NOT NULL,
s_acctbal DECIMAL(15,2) NOT NULL,
s_comment VARCHAR(101) NOT NULL) COMMENT 'COLUMNAR=1';
CREATE TABLE partsupp ( ps_partkey BIGINT NOT NULL,
ps_suppkey BIGINT NOT NULL,
ps_availqty BIGINT NOT NULL,
ps_supplycost DECIMAL(15,2) NOT NULL,
ps_comment VARCHAR(199) NOT NULL) COMMENT 'COLUMNAR=1';
CREATE TABLE customer ( c_custkey BIGINT NOT NULL,
c_name VARCHAR(25) NOT NULL,
c_address VARCHAR(40) NOT NULL,
c_nationkey BIGINT NOT NULL,
c_phone CHAR(15) NOT NULL,
c_acctbal DECIMAL(15,2) NOT NULL,
c_mktsegment CHAR(10) NOT NULL,
c_comment VARCHAR(117) NOT NULL) COMMENT 'COLUMNAR=1';
CREATE TABLE orders ( o_orderkey BIGINT NOT NULL,
o_custkey BIGINT NOT NULL,
o_orderstatus CHAR(1) NOT NULL,
o_totalprice DECIMAL(15,2) NOT NULL,
o_orderdate DATE NOT NULL,
o_orderpriority CHAR(15) NOT NULL,
o_clerk CHAR(15) NOT NULL,
o_shippriority BIGINT NOT NULL,
o_comment VARCHAR(79) NOT NULL) COMMENT 'COLUMNAR=1'
PARTITION BY RANGE (year(`o_orderdate`))
(PARTITION p0 VALUES LESS THAN (1992) ENGINE = InnoDB,
PARTITION p1 VALUES LESS THAN (1993) ENGINE = InnoDB,
PARTITION p2 VALUES LESS THAN (1994) ENGINE = InnoDB,
PARTITION p3 VALUES LESS THAN (1995) ENGINE = InnoDB,
PARTITION p4 VALUES LESS THAN (1996) ENGINE = InnoDB,
PARTITION p5 VALUES LESS THAN (1997) ENGINE = InnoDB,
PARTITION p6 VALUES LESS THAN (1998) ENGINE = InnoDB,
PARTITION p7 VALUES LESS THAN (1999) ENGINE = InnoDB);
CREATE TABLE lineitem ( l_orderkey BIGINT NOT NULL,
l_partkey BIGINT NOT NULL,
l_suppkey BIGINT NOT NULL,
l_linenumber BIGINT NOT NULL,
l_quantity DECIMAL(15,2) NOT NULL,
l_extendedprice DECIMAL(15,2) NOT NULL,
l_discount DECIMAL(15,2) NOT NULL,
l_tax DECIMAL(15,2) NOT NULL,
l_returnflag CHAR(1) NOT NULL,
l_linestatus CHAR(1) NOT NULL,
l_shipdate DATE NOT NULL,
l_commitdate DATE NOT NULL,
l_receiptdate DATE NOT NULL,
l_shipinstruct CHAR(25) NOT NULL,
l_shipmode CHAR(10) NOT NULL,
l_comment VARCHAR(44) NOT NULL) COMMENT 'COLUMNAR=1'
PARTITION BY RANGE (year(`l_shipdate`))
(PARTITION p0 VALUES LESS THAN (1992) ENGINE = InnoDB,
PARTITION p1 VALUES LESS THAN (1993) ENGINE = InnoDB,
PARTITION p2 VALUES LESS THAN (1994) ENGINE = InnoDB,
PARTITION p3 VALUES LESS THAN (1995) ENGINE = InnoDB,
PARTITION p4 VALUES LESS THAN (1996) ENGINE = InnoDB,
PARTITION p5 VALUES LESS THAN (1997) ENGINE = InnoDB,
PARTITION p6 VALUES LESS THAN (1998) ENGINE = InnoDB,
PARTITION p7 VALUES LESS THAN (1999) ENGINE = InnoDB);
Verileri içe aktardıktan sonra, yukarıdaki ALTER TABLE sözdizimini kullanarak sıralama anahtarlarını uygulayın:
ALTER TABLE customer COMMENT='COLUMNAR=1 order_key=c_mktsegment';
ALTER TABLE nation COMMENT='COLUMNAR=1 order_key=n_name';
ALTER TABLE part COMMENT='COLUMNAR=1 order_key=p_brand,p_container,p_type';
ALTER TABLE region COMMENT='COLUMNAR=1 order_key=r_name';
ALTER TABLE orders COMMENT='COLUMNAR=1 order_key=o_orderkey,o_custkey,o_orderdate';
ALTER TABLE lineitem COMMENT='COLUMNAR=1 order_key=l_orderkey,l_linenumber,l_receiptdate,l_shipdate,l_partkey';
Sorgu süresi sonuçları (saniye):
| Sorgu | Sıralanmamış | Bölümler ve sıralama anahtarları ile sıralı |
|---|---|---|
| Q3 | 71.951 | 36.566 |
| Q4 | 46.679 | 32.015 |
| Q6 | 34.652 | 4,4 |
| Q7 | 74.749 | 34.166 |
| Q12 | 86.742 | 28.586 |
| Q14 | 50.248 | 12,56 |
| Q15 | 79,22 | 21.113 |
| Q20 | 51.746 | 10.178 |
| Q21 | 216.942 | 148.459 |
İkincil dizin DDL sıralamasından farkları
Columnstore dizini sıralaması, iki açıdan ikincil dizin DDL sıralamasından farklıdır:
Sıralama anahtarı esnekliği: İkincil dizin DDL, dizin sütunlarını sıralama anahtarı olarak kullanır. Columnstore dizini sıralaması, dizin tanımından bağımsız olarak herhangi bir sütun kombinasyonunu sıralama anahtarı olarak belirtmenize olanak tanır.
Veri kapsamı: Columnstore dizini sıralamasından sonra, tam satır verileri okunmalıdır. İkincil dizin DDL yalnızca dizin bölümünü saklar (örneğin, yalnızca bir VARCHAR sütununun ön eki).