Bu konu, PolarDB for MySQL için Bellek İçi Kolonlu Dizin (IMCI) özelliğiyle ilgili sık sorulan soruları yanıtlar.
PolarDB for MySQL IMCI özelliğini nasıl kullanırsınız?
Sorgularınızı hızlandırmak için IMCI'yi kullanmak üzere aşağıdaki adımları uygulayın:
PolarDB for MySQL kümenize bir PolarDB for MySQL düğümü ekleyin. Düğümü eklerken IMCI özelliğini etkinleştirdiğinizden emin olun. Talimatlar için bkz. Salt okunur IMCI düğümü ekleme.
Daha hızlı sorgu performansı gerektiren tablolar üzerinde bir IMCI oluşturun.
CREATE TABLEveyaALTER TABLEifadesini kullanarak tablonunCOMMENTalanınaCOLUMNAR=1ekleyin. IMCI hazır olduğunda iyileştirici, sorgu maliyetine göre bu dizini kullanıp kullanmamaya otomatik olarak karar verir. Söz dizimi ayrıntıları için bkz. Tablo oluştururken IMCI oluşturma.SQL sorgularınızı salt okunur IMCI düğümüne yönlendirin. İyileştirici, sorgu maliyeti belirli bir eşiği aşan sorgular için IMCI'yi otomatik olarak kullanır. Otomatik ve manuel sorgu yönlendirme hakkında daha fazla bilgi için bkz. Satır deposu ile IMCI düğümleri arasında trafiği bölmek için küme uç noktalarını yapılandırma.
Bir IMCI'nin durumunu nasıl kontrol edersiniz?
Mevcut bir tabloya ALTER TABLE ifadesiyle bir IMCI ekledikten sonra, dizin salt okunur IMCI düğümünde eşzamansız olarak oluşturulur. Durumu kontrol etmek için veritabanınıza istek dağıtımı için etkinleştirilmiş bir küme uç noktası üzerinden bağlanın veya doğrudan salt okunur IMCI düğümüne bağlanın. Ardından INFORMATION_SCHEMA.IMCI_INDEXES tablosunu sorgulayabilirsiniz. Bir IMCI yalnızca durumu COMMITTED olduğunda sorgular için kullanılabilir hale gelir. Bir IMCI'nin oluşturma ilerlemesini izlemek için INFORMATION_SCHEMA.IMCI_ASYNC_DDL_STATS tablosunu sorgulayabilirsiniz. Daha fazla bilgi için bkz. Dizin durumunu görüntüleme.
Veritabanınıza Veri Yönetim Hizmeti (DMS) kullanarak giriş yaptığınızda varsayılan olarak birincil uç noktaya bağlanırsınız. Bir küme uç noktasına veya doğrudan salt okunur bir IMCI düğümüne bağlanmak için şu talimatları izleyin:
-
Bir küme uç noktasına bağlanın.
Veri Yönetim Hizmeti (DMS) 5.0 konsolunda oturum açın. Örnek Ekle sayfasında Giriş yöntemi öğesini Bağlantı dizesi olarak ayarlayın ve küme uç noktasını girin. Daha fazla bilgi için bkz. Cloud veritabanı örneği ekleme.
-
Doğrudan salt okunur bir IMCI düğümüne bağlanın.
Öncelikle hedef salt okunur IMCI düğümü için özel bir küme uç noktası oluşturun; uç noktanın yalnızca bu düğümü içerdiğinden emin olun. Ardından Veri Yönetim Hizmeti (DMS) 5.0 konsolunda oturum açın. Örnek Ekle sayfasında Giriş yöntemi öğesini Bağlantı dizesi olarak ayarlayın ve salt okunur IMCI düğümünün özel küme uç noktasını girin. Daha fazla bilgi için bkz. Cloud veritabanı örneği ekleme.
IMCI kullanımını doğrulama ve yürütme planını görüntüleme
Bir sorgunun yürütme planını görüntülemek için EXPLAIN ifadesini kullanın. Çıktıda yer alan bir IMCI Execution Plan bilgisi, IMCI'nin sorguyu hızlandırdığını gösterir. Aşağıda bir örnek verilmiştir:
*************************** 1. row ***************************
IMCI Execution Plan (max_dop = 8, max_query_mem = 3435134976):
Project | Exprs: temp_table3.lineitem.L_ORDERKEY, temp_table3.SUM(lineitem.L_EXTENDEDPRICE * 1.00 - lineitem.L_DISCOUNT), temp_table3.orders.O_ORDERDATE, temp_table3.orders.O_SHIPPRIORITY
Sort | Exprs: temp_table3.SUM(lineitem.L_EXTENDEDPRICE * 1.00 - lineitem.L_DISCOUNT) DESC,temp_table3.orders.O_ORDERDATE ASC
HashGroupby | OutputTable(3): temp_table3 | Grouping: lineitem.L_ORDERKEY orders.O_ORDERDATE orders.O_SHIPPRIORITY | Output Grouping: lineitem.L_ORDERKEY, orders.O_ORDERDATE, orders.O_SHIPPRIORITY | Aggrs: SUM(lineitem.L_EXTENDEDPRICE * 1.00 - lineitem.L_DISCOUNT)
HashJoin | HashMode: DYNAMIC | JoinMode: INNER | JoinPred: orders.O_ORDERKEY = lineitem.L_ORDERKEY
HashJoin | HashMode: DYNAMIC | JoinMode: INNER | JoinPred: orders.O_CUSTKEY = customer.C_CUSTKEY
CTableScan | InputTable(0): orders | Pred: (orders.O_ORDERDATE < 03/24/1995 00:00:00.000000)
CTableScan | InputTable(1): customer | Pred: (customer.C_MKTSEGMENT = "BUILDING")
CTableScan | InputTable(2): lineitem | Pred: (lineitem.L_SHIPDATE > 03/24/1995 00:00:00.000000)
1 row in set (0.04 sec)
Bir IMCI kullanan sorgunun yürütme planı, her seviyenin bir işleci temsil ettiği ağaç benzeri bir yapıdır. Genellikle her işleç, SQL sorgusundaki bir işleme karşılık gelir. Örneğin, CTableScan işleci bir tabloyu tarar, HashJoin işleci bir JOIN yan tümcesine karşılık gelir ve HashGroupby işleci bir GROUP BY yan tümcesine karşılık gelir. Bununla birlikte, Sequence gibi bazı işleçler sorgu iyileştirme süreci sırasında oluşturulur ve orijinal sorgudaki bir işleme doğrudan eşlenmez.
IMCI kullanmayan sorguları giderme
Bir IMCI, birkaç koşul karşılandığında yalnızca bir sorguyu hızlandırır: Sorgulanan tablolar üzerinde bir IMCI bulunmalıdır, sorgunun tahmini maliyeti belirli bir eşiği aşmalıdır ve sorgu salt okunur IMCI düğümüne yönlendirilmelidir. Bir sorgu IMCI kullanmıyorsa aşağıdaki sorun giderme adımlarını uygulayın:
-
Sorgunun salt okunur IMCI düğümüne yönlendirildiğini doğrulayın.
Sorgunun salt okunur IMCI düğümüne yönlendirildiğini doğrulamak için SQL Explorer and Audit özelliğini kullanın.
Otomatik trafik bölme özelliği etkinleştirilmiş bir küme uç noktası kullanıyorsanız PolarProxy, tahmini maliyeti
imci_ap_thresholddeğerinden yüksek olan sorguları otomatik olarak salt okunur IMCI düğümüne yönlendirir. AyrıcaSELECTanahtar sözcüğünden önce/*FORCE_IMCI_NODES*/ipucunu ekleyerek bir sorgunun salt okunur IMCI düğümüne yönlendirilmesini zorlayabilirsiniz. Örnek:/*FORCE_IMCI_NODES*/EXPLAIN SELECT COUNT(*) FROM t1 WHERE t1.a > 1;Daha fazla bilgi için bkz. Otomatik trafik bölmeyi yapılandırma.
NotSorguların her zaman salt okunur bir IMCI düğümüne yönlendirildiğinden emin olmak için doğrudan bu düğüme bağlanan yeni bir uç nokta oluşturun.
-
Sorgu maliyetinin eşiği aşıp aşmadığını kontrol edin.
Salt okunur bir IMCI düğümünde iyileştirici bir sorgunun maliyetini tahmin eder. Tahmini maliyet
cost_threshold_for_imciparametresinden yüksekse sorgu bir IMCI kullanır. Aksi takdirde standart bir satır dizini kullanır.Sorgunun salt okunur IMCI düğümüne yönlendirildiğini onayladıktan sonra yürütme planı hâlâ IMCI kullanımı göstermiyorsa tahmini sorgu maliyeti çok düşük olabilir.
Last_query_cost_for_imcideğişkenini görüntüleyerek son çalıştırılan sorgunun tahmini maliyetini kontrol edin:EXPLAIN SELECT * FROM t1; SHOW STATUS LIKE 'Last_query_cost_for_imci';Bir SQL ifadesinin tahmini yürütme maliyeti önceden ayarlanmış
cost_threshold_for_imcideğerinden azsacost_threshold_for_imcideğerini ayarlamayı düşünebilirsiniz. Örneğin tek bir SQL ifadesi için önceden ayarlanmış eşiği ayarlamak amacıyla bir ipucu kullanın:/*FORCE_IMCI_NODES*/EXPLAIN SELECT /*+ SET_VAR(cost_threshold_for_imci=0) */ COUNT(*) FROM t1 WHERE t1.a > 1; -
Sorguda kullanılan tüm sütunların bir IMCI tarafından kapsanıp kapsanmadığını kontrol edin.
Yerleşik saklı yordam
dbms_imci.check_columnar_index()kullanarak bir sorgudaki tablolar üzerinde IMCI oluşturulup oluşturulmadığını kontrol edin. Örnek:CALL dbms_imci.check_columnar_index('SELECT COUNT(*) FROM t1 WHERE t1.a > 1');Sorgu bir IMCI tarafından kapsanmayan sütunlara başvuruyorsa saklı yordam kapsanmayan tabloların ve sütunların listesini döndürür. Tüm sütunlar kapsanıyorsa yordam boş bir sonuç kümesi döndürür.
-
Desteklenmeyen SQL özelliklerini kontrol edin.
Sorgunuzdaki tüm özelliklerin IMCI tarafından desteklendiğini onaylamak için Sınırlamalar bölümünü inceleyin.
Tüm bu kontroller başarılı olursa sorgu bir IMCI kullanmalıdır.
Salt okunur bir IMCI düğümü satır dizini kullanabilir mi?
Evet. Salt okunur bir IMCI düğümü, IMCI özelliği etkinleştirilmiş standart bir salt okunur düğümdür. Bu nedenle hem IMCI'leri hem de standart bir satır dizinini kullanabilir. İyileştirici, cost_threshold_for_imci değerine göre hangi dizini kullanacağını seçer.
Tek bir sorgunun IMCI kullanmasını zorlamak için sorgu maliyeti eşiğini ayarlamak üzere bir ipucu kullanabilirsiniz:
SELECT /*+ SET_VAR(cost_threshold_for_imci=0) */ COUNT(*) FROM t1 WHERE t1.a > 1;
Benzer şekilde bir sorgunun IMCI kullanmamasını da zorlayabilirsiniz:
SELECT /*+ SET_VAR(USE_IMCI_ENGINE=OFF) */ COUNT(*) FROM t1 WHERE t1.a > 1;
Bir sorgu için uygun bir IMCI nasıl oluşturulur?
Bir sorgunun IMCI kullanması için sorgunun başvurduğu tüm sütunların IMCI tarafından kapsanması gerekir. Bazı sütunlar kapsanmıyorsa CREATE TABLE veya ALTER TABLE ifadesini kullanarak bunları bir IMCI'ye ekleyebilirsiniz. PolarDB for MySQL bu süreci kolaylaştırmak için birkaç yerleşik saklı yordam sağlar.
Belirli bir sorgu için gerekli DDL ifadesini oluşturmak üzere dbms_imci.columnar_advise() saklı yordamını kullanın. Bu DDL ifadesini kullanarak bir IMCI oluşturmak sorgudaki tüm sütunların kapsandığından emin olmanızı sağlar. Daha fazla bilgi için bkz. IMCI oluşturmak için DDL ifadesini alma.
dbms_imci.columnar_advise('<query_string>');
Çok Birincili Küme (Sınırsız) kullanıyorsanız bu saklı yordamı genel salt okunur bir düğümde çalıştırmanız gerekir. SQL ifadesinden önce /*force_node='<node_id>'*/ ipucunu ekleyerek bunun belirtilen genel salt okunur düğümde çalışmasını zorlayabilirsiniz. Örneğin: /*force_node='pi-bpxxxxxxxx'*/ dbms_imci.columnar_advise('<query_string>');
Bir toplu SQL sorgusu grubu için gereken DDL ifadelerini almak üzere dbms_imci.columnar_advise_begin(), dbms_imci.columnar_advise_end() ve dbms_imci.columnar_advise() arabirimlerini kullanın. Daha fazla bilgi için bkz. IMCI'ler oluşturmak için DDL ifadelerini toplu olarak alma.
PolarDB for MySQL IMCI Tek düğümlü paralel sorguyu destekler mi? Destekliyorsa belirli bir SQL sorgusu için paralellik derecesini nasıl özelleştirebilirsiniz?
Tek bir düğümde paralel sorgu varsayılan olarak etkindir. Yürütme planını görüntülemek için EXPLAIN komutunu çalıştırın; burada max_dop alanı kullanılan gerçek paralellik derecesini gösterir. Belirli bir sorgu için paralellik derecesini özelleştirmek üzere sorguyu yürütmeden önce oturum düzeyinde imci_max_dop parametresini ayarlayabilirsiniz. Örneğin:
set imci_max_dop=8; explain select xxxx
Yüksek kaynak kullanımı ve izleme
Varsayılan olarak IMCI, tek bir sorguyu paralel olarak yürütecek şekilde yapılandırılmıştır ve bu işlem mevcut tüm CPU kaynaklarını kullanabilir. Birden fazla sorgu eşzamanlı olarak çalıştığında dahili veritabanı zamanlayıcısı her sorgu için CPU ve bellek sınırlarını dinamik olarak azaltarak kaynakları yönetir. Sonuç olarak salt okunur bir IMCI düğümündeki ortalama CPU ve bellek kullanımı genellikle diğer düğümlere göre daha yüksektir.
imci_max_dopparametresini ayarlayarak tek bir sorgu için maksimum paralellik derecesini (maksimum CPU çekirdek sayısı) kontrol edebilirsiniz.CPU kullanımı için izleme uyarısı eşiğini %70, bellek kullanımı için ise %90 olarak ayarlamanızı öneririz.
PolarDB for MySQL aynı küme içindeki farklı düğümler için farklı teknik özellikler kullanmanıza olanak tanır. Salt okunur IMCI düğümünü bağımsız olarak ölçeklendirebilirsiniz. Salt okunur bir IMCI düğümünün en az 8 CPU çekirdeğine ve 16 GB belleğe sahip olmasını öneririz.
PolarDB for MySQL 5.6/5.7: IMCI destekleniyor mu?
Hayır. IMCI özelliği PolarDB for MySQL 5.6 veya 5.7 sürümlerinde desteklenmez. Yalnızca PolarDB for MySQL 8.0 ve sonraki sürümlerde desteklenir.
IMCI sınırlamaları ve MySQL uyumluluğu
IMCI, MySQL söz dizimiyle tamamen uyumludur. Ancak bazı nadir sorgu özellikleri henüz tam olarak desteklenmemektedir; örneğin belirli mekansal veri türü ifadeleri, tam metin dizini ve bazı ilişkili alt sorgu biçimleri. Bu özellikleri kullanan sorgular bir IMCI tarafından hızlandırılamaz ve otomatik olarak standart bir satır dizinine geri döner. Sınırlamaların ayrıntılı listesi için bkz. Sınırlamalar.
INSERT/CREATE AS SELECT ile IMCI kullanma
IMCI'ler yalnızca salt okunur düğümlerdeki sorgular için kullanılabilirken INSERT ve CREATE ifadeleri yalnızca birincil düğümde yürütülebilir. Bu nedenle bir INSERT INTO SELECT veya CREATE TABLE AS SELECT ifadesinin SELECT bölümünü hızlandırmak için IMCI ETL özelliğini kullanmanız gerekir. Daha fazla bilgi için bkz. ETL'yi hızlandırmak için IMCI kullanma.
Fiyatlandırma ve ücretler
IMCI özelliğinin kendisi ücretsizdir. Ancak bu özelliği kullanmak için IMCI etkinleştirilmiş özel bir salt okunur düğüm eklemeniz gerekir. Bu yeni salt okunur düğüm ve oluşturduğunuz IMCI'lerin tükettiği ek depolama alanı için ücretlendirilirsiniz.
Standart salt okunur düğümler IMCI'yi desteklemez.
Depolama gereksinimleri
IMCI verileri kolonlu biçimde saklayarak yüksek sıkıştırma oranı sağlar. Satır tabanlı depolamaya kıyasla IMCI'ler 3:1 ile 10:1 arasında sıkıştırma oranı elde edebilir; bu da genellikle orijinal tablo boyutunun yalnızca %10 ila %30'u kadar ek depolama alanı kullanımına yol açar.
IMCI depolama kullanımını görüntüleme
-
PolarDB for MySQL küme sürümleri 8.0.1.1.32 ve öncesi için IMCI içeren bir tablonun depolama alanını ve sıkıştırma oranını görüntülemek üzere
information_schemaiçindekiimci_columnssistem tablosunu sorgulayın. Örneğintestveritabanındakitestadlı tablo için depolama alanını ve sıkıştırma oranını kontrol etmek üzere aşağıdaki SQL ifadesini çalıştırın:SELECT SCHEMA_NAME, TABLE_NAME, SUM(EXTENT_SIZE * TOTAL_EXTENT_COUNT) AS TOTAL_SIZE, SUM(EXTENT_SIZE * USED_EXTENT_COUNT) AS USED_SIZE, SUM(EXTENT_SIZE * FREE_EXTENT_COUNT) AS FREE_SIZE, SUM(RAW_DATA_SIZE) / SUM(FILE_SIZE) AS COMPRESS FROM information_schema.imci_columns WHERE SCHEMA_NAME = 'test' AND TABLE_NAME = 'test'; -
PolarDB for MySQL küme sürümleri 8.0.1.1.33 ve sonrası için depolama alanını görüntülemek üzere
information_schemaiçindekiimci_data_filessistem tablosunu ve sıkıştırma oranını görüntülemek üzereimci_columnssistem tablosunu sorgulayın. Örneğintestveritabanındakitestadlı tablo için depolama alanını ve sıkıştırma oranını kontrol etmek üzere aşağıdaki SQL ifadelerini çalıştırın:-
IMCI içeren
testtablosu tarafından kullanılan depolama alanını görüntüleyin:SELECT SCHEMA_NAME, TABLE_NAME, SUM(EXTENT_SIZE * TOTAL_EXTENT_COUNT) AS TOTAL_SIZE, SUM(EXTENT_SIZE * USED_EXTENT_COUNT) AS USED_SIZE, SUM(EXTENT_SIZE * FREE_EXTENT_COUNT) AS FREE_SIZE FROM INFORMATION_SCHEMA.IMCI_DATA_FILES WHERE SCHEMA_NAME = 'test' AND TABLE_NAME = 'test'; -
Sütun sıkıştırma oranını görüntüleyin:
SELECT SCHEMA_NAME, TABLE_NAME, SUM(RAW_DATA_SIZE) / SUM(CMP_DATA_SIZE) AS COMPRESS_RATIO FROM INFORMATION_SCHEMA.IMCI_COLUMNS WHERE SCHEMA_NAME = 'test' AND TABLE_NAME = 'test';
-
Aşağıdaki tabloda önceki SQL ifadelerindeki parametreler açıklanmaktadır.
Parametre | Açıklama |
SCHEMA_NAME | Veritabanının adı. |
TABLE_NAME | Tablonun adı. |
EXTENT_SIZE | Bayt cinsinden bir extent'in boyutu. |
TOTAL_EXTENT_COUNT | Toplam extent sayısı. |
USED_EXTENT_COUNT | Kullanılan extent sayısı. |
FREE_EXTENT_COUNT | Boş extent sayısı. |
RAW_DATA_SIZE | Sıkıştırma öncesi sütun verilerinin bayt cinsinden boyutu. |
FILE_SIZE | Sıkıştırma sonrası sütun verilerinin bayt cinsinden boyutu. Not Bu parametre PolarDB for MySQL 8.0.1.1.33 öncesi sürümler için geçerlidir. |
CMP_DATA_SIZE | Sıkıştırma sonrası sütun verilerinin bayt cinsinden boyutu. Not Bu parametre PolarDB for MySQL 8.0.1.1.33 ve sonraki sürümler için geçerlidir. |
IMCI ile Anlık DDL
PolarDB for MySQL 8.0.1.1.42 ve 8.0.2.2.23 öncesi sürümlerde tablo düzeyinde IMCI içeren bir tabloya sütun ekleme anlık DDL mantığını kullanmaz. Bunun nedeni işlemin IMCI yapısını değiştirmesini ve dizin verilerini yeniden oluşturmasını gerektirmesidir.
PolarDB for MySQL 8.0.1.1.42 ve sonraki ile 8.0.2.2.23 ve sonraki sürümlerde tablo düzeyinde IMCI içeren tablolar için anlık DDL desteklenir. Bu özellik önceki sürümlerin yeniden oluşturma moduyla uyumlu değildir.
imci_enable_add_column_instant_ddlparametresini OFF olarak ayarlamanız ve tablonun bir birincil anahtara sahip olduğundan emin olmanız gerekir.
Otomatik oluşturulan IMCI'leri görüntüleme veya silme
SELECT * FROM information_schema.imci_autoindex_executed;
Autoindex tarafından oluşturulan bir IMCI'yi silme işlemi manuel olarak oluşturulan bir IMCI'yi silme işlemiyle aynıdır:
ALTER TABLE t1 comment 'columnar=0';
IMCI ile ALTER TABLE performansı
Sütun ekleme veya silme işlemleri genellikle tablo verilerinin yeniden oluşturulmasını gerektirir. Tabloda bir IMCI varsa IMCI verileri de yeniden oluşturulmalıdır. Bu yeniden oluşturma işlemi Redo günlüğüne yazma işlemi gerçekleştirir. Bir IMCI genellikle birçok sütunu kapsadığından oluşturulan Redo günlük verisi miktarı orijinal tablo verilerinin boyutuyla orantılıdır. Bu durum IMCI içermeyen bir tabloyu yeniden oluşturmaya kıyasla daha yüksek bir G/Ç hacmine neden olur ve işlemin daha uzun sürmesine yol açar.
Yazma performansı üzerindeki etkisi
Bir IMCI oluşturmanın yazma performansı üzerinde minimal bir etkisi vardır; bu etki genellikle %5'in altındadır. oltp_insert workload kullanan Sysbench testleri bir IMCI oluşturulduktan sonra yaklaşık %3'lük bir performans düşüşü göstermektedir.
Desteklenen işlem yalıtım düzeyleri
IMCI READ_COMMITTED ve REPEATABLE_READ işlem yalıtım düzeylerini destekler.
REPEATABLE_READ işlem yalıtım düzeyiyle bir IMCI kullanmak için yalnızca salt okunur IMCI düğümünü içeren özel bir uç nokta kullanarak bağlanmanız gerekir.
PolarDB for MySQL 8.0.1.1.40 ve sonraki ile 8.0.2.2.21 ve sonraki sürümlerde bazı ekosistem araçları (Metabase BI aracı gibi) READ_UNCOMMITTED gibi desteklenmeyen bir işlem yalıtım düzeyini örtük olarak ayarlayabilir. Bu durumlarda
SET imci_ignore_unsupported_isolation_level=ONkomutunu çalıştırarak READ_COMMITTED kullanımını zorlayın. Alternatif olarak ODBC/JDBC bağlantı dizesine bir oturum değişkeni ekleyin. Örneğin Metabase'de bağlantı dizesinesession Variables=imci_ignore_unsupported_isolation_level='ON'ekleyebilirsiniz.
Bulanık sorgu hızlandırma
Evet. IMCI bulanık sorgu kullanım durumları için mükemmel hızlandırma sağlar ve LIKE PRUMER, NGRAM LIKE ve SMID LIKE gibi işlemleri destekler. Ayrıca kolonlu tam metin dizini özelliği de bulanık sorgu kullanım durumları için hızlandırma sağlar.