Kümenizi Hibrit İşlemsel/Analitik İşleme (HTAP) iş yükleri için yapılandırmak üzere Hızlı başlangıç bölümüne bakın veya IMCI'yi özel iş gereksinimlerinize göre özelleştirmek için Gelişmiş kullanım bölümünü inceleyin.
Hızlı başlangıç
Adım 1: Salt okunur bir IMCI düğümü ekleyin
PolarDB konsolunda oturum açın. Sol gezinme bölmesinde Cluster List seçeneğine tıklayın. Kümenizin bölge değerini seçin ve ilgili kümeyi bulun. Actions sütununda, salt okunur bir IMCI düğümü eklemek için Add/Remove Node seçeneğine tıklayın.
Kümeyi satın alırken zaten bir salt okunur IMCI düğümü eklediyseniz bu adımı atlayın.
Kümeniz, IMCI için gerekli sürüm gereksinimlerini karşılamalıdır. Daha fazla bilgi için salt okunur IMCI düğümü konusuna bakın.
Adım 2: İstek yönlendirmeyi yapılandırın
İş gereksinimlerinize bağlı olarak IMCI'yi kullanmak için otomatik veya manuel istek yönlendirmeyi seçebilirsiniz.
Otomatik istek yönlendirme: Çevrimiçi İşlemsel İşleme (OLTP) ve Çevrimiçi Analitik İşleme (OLAP) iş yükleriniz veritabanına aynı uygulamadan erişiyorsa, taranan satır sayısına göre belirlenen tahmini yürütme maliyetine dayanarak okuma isteklerini otomatik olarak salt okunur IMCI düğümlerine veya salt okunur satır deposu düğümlerine yönlendirebilirsiniz.
Manuel istek yönlendirme: OLTP ve OLAP iş yükleriniz veritabanına farklı uygulamalardan erişiyorsa, bu uygulamalar için farklı küme uç noktaları yapılandırabilirsiniz. Ardından, salt okunur IMCI düğümlerini ve salt okunur satır deposu düğümlerini farklı uç noktaların hizmet düğümlerine atayarak istekleri satır ve sütun depolarına yönlendirebilirsiniz.
Otomatik istek yönlendirme
Küme ayrıntıları sayfasında Database Connections bölümüne gidin. Cluster Endpoint için Row Store/Column Store Automatic Routing ayarını Enable olarak değiştirin.
**Service Node üzerinde yapılan değişiklikler yalnızca yeni bağlantılar için geçerlidir. Değişikliği yaptıktan sonra kümeye yeniden bağlanın.**
Kümeye DMS kullanarak bağlanıyorsanız, DMS'nin varsayılan olarak Primary address kullandığını unutmayın. PolarDB kümesine bağlanmak için küme uç noktasını kullanmanız gerekir.
Otomatik istek yönlendirme için varsayılan tahmini yürütme maliyeti eşiği 50.000 taranan satırdır. Bu parametreyi iş gereksinimlerinize göre ayarlayabilirsiniz.
Manuel istek yönlendirme
Küme ayrıntıları sayfasında Database Connections bölümüne gidin ve özel bir uç nokta oluşturun. Service Node listesinin yalnızca read-only IMCI nodes içerdiğinden emin olun.
Adım 3: Bir IMCI ekleyin
İş gereksinimlerinize göre tablolarınıza IMCI'leri manuel veya otomatik olarak ekleyebilirsiniz.
Bir sorgunun IMCI tarafından hızlandırılması için, SQL ifadesinde başvurulan tüm sütunların bir IMCI tarafından tamamen kapsanması gerekir.
Manuel
IMCI, iş tabloları için IMCI eklemek veya kaldırmak amacıyla eksiksiz bir DDL deyimi seti sağlar. İhtiyaçlarınıza uygun seçeneği belirleyin:
|
DDL sözdizimi |
Örnek |
|
|
|
|
|
Veritabanı veya tablo düzeyinde toplu iş olarak IMCI ekleyin veya kaldırın |
|
Bir IMCI eklerken mevcut açıklamaları koruyabilirsiniz. Örnek:
ALTER TABLE <table_name> COMMENT 'COLUMNAR=1 <original comment>';.Varsayılan olarak, veritabanı veya tablo düzeyinde toplu iş olarak bir IMCI eklediğinizde tablo açıklaması
'COLUMNAR=1 <original comment>'şeklinde güncellenir.
Otomatik
AutoIndex özelliği, yavaş sorgularınıza dayanarak otomatik olarak IMCI'ler oluşturabilir ve bunların yürütme hızını önemli ölçüde artırabilir. Bu sayede her bir yavaş sorguyu anlamak ve optimize etmek zorunda kalmazsınız. Uygulama iş yükü değiştikçe AutoIndex, PolarDB kümenizin en iyi performansı sürdürmesini sağlamak için IMCI stratejisini sürekli olarak izler ve ayarlar.
Bu özelliğin avantajlarından yararlanmak için PolarDB küme ayrıntıları sayfasında AutoIndex'i basitçe Enable etmeniz yeterlidir:
Configuration bölümünde, varsayılan olarak Disabled olan AutoIndex öğesini bulun ve sağ tarafındaki Enable seçeneğine tıklayın.
(İsteğe Bağlı) Adım 4: IMCI oluşturma ilerlemesini kontrol edin
Manuel olarak bir IMCI ekledikten sonra oluşturma ilerlemesini kontrol edin. Sorgu hızlandırmadan yararlanmak için oluşturma işleminin tamamlanmasını bekleyin.
SELECT * FROM INFORMATION_SCHEMA.IMCI_ASYNC_DDL_STATS;
Örnek: IMCI'nin tamamen oluşturulduğunu onaylamak için STATUS sütunundaki değerin Safe to read olup olmadığını kontrol edin.
+-------------+------------+---------------------+---------------------+---------------------+--------------+------------------+-----------------+-------------+-------------+-------------+------------+--------------+-----------+-------------------+-----------------+
| SCHEMA_NAME | TABLE_NAME | CREATED_AT | STARTED_AT | FINISHED_AT | STATUS | APPROXIMATE_ROWS | SCANNED_ROWS | SCAN_SECOND | SORT_ROUNDS | SORT_SECOND | BUILD_ROWS | BUILD_SECOND | AVG_SPEED | SPEED_LAST_SECOND | ESTIMATE_SECOND |
+-------------+------------+---------------------+---------------------+---------------------+--------------+------------------+-----------------+-------------+-------------+-------------+------------+--------------+-----------+-------------------+-----------------+
| tpch | lineitem | 2024-10-21 13:44:02 | 2024-10-21 13:44:02 | 2024-10-21 13:50:11 | Safe to read | 590446240 | 600037902(100%) | 369 | 0 | 0 | 0(0%) | 0 | 1625058 | 0 | 0 |
+-------------+------------+---------------------+---------------------+---------------------+--------------+------------------+-----------------+-------------+-------------+-------------+------------+--------------+-----------+-------------------+-----------------+
1 row in set, 1 warning (0.00 sec)
(İsteğe Bağlı) Adım 5: IMCI kullanımını kontrol edin
Bir IMCI yürütme planı yatay bir ağaç olarak görüntülenir ve satır deposu yürütme planından belirgin şekilde farklı bir biçime sahiptir. Yürütme planını görüntülemek ve bir SQL ifadesinin IMCI tarafından hızlandırılabileceğini belirlemek için EXPLAIN ifadesini kullanabilirsiniz. Aşağıdaki örneklerde bu fark gösterilmektedir:
IMCI yürütme planı
+----+----------------------------+----------+--------+--------+-----------------------------------------------------------------------------+
| ID | Operator | Name | E-Rows | E-Cost | Extra Info |
+----+----------------------------+----------+--------+--------+-----------------------------------------------------------------------------+
| 1 | Select Statement | | | | IMCI Execution Plan (max_dop = 4, max_query_mem = 858993459) |
| 2 | └─Sort | | | | Sort Key: revenue DESC,o_orderdate ASC |
| 3 | └─Hash Groupby | | | | Group Key: (lineitem.L_ORDERKEY, orders.O_ORDERDATE, orders.O_SHIPPRIORITY) |
| 4 | └─Hash Join | | | | Join Cond: orders.O_ORDERKEY = lineitem.L_ORDERKEY |
| 5 | ├─Hash Join | | | | Join Cond: customer.C_CUSTKEY = orders.O_CUSTKEY |
| 6 | │ ├─Table Scan | customer | | | Cond: (C_MKTSEGMENT = "BUILDING") |
| 7 | │ └─Table Scan | orders | | | Cond: (O_ORDERDATE < 03/24/1995) |
| 8 | └─Table Scan | lineitem | | | Cond: (L_SHIPDATE > 03/24/1995) |
+----+----------------------------+----------+--------+--------+-----------------------------------------------------------------------------+
8 rows in set (0.01 sec)
Satır deposu yürütme planı
+----+-------------+----------+------------+------+--------------------+------------+---------+-----------------------------+--------+----------+----------------------------------------------+
| id | select_type | table | partitions | type | possible_keys | key | key_len | ref | rows | filtered | Extra |
+----+-------------+----------+------------+------+--------------------+------------+---------+-----------------------------+--------+----------+----------------------------------------------+
| 1 | SIMPLE | customer | NULL | ALL | PRIMARY | NULL | NULL | NULL | 147630 | 10.00 | Using where; Using temporary; Using filesort |
| 1 | SIMPLE | orders | NULL | ref | PRIMARY,ORDERS_FK1 | ORDERS_FK1 | 4 | tpch100g.customer.C_CUSTKEY | 14 | 33.33 | Using where |
| 1 | SIMPLE | lineitem | NULL | ref | PRIMARY | PRIMARY | 4 | tpch100g.orders.O_ORDERKEY | 4 | 33.33 | Using where |
+----+-------------+----------+------------+------+--------------------+------------+---------+-----------------------------+--------+----------+----------------------------------------------+
3 rows in set, 1 warning (0.00 sec)
Yardımcı araçlar
Karmaşık SQL ifadelerini sorgulamak için IMCI'yi kullanırken, SQL ifadesindeki herhangi bir sütunun bir IMCI tarafından kapsanıp kapsanmadığını kontrol etmeniz gerekir. Kapsanmamış sütunlar bulursanız, SQL ifadesi için bir IMCI oluşturmak üzere DDL deyimlerini alabilir veya belirli bir iş yükü için IMCI'ler oluşturmak üzere DDL deyimlerini toplu iş olarak alabilirsiniz. DDL deyimlerini çalıştırdıktan sonra, sorgu hızlandırmayı etkinleştirmek için SQL ifadesinde başvurulan tüm sütunların bir IMCI tarafından kapsandığından emin olun.
PolarDB aşağıdaki yerleşik saklı yordamları sağlar:
Bir SQL ifadesindeki herhangi bir sütunun bir IMCI tarafından kapsanıp kapsanmadığını kontrol edin:
dbms_imci.check_columnar_index('<query_string>');.Bir IMCI oluşturmak için DDL deyimlerini alın:
dbms_imci.columnar_advise('<query_string>');vedbms_imci.columnar_advise_by_columns('<query_string>');.IMCI'ler oluşturmak için DDL deyimlerini toplu iş olarak alın:
dbms_imci.columnar_advise_begin();,dbms_imci.columnar_advise_show();vedbms_imci.columnar_advise_end();.
SSS
Sorgu IMCI kullanmıyor
Daha fazla bilgi için IMCI SSS konusuna bakın.
Gelişmiş kullanım
IMCI kullanımınızı optimize etmek için aşağıdaki konulara bakın.
|
Gelişmiş özellik |
Açıklama |
|
IMCI, verileri satır gruplarına düzenler. Her satır grubunda farklı sütunlar sütun veri bloklarına paketlenir. Bu bloklar, orijinal satır tabanlı verilerin birincil anahtar sırasına göre paralel olarak oluşturulur ve bu durum genel olarak sırasız bir duruma neden olur. Sorgu performansını artırmak için sütun veri bloklarını yeniden sıralamak üzere bir sıralama anahtarı yapılandırabilirsiniz. |
|
|
IMCI, büyük ölçekli yapılandırılmış ve yarı yapılandırılmış veri analitiğini işlemek amacıyla sütun tabanlı JSON, sanal sütunlar, Anlık DDL ve sütun sayısı genişletme gibi bir dizi özelliği entegre eder. |
|
|
Extract, Transform, Load (ETL) özelliği, bir okuma-yazma (RW) düğümünde IMCI kullanmanıza olanak tanır. RW düğümünde verilen |
|
|
Serverless özelliği, iş yükünüze göre kaynakları otomatik olarak yukarı ve aşağı ölçeklendirir. Yoğunluk sırasında iş yükü artışlarını karşılamak için ölçeği yukarı çıkarır ve maliyetleri azaltmak için yoğun olmayan saatlerde ölçeği aşağı indirir. |
|
|
Hybrid Plan, aynı sorguda hem sütun hem de satır dizinlerini kullanır. Hybrid Plan, geniş tablo sorgu performansını önemli ölçüde artırabilir. Yürütme planında, sütun dizinlerinden yararlanan bölümler IMCI üzerinde çalıştırılır ve yalnızca birincil anahtarları içeren ara sonuçlar üretir. Ardından, gereken sütunlar InnoDB birincil dizini ile birincil anahtarlar kullanılarak getirilir ve döndürülür. |
|
|
Büyük veriler üzerindeki karmaşık sorgular için tek bir salt okunur IMCI düğümü performans gereksinimlerini karşılamayabilir. Sorguları hızlandırmak için çok düğümlü paralel işlemeyi (MPP) kullanabilirsiniz. |
Daha fazla bilgi
IMCI'nin arkasındaki ilkeler hakkında daha fazla bilgi edinmek için aşağıdaki belgelere bakın:
PolarDB Bellek İçi Sütun Dizini (IMCI) makalesi, SIGMOD 2023'te yayınlandı