PolarDB Veri Tanımlama Dili (DDL) fiziksel çoğaltma iyileştirme özelliğini sunar. Bu özellik, birincil düğümde fiziksel günlüklerin yazılması ve salt okunur düğümlerde uygulanması için kritik yolu tamamen optimize eder. Birincil düğümdeki DDL işlemlerinin çalışma süresini ve salt okunur düğümlerde DDL ayrıştırması için fiziksel günlük çoğaltma gecikmesini önemli ölçüde azaltır. Bu konuda DDL fiziksel çoğaltma iyileştirme özelliğinin nasıl kullanılacağı açıklanmaktadır.
Ön koşullar
PolarDB kümeleri aşağıdaki sürümlerden birini çalıştırmalıdır. Küme sürümünüzü kontrol etmek için Altyapı sürümünü sorgulayın:
PolarDB for MySQL 8.0.1, revizyon sürümü 8.0.1.1.10 veya üzeri.
PolarDB for MySQL 5.7, revizyon sürümü 5.7.1.0.10 veya üzeri.
Sınırlamalar
Paralel DDL fiziksel çoğaltma iyileştirme özelliği yalnızca birincil anahtarlar veya ikincil dizinler oluşturan DDL işlemlerini destekler. Tam metin dizinleri ve coğrafi dizinler desteklenmez.
Yeniden adlandırma gibi yalnızca meta verileri değiştiren DDL işlemleri zaten hızlı çalıştığından bu iyileştirmeye gerek yoktur.
Bu iyileştirme özelliği PolarDB for MySQL 8.0.2 veya 5.6 sürümlerinde desteklenmez.
Arka plan bilgileri
PolarDB depolama ve işlemeyi ayıran bir mimari kullanır; böylece birincil düğüm ile salt okunur düğümler aynı depolanan verileri paylaşır. Bu yaklaşım depolama maliyetlerini düşürürken küme kullanılabilirliğini ve güvenilirliğini artırır. Bu mimariyi uygulamak için PolarDB fiziksel çoğaltma teknolojisinden yararlanır. Paylaşılan depolama mimarisinde birincil düğüm ile salt okunur düğümler arasında veri tutarlılığı sağlanır ve ikili günlük (Binlog) fsync işlemlerinden kaynaklanan G/Ç ek yükü azaltılır.
InnoDB dizinleri yönetmek için B-ağaçlarını kullanır. Ancak birincil anahtar ekleme, ikincil dizin ekleme veya optimize table çalıştırma gibi yavaş DDL işlemlerinin çoğu genellikle B-ağacı dizinlerinin yeniden oluşturulmasını veya oluşturulmasını gerektirir. Bu durum büyük hacimli fiziksel günlük üretir. Fiziksel günlüklerle ilgili işlemler çoğunlukla DDL yürütmesinin kritik yolunda yer alır ve bu da DDL işlemlerinin çalışma süresini uzatır. Ayrıca fiziksel çoğaltma, salt okunur düğümlerin bu yeni üretilen fiziksel günlükleri ayrıştırmasını ve uygulamasını gerektirir. DDL işlemleri tarafından üretilen yüksek hacimli fiziksel günlükler, salt okunur düğümlerdeki günlük senkronizasyonunu ciddi şekilde etkileyebilir ve hatta salt okunur düğümlerin kullanılamaz hale gelmesine neden olabilir.
Bu sorunları gidermek için PolarDB DDL fiziksel çoğaltma iyileştirme özelliğini sunar. Özellik, birincil düğümde fiziksel günlüklerin yazılması ve salt okunur düğümlerde fiziksel günlüklerin uygulanması için kritik yolu tamamen optimize eder. Birincil düğümde birincil anahtar oluşturan bir DDL işleminin çalışma süresini %20,6'ya kadar azaltabilir. Ayrıca salt okunur düğümlerde DDL ayrıştırması için çoğaltma gecikmesini orijinal sürenin yaklaşık %0,4'üne indirir.
Kullanım
DDL fiziksel çoğaltma iyileştirme özelliğini etkinleştirmek için aşağıdaki parametreyi ayarlayın.
Parametre | Düzey | Açıklama |
innodb_bulk_load_page_grained_redo_enable | Global | DDL fiziksel çoğaltma iyileştirme özelliği anahtarı. Geçerli değerler:
|
Performans testi
-
Test hazırlığı
-
Test ortamı
Bir birincil düğüm ve bir salt okunur düğüm içeren PolarDB for MySQL 8.0 kümesi. Küme 16 çekirdekli, 128 GB teknik özelliklere sahiptir.
Kümenin 50 TB depolama alanı vardır.
-
Test tablosu şeması
t0adında bir tablo oluşturmak için aşağıdaki deyimi çalıştırın:CREATE TABLE t0(a INT PRIMARY KEY, b INT) ENGINE=InnoDB; -
Test tablosu verileri
Rastgele test verileri oluşturmak için aşağıdaki deyimi çalıştırın:
DELIMITER // CREATE PROCEDURE populate_t0() BEGIN DECLARE i int DEFAULT 1; WHILE (i <= $table_size) DO INSERT INTO t0 VALUES (i, 1000000 * RAND()); SET i = i + 1; END WHILE; END // DELIMITER ; CALL populate_t0();NotTesti çalıştırırken
$table_sizeifadesini tablodaki gerçek kayıt sayısıyla değiştirin, örneğin1000000.Bu test 1.000.000, 10.000.000, 100.000.000 ve 1.000.000.000 kayıt içeren tabloları kullanır.
-
Testte kullanılan DDL işlemleri
add primary keyadd secondary Indexoptimize table
-
-
Test yöntemleri
Test 1: DDL fiziksel çoğaltma iyileştirme özelliği etkin veya devre dışı bırakıldığında farklı veri hacimlerine sahip tablolar üzerinde farklı DDL işlemlerini çalıştırmak için gereken süreyi ölçün.
Test 2: DDL fiziksel çoğaltma iyileştirme özelliği Paralel DDL ile birlikte kullanıldığında 1 milyar kayıt içeren bir tabloda
add secondary Indexişlemini çalıştırmak için gereken süreyi ölçün.Test 3: DDL fiziksel çoğaltma iyileştirme özelliği etkin veya devre dışı bırakıldığında salt okunur düğüm performansını (düğüm durumunun normal olup olmadığı, en yüksek CPU kullanımı ve çoğaltma gecikmesi gibi) ölçün. Test, 1 milyar kayıt içeren bir tabloya sahip bir küme kullanır ve birincil düğümdeki eşzamanlı DDL işlemlerinin sayısını (1, 2, 4, 6 ve 8) değiştirir.
-
Test sonuçları
-
Test 1
innodb_bulk_load_page_grained_redo_enable parametresi etkin veya devre dışı bırakıldığında farklı veri hacimlerine (1 milyon, 10 milyon, 100 milyon ve 1 milyar) sahip tablolar üzerinde
add primary key(a)işlemini çalıştırmak için saniye cinsinden gereken süre aşağıdaki şekilde gösterilmektedir.
innodb_bulk_load_page_grained_redo_enable parametresi etkin veya devre dışı bırakıldığında farklı veri hacimlerine (1 milyon, 10 milyon, 100 milyon ve 1 milyar) sahip tablolar üzerinde
optimize tableişlemini çalıştırmak için saniye cinsinden gereken süre aşağıdaki şekilde gösterilmektedir.
-
Test 2
Bu testte Paralel DDL parametreleri innodb_polar_use_sample_sort ve innodb_polar_use_parallel_bulk_load etkinleştirilir. Test, 1 milyar kayıt içeren bir tablo kullanır ve innodb_bulk_load_page_grained_redo_enable parametresi etkin veya devre dışı bırakılarak çalıştırılır. Ayrıca farklı sayıda paralel iş parçacığı kullanılır (yani innodb_polar_parallel_ddl_threads parametresi 1, 2, 4, 8, 16 ve 32 olarak ayarlanır). Test,
add secondary Indexişlemini çalıştırmak için saniye cinsinden gereken süreyi ölçer. Sonuçlar aşağıdaki şekilde gösterilmektedir.
Bu testte Paralel DDL parametreleri innodb_polar_use_sample_sort ve innodb_polar_use_parallel_bulk_load devre dışı bırakılır. Test, 1 milyar kayıt içeren bir tablo kullanır ve innodb_bulk_load_page_grained_redo_enable parametresi etkin veya devre dışı bırakılarak çalıştırılır. Ayrıca farklı sayıda paralel iş parçacığı (1, 2, 4, 8, 16 ve 32) kullanılır. Test,
add secondary Indexişlemini çalıştırmak için saniye cinsinden gereken süreyi ölçer. Sonuçlar aşağıdaki şekilde gösterilmektedir.
-
Test 3
-
Bu testte innodb_bulk_load_page_grained_redo_enable etkindir. Test, 1 milyar kayıt içeren bir tabloya sahip bir küme kullanır. Aşağıdaki tabloda, birincil düğümdeki farklı eşzamanlı DDL işlemleri sayıları (1, 2, 4, 6 ve 8) için salt okunur düğüm performansı gösterilmektedir.
Eşzamanlı DDL işlemleri sayısı
1
2
4
6
8
Salt okunur düğüm durumu
Normal
Normal
Normal
Normal
Normal
En yüksek CPU kullanımı (%)
1,86
1,71
1,76
2,25
2,36
En yüksek bellek kullanımı (%)
10,37
10,80
10,88
11
11,1
En yüksek okuma IOPS'i (işlem/saniye)
10965
10762
10305
10611
10751
En yüksek çoğaltma gecikmesi (saniye)
0
0,73
0,87
0,93
0,03 -
Bu testte innodb_bulk_load_page_grained_redo_enable devre dışı bırakılır. Test, 1 milyar kayıt içeren bir tabloya sahip bir küme kullanır. Aşağıdaki tabloda, birincil düğümdeki farklı eşzamanlı DDL işlemleri sayıları (1, 2, 4, 6 ve 8) için salt okunur düğüm performansı gösterilmektedir.
NotDört eşzamanlı DDL işlemine ilişkin veriler, salt okunur düğüm kullanılamaz hale gelmeden önce toplanmıştır.
Tablodaki
-sembolü, ilgili DDL işlemlerinin mevcut eşzamanlı DDL işlemleri sayısı için çalıştırılamadığını gösterir. Bu nedenle test verisi bulunmamaktadır.
Eşzamanlı DDL işlemleri sayısı
1
2
4
6
8
Salt okunur düğüm durumu
Normal
Normal
Kullanılamıyor
Kullanılamıyor
Kullanılamıyor
En yüksek CPU kullanımı (%)
4,2
9,5
10,3
-
-
En yüksek bellek kullanımı (%)
22,15
23,55
68,61
-
-
En yüksek okuma IOPS'i (işlem/saniye)
9243
7578
7669
-
-
En yüksek çoğaltma gecikmesi (saniye)
0,8
14,67
211
-
-
-
-
Bize ulaşın
DDL işlemleriyle ilgili sorularınız varsa Bize ulaşın.