İş verilerinin hacmi arttıkça, büyük veri kümelerinin depolama maliyeti ve analitik verimliliği birçok kuruluş için temel zorluklar haline gelir. Bu sorunu çözmek amacıyla PolarDB for MySQL X-Engine sütun tablosu özelliğini sunar. Sütun tabanlı depolama, verimli sıkıştırma ve paralel hesaplama üzerine inşa edilen bu özellik, veri depolama maliyetlerinizi ham veri boyutunun %10'una düşürür ve analitik sorgu performansını bir büyüklük mertebesi artırır. Büyük ölçekli verilerin düşük maliyetle arşivlenmesini ve yüksek performanslı gerçek zamanlı analizleri mümkün kılar; MySQL ekosistemiyle tamamen uyumlu kalır.
Sütun tablosu analizini etkinleştirin
Mevcut bir küme için sütun analizi etkinleştirin
PolarDB for MySQL'ın sütun tablosu analizi özelliği yalnızca MySQL 8.0.2 sürümünde desteklenir ve küçük çekirdek sürümünün 8.0.2.2.34 veya üzeri olması gerekir. Kümeniz bu sürüm gereksinimlerini karşılamıyorsa önce küçük çekirdek sürümünü yükseltin ve ardından sütun tablosu analizi özelliğini etkinleştirin.
PolarDB konsoluna giriş yapın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın. Kümenin dağıtıldığı Region değerini seçin ve küme ayrıntıları sayfasına gitmek için küme kimliğine tıklayın.
Basic Information sayfasında Column-Oriented Table Analysis Acceleration bölümünü bulun ve sağ tarafındaki Enable düğmesine tıklayın. Küme yeniden başlatıldıktan sonra sütun tablosu analizi özelliği etkinleşir.
Yeni bir küme satın alırken sütun analizi etkinleştirin
PolarDB konsoluna giriş yapın. Sol gezinme bölmesinde Clusters seçeneğine tıklayın. Kümenin bulunduğu region değerini seçin ve ardından Create Cluster seçeneğine tıklayın.
-
Satın alma sayfasında aşağıdaki temel ayarları yapılandırın:
Creation Method: Create Primary Cluster
Engine Version: MySQL 8.0.2
Column-Oriented Table Analysis Acceleration: Enable
Diğer ayarları iş ihtiyaçlarınıza göre yapılandırın ve satın alma işlemini tamamlayın. Daha fazla bilgi için bkz. Özel satın alma
Mevcut bir küme için sütun tablosu hızlandırmayı etkinleştirmeden önce aşağıdaki etkileri gözden geçirin.
Mevcut bir küme için sütun tablosu hızlandırmayı etkinleştirmek kümenin yeniden başlatılmasına neden olur.
Varsayılan tablo depolama motoru InnoDB'den X-Engine'e değişir; bu motor arşivleme analizleri için daha uygundur.
Bellek kaynaklarının %90'ı varsayılan olarak X-Engine için ayrılır ve %10'u InnoDB'ye tahsis edilir.
Genel bakış
X-Engine sütun tabloları, işlem ve depolamanın ayrıldığı bir mimari kullanır. İşlem kaynakları ile depolama kaynakları bağımsız ve esnek şekilde ölçeklendirilir; bu sayede büyük veriler için petabayt düzeyinde işlem kapasitesi sağlanır. Depolama katmanı dağıtılmış bir dosya sistemi ve Object Storage Service (OSS) üzerine kuruludur. İşlem katmanı ise sorgu iyileştirici, çalıştırma işleçleri ve depolama motorunun derin optimizasyonu sayesinde yüksek performanslı analitikler sunar.
Teknik mimari
PolarDB genel mimarisi
PolarDB dağıtılmış bir depolama katmanı üzerine kurulu, işlem ve depolamanın ayrıldığı bir mimari kullanır. ParallelRaft protokolü birden çok çoğaltma arasında tutarlılığı sağlar ve OSS şeffaf şekilde desteklenir. İşlem düğümleri bir okuma/yazma düğümünden (RW) ve bir veya daha fazla salt okunur düğümden (RO) oluşur; hem InnoDB hem de X-Engine motorlarını destekler. Bir veritabanı proxy'si uygulamalarla işlem düğümleri arasında köprü görevi görerek okuma/yazma ayrımı ve yük dengeleme sunar.
Sütun tablosu mimarisi

Temel teknik bileşenleri şunlardır:
Sorgu iyileştirici: Hibrit satır-sütun depolama için yerleşik maliyet tabanlı bir iyileştirici (CBO), her sorgu isteğinin maliyetini akıllıca değerlendirir ve en iyi yürütme planını otomatik olarak seçer (satır depolama ile sütun depolama arasında seçim yapar).
Çalıştırma işleci: Sütun yönelimli vektörleştirme ve paralel çalıştırma teknolojileri, toplu iş modunda tek tablo ve çoklu tablo birleştirmelerine yönelik analitik sorguları önemli ölçüde hızlandırır.
Depolama motoru: Gerçek zamanlı işlem güncellemelerini destekler. Birincil tablo sütunlu depolama kullanır ve hızlı güncellemeleri garanti etmek için Non-Clustered Index (NCI) bileşenine dayanır. Silinen verileri işaretleyen bir silme maskesi mekanizması, gerçek zamanlı yazmaları etkilemeden verimli paralel sorgular sağlar. Ayrıca satır deposu ikincil dizinleri geçersiz verileri hızlıca filtreleyerek sorgu verimliliğini daha da artırır.
Çözüm karşılaştırması
Uygun tablo türünü anlamanıza ve seçmenize yardımcı olmak için aşağıdaki tabloda geleneksel satır yönelimli tablolar (InnoDB gibi) ile PolarDB sütun tabloları arasındaki temel farklar karşılaştırılmıştır:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Avantajlar
Yüksek maliyet etkinliği: Sütunlu depolama, verimli kodlama ve yüksek sıkıştırma algoritmaları OSS'in düşük maliyetli depolama ortamlarıyla birleştirilerek büyük verilerin depolama ve işleme maliyetini %90 azaltır.
Yüksek performanslı gerçek zamanlı analitik: Veriler yazıldıktan hemen sonra analitik sorgulara hazır hale gelir. Çok çekirdekli paralellik, vektörleştirme ve MPP teknolojisi özel analitik veritabanlarıyla karşılaştırılabilir sorgu performansı sunarak yoğun gerçek zamanlı analitik gereksinimlerini karşılar.
%100 MySQL uyumluluğu: MySQL ile tutarlı bir veri türü sistemi ve protokolü sağlar; esnek tür dönüştürmeyi destekler. Böylece mevcut uygulamalarınız ve araçlarınız değişiklik yapmadan bağlanabilir.
Bağımsız esnek ölçeklendirme: İşlem ve depolamanın ayrıldığı mimari sayesinde işlem düğümleri ile depolama alanı talebe göre bağımsız şekilde ölçeklendirilir; iş yükü zirveleri ve veri büyümesi kolayca yönetilir.
Güçlü geniş tablo desteği: Tek bir tablo 10.000 sütuna kadar destekler; büyük geniş tabloların depolanması ve yüksek eşzamanlı yazma işlemleri için iş gereksinimlerini karşılar.
Mükemmel kullanım kolaylığı: Tek bir veritabanı motoru içinde yüksek sıkıştırmalı depolama ve yüksek performanslı analitiği destekler; tam DDL ve DML işlemleri sunar. Bu sayede teknoloji yığınız ve operasyon yönetiminiz sadeleşir.
Kullanım durumları
Büyük ölçekli geçmiş verilerin düşük maliyetle arşivlenmesi
Sorun noktası: İşiniz büyüdükçe siparişler, günlükler ve işlem kayıtları gibi çekirdek veritabanlarınızdaki geçmiş veriler hızla artar ve pahalı depolama alanının büyük bölümünü kaplar. Geleneksel veri geçişi çözümleri maliyetleri düşürebilir ancak verileri çevrimdışı hale getirir; bu da verilerin doğrudan çevrimiçi sorgulanamamasına ve veri kullanım karmaşıklığının artmasına yol açar.
Çözüm: Çevrimiçi veri arşivleme için sütun tablolarını kullanın. Soğuk verileri satır yönelimli tablolardan (InnoDB) veya tüm geçmiş veri tablolarını aynı PolarDB kümesi içindeki sütun tablolarına taşıyabilirsiniz.
-
Temel değer:
Keskin maliyet azaltımı: 10:1'e kadar sıkıştırma oranı ve OSS gibi düşük maliyetli depolama ortamlarının kullanılması depolama maliyetlerini %90 azaltır.
Veriler çevrimiçi kalır: Arşivlenen veriler her zaman çevrimiçi ve erişilebilir durumda olur. Karmaşık bir veri geri yükleme sürecine gerek kalmadan istediğiniz zaman standart SQL ile sorgulayabilir ve analiz edebilirsiniz.
İş süreçlerinize şeffaf: Uygulama katmanında sütun tablosu normal bir MySQL tablosu gibidir; bu nedenle herhangi bir değişiklik gerekmez.
Özel bir veri ambarı oluşturun
Sorun noktası: Kuruluşlar özel bir veri ambarı oluştururken genellikle yüksek donanım maliyetleri, karmaşık veri senkronizasyon işlem hatları (ETL) ve yüksek operasyon engelleriyle karşılaşır; özellikle ClickHouse gibi yeni bir teknoloji yığını tanıtıldığında bu zorluklar artar.
Çözüm: PolarStore'un büyük veri depolama kapasitesine dayanarak birden çok yukarı akış veri kaynağından gelen verileri birleştirin ve bunları X-Engine sütun tablolarında tek tip şekilde depolayın. Bu yaklaşım size büyük ölçekli, düşük maliyetli depolama kapasitesi ile birlikte gerçek zamanlı agregat analitik performansı sunar.
-
Temel değer:
Maliyet ve karmaşıklıkta önemli azalma: Pahalı özel donanım satın almadan veya heterojen bir analitik sistem tanıtmadan tanıdık MySQL ekosistemi içinde bir veri ambarı oluşturabilirsiniz. Bu sayede teknoloji yığınınız ve operasyon yönetiminiz etkin şekilde sadeleşir.
Gerçek zamanlı veri analitiği: Yukarı akış verileri analiz için gerçek zamanlı olarak sütun tablolarına birleştirilebilir; bu sayede geleneksel ETL çözümlerindeki T+1 veri gecikmesinden kaçınılır.
Büyük veri işleme kapasitesi: X-Engine depolama mimarisi ve verimli sıkıştırma, petabayt ölçeğindeki büyük verilerin düşük maliyetle depolanmasını ve işlenmesini sağlar.
Birleşik sorgu analizi
Sorun noktası: Bir kuruluşun iş verileri genellikle dağıtık şekilde depolanır. Verilerin bir kısmı PolarDB gibi çevrimiçi veritabanlarında bulunurken geri kalanı Object Storage Service (OSS) içinde Parquet ve ORC gibi açık formatlarda saklanır. Bu iki veri parçasını birlikte analiz etmek için OSS verilerini veritabanına aktarmak üzere genellikle karmaşık bir ETL süreci gerekir.
Çözüm: OSS'deki verilere doğrudan erişmek için PolarDB yabancı tablo özelliğini kullanın.
-
Temel değer:
Yerinde analiz: Verileri taşımadan veya içe aktarmadan OSS'deki dosyalar için PolarDB içinde bir yabancı tablo oluşturun ve ardından bunları SQL ile sorgulayın.
Birleşik sorgular: PolarDB yerel tablolarını (satır yönelimli veya sütunlu) OSS yabancı tablolarıyla
JOINişlemlerinde kolayca birleştirerek çevrimiçi ve çevrimdışı verilerin birleşik analizini gerçekleştirebilirsiniz.
Performans test raporu
Aşağıdaki performans verileri belirli bir test ortamında elde edilmiştir ve sütun tablolarının avantajlarını değerlendirmek için referans sağlar.
Bu konudaki TPC-H uygulaması TPC-H kıyaslama ölçütlerine dayanır. Testler tüm TPC-H gereksinimlerini tam olarak karşılamadığından bu test sonuçları yayımlanan TPC-H kıyaslama sonuçlarıyla karşılaştırılamaz.
Veri yükleme performansı
Aşağıdaki veriler 32 çekirdek ve 256 GB belleğe sahip bir test ortamına dayanır. TPC-H ve Airline veri kümeleri kullanılarak sütun tabloları ile ClickHouse ve Doris arasında veri yükleme ve depolama açısından karşılaştırma yapılır.
Yükleme hızı
TPC-H veri kümesi: Sütun tablolarının yükleme hızı saniyede 5,71 milyon satıra ulaşır; yazma aktarım hızı 50 GB/dakika olup ClickHouse'un yaklaşık 2,7 katıdır.
Airline veri kümesi: Sütun tablolarının yükleme hızı saniyede 4,3 milyon satıra ulaşır; yazma aktarım hızı 27 GB/dakika olup ClickHouse'un yaklaşık 2 katıdır.
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Depolama alanı
TPC-H veri kümesi: 100 GB ham veri ile sütun tabloları 4x sıkıştırma oranı sağlar.
Airline veri kümesi: 75 GB ham veri ile sütun tabloları 18x sıkıştırma oranı sağlar.
Aşağıdaki tabloda Airline veri kümesinin (75 GB ham veri) depolama alanı karşılaştırılmaktadır:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
TPC-H sorgu performansı
-
TPC-H 100 GB veri kümesiyle yapılan performans testinde sütun tablolarının 22 sorgunun tümünü çalıştırma toplam süresi 17.994 saniye olurken ClickHouse için bu süre 76,9 saniyedir. Sütun tablolarının genel performansı ClickHouse'un yaklaşık 4,3 katıdır.
Sorgu
Sütun tablosu (saniye)
ClickHouse (saniye)
Q1
1.175
2,2
Q2
0.178
0,9
Q3
0.577
1,6
Q4
0.433
1,3
Q5
0.522
3,3
Q6
0.366
0,32
Q7
0.633
1,7
Q8
0.528
1,8
Q9
2.817
12
Q10
0.935
2,3
Q11
0.218
0,66
Q12
0.535
1,4
Q13
1.255
4,4
Q14
0.442
0,3
Q15
0.889
0,42
Q16
0.553
0,6
Q17
0.738
4,2
Q18
2.381
4,3
Q19
0.759
2
Q20
0.453
0,6
Q21
1.308
29,6
Q22
0.299
1
Toplam
17.994
76,9 -
Çok düğümlü paralel analiz: TPC-H 1 TB veri kümesiyle yapılan performans testinde sütun tabloları çok düğümlü paralel hızlandırmayı kullanmıştır. Bu sayede toplam sorgu süresi tek düğümde 1420,551 saniyeden altı düğümde 167.948 saniyeye düşmüştür.
Sorgu
1 düğüm (saniye)
2 düğüm (saniye)
4 düğüm (saniye)
6 düğüm (saniye)
Q1
76.849
36.831
23.031
20.022
Q2
5.841
2.805
1.527
1,09
Q3
133,69
26.131
15.833
4,75
Q4
51.466
19,02
3.353
2.362
Q5
52.965
26.844
13.715
4.269
Q6
34.577
21.831
35,17
11.274
Q7
75.996
29.659
17.279
5.717
Q8
54.989
28.922
15.651
3.375
Q9
155,33
78.216
40,38
25.983
Q10
72.222
31.659
17.177
4.594
Q11
4.149
2.049
1.351
1.069
Q12
50.997
27,79
16.207
2.977
Q13
73.009
31.742
17.605
16.255
Q14
36.887
22.093
4.475
3.778
Q15
66.217
38.628
7.583
6.451
Q16
11.493
4,49
2.528
1.758
Q17
59.225
37.101
11.434
8.767
Q18
132.604
53.578
17.164
10.797
Q19
72.794
38.416
23.759
16.651
Q20
42.621
22.432
5,62
4.768
Q21
149.245
54.803
12.758
8.793
Q22
7.385
5.684
2.972
2.448
Toplam
1420,551
640.724
306.572
167.948