Hologres, Alibaba Cloud'un tek noktadan yönetilen gerçek zamanlı veri ambarı motorudur. Bulut tabanlı ve PostgreSQL uyumlu bu hizmet, yüksek hacimli veri alımını, saniyenin altında yanıt süresiyle etkileşimli analitiği ve yüksek eşzamanlılığa sahip çevrimiçi veri sunumunu tek bir sistemde birleştirir.
Standart SQL desteği sunar ve PostgreSQL protokolü ile sözdizimiyle uyumludur; bu sayede mevcut araçları, sürücüleri ve bilgi birikiminizi doğrudan kullanabilirsiniz. Hologres, hem çevrimdışı hem de gerçek zamanlı iş yükleri için uçtan uca bir veri ambarı yığını oluşturmak amacıyla MaxCompute, Flink ve DataWorks ile yerel olarak entegre olur.
Yaygın kullanım senaryoları
Hologres, güncel veriler üzerinde büyük ölçekte hızlı yanıtlara ihtiyaç duyan ekiplere hizmet eder:
Gerçek zamanlı panolar ve BI — Petabayt ölçeğindeki veriler üzerinde çok boyutlu OLAP sorguları ve özel analizler çalıştırın. Saniyenin altındaki yanıt süreleri sayesinde iş ekipleri, toplu işlerin tamamlanmasını beklemeden verileri keşfedebilir.
Müşteri odaklı veri hizmetleri — Gerçek zamanlı dönüşüm işlem hatlarında boyut tablosu aramaları ve kimlik eşlemeyi desteklemek amacıyla, saniyede yüz binlerce sorgu (QPS) düzeyinde yüksek eşzamanlılık ve düşük gecikme süresiyle çevrimiçi veri sunumu sağlayın.
Veri gölü hızlandırma — MaxCompute verilerini, doğrudan MaxCompute sorgularına kıyasla 5 ila 10 kat daha hızlı sorgulayın ve verileri MaxCompute'dan Hologres'e saniyede milyonlarca satır hızında senkronize edin.
Gerçek zamanlı veri işlem hatları — ETL ve dönüşüm senaryoları için gerçek zamanlı toplu güncellemelerle, açık kaynaklı sistemlere kıyasla 10 kattan fazla aktarım hızında Flink veya Spark'tan gelen akış verilerini yazın ve güncelleyin.
Kitle segmentasyonu ve risk kontrolü — Tek bir veri ambarından pazarlama profillerini, ayrıntılı analizleri, kendi kendine hizmet veren analitikleri ve gerçek zamanlı risk kontrolü iş akışlarını yürütün.
Özellikler
Büyük ölçekte etkileşimli analitik
Hologres, petabayt ölçeğindeki verilerin çok boyutlu analizini (OLAP) ve özel analizlerini destekler. Vektörleştirilmiş işleçlere sahip MPP mimarisi, CPU hesaplama gücünü en üst düzeye çıkarırken; AliORC depolama sıkıştırması ve SSD optimizasyonlu G/Ç aktarım hızı, sorgu gecikme süresini saniyenin altında tutar.
Satır yönelimli, sütun yönelimli ve hibrit satır-sütun depolama modlarının tümü desteklenir; böylece her tablonun erişim desenine göre depolama düzenini optimize edebilirsiniz. Hologres ayrıca JSONB için sütunsal depolama sıkıştırmasıyla yarı yapılandırılmış JSON verilerini yerel olarak destekler ve Veritabanı, Şema ve Tablo olmak üzere üç seviyeli bir veritabanı hiyerarşisi sağlar. Güncelleme, Silme ve Upsert gibi DML işlemlerinin yanı sıra birleştirmeler, iç içe geçmeler ve pencere işlevleri de tam olarak desteklenir.
Gerçek zamanlı veri alımı ve çevrimiçi veri sunumu
Hologres, Flink ve Spark gibi hesaplama çerçeveleriyle yerel olarak entegredir. Yerleşik bağlayıcılar, kaynak tablolar, hedef tablolar, boyut tabloları ve karmaşık çoklu akış birleştirmeleri dahil olmak üzere yüksek hacimli gerçek zamanlı veri yazma ve güncelleme işlemlerini destekler. Yazma aktarım hızı, açık kaynaklı sistemlerin 10 katından fazladır.
Hologres, gerçek zamanlı özet görünümlerin tanımlanmasını destekler; bu durum, veri dönüşümü ve toplama gibi görevler için geliştirmeyi basitleştirir. Veriler gerçek zamanlı olarak yazılır ve toplamlar anında güncellenir.
Hologres, ikili günlükler (Binlog) aracılığıyla tablo güncelleme olaylarını dışa açarak akış dönüşümü ve toplama görevleri için geliştirmeyi kolaylaştırır. Gerçek zamanlı olarak yazılan veriler, veri ambarı katmanları arasında gerçek zamanlı toplama güncellemelerini tetikler.
Çevrimiçi veri sunumu için Hologres, sorgu motorundaki birincil anahtar dizinlerini ve kısa yol optimizasyonunu kullanarak satır yönelimli tablolar üzerindeki nokta sorguları için saniyede yüz binlerce QPS sağlar. Bu özellik, gerçek zamanlı işlem hatlarında boyut tablosu aramaları ve kimlik eşleme için uygundur.
Sıcak ve soğuk veriler için birleşik depolama
Hologres, MaxCompute ile federasyon kurarak MaxCompute veri kümelerini doğrudan sorgulamanızı sağlar. Bu sorgular, doğrudan MaxCompute sorgularına kıyasla 5 ila 10 kat daha hızlı çalışır ve veriler saniyede milyonlarca satır hızında Hologres'e senkronize edilir. Meta verilerin otomatik olarak içe aktarılmasını ve sıcak/soğuk verilerin ilişkilendirilmiş analizini destekler.
Hologres ayrıca OSS-HDFS'de (Alibaba Cloud Object Storage Service üzerinde HDFS uyumlu depolama) depolanan yabancı tablolardan hızlandırılmış okuma işlemlerini destekler ve Hudi ile Delta gibi açık depolama biçimlerini yönetir.
Kurumsal güvenlik ve operasyonlar
Güvenlik — Hologres, ayrıntılı erişim kontrol ilkelerini, Anahtar Getir Kendin (BYOK) veri depolama şifrelemesini ve veri maskelemeyi destekler. Ayrıca Data Security Guard, IP adresi izin listeleri ve Resource Access Management (RAM), Security Token Service (STS) ile bağımsız hesaplar dahil olmak üzere birden fazla kimlik doğrulama sistemini destekler. Hologres, PCI-DSS sertifikasına sahiptir ve veri yedekleme ile kurtarma işlemlerini destekler.
İş yükü izolasyonu — Birden fazla hesaplama örneği, birincil/çoğaltma mimarisi oluşturur. Örnekler, tek bir depolama kopyasını paylaşırken izole edilmiş hesaplama kaynaklarını korur; bu sayede yazma ve okuma işlemleri ile sorgu ve sunum iş yükleri arasında ayrım sağlanır. Bu mimari, hata yönetimini ve başarısız düğümlerin hızlı otomatik kurtarılmasını destekler. Hologres, son derece güvenilir ve üçlü yedekli depolama sağlayan Pangu'yu kullanır ve yerel disk gerektirmez.
Kendi kendine hizmet O&M — Hologres, sorgu geçmişi ve meta veri depo tabloları dahil olmak üzere yerleşik tanılama bilgileri sağlar. Harici araçlara başvurmadan sistem darboğazlarını ve potansiyel riskleri belirlemek için bu verileri kullanın. Hesaplama iş yükleri ve erişim izinleri üzerinde ayrıntılı kontrol, zengin izleme ve uyarı ölçümleri, ölçeklenebilir hesaplama kaynakları ve canlı yükseltmeler kurumsal güvenilirlik gereksinimlerini karşılar.
Ekosistem uyumluluğu
Hologres, PostgreSQL ekosistemiyle uyumludur ve Quick BI, DataV, Tableau ve FanRuan gibi SQL istemcileri ve BI araçlarıyla kolay entegrasyon için JDBC/ODBC arayüzleri sağlar. DataWorks geliştirme platformuyla entegre olduğu için ek araçlar öğrenmeden işlem hatları oluşturabilirsiniz.
Diğer entegrasyonlar şunları içerir:
Hadoop ekosistemi — Hive ve Spark bağlayıcıları, Hadoop tabanlı platformlardan Hologres'e yüksek hacimli veri aktarımına olanak tanır.
GIS — GIS coğrafi veri analizleri için yerleşik destek sunar.
Oracle uyumluluğu — Daha kolay geçişler için Oracle işlev uzantı paketi sağlar.
Vektör getirme — Hologres, Platform for AI ile entegre olur ve DAMO Academy Proxima adlı yerleşik bir vektör getirme eklentisi içerir; bu eklenti çevrimiçi gerçek zamanlı özellik depolamayı, gerçek zamanlı getirmeyi ve vektör getirmeyi destekler.
Başlangıç
Hızlı başlangıç — İlk Hologres örneğinizi oluşturun ve bir sorgu çalıştırın.
BI aracı bağlama — Hologres'i JDBC/ODBC veya PostgreSQL sürücüsü aracılığıyla mevcut SQL istemcinize veya BI platformunuza bağlayın.
Akış verisi alma — Gerçek zamanlı verileri Hologres'e yazmak için bir Flink bağlayıcısı ayarlayın.
MaxCompute sorgularını hızlandırma — MaxCompute üzerinde harici bir tablo oluşturun ve verileri taşımadan özel sorgular çalıştırın.
Fiyatlandırma — Örnek türlerini ve fiyatlandırma seçeneklerini inceleyin.