Veri Gölü ile Veri Ambarı Karşılaştırması

Son yıllarda veri gölü kavramının yükselişiyle birlikte sektörde veri ambarı ile veri gölü arasındaki karşılaştırma ve tartışmalar sürüyor. Bazıları veri gölünün yeni nesil büyük veri platformu olduğunu söylüyor. Başlıca bulut sağlayıcıları da kendi veri gölü çözümlerini sunuyor. Bazı bulut veri ambarı ürünleri de veri gölüyle bağlantı özelliği ekliyor. Peki veri ambarı ile veri gölü arasındaki fark tam olarak nedir?

Bir önceki makalede veri gölünün ne olduğunu, temel veri gölü mimarisini ve bulut tabanlı bir veri gölü çerçevesini tanıttık. Bu makalede veri gölü ile veri ambarı arasındaki farkları analiz edecek ve ikisinin entegrasyonu ile evriminin yeni yönü olan göl-ambar bütünlüğünü tanıtacağız.

1. Veri ambarı nedir

Veri ambarı kavramı veritabanı alanından türemiştir ve temel olarak karmaşık veri odaklı sorgu ile analiz senaryolarını ele alır. Büyük veri teknolojisinin gelişimiyle SQL dili ve sorgu optimize edici gibi birçok veritabanı teknolojisi kullanılarak büyük veri ambarları oluşturulmuştur; güçlü analiz yetenekleri sayesinde yaygınlaşmıştır. Son yıllarda veri ambarı ile bulut yerel teknolojinin birleşimi, işletmelerin veri ambarı dağıtımındaki kaynak tedarik sorununu çözen bulut veri ambarını ortaya çıkarmıştır. Büyük verinin üst düzey kurumsal platform yeteneği olarak bulut veri ambarı; hazır kullanım, sınırsız genişleme ve basit işletim özellikleriyle dikkat çekmektedir.

Veri ambarı, işletmenin tüm seviyelerindeki karar alma süreçleri için her türlü veriyi destekleyen stratejik bir koleksiyondur. Analitik raporlama ve karar desteği amacıyla oluşturulan tek bir veri deposudur. İş zekası gerektiren işletmeler için iş süreci iyileştirme, süre, maliyet, kalite izleme ve kontrol konusunda rehberlik sağlar.

Veri ambarının özü şu üç bileşenden oluşur:
(1) Yerleşik depolama sistemi; veriler soyut bir şekilde (Tablo veya Görünüm kullanarak) sunulur ve dosya sistemi dışa açılmaz.
(2) Verilerin temizlenmesi ve dönüştürülmesi gerekir; genellikle ETL/ELT yöntemi kullanılır.
(3) İş zekası karar alma için modellemeye ve veri yönetimine vurgu yapılır.

Bu kriterlere bakıldığında, hem geleneksel veri ambarları (Teradata gibi) hem de yeni nesil bulut veri ambarı sistemleri (AWS Redshift, Google BigQuery, Alibaba Cloud MaxCompute) veri ambarlarının tasarım özünü yansıtır; hiçbiri dosya sistemini dışarıya açmaz. Veri giriş çıkışı sağlayan bir hizmet arayüzüdür. Bu tasarımın birkaç avantajı vardır:

(1) Motor veriyi derinlemesine anlar; depolama ve hesaplama kapsamlı şekilde optimize edilebilir.
(2) Veri yaşam döngüsü yönetimi ve eksiksiz veri soyağacı sistemi sağlanır.
(3) İnce taneli veri yönetimi ve veri yönetişimi mümkündür.
(4) Eksiksiz meta veri yönetim yetenekleri sayesinde kurumsal düzeyde veri merkezi kurmak kolaydır.

Bu nedenle Alibaba'nın Feitian büyük veri platformunun inşasında veri ambarı mimarisi, yani MaxCompute büyük veri platformu benimsenmiştir. MaxCompute (eski adıyla ODPS), yalnızca Alibaba ekonomisi için bir büyük veri platformu değil, aynı zamanda Alibaba Cloud üzerinde GB'den EB'ye kadar isteğe bağlı olarak güvenli, güvenilir, yüksek performanslı, düşük maliyetli ve esnekçe ölçeklenebilen çevrimiçi bir büyük veri bilişim hizmetidir (Şekil 6: MaxCompute ürün mimarisidir. Ayrıntılar için lütfen Alibaba Cloud MaxCompute resmi web sitesine tıklayın). SaaS modelinde kurumsal düzeyde bir bulut veri ambarı olan MaxCompute; internet, yeni finans, yeni perakende ve dijital kamu dahil olmak üzere Alibaba ekosisteminde ve Alibaba Cloud üzerindeki binlerce müşteride yaygın olarak kullanılmaktadır.

MaxCompute veri ambarı mimarisi sayesinde Alibaba üst yönetimi kademeli olarak "veri güvenliği sistemi", "veri kalitesi", "veri yönetişimi" ve "veri etiketleme" gibi yönetim yetenekleri geliştirmiş ve nihayetinde Alibaba'nın büyük veri orta ofisini oluşturmuştur. Veri orta ofis kavramının ilk savunucusu olarak Alibaba'nın veri orta ofisi, veri ambarı mimarisinden güç almaktadır.

2. Veritabanından veri ambarına ve veri gölüne evrim eğilimi

Veritabanındaki verilerin hizalama gereksinimleri vardır; veritabanı uygulama odaklıdır ve her uygulama ayrı bir veritabanı gerektirebilir. Bir şirkette onlarca uygulama varsa, onlarca veritabanı bulunur. Peki, onlarca veritabanını nasıl bağlayıp analiz edebilirsiniz? Bunun kolay bir yolu yoktur.

Bu durum, veritabanından veri ambarına doğru bir gelişim gösterdi; veri ambarı belirli bir uygulamaya yönelik değildir ancak veritabanlarına bağlıdır. Her gün bazı ETL toplu işlerini zamanlamanız, farklı uygulamaları ve verileri birleştirmeniz gerekiyorsa belirli paradigma modellerine göre bağlantı analizi yaparak belli bir dönem için genel bir veri görünümü elde edebilirsiniz. Bu süreçte birçok veritabanının veri ambarına veri sağlaması gerekir.

Veri hacminin artması ve veri türlerinin değişmesiyle birlikte video, ses ve belgeler gibi yapılandırılmamış veriler toplam veride giderek daha fazla yer kaplamaktadır. Geleneksel veri ambarı bu yükü desteklemekte zorlandığından, işletmeler ham verileri orijinal durumunda saklamak istemektedir. Bu talep doğrultusunda, verileri orijinal haliyle saklayarak şirketlerin çok boyutlu analizler yapmasına olanak tanıyan veri gölü kavramı şekillenmeye başladı. Veriler veri gölüne kolayca aktarılabilir; kullanıcılar veri toplama, temizleme ve normalleştirme işlemlerini iş ihtiyaçları ortaya çıkana kadar erteleyebilir. Geleneksel veri ambarlarında model paradigması gereksinimleri nedeniyle iş süreçleri rastgele değiştirilemez; değişiklikler temel verilerde çeşitli düzenlemeler gerektirir. Buna karşılık veri gölleri daha esnektir ve üst katman veri uygulamalarındaki değişikliklere daha hızlı uyum sağlayabilir.

3. Veri Gölü ile Veri Ambarı Karşılaştırması

Veri gölü orijinal veri biçiminde saklanır. Herhangi bir verinin yapılandırılmış veya yapılandırılmamış olsun, en ham haliyle depolanmasını hedefler. Bu sayede hiçbir ayrıntı kaybolmadan veriler kullanılabilir. Tüm gerçek zamanlı veriler ve toplu veriler veri gölünde toplanır. Ardından makine öğrenimi veya veri analizi için ilgili veriler gölden alınır.

Veri gölü öncelikli tasarım, temel dosya depolamayı açarak göle giren verilere maksimum esneklik sağlar. Veri gölüne giren veriler yapılandırılmış, yarı yapılandırılmış veya tamamen yapılandırılmamış ham günlükler olabilir. Ayrıca açık depolama, üst katman motoruna da daha fazla esneklik sunar. Çeşitli motorlar kendi senaryolarına göre veri gölünde saklanan verileri serbestçe okuyup yazabilir. Yalnızca oldukça gevşek uyumluluk kurallarını izlemeleri yeterlidir. Ancak aynı zamanda dosya sistemine doğrudan erişim, birçok üst düzey işlevin uygulanmasını zorlaştırır. Örneğin dosya granülerliğinden daha küçük ince taneli izin yönetimi, birleşik dosya yönetimi ve okuma-yazma arayüzü yükseltmeleri oldukça zordur. Her erişimin tamamlanması gerekir. Dosyanın motoru yükseltilir ve yükseltme tamamlanır.

Veri ambarı öncelikli tasarım, veri kullanım verimliliği, büyük ölçekli veri yönetimi ve güvenlik/uyumluluk gibi kurumsal düzeyde büyüme gereksinimlerine daha fazla önem verir. Veriler veri ambarına birleşik ancak açık bir hizmet arayüzü üzerinden girer. Veriler genellikle önceden tanımlanmış bir şemaya sahiptir. Kullanıcılar veri hizmeti arayüzü veya bilişim motoru aracılığıyla dağıtık depolama sistemindeki dosyalara erişir. Veri ambarı öncelikli tasarım, veri erişim arayüzlerini, yetki yönetimini ve verinin kendisini soyutlayarak daha yüksek performans sağlar. Kapalı döngü güvenlik sistemi ve veri yönetişimi yetenekleri de sunar. Bu yetenekler işletmelerin uzun vadeli büyük veri kullanımı için kritik öneme sahiptir. Biz buna büyüme diyoruz.

4. Göl ve ambar entegrasyonu

Göl ve ambar entegrasyonu, veri ambarı ile veri gölü sistemlerinin birbirine bağlanması anlamına gelir. Böylece veriler ve bilişim kaynakları göller ile ambarlar arasında serbestçe akabilir. Bu sayede eksiksiz ve organik bir büyük veri teknolojisi ekosistemi oluşturulur.

Alibaba Cloud Göl ve Ambar Entegre Çözümü:

Alibaba Cloud MaxCompute, orijinal veri ambarı mimarisine dayanarak açık kaynaklı veri göllerini ve bulut tabanlı veri göllerini entegre eder. Sonuçta göl ve ambar entegrasyonunun genel mimarisini gerçekleştirir. Bu mimaride birden fazla temel depolama sistemi bir arada bulunur. Ancak birleşik bir depolama erişim katmanı ve birleşik meta veri yönetimi aracılığıyla üst katman motoruna entegre bir kapsülleme arayüzü sunulur. Kullanıcılar veri ambarındaki ve veri gölündeki tabloları ortaklaşa sorgulayabilir. Genel mimari ayrıca birleşik veri güvenliği, yönetim ve yönetişim yeteneklerine sahiptir.

MaxCompute göl ve ambar entegrasyon teknolojisine dayanan DataWorks, göl ve ambar sistemlerini daha da kapsülleyebilir. Göl ve ambarın heterojen küme bilgilerini gizler ve entegre bir büyük veri ara katmanı oluşturur. Böylece göl ve ambar arasında bir dizi veri ve bir dizi görev kesintisiz zamanlama ve yönetimle entegre edilebilir. İşletmeler, veri yönetim yapısını optimize etmek için göl ve ambarın entegre veri platformu yeteneklerini kullanabilir. Veri gölü ile veri ambarının kendi avantajlarını tam olarak entegre edebilirsiniz. Veri gölünü merkezi ham veri deposu olarak kullanarak esnekliğinden ve açıklığından yararlanabilirsiniz. Göl ve ambar teknolojisi entegrasyonu sayesinde üretime yönelik yüksek frekanslı veriler ve görevler kesintisiz şekilde veri ambarına yönlendirilir. Böylece daha iyi performans ve maliyet elde edilir. Ayrıca gelecekte üretime yönelik bir dizi veri yönetişimi ve optimizasyonu sağlanır. Verimlilik ve etkinlik arasında en iyi dengeyi bulun.

Genel olarak MaxCompute, göl ve ambar entegrasyonu işletmelere daha esnek, verimli ve ekonomik bir veri platformu çözümü sunar. Yeni büyük veri platformları kuran işletmeler için uygundur. Mevcut büyük veri platformlarına sahip işletmelerin mimarilerini yükseltmeleri için de uygundur. Mevcut yatırımlar korunabilir ve varlık getirisi sağlanabilir.