Veri Gölü Nedir | Veri Gölünün Temel Mimarisi

Veri gölü kavramı şu anda oldukça popülerdir. Birçok kişi veri gölünün nasıl oluşturulacağını, Alibaba Cloud'un olgun bir veri gölü çözümüne sahip olup olmadığını, bu çözümün fiilen uygulanıp uygulanmadığını ve veri gölü ile verinin nasıl anlaşılacağını tartışmaktadır. Veri gölü ile büyük veri platformu arasındaki fark nedir gibi sorulara yanıt arayan bu makale serisi, veri gölünü detaylıca inceleyecektir.

Bu makale aşağıdaki konuları kapsamaktadır:
1. Veri gölü nedir
2. Veri gölünün temel mimarisi
3. Bulut tabanlı veri gölü çerçevesi

Bir sonraki makale, veri gölü ile veri ambarı arasındaki farkları tanıtacaktır.

Birinci. Veri gölü nedir

Bir veri gölü oluşturmayı planlamadan önce, veri gölünün ne olduğunu anlamak, bir veri gölü projesinin temel bileşenlerini netleştirmek ve ardından veri gölünün temel mimarisini tasarlamak çok önemlidir.

Veri gölü, birden fazla veri giriş yöntemine bağlanabilen birleşik bir depolama havuzudur. Her ölçekte yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri depolayabilirsiniz. Veri gölü, çeşitli bilişim ve analiz platformlarıyla kesintisiz bir şekilde bağlantı kurabilir, verileri doğrudan işleyip analiz edebilir, siloları yıkabilir ve iş değerine dair içgörüler kazanabilir. Aynı zamanda veri gölü, sıcak ve soğuk katmanlar arasında geçiş yapma yeteneği sunarak verinin tüm yaşam döngüsünü kapsar.

Veri göllerinin birçok tanımı vardır, ancak bunlar temel olarak aşağıdaki özellikler etrafında toplanır:
(1) Veri gölü, bir işletmedeki/kuruluştaki tüm verileri depolayan yeterli veri depolama kapasitesi sağlamalıdır.
(2) Veri gölü; yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış veriler dahil olmak üzere her türden devasa miktarda veriyi depolayabilir.
(3) Veri gölündeki veriler, iş verilerinin eksiksiz bir kopyası olan ham verilerdir. Veri gölündeki veriler, iş sistemindeki orijinal hallerini korur.
(4) Veri gölü; veri kaynakları, veri biçimleri, bağlantı bilgileri, veri şemaları ve izin yönetimi dahil olmak üzere veriyle ilgili çeşitli öğeleri yönetebilen kusursuz veri yönetimi yeteneklerine (eksiksiz meta verilere) sahip olmalıdır.
(5) Veri gölü; toplu işleme, akış bilişimi, etkileşimli analiz ve makine öğrenimi dahil ancak bunlarla sınırlı olmamak üzere çeşitlendirilmiş analiz yeteneklerine sahip olmalı; aynı zamanda belirli görev zamanlama ve yönetim yetenekleri de sunmalıdır.
(6) Veri gölü, eksiksiz veri yaşam döngüsü yönetimi yeteneklerine sahip olmalıdır. Yalnızca ham verileri depolamakla kalmamalı, aynı zamanda çeşitli analizlerin ve işlemlerin ara sonuçlarını kaydedebilmeli; ayrıca kullanıcıların herhangi bir verinin üretim sürecini eksiksiz ve ayrıntılı bir şekilde izlemelerine yardımcı olmak için verinin analiz ve işleme sürecini tamamen kayıt altına almalıdır.
(7) Veri gölü, kusursuz veri toplama ve veri yayınlama yeteneklerine sahip olmalıdır. Veri gölü, çeşitli veri kaynaklarını destekleyebilmeli ve ilgili veri kaynaklarından tam/artımlı veri alabilmeli; ardından depolamayı standartlaştırmalıdır. Veri gölü, farklı uygulama erişim gereksinimlerini karşılamak için veri analizi ve işleme sonuçlarını uygun bir depolama motoruna aktarabilir.
(8) Ultra büyük ölçekli depolama ve ölçeklenebilir büyük ölçekli veri işleme yetenekleri dahil olmak üzere büyük veri desteği.

Bu nedenle veri gölü; büyük veri depolama, işleme ve analiz için gelişen ve ölçeklenebilir bir altyapı olmalıdır. Veri odaklı olmalı; herhangi bir kaynaktan, herhangi bir hızda, herhangi bir ölçekte ve herhangi bir türdeki verinin tam olarak toplanmasını ve depolanmasını, çok modlu işlemeyi ve tam yaşam döngüsü yönetimini sağlamalıdır. Ayrıca çeşitli harici heterojen veri kaynaklarıyla etkileşim ve entegrasyon yoluyla çeşitli kurumsal düzeyde uygulamaları desteklemelidir.

İkinci. Veri gölünün temel mimarisi

Veri gölü, verilerin yapılandırılmamış, yarı yapılandırılmış veya yapılandırılmış olabileceği ve bir kuruluş içindeki çeşitli kaynaklardan toplanabildiği için düz bir mimariye sahiptir; buna karşın veri ambarı verileri dosyalarda veya klasörlerdeki dosyalarda depolar. Veri gölleri şirket içi veya bulutta barındırılabilir.

Mimari özellikleri sayesinde veri gölü, eksabayt düzeyine kadar büyük ölçekte genişletilebilir. Bu önemlidir çünkü bir veri gölü oluşturduğunuzda genellikle ne kadar veri tutmanız gerektiğini önceden bilemezsiniz. Geleneksel veri depolama sistemleri bu şekilde ölçeklenemez.

Bu mimari, veri bilimcilerin kurumsal verileri inceleyip keşfetmesine ve farklı alanlardan gelen heterojen veriler de dahil olmak üzere verileri paylaşarak çapraz referanslamasına olanak tanıdığı için onlara büyük kolaylık sağlar. Ayrıca veri gölündeki verileri büyük veri analitiği ve makine öğrenimi ile analiz edebilirler.

Veriler veri gölüne depolanmadan önce belirli bir desene sahip olmasa da veri yönetişimi ile veri bataklıklarını etkili bir şekilde önleyebilirsiniz. Sonraki erişimi güvence altına almak için veriler veri gölüne depolandığında meta veri olarak işaretlenmelidir.

Üçüncü. Bulut tabanlı veri gölü çerçevesi

Veri gölünün temel taşları; ölçeklenebilir ve dayanıklı veri depolama, verileri toplama ve düzenleme mekanizmaları ile verileri işleyip analiz etme ve bulguları paylaşma araçlarını içerir. Bu nedenle, büyük verinin gerektirdiği her türlü veriyi desteklemek adına modern bir veri gölünde bulunması gereken temel teknolojilere odaklanıyoruz.

Bulut sınırsız kaynak sunar. Bulut tabanlı hizmetler, dakikalar veya saniyeler içinde talep üzerine neredeyse sınırsız kaynak sağladığından veri gölleri için özellikle uygundur. Kuruluşlar yalnızca kullandıkları kadar öder; bu da performanstan ödün vermeden her boyuttaki kullanıcıyı ve iş yükünü dinamik olarak desteklemeyi mümkün kılar.

Tasarruf edin ve verileriniz için bulut teknolojisine odaklanın. Bulut tabanlı hizmetler, pahalı donanım, yazılım ve diğer altyapı maliyetlerini, ön yatırımları ile şirket içi sistemlerin bakım, güncelleme ve güvenliğini sağlama masraflarını ortadan kaldıran bulut yerel çözümler sunar.

Bulut teknolojisi doğal entegrasyon noktalarıyla gelir. Analiz etmek istediğiniz verilerin %80'e kadarının iş uygulaması verilerinden, operasyonel veri depolarından, tık akışı verilerinden, sosyal medya platformlarından, IoT cihazlarından ve gerçek zamanlı akış verilerinden geldiği tahmin edilmektedir. Bu verileri buluta entegre etmek, şirket içi veri merkezi oluşturmaktan çok daha kolay ve ucuzdur.

NoSQL ile yerleşik destek. Bilgisayarlar ve sosyal medyadan üretilen veriler gibi güncel biçimlerdeki verileri depolayıp analiz ederek kuruluşun veri analizini zenginleştiren ve genişleten bir teknolojiyi tanımlar. Geleneksel veri ambarlarının bu veri türlerini iyi barındıramadığı bilinmektedir. Sonuç olarak, JSON, Avro ve XML gibi yarı yapılandırılmış ve yapılandırılmamış veri biçimlerini işlemek için son yıllarda yeni sistemler ortaya çıkmıştır.

Mevcut becerileri ve uzmanlığı destekler. Veri Gölü; her türlü veriyi verimli bir şekilde depolamak ve işlemek için gereken işlevselliği, veri yönetimini, veri dönüşümünü, entegrasyonu, görselleştirmeyi, iş zekasını ve Standart SQL veri ambarlarıyla kolayca iletişim kurabilen analitik araçları destekler. Standart SQL'in köklü rolü, çok sayıda kişinin SQL becerisine sahip olduğu anlamına gelir. Ayrıca diğer programlama dillerinin de verileri çıkarmasını ve analiz etmesini sağlar.

Bulutun maliyet, ölçek, performans, kullanım kolaylığı ve güvenlik açısından sunduğu doğal avantajlar, genel veri gölü planlarını ve sonuçlarını etkilediğinden açıkça kabul edilmelidir.

Bulut ve veri gölünün bir arada var olması hakkında daha fazla bilgi edinmek istiyorsanız, en son trendleri öğrenmek için "2022 Alibaba Cloud Küresel Çevrimiçi Veri Gölü Zirvesi"ne katılın.