Bulut Yerel Veri Gölü Çerçevesinin Temel Bileşeni
Veri gölü, büyük veri ve yapay zeka hesaplama için kullanılan merkezi bir havuzdur. Yapılandırılmış ve yapılandırılmamış verileri her ölçekte depolamanıza olanak tanır. Data Lake Formation (DLF), bulut yerel veri gölü çerçevesinin temel bir bileşenidir. DLF, bulut yerel bir veri gölü oluşturmanın kolay bir yolunu sunar. Çeşitli hesaplama motorlarıyla kesintisiz entegre olur; veri göllerindeki meta verileri merkezi olarak yönetmenize ve kurumsal düzey izinleri kontrol etmenize imkan tanır.
• Kolay veri toplama: Yapılandırılmış, yarı yapılandırılmış ve yapılandırılmamış verileri sistematik olarak toplar ve devasa veri depolamayı destekler.
• Esnek mimari: Hesaplamayı depolamadan ayıran bir mimari kullanır. Kaynakları düşük maliyetle isteğe bağlı planlayabilirsiniz. Bu, hızla değişen iş gereksinimlerini karşılamak için veri işleme verimliliğini artırır.
• Kolay veri yönetimi: Birleşik veri depolama kullanır, soğuk ve sıcak verileri ayrı ayrı depolar ve veri yaşam döngüsünü yönetir. Kümeler arası veri kopyalama başarısızlığı gibi çeşitli O&M sorunlarını çözer.
• Kolay değer elde etme: Farklı türdeki veri hesaplama ve analitik platformlarına bağlanır. Veri silosu sorunlarını çözer ve iş değeri hakkında içgörü sağlar.
Özellikler
-
![]()
Veri Alımı
Çoklu veri türleri ve veri alım kanalları
Verileri merkezi bir şekilde temizlemenizi sağlar. -
![]()
Meta Veri Hizmeti
Akıllı meta veri keşfi
Merkezi yönetimi kolaylaştırmak için farklı veri kaynaklarından meta verileri toplar. -
![]()
İzin Yönetimi
Kurumsal düzey veri izin yönetimi
Veritabanları, tablolar ve alanlar üzerinde izinler belirlemenizi sağlar. -
![]()
Çoklu Motor Erişimi
Birden fazla üst akış hesaplama motoruna erişim
Uçtan uca bir veri gölü çözümü dağıtmanıza yardımcı olur. -
![]()
Açık Ekosistem
Hive meta veri deposu ile uyumludur.
Kolay entegrasyon için birden fazla programlama dilinde API sunar. -
![]()
Veri Hızlandırma
JindoFS tabanlı veri hızlandırma
Yüksek performansla veri gölü analitiğini hızlandırır.
Senaryolar
Senaryolar
Tipik senaryolar
E-MapReduce, Realtime Compute for Apache Flink ve Data Lake Analytics (DLA) gibi Alibaba Cloud büyük veri ekosistemindeki hizmetlerin üzerinde bir veri işleme ve analitik platformu oluşturulması gerekir.
Depolama ve bilişim kaynaklarının yatay ölçeklendirmesi, artan veri hacmine ayak uyduramaz. Bu nedenle maliyet optimizasyonu gereklidir.
Farklı depolama sistemlerinden gelen meta verilerin yönetimi zordur.
Avantajlar
-
Meta veri yönetimi
DLF, veri silosu sorunlarını çözmek için birden fazla motordan meta verileri otomatik olarak keşfedip toplayabilir ve bunları merkezi bir şekilde yönetebilir.Profesyonel hizmetler
Alibaba Cloud büyük veri ekibi size uzman düzeyinde hizmetler sunar.
Senaryolar
Tipik senaryolar
Çoğu durumda, büyük veri senaryolarında veri gölü mimarisi veya veri ambarı mimarisi kullanılır.
Avantajlar:
Veri gölü mimarisi kullanılırsa temel dosya depolama sistemi açılarak veri alımı esnek hale getirilir.
Veri ambarı mimarisi kullanılırsa veri işleme verimliliği, büyük ölçekli veri yönetimi, güvenlik ve uyumluluk gibi kurumsal düzey gereksinimler karşılanabilir.
İşletme ihtiyaçlarına ayak uydurmak için veri göllerinin veri ambarlarıyla entegre edilmesi gerekir. DLF ve MaxCompute, Hologres, AnalyticDB for MySQL gibi Alibaba Cloud veri ambarları, bir veri göl evi oluşturmanıza yardımcı olur. Göl evi, veri gölleri ve ambarları arasında verileri ve bilişim kaynaklarını dinamik olarak aktarır. Bu sayede eksiksiz bir büyük veri ekosistemi kurulur.
Avantajlar
-
Sıfır O&M
DLF, tamamen yönetilen bir hizmet sunar. Birkaç tıklamayla bulutta veri gölü oluşturmanızı sağlar.Yüksek güvenlik
DLF; veritabanları, tablolar ve sütunlar üzerindeki izinleri kontrol etmek için birleşik bir izin yönetim sistemi kullanır.
Senaryolar
Tipik senaryolar
Örneğin gerçek zamanlı analiz, OLAP sorgusu ve bir iş sistemine sonuç çıktısı gibi durumlarda çok sayıda farklı türdeki OSS verisinin birden fazla boyutta sorgulanması ve analiz edilmesi gerekir.
Verileri sorguladığınızda veri gölleri buluttaki birden fazla hesaplama motoruna erişebilir. Tüm verileri bir sorgu sistemine aktarmanıza gerek kalmaz.
Avantajlar
-
Gerçek zamanlı veri alımı
DLF, iş süreçlerinin güncelliğini sağlamak için verileri gerçek zamanlı olarak veri gölüne alır.Otomatik meta veri keşfi
DLF, verileri otomatik olarak yakalayabilir, düzenleyebilir ve analitik için hazırlayabilir. Karmaşık manuel işlemler gerekmez.
Senaryolar
Tipik senaryolar
Makine öğrenimi ve derin öğrenme senaryolarındaki kullanıcılar için veri gölleri gereklidir.
Makine öğrenimi senaryolarında büyük miktarda veri, yavaş model eğitimi ve düşük algoritma performansı gibi sorunlarla karşılaşabilirsiniz. Veri göllerinin maliyetleri azaltmak için olgun makine öğrenimi platformlarına bağlanabilmesi ve GPU kaynaklarını dinamik olarak ayarlayabilmesi gerekir.
Avantajlar
-
Kullanım kolaylığı
DLF, Platform for AI (PAI) ile kesintisiz bir şekilde entegre olur ve entegrasyon için çeşitli API'ler sağlar.Birleşik veri temizleme
DLF, veriler veri gölüne alınmadan önce bunları temizlemenize ve normalleştirmenize olanak tanır. Bu özellik, PAI kullanarak sonraki analitik işlemleri gerçekleştirmenize yardımcı olur.
Sektör Senaryoları
Çevrimiçi Eğitim
100 Milyondan Fazla Kullanıcıya Sahip Bir Çevrimiçi Eğitim PlatformuMüşteri gereksinimleri
Ders materyali, uygulama günlükleri ve çalışma örnekleri gibi verilerin merkezi bir şekilde depolanması ve yönetilmesi gerekir.
Farklı çevrimiçi eğitim senaryolarında çeşitli veri türleri için ders materyali oynatma, çevrimdışı analitik ve makine öğrenimi uygulanmalıdır.Müşteri değeri
Data Lake Formation, farklı analitik gereksinimlerini karşılamak için Object Storage Service ve çok sayıda hesaplama motoruna bağlanabilir.
Çevrimiçi Oyun
Asya'da Lider Bir Etkileşimli Eğlence ŞirketiMüşteri gereksinimleri
Oyun zorluklarını ayarlamak, eşya düşme oranlarını azaltmak ve kaynak üretim oranlarını artırmak için verilerin analiz edilmesi gerekir. Bu, oyun deneyimini iyileştirmeye ve oyuncuların elde tutma oranını artırmaya yardımcı olur.
Bulut kaynaklarının dinamik olarak ölçeklendirilmesi ve yükseltilmesi gerekir. Kaynak esnekliğini sağlamak için hesaplamayı depolamadan ayıran bir mimari gereklidir.Müşteri değeri
Data Lake Formation, depolamayı hesaplamadan ayıran bir veri gölünü bulutta oluşturmanıza yardımcı olur. Ayrıca Data Lake Formation, gerçek zamanlı hesaplama ve analitik motorlarıyla birbirine bağlanabilir. Bu, işinizi gerçek zamanlı olarak ayarlamanıza yardımcı olur.
Etkileşimli Eğlence Yeni Medya
Ayda 100 Milyondan Fazla Aktif Kullanıcıya Sahip Bir İnternet Yeni Medya PlatformuMüşteri gereksinimleri
Birden fazla depolama sisteminden gelen meta verilerin merkezi bir şekilde yönetilmesi gerekir. İş geliştirmesi için veri paylaşımı ve analitiği gereklidir.Müşteri değeri
Data Lake Formation, farklı depolama sistemlerinden gelen meta verileri merkezi bir şekilde yönetmenizi sağlar. Data Lake Formation'ın meta veri keşfi hizmeti, veritabanlarınızdan ve Object Storage Service paketlerinizden veri toplayabilir ve kataloglayabilir.
İlgili Ürünler ve Hizmetler
E-MapReduce
Büyük Veri işleme hizmeti.
MaxCompute
Büyük ölçekli veri ambarı.
Hologres
PostgreSQL uyumlu gerçek zamanlı analitik.
