OSS-HDFS (JindoFS), büyük veri ve yapay zeka iş yükleri için birleşik meta veri yönetimi ve tam Hadoop Distributed File System (HDFS) API uyumluluğu sunan cloud-native bir veri gölü depolama özelliğidir.
Kullanım notları
Bir paket için OSS-HDFS hizmetini etkinleştirdikten sonra hizmet verileri paketin
.dlsdata/dizininde depolanır. Bu dizine ve içindeki nesnelere OSS-HDFS dışı yöntemlerle yeniden adlandırma veya silme gibi yazma işlemleri uygulamayın. Bu işlem hizmet kesintilerine veya veri kaybına yol açabilir.Hesabınızda gecikmiş ödeme varsa veya bağımlı RAM rolü
AliyunOSSDlsDefaultRolesilindiyse HDFS arka plan hizmeti güvenli moda geçebilir. Güvenli modda denetim günlüğü kaydı, zaman uyumsuz silme ve otomatik depolama katmanlama gibi tüm arka plan görevleri duraklatılır. Sorun çözüldüğünde hizmet otomatik olarak devam eder.
OSS-HDFS'yi etkinleştirdikten sonra diğer OSS özelliklerini kullanarak .dlsdata/ dizinine yazma işlemi yapmak Ön Koşullar bölümünde açıklandığı gibi veri kaybına, bozulmasına veya verilere erişilememesine neden olabilir.
Faturalama
-
Veri kullanımı ücretleri
OSS-HDFS hizmetini kullandığınızda veri blokları OSS ile aynı şekilde depolanır. Bu nedenle OSS'nin ölçüm ve faturalama yöntemleri OSS-HDFS hizmetindeki veri blokları için de geçerlidir. Daha fazla bilgi için bkz. Faturalamaya Genel Bakış.
Avantajlar
OSS-HDFS, mevcut Hadoop ve Spark uygulamalarıyla değişiklik gerektirmeden çalışır. Temel yapılandırmadan sonra verileri yerel HDFS'deki gibi yönetirken OSS'nin sunduğu neredeyse sınırsız kapasite, esnek ölçeklenebilirlik ve geliştirilmiş güvenlik, güvenilirlik ve kullanılabilirlik avantajlarından yararlanırsınız.
OSS-HDFS, terabayt düzeyinde aktarım hızıyla eksabaytlarca veriyi ve milyarlarca dosyayı işler. Standart nesne depolamanın düz ad alanının ötesinde nesneleri dizinlerde organize eden hiyerarşik bir ad alanı sağlar ve birleşik meta veri yönetimi aracılığıyla otomatik ad alanı dönüştürme gerçekleştirir. Geleneksel HDFS'deki aktif-pasif NameNode yedekliliği yerine OSS-HDFS üstün dayanıklılık için çok düğümlü aktif-aktif yedeklilik kullanır. Hadoop kullanıcıları çoğaltma veya dönüştürme gerekmeden verilere yerel HDFS'deki kadar verimli erişerek iş performansını artırır ve bakım maliyetlerini düşürür.
Özellikler
|
Özellik |
Açıklama |
Referanslar |
|
RootPolicy |
İşlerin orijinal |
|
|
ProxyUser |
Kullanıcının hassas verilere erişim gibi diğer kullanıcılar adına dosya sistemi işlemleri gerçekleştirmesine yetki verin. |
|
|
UserGroupsMapping |
Kullanıcılar ve kullanıcı grupları arasındaki eşlemeleri yapılandırın. |
Kullanım senaryoları
OSS-HDFS, büyük veri ve yapay zeka kullanım senaryolarını destekler:
Hive ve Spark
OSS-HDFS, Hive ve Spark ile oluşturulan çevrimdışı veri ambarları için uygundur. Dosya ve dizin semantiğini, izinleri, atomik dizin işlemlerini, milisaniye düzeyinde yeniden adlandırmaları, setTimes, genişletilmiş öznitelikleri (XAttrs), ACL'leri ve yerel okuma önbelleği hızlandırmayı yerel olarak destekler. ETL iş yüklerinde OSS-HDFS standart OSS paketlerinden önemli ölçüde daha iyi performans gösterir.
OLAP
OSS-HDFS, JindoFuse aracılığıyla POSIX erişimi sağlayarak OLAP motorlarına decoupled storage-compute mimarisi için verilere birleşik okuma erişimi sunar. Yerleşik önbelleğe alma sorgu performansını hızlandırır.
HBase ayrıştırma
OSS-HDFS, dosya ve dizin semantiğini ve flush işlemlerini yerel olarak destekleyerek HBase için decoupled storage-compute mimarisinde HDFS'nin yerini alabilir. Standart OSS'in aksine bu çözüm Write-Ahead Log (WAL) öğesini doğrudan OSS-HDFS'de depolar ve mimariyi basitleştirir. HBase için altta yatan depolama olarak OSS-HDFS kullanma.
Gerçek zamanlı hesaplama
OSS-HDFS, flush ve truncate işlemlerini destekler ve Flink gerçek zamanlı hesaplamada sink'ler ve kontrol noktaları için HDFS'nin yerini sorunsuz bir şekilde alır.
Veri geçişi
OSS-HDFS, HDFS verilerinin şirket içinden buluta sorunsuz bir şekilde geçirilmesini sağlar ve esnek ölçeklendirme ile kullandıkça öde fiyatlandırması sayesinde depolama maliyetlerini azaltır. JindoDistCp, HDFS verilerini (dosya öznitelikleri ve meta veriler dahil) OSS-HDFS'ye geçirir ve HDFS sağlama toplamlarını kullanarak hızlı veri karşılaştırması sağlar.