OSS-HDFS (JindoFS) adalah fitur penyimpanan data lake cloud-native dengan manajemen metadata terpadu dan kompatibilitas penuh terhadap API Hadoop Distributed File System (HDFS) untuk beban kerja data besar dan AI.
Catatan penggunaan
-
Setelah Anda mengaktifkan layanan OSS-HDFS untuk suatu bucket, data layanan tersebut disimpan di direktori
.dlsdata/bucket tersebut. Jangan lakukan operasi tulis—seperti mengganti nama atau menghapus—pada direktori ini dan objek-objeknya menggunakan metode non-OSS-HDFS, karena dapat menyebabkan gangguan layanan atau kehilangan data. -
Jika akun Anda memiliki pembayaran tertunda atau peran RAM yang menjadi dependensi
AliyunOSSDlsDefaultRoledihapus, layanan latar belakang HDFS mungkin memasuki safe mode. Dalam safe mode, semua tugas latar belakang—seperti pencatatan log audit, penghapusan asinkron, dan tiering penyimpanan otomatis—dijeda. Layanan akan dilanjutkan secara otomatis setelah masalah terselesaikan.
Setelah Anda mengaktifkan OSS-HDFS, menulis ke direktori .dlsdata/ melalui fitur OSS lainnya dapat menyebabkan kehilangan data, korupsi data, atau ketidakaksesan data, sebagaimana dijelaskan dalam Prasyarat.
Penagihan
Biaya penggunaan data
Saat Anda menggunakan layanan OSS-HDFS, blok data disimpan dengan cara yang sama seperti di OSS. Oleh karena itu, metode pengukuran dan penagihan OSS berlaku untuk blok data dalam layanan OSS-HDFS. Untuk informasi lebih lanjut, lihat Ikhtisar penagihan.
Manfaat
OSS-HDFS bekerja dengan aplikasi Hadoop dan Spark yang sudah ada tanpa perlu modifikasi. Setelah konfigurasi dasar, Anda dapat mengelola data seperti pada HDFS native, dengan manfaat tambahan dari OSS: kapasitas hampir tak terbatas, skalabilitas elastis, serta keamanan, keandalan, dan ketersediaan yang lebih baik.
OSS-HDFS mampu menangani eksabita data dan miliaran file dengan throughput tingkat terabita. Di luar namespace datar dari penyimpanan objek standar, OSS-HDFS menyediakan namespace hierarkis yang mengorganisasi objek ke dalam direktori, dengan konversi namespace otomatis melalui manajemen metadata terpadu. Alih-alih redundansi NameNode aktif-standby pada HDFS tradisional, OSS-HDFS menggunakan redundansi multi-node aktif-aktif untuk ketahanan yang lebih unggul. Pengguna Hadoop dapat mengakses data seefisien saat menggunakan HDFS lokal tanpa replikasi atau konversi, sehingga meningkatkan performa pekerjaan dan mengurangi biaya pemeliharaan.
Fitur
|
Fitur |
Deskripsi |
Referensi |
|
RootPolicy |
Konfigurasikan awalan kustom untuk OSS-HDFS agar pekerjaan berjalan tanpa mengubah awalan akses |
|
|
ProxyUser |
Otorisasi pengguna untuk melakukan operasi sistem file atas nama pengguna lain, misalnya mengakses data sensitif. |
|
|
UserGroupsMapping |
Konfigurasikan pemetaan antara pengguna dan kelompok pengguna. |
UserGroupsMapping (Mengelola pemetaan pengguna dan kelompok) |
Kasus penggunaan
OSS-HDFS mendukung berbagai kasus penggunaan data besar dan AI:
Hive dan Spark
OSS-HDFS cocok untuk gudang data offline yang dibangun dengan Hive dan Spark. Fitur ini mendukung secara native semantik file dan direktori, izin, operasi direktori atomik, penggantian nama dalam milidetik, setTimes, atribut diperluas (XAttrs), ACL, serta akselerasi cache baca lokal. Pada beban kerja ETL, OSS-HDFS jauh lebih unggul dibandingkan bucket OSS standar.
OLAP
OSS-HDFS menyediakan akses POSIX melalui JindoFuse, memberikan mesin OLAP akses baca terpadu ke data dalam arsitektur penyimpanan-komputasi terurai. Cache bawaan mempercepat performa kueri.
Penguraian keterkaitan HBase
OSS-HDFS mendukung secara native semantik file dan direktori serta operasi flush, sehingga dapat menggantikan HDFS dalam arsitektur penyimpanan-komputasi terurai untuk HBase. Berbeda dengan OSS standar, fitur ini menyimpan Write-Ahead Log (WAL) secara langsung di OSS-HDFS, menyederhanakan arsitektur. Gunakan OSS-HDFS sebagai penyimpanan dasar untuk HBase.
Komputasi real-time
OSS-HDFS mendukung flush dan truncate serta secara mulus menggantikan HDFS untuk sink dan checkpoint dalam komputasi real-time Flink.
Migrasi data
OSS-HDFS memungkinkan migrasi lancar data HDFS dari on-premises ke cloud, mengurangi biaya penyimpanan melalui skalabilitas elastis dan harga bayar sesuai penggunaan. JindoDistCp memigrasikan data HDFS (termasuk atribut file dan metadata) ke OSS-HDFS serta menyediakan perbandingan data cepat menggunakan checksum HDFS.