Apsara File Storage for HDFS adalah layanan penyimpanan file cloud yang menyediakan antarmuka yang kompatibel dengan Hadoop Distributed File System (HDFS). Pekerjaan MapReduce, Hive, Spark, dan Flink dapat terhubung ke layanan ini sebagai sistem file default tanpa perlu mengubah kode atau melakukan kompilasi ulang.
Kemampuan utama:
Kapasitas Tanpa Batas dengan penskalaan kinerja linear
Akses ber-throughput tinggi, IOPS tinggi, dan latensi rendah dari instans Elastic Compute Service (ECS) dan Container Service
Namespace unik yang dibagikan di berbagai node komputasi
Ketahanan data 99,999999999% (sebelas angka 9)
Isolasi jaringan, security group, dan otorisasi Pengguna RAM
Penagihan pay-as-you-go secara default, dengan paket sumber daya subscription untuk diskon tambahan
Kasus penggunaan
Apsara File Storage for HDFS cocok untuk beban kerja yang memerlukan throughput tinggi yang konsisten, seperti analitik data besar dan pembelajaran mesin. Instans ECS dan sumber daya komputasi lainnya mengakses data yang disimpan secara langsung—tanpa perlu menyalin data ke penyimpanan lokal sebelum diproses. Deploy aplikasi Hadoop atau pembelajaran mesin di berbagai node komputasi dan jalankan pekerjaan komputasi online atau offline terhadap sistem file yang sama. Ekspor hasil kembali ke sistem file untuk penyimpanan permanen.
Kinerja
Throughput merupakan metrik kinerja utama. Throughput praktis suatu sistem file dibatasi oleh bandwidth maksimum instans ECS yang terhubung. Sebagai contoh, instans ECS dengan bandwidth 1,5 Gbit/s mendukung throughput sistem file maksimum sebesar 187,5 Mbit/s. Throughput meningkat secara linear seiring peningkatan kapasitas sistem file: semakin besar kapasitas yang disediakan, semakin tinggi throughput yang tersedia.
Ketahanan dan ketersediaan data
Apsara File Storage for HDFS menyimpan beberapa replika setiap file. Replika ditempatkan pada perangkat yang diisolasi di domain kesalahan berbeda untuk redundansi geografis, sehingga memberikan ketahanan data 99,999999999% (sebelas angka 9).
Keamanan
Apsara File Storage for HDFS melindungi data menggunakan lima mekanisme pelengkap:
| Mekanisme | Deskripsi |
|---|---|
| Network isolation | Mengisolasi sistem file dalam Virtual Private Cloud (VPC) |
| Classic network user isolation | Mengontrol akses di lingkungan jaringan klasik |
| File system permission control | Kontrol akses standar untuk sistem file |
| Security group access control | Membatasi akses di tingkat jaringan menggunakan security group |
| RAM user authorization | Memberikan izin detail halus kepada Pengguna RAM |
SDK dan Konsol
Apsara File Storage for HDFS menyediakan dua antarmuka manajemen:
SDK — SDK Apsara File Storage for HDFS untuk Java (
aliyun-sdk-dfs-x.y.z.jar) mengimplementasikan operasi sistem file yang kompatibel dengan Hadoop. Aplikasi yang dibangun di atas MapReduce, Hive, Spark, dan Flink dapat menggunakan SDK ini untuk beralih ke Apsara File Storage for HDFS sebagai sistem file default tanpa mengubah atau mengompilasi ulang kode.Konsol — Gunakan konsol Apsara File Storage for HDFS untuk membuat dan mengelola sistem file melalui antarmuka web grafis.
Penagihan
Apsara File Storage for HDFS ditagih berdasarkan kapasitas sistem file dan throughput yang telah ditentukan.
| Metode penagihan | Deskripsi |
|---|---|
| Pay-as-you-go | Ditagih per jam berdasarkan resource yang digunakan. Opsi default. |
| Subscription (resource plan) | Beli kapasitas di muka untuk harga per unit yang lebih rendah. |