全部产品
Search
文档中心

E-MapReduce:OSS/OSS-HDFS

更新时间:Jul 06, 2025

Topik ini menjelaskan metode penggunaan, manfaat, dan fitur dari Alibaba Cloud Object Storage Service (OSS) dan OSS-HDFS.

Batasan

OSS adalah layanan penyimpanan cloud yang aman, hemat biaya, dan sangat andal, memungkinkan Anda menyimpan sejumlah besar data. OSS dirancang untuk memberikan daya tahan data sebesar 99,9999999999% (dua belas angka sembilan) dan ketersediaan data sebesar 99,995%. OSS menyediakan beberapa kelas penyimpanan untuk membantu Anda mengelola dan mengurangi biaya penyimpanan. Untuk informasi lebih lanjut, lihat Apa itu OSS?.

OSS-HDFS (JindoFS) adalah layanan penyimpanan danau data berbasis cloud-native. OSS-HDFS menyediakan kemampuan manajemen metadata terpusat dan sepenuhnya kompatibel dengan API Hadoop Distributed File System (HDFS). OSS-HDFS juga mendukung Antarmuka Sistem Operasi Portabel (POSIX). Anda dapat menggunakan OSS-HDFS untuk mengelola data dalam skenario komputasi berbasis danau data di bidang data besar dan AI. Untuk informasi lebih lanjut, lihat Apa itu OSS-HDFS?.

JindoData adalah rangkaian yang dikembangkan oleh tim data besar Alibaba Cloud untuk akselerasi penyimpanan sistem danau data. JindoData menyediakan solusi end-to-end untuk sistem danau data dari Alibaba Cloud dan vendor lainnya dalam skenario data besar dan AI. JindoData dibangun di atas arsitektur dan kernel yang seragam. JindoData mencakup komponen-komponen berikut: JindoFS (JindoFS asli dalam mode penyimpanan blok), JindoFSx (JindoFS asli dalam mode cache), dan JindoSDK. Mulai versi 5.0 atau lebih baru, JindoFSx diubah namanya menjadi JindoCache. JindoData juga menyediakan alat yang sepenuhnya kompatibel seperti JindoFuse dan Jindo DistCp, serta Plugin. Untuk informasi lebih lanjut, lihat JindoData.

Peringatan

Untuk memastikan stabilitas dan performa OSS atau OSS-HDFS, kami menyarankan agar Anda tidak menggunakan JindoSDK pada bucket OSS atau OSS-HDFS yang memiliki fitur versioning diaktifkan. Untuk informasi lebih lanjut, lihat Apa yang harus saya lakukan jika terjadi kesalahan Reached timeout saat saya menggunakan JindoSDK untuk mengakses OSS? dan Instruksi OSS-HDFS.

Metode Penggunaan

  • Secara default, JindoSDK diterapkan di kluster E-MapReduce (EMR). Anda dapat menggunakan JindoSDK untuk mengakses OSS atau OSS-HDFS.

  • Pada layanan Alibaba Cloud lainnya, Anda dapat mengunduh versi terbaru paket JAR JindoSDK, menginstal JindoSDK, dan kemudian menggunakannya. Untuk informasi lebih lanjut, lihat Terapkan JindoSDK di lingkungan selain EMR.

Keuntungan

OSS atau OSS-HDFS menyediakan manfaat berikut ketika digunakan sebagai layanan penyimpanan dasar:

  • Siap digunakan. OSS dan OSS-HDFS adalah layanan penyimpanan berbasis cloud-native. Anda dapat menggunakan OSS dan OSS-HDFS dengan memanggil RESTful API tanpa perlu menerapkan layanan tersebut. Secara default, JindoSDK diterapkan di kluster EMR. Anda dapat menggunakan JindoSDK untuk mengakses OSS atau OSS-HDFS.

  • Hemat biaya. Anda dapat menggunakan OSS atau OSS-HDFS untuk mengurangi biaya penyimpanan. OSS dan OSS-HDFS menyediakan berbagai kelas penyimpanan, seperti Infrequent Access (IA), Arsip, dan Penyimpanan Arsip Dingin, yang dapat Anda gunakan untuk menyimpan data. Hal ini mengurangi biaya penyimpanan data dingin.

  • Ekspansi tinggi. OSS dan OSS-HDFS sangat ekspansif. Ruang penyimpanan OSS atau OSS-HDFS tidak dibatasi oleh kapasitas hard disk. Anda tidak perlu secara manual memperluas kapasitas penyimpanan.

Fitur

Tabel berikut menjelaskan perbedaan antara fitur-fitur OSS dan OSS-HDFS.

Skenario

Fitur

OSS

OSS-HDFS

Skenario data besar (Hadoop)

Operasi untuk file dan direktori, serta operasi terkait

Didukung

Didukung

Dukungan untuk pemberian izin pada file dan direktori

Tidak didukung

Didukung

Operasi atomik untuk direktori dan operasi rename

Didukung (performa buruk)

Didukung (operasi rename dengan granularitas milidetik)

Dukungan untuk menentukan titik waktu menggunakan setTimes

Tidak didukung

Didukung

Atribut tambahan (XAttrs)

Tidak didukung

Didukung

ACL

Tidak didukung

Didukung

Dukungan untuk mempercepat caching bacaan lokal

Didukung

Didukung

Snapshots

Tidak didukung

Didukung

Operasi terkait file, seperti flush, sync, truncate, dan append

Tidak didukung

Didukung

Operasi truncate pada file

Tidak didukung

Didukung

Verifikasi checksum

Didukung

Didukung

Pembersihan otomatis tempat sampah HDFS

Tidak didukung

Didukung

Skenario AI (POSIX)

Konsistensi metadata

Lemah

Kuat

Operasi terkait file, seperti flush, sync, truncate, dan append

Didukung (Namun, ada batasan pada operasi tersebut. Untuk informasi lebih lanjut, lihat Batasan.)

Didukung

Operasi truncate pada file

Tidak didukung

Didukung

Tulisan acak ke file

Tidak didukung

Didukung