JindoSDK memungkinkan Anda membaca dari dan menulis ke Object Storage Service (OSS) atau OSS-HDFS dari kluster E-MapReduce (EMR) maupun lingkungan Hadoop non-EMR. OSS dan OSS-HDFS menggunakan metode akses yang sama—satu-satunya perbedaan terletak pada format titik akhir dalam path.
Prasyarat
Sebelum memulai, pastikan Anda telah:
Mengaktifkan layanan OSS. Lihat Aktifkan OSS.
Bucket OSS. Lihat Buat bucket.
Mendapatkan izin akses OSS untuk akun Anda:
Konsol EMR baru: izin diberikan secara default. Lihat Tetapkan peran.
Konsol EMR lama: izin diberikan secara default. Lihat Tetapkan peran.
Lingkungan non-EMR: Lihat Berikan akses ke OSS atau OSS-HDFS.
(Disarankan) Mengaktifkan OSS-HDFS dengan izin akses yang telah diberikan.
JindoSDK telah diterapkan:
Kluster EMR: JindoSDK diterapkan secara otomatis.
Catatan Untuk mengakses OSS-HDFS dari kluster EMR, buat kluster yang menjalankan EMR V3.42.0 atau versi minor yang lebih baru, atau EMR V5.8.0 atau versi minor yang lebih baru.Lingkungan non-EMR: Terapkan JindoSDK secara manual. Lihat Terapkan JindoSDK di lingkungan selain EMR.
Catatan Untuk mengakses OSS-HDFS dari lingkungan non-EMR, terapkan JindoSDK 4.X atau yang lebih baru.
Format path
OSS dan OSS-HDFS menggunakan titik akhir yang berbeda dalam path. Tabel berikut menunjukkan contoh path root dan kapan masing-masing sistem penyimpanan digunakan.
| Sistem penyimpanan | Contoh jalur root | Kapan digunakan |
|---|---|---|
| OSS | oss://examplebucket.oss-cn-shanghai-internal.aliyuncs.com/ | Penyimpanan objek tujuan umum. Gunakan titik akhir internal untuk akses dalam wilayah yang sama. Node tanpa alamat IP publik tidak dapat menggunakan titik akhir publik, sehingga akses cross-region tidak didukung dalam kasus tersebut. |
| OSS-HDFS | oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Hanya dapat diakses melalui alamat IP pribadi — akses cross-region tidak didukung. |
oss://. Bagian titik akhir dalam path menentukan sistem mana yang diakses.Metode akses
JindoSDK mendukung empat cara untuk mengakses OSS atau OSS-HDFS. Pilih metode yang sesuai dengan alur kerja Anda.
| Metode | Contoh | Deskripsi |
|---|---|---|
| Perintah Hadoop Shell | hadoop fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | JindoOssFileSystem dalam JindoSDK mengimplementasikan antarmuka Hadoop FileSystem. Titik akhir dalam path menentukan apakah OSS atau OSS-HDFS yang diakses. Lihat Gunakan perintah Hadoop Shell untuk mengakses OSS atau OSS-HDFS. |
| Perintah Jindo CLI | jindo fs -ls oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ | Mirip dengan Hadoop Shell, dengan operasi tambahan seperti pengarsipan, caching, dan analisis error. Lihat Gunakan perintah Jindo CLI untuk mengakses OSS atau OSS-HDFS. |
| Perintah POSIX | mkdir -p /mnt/ossjindo-fuse /mnt/oss -ouri=oss://examplebucket.cn-shanghai.oss-dls.aliyuncs.com/ls /mnt/oss | JindoFuse memasang OSS atau OSS-HDFS sebagai path lokal menggunakan API FUSE. Akses penyimpanan tersebut seperti mengakses sistem file lokal. Lihat Gunakan perintah POSIX untuk mengakses OSS atau OSS-HDFS. |
| Konsol OSS |  | Masuk ke Konsol OSS. Di panel navigasi sebelah kiri, klik Buckets, temukan bucket Anda, lalu klik namanya. Klik tab OSS Object atau HDFS untuk mengakses OSS atau OSS-HDFS. |