OSS-HDFS terintegrasi dalam versi tertentu dari klaster Alibaba Cloud E-MapReduce (EMR). Topik ini menjelaskan cara menghubungkan klaster EMR ke OSS-HDFS dan melakukan operasi umum.
Jika Anda menggunakan klaster Hadoop yang dikelola sendiri, hubungkan klaster tersebut ke OSS-HDFS dengan cara yang sama seperti menghubungkan klaster non-EMR. Untuk informasi lebih lanjut, lihat Hubungkan klaster non-EMR ke OSS-HDFS.
Prasyarat
OSS-HDFS diaktifkan untuk sebuah bucket, dan izin telah diberikan kepada Peran RAM untuk mengakses OSS-HDFS. Untuk informasi lebih lanjut, lihat Aktifkan OSS-HDFS dan berikan izin akses.
Secara default, akun Alibaba Cloud memiliki izin untuk menghubungkan klaster EMR ke OSS-HDFS dan melakukan operasi umum terkait OSS-HDFS. Pengguna RAM dengan izin yang diperlukan telah dibuat. Jika Anda ingin menggunakan pengguna RAM untuk menghubungkan klaster EMR ke OSS-HDFS, pastikan pengguna RAM memiliki izin yang sesuai. Untuk informasi lebih lanjut, lihat Berikan izin kepada pengguna RAM untuk menghubungkan klaster EMR ke OSS-HDFS.
Prosedur
Masuk ke konsol E-MapReduce. Di panel navigasi sebelah kiri, klik EMR on ECS dan buat klaster EMR.
Saat membuat klaster EMR, pastikan Anda mengatur Product Version ke EMR-3.46.2 atau yang lebih baru atau EMR-5.12.2 atau yang lebih baru, serta Root Storage Directory of Cluster ke bucket tempat OSS-HDFS diaktifkan. Gunakan nilai default untuk parameter lainnya. Untuk informasi lebih lanjut, lihat Buat klaster.
Masuk ke klaster EMR.
Klik klaster EMR yang telah dibuat.
Klik tab Nodes, lalu klik
di sisi kiri grup node.Klik ID instance Elastic Compute Service (ECS). Pada halaman Instances, klik Connect di sebelah ID instance untuk masuk ke klaster menggunakan Workbench.
Untuk informasi lebih lanjut tentang cara masuk ke klaster di Windows atau Linux menggunakan pasangan kunci SSH atau kata sandi SSH, lihat Masuk ke klaster.
Jalankan perintah Shell HDFS untuk melakukan operasi umum yang terkait dengan OSS-HDFS.
Unggah file lokal
Jalankan perintah berikut untuk mengunggah file lokal bernama examplefile.txt di direktori root lokal ke bucket bernama examplebucket:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/Unduh objek
Jalankan perintah berikut untuk mengunduh objek bernama exampleobject.txt dari bucket bernama examplebucket ke direktori root bernama /tmp di komputer Anda:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
Untuk informasi lebih lanjut, lihat Gunakan perintah Shell Hadoop untuk mengakses OSS-HDFS.