OSS-HDFS telah terintegrasi ke dalam versi tertentu dari kluster Alibaba Cloud E-MapReduce (EMR). Topik ini menjelaskan cara menghubungkan kluster EMR ke OSS-HDFS dan melakukan operasi umum.
Jika Anda menggunakan kluster Hadoop yang dikelola sendiri, hubungkan kluster tersebut ke OSS-HDFS dengan cara yang sama seperti menghubungkan kluster non-EMR ke OSS-HDFS. Untuk informasi selengkapnya, lihat Panduan cepat: Hubungkan kluster non-EMR ke layanan OSS-HDFS.
Prasyarat
OSS-HDFS telah diaktifkan untuk sebuah bucket dan izin telah diberikan kepada role RAM untuk mengakses OSS-HDFS. Untuk informasi selengkapnya, lihat Aktifkan OSS-HDFS dan berikan izin akses.
Secara default, Akun Alibaba Cloud memiliki izin untuk menghubungkan kluster EMR ke OSS-HDFS dan melakukan operasi umum terkait OSS-HDFS. Jika Anda ingin menggunakan pengguna RAM untuk menghubungkan kluster EMR ke OSS-HDFS, pastikan pengguna tersebut telah diberikan izin yang diperlukan. Untuk informasi selengkapnya, lihat Berikan izin kepada pengguna RAM untuk menghubungkan kluster EMR ke OSS-HDFS.
Prosedur
-
Masuk ke konsol E-MapReduce. Di panel navigasi sebelah kiri, klik EMR on ECS dan buat kluster EMR.
Saat membuat kluster EMR, pastikan bahwa Product Version adalah EMR-3.46.2 atau yang lebih baru, atau EMR-5.12.2 atau yang lebih baru, dan Root Storage Directory of Cluster diatur ke bucket yang telah diaktifkan OSS-HDFS. Gunakan nilai default untuk parameter lainnya. Untuk detailnya, lihat Buat kluster.
-
Masuk ke kluster EMR.
Klik kluster EMR yang telah dibuat.
-
Klik tab Nodes, lalu klik ikon
di sebelah kiri kelompok node. -
Klik ID ECS. Di halaman instance ECS, klik Connect di samping ID instans, lalu pilih metode default (Workbench) untuk masuk ke instance tersebut.
Untuk informasi selengkapnya tentang cara masuk ke kluster di Windows atau Linux menggunakan pasangan kunci SSH atau password SSH, lihat Hubungkan ke kluster.
Jalankan perintah HDFS Shell untuk melakukan operasi umum terkait OSS-HDFS.
Unggah file lokal
Jalankan perintah berikut untuk mengunggah file lokal bernama examplefile.txt dari direktori root lokal ke bucket bernama examplebucket:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/Unduh objek
Jalankan perintah berikut untuk mengunduh objek bernama exampleobject.txt dari bucket bernama examplebucket ke direktori root /tmp di komputer Anda:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/
Untuk informasi selengkapnya, lihat Gunakan perintah Hadoop Shell untuk mengakses OSS-HDFS.