OSS-HDFS telah terintegrasi dalam versi tertentu kluster Alibaba Cloud E-MapReduce (EMR), sehingga Anda dapat membaca dan menulis ke OSS-HDFS menggunakan perintah standar Hadoop Distributed File System (HDFS) Shell.
Catatan: Jika Anda menggunakan kluster Hadoop yang dikelola sendiri, ikuti metode koneksi non-EMR. Untuk informasi selengkapnya, lihat Menghubungkan kluster non-EMR ke OSS-HDFS.
Prasyarat
Sebelum memulai, pastikan Anda telah memiliki:
Bucket OSS dengan OSS-HDFS yang diaktifkan serta role Resource Access Management (RAM) yang diberikan akses ke OSS-HDFS. Untuk informasi selengkapnya, lihat Aktifkan OSS-HDFS dan berikan izin akses.
Izin yang diperlukan untuk menghubungkan kluster EMR ke OSS-HDFS. Secara default, Akun Alibaba Cloud telah memiliki izin tersebut. Jika Anda menggunakan RAM user, berikan terlebih dahulu izin yang diperlukan kepada RAM user tersebut. Untuk informasi selengkapnya, lihat Berikan izin kepada RAM user untuk menghubungkan kluster EMR ke OSS-HDFS.
Menghubungkan kluster EMR ke OSS-HDFS
Langkah 1: Buat kluster EMR
Masuk ke Konsol E-MapReduce. Di panel navigasi sebelah kiri, klik EMR on ECS.
Buat kluster EMR dengan pengaturan berikut: gunakan nilai default untuk semua parameter lainnya. Untuk informasi selengkapnya, lihat Buat kluster.
Setting Nilai yang diperlukan Product Version EMR-3.46.2 atau versi lebih baru, atau EMR-5.12.2 atau versi lebih baru Root Storage Directory of Cluster Bucket yang telah diaktifkan OSS-HDFS
Langkah 2: Login ke kluster EMR
Klik kluster yang telah Anda buat.
Klik tab Nodes, lalu klik
di sebelah kiri kelompok node.Klik ID instans Elastic Compute Service (ECS). Di halaman Instances, klik Connect di samping ID instans untuk masuk melalui Workbench.
Untuk masuk menggunakan pasangan kunci SSH atau kata sandi SSH di Windows atau Linux, lihat Login ke kluster.
Langkah 3: Jalankan perintah HDFS Shell
Gunakan perintah HDFS Shell untuk membaca dan menulis ke OSS-HDFS. Format titik akhir OSS-HDFS adalah:
oss://<bucket-name>.<region-id>.oss-dls.aliyuncs.com/Unggah file lokal
Jalankan perintah berikut untuk mengunggah examplefile.txt dari direktori root lokal ke examplebucket:
hdfs dfs -put examplefile.txt oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/Unduh objek
Jalankan perintah berikut untuk mengunduh exampleobject.txt dari examplebucket ke direktori lokal /tmp/:
hdfs dfs -get oss://examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/exampleobject.txt /tmp/Untuk daftar lengkap perintah HDFS Shell yang didukung, lihat Gunakan perintah Hadoop Shell untuk mengakses OSS-HDFS.