Sebelum menjalankan task, Anda harus mengunggah resource yang diperlukan—seperti file dan paket JAR—atau memuat direktori file ke EMR Serverless Spark agar task dapat mengakses resource tersebut secara lancar saat runtime.
Informasi latar belakang
Direktori file terkelola: Anda dapat mengunggah file lokal ke bucket tertentu melalui antarmuka pengguna. File tersebut kemudian dapat diakses langsung saat task dijalankan.
Direktori file terintegrasi: Anda dapat memasang Object Storage Service (OSS) atau sistem file NAS tujuan umum (NAS) ke sesi Notebook atau task Data Studio untuk mengakses file dalam direktori tersebut secara langsung.
Batasan
Ukuran maksimum satu file yang dapat diunggah ke direktori file terkelola adalah 500 MB.
Satu workspace mendukung maksimal 10 direktori file terintegrasi.
Task yang dikirim melalui Livy Gateway atau Kyuubi Gateway tidak mendukung pemasangan direktori file terintegrasi.
Direktori file terkelola
Unggah berkas
Buka halaman pengunggahan resource.
Login ke Konsol E-MapReduce.
Pada panel navigasi sebelah kiri, pilih .
Pada halaman Spark, klik nama workspace yang dituju.
Pada halaman EMR Serverless Spark, klik Files pada panel navigasi sebelah kiri.
Pada halaman Managed File Directory, klik Upload File.
Pada kotak dialog Upload File, klik area unggah untuk memilih file lokal, atau seret file ke area unggah.
Mengelola file dan folder
Pada halaman Managed File Directory, Anda dapat melakukan operasi berikut pada file dan folder yang sudah ada:
File:
Download File: Mengunduh file ke mesin lokal Anda.
Copy Address: Menyalin path akses file.
Delete: Menghapus file.
Folder: Anda dapat Create Folder, Rename, dan Delete folder.
Direktori file terintegrasi
Setelah menambahkan direktori file terintegrasi, anggota dengan izin mengedit file untuk workspace tersebut dapat mengedit file dan folder dalam direktori file OSS terintegrasi melalui antarmuka manajemen file. Anggota dengan izin Data Studio dapat membaca dan menulis file serta folder menggunakan task Data Studio.
Menambahkan direktori file
Pada halaman Integrated File Directory, klik Create File Directory.
Pada kotak dialog Create File Directory, konfigurasikan parameter berikut lalu klik OK.
OSS
Tabel berikut menjelaskan parameter konfigurasi OSS.
Parameter
Deskripsi
File directory name
Nama direktori berkas.
OSS path
Pilih path OSS yang memiliki izin akses. Pastikan role eksekusi untuk workspace memiliki izin mengakses path tersebut.
Mount Path
Anda dapat menyesuaikan path, tetapi harus berada di bawah path
/mnt.General-purpose NAS
Tabel berikut menjelaskan parameter konfigurasi General-purpose NAS.
Parameter
Description
File directory name
Nama direktori file.
File system
Pilih sistem file NAS tujuan umum yang memiliki izin akses. Pastikan role eksekusi untuk workspace memiliki izin mengakses sistem file NAS tersebut.
Mount Target
Konfigurasikan titik pemasangan untuk mengakses sistem file NAS.
File system path
Konfigurasikan path penyimpanan yang sudah ada di NAS. Jika dibiarkan kosong, direktori root akan dipasang secara default.
Mount path
Anda dapat menyesuaikan path, tetapi harus berada di bawah path
/nas.
Hapus direktori berkas
Saat Anda menghapus direktori file, Anda hanya menghapus asosiasi antara direktori file workspace dengan OSS atau NAS. File yang berada di path OSS atau NAS tidak akan dihapus.
Pada halaman Integrated File Directory, klik Delete pada kolom Actions.
Klik OK.
Apa yang harus dilakukan selanjutnya
Direktori file terkelola: Setelah mengunggah resource, Anda dapat menggunakan file yang diunggah sebagai dependensi atau sumber data input saat mengembangkan task.
Direktori file terintegrasi: Setelah menambahkan direktori file terintegrasi, Anda dapat memasangnya saat mengonfigurasi sesi Notebook atau task Data Studio.