Sebelum menjalankan pekerjaan, Anda dapat mengunggah sumber daya seperti file dan JAR atau menambahkan direktori file ke EMR Serverless Spark agar pekerjaan tersebut dapat mengakses sumber daya tersebut secara mulus selama waktu proses.
Direktori file terkelola vs. direktori file terintegrasi
Direktori file terkelola: Unggah file lokal dari Konsol ke storage space yang dikelola layanan. File-file tersebut kemudian dapat diakses langsung selama eksekusi pekerjaan.
Direktori file terintegrasi: Pasang sistem file eksternal, seperti OSS, NAS, atau CPFS, ke sesi notebook dan pekerjaan Anda untuk akses langsung ke file dalam direktori tersebut.
Batasan
Direktori file terkelola
Ukuran maksimum untuk satu file yang diunggah adalah 500 MB.
Direktori file terintegrasi
Satu ruang kerja mendukung maksimal 10 direktori file terintegrasi.
Anda tidak dapat memasang direktori file terintegrasi untuk pekerjaan yang dikirim melalui Kyuubi Gateway atau kluster Spark.
Direktori file terintegrasi CPFS tidak dapat dipasang bersamaan dengan jenis direktori file terintegrasi lainnya (OSS atau NAS). Misalnya, Anda dapat memasang beberapa direktori OSS dan NAS secara bersamaan, tetapi tidak dapat memasang direktori OSS dan direktori CPFS sekaligus.
Kelola direktori file terkelola
Unggah file
Buka halaman Artifacts.
Masuk ke Konsol EMR.
Di panel navigasi kiri, pilih .
Di halaman Spark, klik nama ruang kerja yang dituju.
Di panel navigasi kiri halaman EMR Serverless Spark, klik Artifacts.
Di tab Managed File Directory, klik Upload File.
Di kotak dialog Upload File, klik area unggah untuk memilih file lokal, atau seret file ke area tersebut.
Kelola file dan folder
Di tab Managed File Directory, Anda dapat melakukan operasi berikut pada file dan folder yang sudah ada:
Untuk file, Anda dapat melakukan operasi berikut:
Download: Unduh file ke mesin lokal Anda.
Copy Address: Menyalin path akses file.
Delete: Hapus file.
Untuk folder, Anda dapat melakukan operasi berikut: New Folder, Rename Folder, dan Delete.
Kelola direktori file terintegrasi
Setelah Anda menambahkan direktori file terintegrasi, anggota dengan izin pengeditan file di ruang kerja dapat mengedit file dan folder dalam direktori file OSS terintegrasi dari halaman Artifacts. Anggota dengan izin pengembangan data dapat membaca dan menulis ke file dan folder tersebut dalam pekerjaan pengembangan data mereka.
Tambahkan direktori file
Buka halaman Artifacts.
Masuk ke Konsol EMR.
Di panel navigasi kiri, pilih .
Di halaman Spark, klik nama ruang kerja yang dituju.
Di panel navigasi kiri halaman EMR Serverless Spark, klik Artifacts.
Di tab Integrated File Directory, klik Create Folder.
Di kotak dialog Create File Directory, konfigurasikan parameter berikut lalu klik OK.
OSS
Tabel berikut menjelaskan parameter untuk OSS.
Parameter
Deskripsi
Name
Nama direktori file.
OSS Path
Pilih path penyimpanan OSS. Pastikan role eksekusi ruang kerja memiliki izin untuk mengakses path ini.
Mounted Path
Anda dapat menyesuaikan path ini, tetapi harus berada di bawah path
/mnt.General-purpose NAS
Tabel berikut menjelaskan parameter untuk General-purpose NAS.
Parameter
Deskripsi
Name
Nama direktori file.
File system
Pilih sistem file NAS tujuan umum. Pastikan role eksekusi ruang kerja memiliki izin untuk mengakses sistem file NAS tersebut.
Mount on
Konfigurasikan mount point untuk mengakses sistem file NAS.
File System Path
Tentukan path penyimpanan yang sudah ada dalam sistem file NAS. Jika Anda mengosongkan parameter ini, direktori root akan dipasang secara default.
Mounted Path
Anda dapat menyesuaikan path ini, tetapi harus berada di bawah path
/nas.CPFS for Lingjun
Tabel berikut menjelaskan parameter untuk CPFS for Lingjun.
Parameter
Deskripsi
Name
Nama direktori file.
File system
Pilih sistem file CPFS for AI Computing. Pastikan role eksekusi ruang kerja memiliki izin untuk mengakses sistem file CPFS tersebut.
Mount on
Konfigurasikan mount point untuk mengakses sistem file CPFS.
Mounted Path
Anda dapat menyesuaikan path ini, tetapi harus berada di bawah path
/cpfs.Read-only
Opsi ini dinonaktifkan secara default. Saat diaktifkan, direktori file menjadi read-only.
Hapus direktori file
Menghapus direktori file hanya menghapus asosiasinya dengan path OSS, NAS, atau CPFS yang sesuai. Tindakan ini tidak menghapus file di path eksternal tersebut.
Di tab Integrated File Directory, temukan direktori yang ingin dihapus lalu klik Delete di kolom Actions.
Klik OK.
Langkah selanjutnya
Gunakan direktori file terkelola: Setelah mengunggah file, Anda dapat menggunakannya sebagai dependensi atau sumber data dalam task batch atau streaming Anda.
Gunakan direktori file terintegrasi: Setelah direktori terintegrasi, Anda dapat memasangnya saat mengonfigurasi sesi notebook, task batch atau streaming, atau task Livy gateway.