Operasi volume eksternal - MaxCompute

Volume Eksternal adalah sistem file terdistribusi dan solusi penyimpanan untuk data tidak terstruktur yang disediakan oleh MaxCompute. Fitur ini memungkinkan Anda menanyakan dan memproses data dalam file yang disimpan di Object Storage Service (OSS) tanpa perlu mengimpor data ke tabel MaxCompute, sehingga mengurangi redundansi data dan overhead transmisi.

Operasi umum

Operasi	Deskripsi	Pengguna berwenang	Platform operasi
Buat volume eksternal	Membuat volume eksternal di dalam proyek.	Pemilik volume eksternal Pemilik proyek Pengguna yang diberi peran Super_Administrator atau Admin	Klien MaxCompute Konsol DataWorks
Lihat struktur direktori volume eksternal	Menampilkan struktur direktori volume eksternal.
Hapus volume eksternal	Menghapus volume eksternal.

Prasyarat

Klien MaxCompute versi V0.43.0 atau lebih baru telah terinstal. Untuk informasi lebih lanjut, lihat Klien MaxCompute (odpscmd).
Anda juga dapat menjalankan perintah yang disediakan dalam topik ini pada halaman DataStudio atau pada halaman SQL Query dari Konsol DataWorks. Untuk menjalankan perintah di Konsol DataWorks, pastikan bahwa versi klien MaxCompute yang terintegrasi dengan DataStudio atau SQL Query adalah V0.43.2 atau lebih baru. Gunakan perintah Show version; pada halaman DataStudio atau SQL Query untuk memeriksa versi klien MaxCompute. Untuk informasi lebih lanjut, lihat Gunakan MaxCompute di DataWorks.
Catatan
Saat menjalankan perintah pada halaman DataStudio atau SQL Query dari Konsol DataWorks, pastikan klien MaxCompute yang digunakan adalah versi V0.43.2 atau lebih baru. Gunakan perintah Show version; untuk memeriksa versi.
Jika Anda menggunakan SDK untuk Java, versi SDK untuk Java harus V0.43.0 atau lebih baru.
Akun Alibaba Cloud atau pengguna RAM diberikan izin akses pada OSS. Untuk informasi lebih lanjut tentang otorisasi, lihat Otorisasi STS untuk OSS.

Buat volume eksternal

Sintaks

vfs -create <volume_name>  
    -storage_provider <oss> 
    -url <oss://oss_endpoint/bucket/path>
    -acd <true|false>
    -role_arn <arn:aliyun:xxx/aliyunodpsdefaultrole>

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Wajib	Deskripsi
volume_name	Ya	Nama volume eksternal yang ingin Anda buat.
storage_provider	Ya	Penyedia penyimpanan. Hanya OSS yang didukung. Oleh karena itu, Anda harus menetapkan parameter ini ke `oss`.
url	Ya	Direktori OSS tempat file data disimpan. Direktori OSS berada dalam format `oss://<oss_endpoint>/<Nama Bucket>/<Nama Direktori OSS>`. Penting Anda harus menentukan nama bucket dan nama direktori level-2 untuk parameter `url`. oss_endpoint: titik akhir OSS. Anda harus menggunakan titik akhir internal OSS untuk mencegah biaya tambahan yang disebabkan oleh lalu lintas internet, seperti `oss://oss-cn-beijing-internal.aliyuncs.com/xxx`. Untuk informasi lebih lanjut tentang titik akhir internal OSS, lihat Wilayah dan titik akhir. Catatan Kami merekomendasikan agar bucket OSS untuk menyimpan file data ditempatkan di wilayah yang sama dengan proyek MaxCompute Anda. MaxCompute hanya dapat ditempatkan di beberapa wilayah. Oleh karena itu, masalah konektivitas data lintas wilayah mungkin terjadi. Nama bucket: nama bucket OSS. Untuk informasi lebih lanjut tentang nama bucket, lihat Daftar bucket. Nama direktori OSS: Nama direktori tidak perlu diikuti oleh nama file.
acd	Tidak	Menentukan apakah akan membuat direktori secara otomatis jika direktori tidak ada. Nilai valid: false: Jika direktori tidak ada, kesalahan dilaporkan, menunjukkan bahwa sistem gagal membuat volume eksternal. Ini adalah nilai default. true: Jika direktori tidak ada, sistem secara otomatis membuat direktori berdasarkan `role_arn`. Catatan Jika parameter `acd` diatur ke true saat Anda membuat volume eksternal dan direktori yang ditentukan tidak ada, MaxCompute menggunakan izin pada OSS untuk membuat direktori. Setelah direktori dibuat, MaxCompute tidak menghapus direktori terlepas dari apakah volume eksternal berhasil dibuat. Jika parameter `acd` diatur ke true saat Anda membuat volume eksternal dan direktori yang ditentukan sudah ada, MaxCompute langsung menggunakan direktori tersebut alih-alih membuat direktori lain.
role_arn	Ya	Alibaba Cloud Resource Name (ARN) dari peran RAM yang memiliki izin untuk mengakses OSS. Untuk informasi lebih lanjut tentang cara mendapatkan ARN, lihat Gunakan kredensial sementara yang disediakan oleh STS untuk mengakses OSS.

Path volume eksternal yang dibuat berada dalam format odps://[project_name]/[volume_name]. project_name menentukan nama proyek MaxCompute. volume_name menentukan nama volume eksternal. Path ini dapat digunakan oleh mesin Spark dan tugas MapReduce.

Contoh

Buat volume eksternal bernama test_ext_l.

vfs -create test_ext_l -storage_provider oss -url oss://oss-cn-hangzhou-internal.aliyuncs.com/test/ex_volume/ -role_arn acs:ram::xxxxxxx:role/aliyunodpsdefaultrole;

Lihat daftar volume eksternal dan struktur direktori volume eksternal

Sintaks

-- Lihat daftar volume eksternal.
vfs -ls /;

-- Lihat struktur direktori volume eksternal.
vfs -ls [-R] /<volume_name>;

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Wajib	Deskripsi
volume_name	Ya	Nama volume eksternal yang ingin Anda lihat.

Contoh

Lihat daftar volume eksternal.
```
vfs -ls /;
```
Contoh respons:
```
> vfs -ls /;
	Found 2 items
	drwxrwxrwx - 0 2023-03-11 12:06 /test_ext_l -> oss://oss-cn-shanghai-internal.aliyuncs.com/test/ex_volume
	drwxrwxrwx - 0 2023-03-21 07:33 /myfirst_volume4 -> oss://oss-cn-shanghai-internal.aliyuncs.com/paristech/data
```
Jika pengguna tidak memiliki izin pada volume eksternal, hasil yang dikembalikan tidak akan menampilkan informasi apa pun. Sebagai contoh, pengguna bernama dev01 tidak memiliki izin pada volume eksternal myfirst_volume4. Jika pengguna dev01 ingin menanyakan data dari volume eksternal myfirst_volume4, jalankan perintah berikut untuk memberikan pengguna dev01 izin Baca pada volume eksternal myfirst_volume4:
```
grant Read on volume myfirst_volume4 to RAM$xxxxxx:dev01;
```
Catatan
Izin berikut pada volume eksternal dapat diberikan: Baca, Tulis, dan BuatVolume.

Lihat struktur direktori volume eksternal bernama test_ext_l.

vfs -ls -R /test_ext_l;

Contoh respons:

drwxrwxrwx - 0 2023-03-27 07:31 /test_ext_l/test -> oss://oss-cn-hangzhou-internal.aliyuncs.com/test/ex_volume/test

Hapus volume eksternal

Sintaks

Sintaks 1:
```
vfs -rm -r /<volume_name> 
```
Sintaks 2:
```
vfs -rmv /<volume_name>
```

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Wajib	Deskripsi
volume_name	Ya	Nama volume eksternal yang ingin Anda hapus.

Contoh

Hapus volume eksternal bernama test_ext_l.

vfs -rm -r /test_ext_l;

Referensi

Untuk informasi lebih lanjut tentang cara mengelola volume eksternal menggunakan SDK, lihat Kelola Volume Eksternal Menggunakan SDK.
Dalam MaxCompute, Anda dapat membuat volume eksternal dan memasang volume eksternal ke path OSS. Kemudian, gunakan sistem manajemen izin MaxCompute untuk mengontrol akses ke volume eksternal secara rinci. Anda juga dapat menggunakan mesin MaxCompute untuk memproses data dari file yang disimpan di volume eksternal. Untuk informasi lebih lanjut tentang contoh penggunaan volume eksternal, lihat Gunakan Volume Eksternal MaxCompute untuk Memproses Data Tidak Terstruktur.