Impor file job dari bucket OSS ke kluster - Elastic High Performance Computing - Alibaba Cloud - Elastic High Performance Computing

Simpan skrip pekerjaan dan file data Anda di bucket Object Storage Service (OSS) agar node kluster dapat mengambilnya saat pengiriman pekerjaan. Topik ini menjelaskan cara mengunggah file pekerjaan ke bucket OSS dan mengunduhnya ke node kluster.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Kluster E-HPC. Lihat Masuk ke kluster.
Mengaktifkan OSS di wilayah yang sama dengan kluster Anda. Lihat Activate OSS.
Menginstal wget atau curl pada node kluster.

Unggah file pekerjaan ke bucket OSS

Aktifkan OSS di wilayah yang sama dengan kluster E-HPC Anda.
Buat bucket untuk menyimpan file pekerjaan Anda.
Unggah file pekerjaan Anda ke bucket tersebut. Pada contoh berikut, file skrip adalah test.py dan file data pekerjaan adalah test.data.

Impor file pekerjaan dari OSS ke kluster

Metode 1: Unduh menggunakan URL titik akhir OSS

Gunakan metode ini ketika node kluster memiliki akses jaringan ke bucket OSS—baik melalui titik akhir internal VPC maupun melalui internet.

Dapatkan URL titik akhir untuk bucket Anda:
- Titik akhir internal: Lihat Use an internal endpoint to access OSS.
- Titik akhir publik: Lihat Use a public endpoint to access OSS.

Unduh file pekerjaan ke /ehpcdata. Jika wget tersedia:

cd /ehpcdata
wget http://<bucket>.<internal-endpoint>/test.py
wget http://<bucket>.<internal-endpoint>/test.data

Jika wget tidak tersedia, gunakan curl:

cd /ehpcdata
curl -O http://<bucket>.<internal-endpoint>/test.py
curl -O http://<bucket>.<internal-endpoint>/test.data

Metode 2: Unduh menggunakan URL yang ditandatangani

Gunakan metode ini ketika bucket bersifat privat dan Anda ingin memberikan akses terbatas waktu ke objek tertentu tanpa mengonfigurasi AccessKey pada node kluster.

Catatan

URL yang ditandatangani akan kedaluwarsa setelah periode validitas yang Anda tetapkan. Tetapkan periode validitas sesingkat mungkin yang mencakup jendela unduhan Anda untuk membatasi paparan.

Buat URL yang ditandatangani untuk setiap file pekerjaan. Lihat Authorize third-party users to download objects untuk petunjuknya. Pola URL yang ditandatangani sebagai berikut:
```
http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<id>&Expires=<unix-time>&Signature=<signature>
```

Unduh file pekerjaan menggunakan URL yang ditandatangani tersebut. Jika wget tersedia:

cd /ehpcdata
wget "http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.py"
wget "http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.data"

Jika wget tidak tersedia, gunakan curl:

cd /ehpcdata
curl -O "http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.py"
curl -O "http://<bucket>.<region>.aliyuncs.com/<object>?OSSAccessKeyId=<user access_key_id>&Expires=<unix time>&Signature=<signature_string>/test.data"

Ganti setiap placeholder dengan nilai dari URL yang ditandatangani yang dihasilkan pada langkah 1.