Cloud Parallel File Storage (CPFS) untuk Lingjun terintegrasi dengan mulus ke dalam Alibaba Cloud Platform for AI (PAI). Anda dapat mengonfigurasi CPFS untuk Lingjun di modul-modul PAI seperti Deep Learning Containers (DLC), Data Science Workshop (DSW), dan Elastic Algorithm Service (EAS). CPFS ini dapat digunakan sebagai dataset untuk menyimpan file serta hasil file untuk penyebaran dan pelatihan. Topik ini menjelaskan cara memasang CPFS untuk dataset Lingjun di modul PAI.
Prasyarat
Sistem berkas CPFS untuk Lingjun telah dibuat. Untuk informasi lebih lanjut, lihat Membuat sistem berkas.
Ketika menyiapkan sumber daya Lingjun satu penyewa untuk sistem berkas CPFS, cukup konfigurasikan CPFS pada tab CPFS di bawah Basic Parameters of Software Instance saat membuat kluster. Setelah konfigurasi selesai, kluster Lingjun akan diinisialisasi secara otomatis dan sistem berkas CPFS dipasang selama penyebaran otomatis. Untuk informasi lebih lanjut, lihat Membuat kluster Lingjun dengan ACK diaktifkan.
Membuat CPFS untuk Dataset Lingjun
Anda tidak perlu membuat dataset ketika Anda memasang CPFS untuk Lingjun di EAS. Namun, ketika Anda memasang CPFS untuk dataset Lingjun di DLC dan DSW, Anda perlu membuat dataset dasar terlebih dahulu. Tabel berikut menjelaskan parameter utama.
Parameter | Deskripsi | |
Konfigurasi Dataset | Tipe Penyimpanan | Pilih CPFS for LINGJUN. |
Konfigurasi Impor | Sistem Berkas | Konfigurasikan ID dari sistem berkas CPFS untuk Lingjun yang Anda buat. Masuk ke Konsol NAS dan lihat ID dari sistem berkas CPFS untuk Lingjun di wilayah tempat Anda ingin membuat kluster atau dari daftar dropdown. |
Jalur Sistem Berkas | Path pemasangan CPFS for Lingjun file system. Sebagai contoh, atur path pemasangan menjadi | |
Jalur Pemasangan Default | Path pemasangan CPFS for Lingjun file system yang dipasang di DLC dan DSW. Sebagai contoh, atur path pemasangan menjadi | |
Memasang CPFS untuk Dataset Lingjun
Setelah dataset dibuat, baca data dari CPFS for Lingjun dataset yang dipasang di DLC, DSW, atau EAS.
Saat memasang CPFS menggunakan tiga metode berikut, pastikan bahwa instansi CPFS dan GPU Lingjun berada di zona dan kluster yang sama.
Di DLC
Ketika membuat pekerjaan pelatihan terdistribusi di DLC, konfigurasikan sistem berkas CPFS untuk Lingjun di bagian Informasi Lingkungan. Tabel berikut menjelaskan parameter utama.
Parameter | Deskripsi |
Data Set | Klik Dataset Kustom, pilih CPFS for Lingjun dataset dan atur parameter Mount Path. Saat Anda menjalankan pekerjaan DLC, sistem mengakses data dari CPFS for Lingjun file system di path ini. Aktifkan Read-only untuk mengonfigurasi izin baca dan tulis untuk dataset kustom. |
Pemasangan Langsung | Hanya tugas yang menggunakan sumber daya Lingjun yang dapat menggunakan sistem berkas CPFS untuk Lingjun yang namanya dimulai dengan BMCPFS. Klik BMCPFS dan konfigurasikan parameter untuk sistem berkas, lalu konfigurasikan jalur pemasangan untuk memasang dataset ke jalur tertentu kontainer DLC. Saat Anda menjalankan pekerjaan DLC, sistem mengakses data dari CPFS for Lingjun file system di path ini. Aktifkan Read-only untuk mengonfigurasi izin baca dan tulis untuk dataset kustom. |
Jika suatu tugas menggunakan sumber daya komputasi umum, pastikan untuk mengonfigurasi virtual private cloud (VPC) yang sama dengan CPFS untuk Lingjun. Jika tidak, pekerjaan pelatihan DLC mungkin tetap dalam tahap persiapan lingkungan untuk waktu yang lama. Jika sistem berkas CPFS tidak memiliki akses ke VPC, tambahkan target pemasangan VPC dan konfigurasikan informasi VPC.
Di DSW
Ketika Anda membuat instance DSW, konfigurasikan dataset CPFS untuk Lingjun. Tabel berikut menjelaskan parameter utama.
Parameter | Deskripsi |
Dataset Kustom | Klik |
Mount Path | Setelah dataset dipilih, path pemasangan dataset ditampilkan di area Mount Path. Di lingkungan pengembangan DSW, gunakan path ini untuk mengakses data dari CPFS for Lingjun file system. |
, pilih dataset dari CPFS for Lingjun yang Anda buat.Jika memilih sumber daya komputasi umum untuk parameter Resource Quota, pastikan untuk mengonfigurasi VPC yang sama dengan CPFS untuk Lingjun. Jika sistem berkas CPFS tidak memiliki akses ke VPC, tambahkan target pemasangan VPC dan konfigurasikan informasi VPC.
Di EAS
Jika menggunakan sumber daya Lingjun untuk menyebarkan layanan EAS, pasang CPFS for Lingjun file system. Berikut ini menjelaskan parameter utama:
Konfigurasikan Model Settings di bagian Environment Information, pilih CPFS for Lingjun sebagai jenis pemasangan, dan konfigurasikan parameter berikut:
Select a file system: Pilih sistem berkas Cloud Parallel File Storage (CPFS) dari akun Alibaba Cloud Anda.
File System Path: Jalur CPFS tempat file disimpan.
Mount Path: Jalur pemasangan instance layanan. Jalur ini digunakan untuk membaca file dari sistem berkas CPFS.
Referensi
Untuk membuat aliran data antara Bucket OSS sumber dari Akun B Alibaba Cloud dan sistem berkas CPFS untuk Lingjun dari Akun A Alibaba Cloud, lihat Aliran data CPFS untuk Lingjun (pratinjau undangan).
Untuk mengelola kapasitas penyimpanan direktori sistem berkas dan batas jumlah file, lihat Manajemen kuota Fileset.
Untuk memahami performa sistem berkas, lihat Pemantauan data.