Siapkan sumber daya komputasi, gambar kontainer, dataset, dan kode sumber untuk pekerjaan pelatihan DLC.
Prasyarat
Jika Anda menggunakan OSS untuk penyimpanan, berikan izin yang diperlukan kepada DLC agar dapat mengakses OSS. Tanpa izin yang tepat, terjadi error I/O saat mengakses data dari bucket OSS yang dipasang. Untuk informasi lebih lanjut, lihat Ketergantungan produk cloud dan otorisasi: DLC.
Langkah 1: Siapkan sumber daya
Siapkan sumber daya komputasi untuk pelatihan AI. Jenis sumber daya berikut tersedia:
-
Public resources
Lengkapi otorisasi DLC. Sumber daya publik kemudian tersedia di halaman Create Job tanpa perlu menambahkan resource group.
-
General computing resources
Buat resource group khusus, beli general computing resources, dan buat resource quota untuk mengalokasikan sumber daya tersebut. Kaitkan resource quota dengan ruang kerja untuk mengirimkan pekerjaan pelatihan. Untuk informasi lebih lanjut, lihat Resource quota komputasi umum.
-
Lingjun resources
Siapkan Lingjun resources dan kaitkan dengan ruang kerja Anda. Untuk informasi lebih lanjut, lihat Buat resource quota.
Langkah 2: Siapkan gambar
Siapkan gambar kontainer untuk lingkungan pelatihan. Opsi gambar berikut didukung:
-
Official image: PAI menyediakan official images berdasarkan berbagai framework. Untuk melihat gambar yang tersedia, buka halaman Images page of AI Asset Management di Konsol PAI. Di halaman Image:, pada tab Alibaba Cloud Images, atur Modules ke DLC untuk memfilter gambar yang mendukung pekerjaan DLC.
-
Custom image: Jika pekerjaan pelatihan Anda memerlukan lingkungan atau dependensi tertentu, gunakan custom image. Tambahkan gambar tersebut sebagai aset AI PAI di halaman ruang kerja Anda agar dapat digunakan kembali di beberapa pekerjaan pelatihan. Untuk informasi lebih lanjut, lihat Custom images.
PentingJika Anda menggunakan custom image dengan Lingjun resources, lihat RDMA: Gunakan jaringan berkinerja-tinggi untuk pelatihan terdistribusi untuk pertimbangan terkait.
-
Image address: Tentukan alamat custom image atau official image saat mengirimkan pekerjaan pelatihan. Lihat alamat gambar di halaman Images page of AI Asset Management di Konsol PAI.
Langkah 3: Siapkan dataset
Unggah data pelatihan ke OSS, NAS, atau CPFS dan buat dataset, atau langsung pasang data dari bucket OSS atau dataset publik.
Jenis dataset yang didukung
PAI mendukung dataset yang disimpan di OSS, General-purpose NAS, Extreme NAS, CPFS, dan Lingjun CPFS. Akselerasi dataset didukung untuk semua jenis kecuali Lingjun CPFS.
Buat dataset
Untuk langkah-langkah detail, lihat Buat dan kelola dataset. Perhatikan batasan berikut:
-
Batasan OSS: OSS adalah layanan penyimpanan objek terdistribusi, bukan sistem file. Setelah bucket OSS dipasang, Anda tidak dapat menambahkan data atau menimpa file yang sudah ada.
-
Persyaratan VPC untuk CPFS: Konfigurasikan pekerjaan pelatihan agar menggunakan VPC yang sama dengan sistem file CPFS. Ketidaksesuaian VPC menyebabkan pekerjaan tetap dalam status Preparing environment tanpa henti.
Aktifkan akselerasi dataset
Aktifkan akselerasi dataset untuk meningkatkan efisiensi pembacaan data. Untuk detailnya, lihat Gunakan Dataset Accelerator di PAI.
Langkah 4: Siapkan kode sumber
Tambahkan kode pelatihan Anda sebagai aset AI di halaman ruang kerja Anda agar dapat digunakan kembali di beberapa pekerjaan pelatihan. Untuk informasi lebih lanjut, lihat Code Configuration.
Langkah selanjutnya
Setelah menyelesaikan persiapan ini, buat Pekerjaan Pelatihan. Untuk informasi selengkapnya, lihat Buat Pekerjaan Pelatihan.