Untuk mengirimkan tugas pelatihan secara cepat, Anda perlu menyiapkan sumber daya yang diperlukan serta mengonfigurasi citra runtime, dataset, dan build kode sebelum membuat tugas tersebut. PAI mendukung dataset dari File Storage NAS, Cloud Parallel File Storage (CPFS), atau Object Storage Service (OSS), serta build kode berbasis Git. Topik ini menjelaskan persiapan yang diperlukan sebelum Anda mengirimkan tugas pelatihan.
Prasyarat
Jika Anda menggunakan OSS sebagai sistem penyimpanan, pastikan izin akses OSS yang diperlukan telah diberikan kepada DLC. Jika tidak, error I/O dapat terjadi saat mengakses data setelah memasang OSS. Untuk informasi selengkapnya, lihat Ketergantungan dan otorisasi layanan Alibaba Cloud: DLC.
Batasan
OSS bukan sistem file yang sesungguhnya, melainkan layanan penyimpanan objek terdistribusi. Oleh karena itu, beberapa fitur sistem file tidak didukung saat Anda menggunakan OSS sebagai sistem penyimpanan. Misalnya, setelah memasang OSS, Anda tidak dapat menambahkan data ke file yang sudah ada atau menimpa file tersebut.
Langkah 1: Siapkan sumber daya
Sebelum mengirimkan tugas pelatihan, Anda harus menyiapkan sumber daya komputasi untuk Pelatihan AI. Anda dapat memilih salah satu jenis sumber daya berikut:
Siapkan sumber daya publik
Setelah menyelesaikan otorisasi DLC, sumber daya komputasi umum publik akan disiapkan secara otomatis untuk Anda. Anda tidak perlu menambahkan kelompok sumber daya secara manual. Saat mengirimkan tugas pelatihan di halaman Create Job dalam ruang kerja, Anda dapat memilih sumber daya publik.
Siapkan sumber daya komputasi umum
Anda dapat membuat kelompok sumber daya khusus dan membeli sumber daya komputasi umum yang diperlukan terlebih dahulu. Alokasikan sumber daya komputasi dari kelompok sumber daya tersebut dengan membuat kuota sumber daya, lalu sambungkan kuota tersebut ke ruang kerja untuk digunakan dalam mengirimkan tugas pelatihan. Untuk informasi selengkapnya, lihat Kuota sumber daya komputasi tujuan umum.
Siapkan sumber daya Lingjun
Untuk pelatihan AI berkinerja tinggi, Anda harus menyiapkan sumber daya Lingjun yang diperlukan dan mengaitkannya dengan ruang kerja sebelum mengirimkan tugas pelatihan. Untuk informasi selengkapnya, lihat Buat kuota sumber daya.
Langkah 2: Siapkan citra runtime
Sebelum mengirimkan tugas pelatihan, Anda harus menyiapkan citra runtime untuk lingkungan pelatihan. Anda dapat memilih salah satu jenis citra runtime berikut:
Official Images: PAI menyediakan citra resmi yang dibangun berdasarkan berbagai framework dan telah dioptimalkan serta diintegrasikan dengan layanan Alibaba Cloud. Citra-citra ini menawarkan kompatibilitas dan performa yang lebih baik, sehingga cocok untuk pekerjaan pelatihan yang menggunakan layanan Alibaba Cloud. Anda dapat membuka halaman AI Asset Management Image di Konsol PAI. Di halaman Image:, pada tab Alibaba Cloud Images, atur filter Sub-product ke DLC untuk melihat daftar lengkap citra yang mendukung pengiriman Pekerjaan DLC.
Custom images: Jika tugas pelatihan Anda memerlukan lingkungan atau dependensi khusus, Anda dapat menggunakan custom image. Tambahkan citra tersebut ke PAI sebelum memilihnya untuk suatu tugas. Untuk memudahkan manajemen dan penggunaan, buka halaman di ruang kerja Anda untuk menambahkan citra tersebut sebagai Aset AI PAI, sehingga dapat langsung digunakan oleh beberapa tugas pelatihan. Untuk informasi selengkapnya, lihat Custom images.
PentingJika Anda menggunakan sumber daya Lingjun untuk mengirimkan tugas pelatihan dengan custom image, lihat RDMA: Gunakan jaringan berkinerja-tinggi untuk pelatihan terdistribusi untuk informasi selengkapnya.
Registry address: Saat mengirimkan tugas pelatihan, Anda dapat memasukkan alamat registri dari custom image atau citra runtime resmi. Buka halaman Image di AI Asset Management di Konsol PAI untuk melihat alamat registri tersebut.
Langkah 3: Siapkan dataset
Sebelum mengirimkan tugas pelatihan, unggah data yang diperlukan ke OSS, File Storage NAS, atau CPFS. Kemudian, buat dataset kustom yang dapat langsung digunakan oleh tugas pelatihan. Anda juga dapat langsung memasang data dari OSS atau dataset publik. Bagian berikut menjelaskan cara menyiapkan dataset kustom:
Jenis dataset yang didukung
PAI mendukung dataset dengan jenis berikut: OSS, Sistem file NAS tujuan umum, Sistem file NAS Ekstrem, CPFS, dan Lingjun CPFS. Akselerasi dataset didukung untuk semua jenis dataset kecuali Lingjun CPFS. Saat mengirimkan tugas pelatihan terdistribusi, Anda dapat menggunakan dataset terakselerasi untuk meningkatkan efisiensi pembacaan data.
Buat dataset
Untuk informasi selengkapnya mengenai operasi dan konfigurasi parameter, lihat Buat dan kelola dataset. Saat menyiapkan dataset, perhatikan poin-poin berikut:
Berbeda dengan NAS, OSS bukan sistem file yang sesungguhnya, melainkan layanan penyimpanan objek terdistribusi. Oleh karena itu, beberapa fitur sistem file tidak didukung saat menggunakan OSS sebagai sistem penyimpanan. Misalnya, setelah memasang OSS, Anda tidak dapat menambahkan data ke file yang sudah ada atau menimpa file tersebut.
Jika Anda membuat dataset CPFS, konfigurasikan virtual private cloud (VPC) dan pilih VPC yang sama dengan sistem file CPFS saat mengirimkan tugas pelatihan. Jika tidak, Pekerjaan DLC yang dikirimkan mungkin berjalan tidak normal dan tetap berada dalam status Preparing Environment dalam waktu lama.
Aktifkan akselerasi dataset
Anda dapat mengaktifkan akselerasi dataset. Saat mengirimkan tugas pelatihan, gunakan dataset terakselerasi untuk meningkatkan efisiensi pembacaan data. Untuk informasi selengkapnya, lihat Gunakan akselerator dataset di platform PAI.
Langkah 4: Siapkan build kode
Sebelum mengirimkan tugas pelatihan, tambahkan kode yang akan digunakan sebagai build kode. Untuk memudahkan manajemen dan penggunaan, buka halaman di ruang kerja Anda dan tambahkan kode tersebut sebagai Aset AI PAI, sehingga dapat langsung digunakan oleh beberapa tugas pelatihan. Untuk informasi selengkapnya, lihat Konfigurasi kode.
Referensi
Setelah menyelesaikan persiapan, Anda dapat membuat tugas pelatihan. Untuk informasi selengkapnya, lihat Buat tugas pelatihan.