Platform For AI:Buat pekerjaan pelatihan

Parameter

Deskripsi

Job Name

Tetapkan nama yang mudah dikenali untuk pekerjaan.

Tag

Terapkan tag standar pada pekerjaan Anda. Tag menjadi dasar untuk mengarsipkan pekerjaan berdasarkan label, menganalisis distribusi pekerjaan, dan melacak konsumsi sumber daya. Batasan berikut berlaku:

• Batasan kunci: Tidak boleh dimulai dengan aliyun atau acs:. Tidak boleh mengandung http:// atau https://. Panjang maksimum: 128 karakter. Kunci hanya boleh berisi huruf, angka, tanda hubung (-), garis bawah (_), dan titik (.).

• Batasan nilai: Tidak boleh mengandung http:// atau https://. Panjang maksimum: 256 karakter. Pisahkan beberapa nilai dengan koma.

Untuk panduan tentang penandaan standar, lihatStandarisasi penandaan untuk DLC, DSW, dan EAS.

Task Description

Gunakan bidang ini untuk menjelaskan tujuan, latar belakang, atau konteks lain dari pekerjaan.

Parameter

Deskripsi

Image Configuration

Selain Alibaba Cloud Image, jenis gambar berikut juga didukung:

• Custom Image: Gunakan gambar kustom yang telah ditambahkan ke PAI. Repository gambar harus diatur sebagai publik, atau gambar harus disimpan di Alibaba Cloud Container Registry (ACR). Untuk detail selengkapnya, lihatGambar kustom.

  Catatan

  Jika Anda memilih sumber daya Lingjun dan menggunakan gambar kustom, Anda harus menginstal driver RDMA secara manual untuk memanfaatkan jaringan RDMA berkinerja tinggi secara optimal. Untuk detail selengkapnya, lihatRDMA: Jaringan berkinerja tinggi untuk pelatihan terdistribusi.

• Image Address: Mendukung konfigurasi alamat gambar kustom atau resmi yang dapat diakses publik.

  • Untuk alamat gambar privat, klik Enter credentials dan konfigurasikan username dan password repository gambar.

  • Untuk meningkatkan kecepatan pull gambar, lihatAkselerasi gambar.

Mount dataset

Dataset menyediakan file data yang dibutuhkan untuk pelatihan model. Dua jenis dataset berikut didukung:

• Custom Dataset: Anda dapat membuat dataset kustom untuk menyimpan file data yang dibutuhkan untuk pelatihan. Anda dapat mengaktifkan mode Read-only dan memilih versi dataset dari daftar versi.

• Public Dataset: PAI menyediakan dataset publik bawaan yang hanya mendukung pemasangan read-only.

Mount Path: Jalur tempat dataset dipasang di dalam kontainer DLC, misalnya /mnt/data. Anda dapat mengakses dataset melalui jalur ini dalam kode Anda. Untuk detail konfigurasi pemasangan lebih lanjut, lihatGunakan penyimpanan cloud.

Mount storage

Anda juga dapat memasang jalur sumber data secara langsung untuk membaca data yang dibutuhkan atau menyimpan file antara dan hasil.

• Jenis sumber data yang didukung: OSS, NAS tujuan umum, NAS ekstrem, CPFS, dan BMCPFS (hanya tersedia dengan sumber daya Lingjun).

• Advanced Settings: Jenis sumber data yang berbeda mendukung kemampuan spesifik fitur melalui pengaturan lanjutan. Contohnya:

  • OSS: Tetapkan {"mountType":"ossfs"} di pengaturan lanjutan untuk memasang penyimpanan OSS menggunakan ossfs.

  • NAS tujuan umum dan CPFS: Tetapkan parameter nconnect di pengaturan lanjutan untuk meningkatkan throughput NAS dari kontainer DLC. Untuk detail selengkapnya, lihatBagaimana cara meningkatkan kinerja NAS di Linux?. Contohnya, {"nconnect":"<sample value>"}, di mana <sample value> diganti dengan bilangan bulat positif tertentu.

Untuk informasi lebih lanjut, lihatGunakan penyimpanan cloud.

Startup Command

Tetapkan perintah startup pekerjaan. Perintah shell didukung. DLC secara otomatis menyuntikkanvariabel lingkungan umum PyTorch dan TensorFlow seperti MASTER_ADDR dan WORLD_SIZE. Anda dapat mereferensikannya menggunakan $VARIABLE_NAME. Contoh perintah startup:

• Run Python: python -c "print('Hello World')"

• Pelatihan terdistribusi multi-node, multi-GPU PyTorch: python -m torch.distributed.launch \ --nproc_per_node=2 \ --master_addr=${MASTER_ADDR} \ --master_port=${MASTER_PORT} \ --nnodes=${WORLD_SIZE} \ --node_rank=${RANK} \ train.py --epochs=100

• Tentukan jalur skrip shell sebagai perintah startup: /ml/input/config/launch.sh

Parameter

Deskripsi

Resource Type

Default ke General Computing. Lingjun Intelligence Resources tersedia di wilayah berikut: Tiongkok (Ulanqab), Singapura, Tiongkok (Shenzhen), Tiongkok (Beijing), Tiongkok (Shanghai), Tiongkok (Hangzhou), Tiongkok (Guangzhou), Tiongkok (Hong Kong), Malaysia, Jerman, dan Atlanta.

Source

• Public Resources:

  • Model penagihan: bayar sesuai penggunaan.

  • Cocok untuk beban kerja dengan pekerjaan yang jarang dan tidak memiliki persyaratan waktu yang ketat. Sumber daya publik mungkin memerlukan antrian.

  • Batas sumber daya: Maksimal 2 GPU dan 8 core CPU. Untuk melebihi batas ini, hubungi manajer akun Anda untuk menaikkan kuota.

• Resource Quota: Termasuk sumber daya komputasi tujuan umum atau sumber daya Lingjun.

  • Model penagihan: langganan.

  • Cocok untuk skenario dengan volume pekerjaan tinggi yang memerlukan sumber daya stabil yang dijamin.

  • Parameter khusus:

    • Resource Quota: Tetapkan jumlah GPU, CPU, dan sumber daya lainnya. Untuk cara menyiapkan kuota sumber daya, lihatBuat kuota sumber daya.

    • Priority: Menunjukkan prioritas eksekusi pekerjaan yang berjalan secara konkuren. Rentang nilai: [1, 9], di mana 1 adalah prioritas terendah.

  • Pemeriksaan awal: Secara otomatis memverifikasi kompatibilitas model GPU dan gambar sebelum pengiriman pekerjaan, menangkap kesalahan konfigurasi lebih awal dan mencegah kegagalan pekerjaan.

• Preemptible Resources:

  • Model penagihan: bayar sesuai penggunaan.

  • Cocok untuk skenario yang sensitif terhadap biaya. Harga sumber daya spot lebih rendah daripada bayar sesuai penggunaan.

  • Tidak ada jaminan ketersediaan. Sumber daya mungkin tidak tersedia segera atau dapat ditarik kembali. Untuk informasi lebih lanjut, lihatGunakan pekerjaan preemptible.

Framework

Framework dan alat pelatihan pembelajaran mendalam berikut didukung: TensorFlow, PyTorch, ElasticBatch, XGBoost, OneFlow, MPIJob, Ray, Custom, DataJuicer, dan MPI.

Job Resource

Berdasarkan Framework yang dipilih, Anda dapat mengonfigurasi sumber daya untuk tipe node Worker, PS, Chief, Evaluator, dan GraphLearn. Saat menggunakan framework Ray, Anda dapat mengklik Add Role untuk menyesuaikan peran Worker, memungkinkan eksekusi campuran sumber daya heterogen.

• Menggunakan sumber daya publik: Parameter berikut dapat dikonfigurasi:

  • Number of Nodes: Jumlah node yang menjalankan pekerjaan DLC.

  • Resource Type: Pilih tipe instans. Konsol menampilkan harga yang sesuai. Untuk informasi penagihan lebih lanjut, lihatPenagihan DLC.

• Menggunakan kuota sumber daya: Anda dapat mengonfigurasi jumlah node, core CPU, GPU, memori (GiB), dan memori bersama (GiB) untuk setiap tipe node. Parameter khusus berikut juga tersedia:

  • Node-Specific Scheduling: Jalankan pekerjaan pada node komputasi tertentu.

  • Idle Resources: Saat menggunakan sumber daya waktu idle, pekerjaan dapat berjalan pada kapasitas idle dari kuota lain, meningkatkan pemanfaatan sumber daya. Namun, ketika kuota asli membutuhkan sumber daya ini, pekerjaan waktu idle secara otomatis dihentikan dan sumber daya dikembalikan. Untuk informasi lebih lanjut, lihatGunakan sumber daya waktu idle.

  • CPU Affinity: Aktifkan afinitas CPU untuk mengikat proses ke core CPU tertentu, mengurangi cache miss dan context switch untuk meningkatkan kinerja. Cocok untuk skenario dengan persyaratan kinerja tinggi dan real-time.

• Menggunakan sumber daya spot: Selain jumlah node dan tipe instans, Anda dapat mengonfigurasi parameter Bid Price, yang menetapkan tawaran maksimum untuk sumber daya spot. Klik tombol untuk memilih metode penawaran:

  • By discount: Harga maksimum didasarkan pada harga pasar tipe instans, dengan opsi diskrit dari 10% hingga 90% dari harga pasar, yang mewakili batas penawaran. Sumber daya spot dialokasikan ketika tawaran maksimum lebih besar dari atau sama dengan harga pasar dan kapasitas yang cukup tersedia.

  • By price: Rentang tawaran maksimum berada dalam rentang harga pasar.

Scheduling Policy

Anda dapat menyesuaikan strategi penjadwalan sumber daya kontainer berdasarkan skenario bisnis dan karakteristik pekerjaan Anda:

• Intelligent: Pekerjaan GPU dikonsolidasikan ke node GPU paling sedikit, sedangkan pekerjaan CPU didistribusikan ke node CPU. Ini adalah strategi default.

• Centralized: Pekerjaan dikonsolidasikan ke node paling sedikit. Strategi ini membantu mengurangi fragmentasi sumber daya dan ideal untuk pelatihan model GPU.

• Spread: Pekerjaan disebar ke berbagai node. Strategi ini meningkatkan tingkat keberhasilan dequeue pekerjaan dan ideal untuk pekerjaan CPU terdistribusi.

Parameter

Deskripsi

Automatic Fault Tolerance

Setelah mengaktifkan fitur Automatic Fault Tolerance dan mengonfigurasi parameter terkait, sistem menyediakan kemampuan pemantauan dan kontrol pekerjaan. Sistem dapat mendeteksi kesalahan tingkat algoritma secara real-time dan mengambil tindakan korektif, meningkatkan pemanfaatan GPU. Untuk detail selengkapnya, lihatAIMaster: Mesin toleransi kesalahan otomatis elastis.

Sanity Check

Setelah mengaktifkan fitur Sanity Check, pemeriksaan kesehatan memeriksa secara menyeluruh sumber daya yang terlibat dalam pelatihan, secara otomatis mengisolasi node yang rusak, dan memicu operasi otomatis latar belakang. Hal ini secara efektif mengurangi kemungkinan masalah selama tahap awal pelatihan dan meningkatkan tingkat keberhasilan pelatihan. Untuk detail selengkapnya, lihatSanityCheck: Pemeriksaan kesehatan komputasi.

Instance RAM role

Deskripsi

Default Role of PAI

Beroperasi berdasarkan peran layanan AliyunPAIDLCDefaultRole, yang hanya memiliki akses ke MaxCompute dan OSS, dengan izin yang lebih terperinci. Kredensial sementara yang dikeluarkan berdasarkan peran default PAI:

• Saat mengakses tabel-tabel MaxCompute, izin yang berlaku sama dengan Pemilik Instans DLC.

• Saat mengakses OSS, hanya dapat mengakses bucket OSS default yang dikonfigurasi untuk ruang kerja saat ini.

Custom Role

Pilih atau tentukan peran RAM kustom. Saat mengakses layanan cloud dari dalam instans menggunakan kredensial sementara STS, izinnya konsisten dengan peran kustom tersebut.

Does Not Associate Role

Tidak ada peran RAM yang dikaitkan dengan pekerjaan DLC. Ini adalah opsi default.

Parameter (kunci)

Jenis framework yang didukung

Deskripsi

Nilai parameter

ReleaseResourcePolicy

ALL

Mengonfigurasi kebijakan rilis sumber daya kustom. Parameter ini opsional. Jika Anda tidak mengonfigurasinya, semua sumber daya Pod dilepaskan ketika pekerjaan berakhir. Jika Anda mengonfigurasinya, satu-satunya nilai yang didukung adalah pod-exit, yang melepaskan sumber daya Pod ketika Pod keluar.

pod-exit

EnableJumboFrame

ALL

Menentukan apakah akan mengaktifkan frame jumbo. Parameter ini hanya didukung oleh AI Computing Resources - General Computing 2.0 Nilai default adalah false, yang berarti dinonaktifkan.

true atau false

EnableNvidiaIBGDA

ALL

Menentukan apakah akan mengaktifkan IBGDA saat driver GPU dimuat.

true atau false

EnableNvidiaGDRCopy

ALL

Menentukan apakah akan menginstal modul kernel GDRCopy. Versi yang saat ini diinstal adalah 2.4.4.

true atau false

EnablePaiNUMACoreBinding

ALL

Menentukan apakah akan mengaktifkan NUMA.

true atau false

EnableResourcePreCheck

ALL

Saat Anda mengirimkan pekerjaan, parameter ini memeriksa apakah total sumber daya (spesifikasi node) dalam kuota memenuhi spesifikasi semua peran dalam pekerjaan.

true atau false

createSvcForAllWorkers

PyTorch

Menentukan apakah akan mengizinkan konektivitas jaringan antar worker.

• Jika diatur ke true, semua worker PyTorch dapat berkomunikasi satu sama lain melalui jaringan.

• Jika diatur ke false atau tidak dikonfigurasi, hanya master yang dapat diakses secara default.

Setelah diaktifkan, nama domain setiap worker adalah nama worker, seperti dlcxxxxx-master-0. Nama pekerjaan (dlcxxxxx) kemudian diteruskan ke worker melalui variabel lingkungan JOB_NAME. Anda kemudian dapat menentukan nama domain worker tertentu yang ingin Anda akses.

true atau false

customPortList

PyTorch

Memungkinkan Anda menentukan port jaringan yang terbuka pada setiap worker. Anda dapat menggunakan parameter ini bersama dengan createSvcForAllWorkers untuk mengaktifkan konektivitas jaringan antar worker.

Jika tidak dikonfigurasi, hanya port 23456 yang terbuka pada master secara default. Pastikan Anda tidak memasukkan port 23456 dalam daftar port kustom ini.

Kumpulan string yang dipisahkan titik koma, di mana setiap string adalah nomor port tunggal atau rentang port yang dihubungkan dengan tanda hubung, seperti 10000;10001-10010 (yang dikonversi menjadi 11 nomor port berurutan dari 10000 hingga 10010).

customPortNumPerWorker

PyTorch

Memungkinkan Anda meminta sejumlah port jaringan untuk dibuka pada setiap worker. Anda dapat menggunakan parameter ini bersama dengan createSvcForAllWorkers untuk mengaktifkan konektivitas jaringan antar worker.

Jika tidak dikonfigurasi, hanya port 23456 yang terbuka pada master secara default. DLC secara acak menetapkan port ke worker berdasarkan jumlah port yang ditentukan dalam parameter. Nomor port yang ditetapkan diteruskan ke worker melalui variabel lingkungan CUSTOM_PORTS untuk Anda cari. Formatnya adalah kumpulan nomor port yang dipisahkan titik koma.

Bilangan bulat (maksimum: 65536)

RayRuntimeEnv

Ray

Saat framework adalah Ray, Anda dapat mengonfigurasi RayRuntimeEnv secara manual untuk menentukan lingkungan runtime.

Konfigurasikan variabel lingkungan dan pustaka pihak ketiga ({pip: requirements.txt, env_vars: {key: value}})

RayRedisAddress

Ray

Alamat Redis GCS eksternal.

String

RayRedisUsername

Ray

Username Redis GCS eksternal.

String

RayRedisPassword

Ray

Password Redis GCS eksternal.

String

RaySubmitterBackoffLimit

Ray

Jumlah percobaan ulang untuk submitter.

Bilangan bulat positif (int)

RayObjectStoreMemoryBytes

Ray

Mengonfigurasi memori bersama untuk node. Contohnya, untuk mengonfigurasi 1 GiB memori bersama untuk setiap node, gunakan konfigurasi berikut:

{
  "RayObjectStoreMemoryBytes": "1073741824"
}

Bilangan bulat positif (int)