PAI menyediakan alat akselerasi untuk pelatihan dan inferensi AI, mencakup caching set data, pelatihan terdistribusi, serta optimasi model.
Tool akselerasi
PAI menawarkan alat akselerasi berikut untuk berbagai tahap alur kerja AI:
|
Tool |
Tahap |
Deskripsi |
|
EPL |
Pelatihan |
Kerangka kerja pelatihan terdistribusi skala besar untuk TensorFlow. Mendukung parallelisme data, pemisahan operator, parallelisme pipeline, dan strategi parallelisme otomatis. |
|
Pai-Megatron-Patch |
Pelatihan |
Mengakselerasi pelatihan model Transformer di PyTorch dengan mengintegrasikan berbagai teknik optimasi ke dalam pustaka model Transformer. |
|
PAI-Blade |
Inferensi |
Optimasi inferensi tujuan umum untuk TensorFlow dan PyTorch. Mendukung GPU, CPU, dan perangkat edge. Menerapkan optimasi graf, optimasi kompilator AI, presisi campuran, dan kompresi otomatis melalui satu panggilan API. |
|
BladeLLM |
Inferensi |
Mesin inferensi berkinerja tinggi untuk model bahasa besar (LLM). Mengoptimalkan penerapan dengan kuantisasi model, batching efisien, dan manajemen memori GPU. |
|
Local cache acceleration |
Data loading |
Menyimpan cache set data pada node komputasi Lingjun untuk menghindari pembacaan berulang dari penyimpanan remote selama pelatihan multi-epoch. Mendukung penyimpanan OSS dan CPFS. |
Memulai
Pilih alat yang sesuai dengan tujuan optimasi Anda.
-
EPL
Kerangka kerja pelatihan terdistribusi untuk TensorFlow dengan strategi parallelisme otomatis. Lihat EPL untuk akselerasi pelatihan terdistribusi.
-
Pai-Megatron-Patch
Alat optimasi pelatihan untuk model Transformer PyTorch yang meningkatkan kecepatan pelatihan melalui sakelar akselerasi. Lihat Akselerasi pelatihan Transformer (Pai-Megatron-Patch).
-
PAI-Blade
Alat optimasi inferensi tujuan umum yang mengintegrasikan optimasi graf, presisi campuran, dan teknik kompresi. Lihat Ikhtisar akselerasi inferensi (Blade).
-
BladeLLM
Mesin inferensi berkinerja tinggi untuk penerapan LLM dengan kuantisasi dan batching efisien. Lihat Mesin inferensi LLM (BladeLLM).
-
Local cache acceleration
Menyimpan cache set data pada node komputasi Lingjun untuk mempercepat pelatihan multi-epoch. Lihat Local cache acceleration.
Untuk tutorial praktis, lihat Kasus penggunaan akselerasi AI.