Machine Learning Platform for AI (PAI)-Blade mengintegrasikan berbagai teknologi optimasi untuk meningkatkan performa inferensi model yang telah dilatih. Dengan PAI-Blade, Anda dapat menjalankan model pada performa inferensi optimal serta menggunakan SDK untuk C++ dalam menerapkan model-model yang telah dioptimalkan ke produksi. Topik ini menjelaskan cara kerja PAI-Blade dan langkah-langkah penggunaannya.
Informasi latar belakang
PAI-Blade adalah alat universal dari PAI yang dirancang untuk mengoptimalkan performa inferensi model. Alat ini menggabungkan berbagai teknologi seperti optimasi graf komputasi, pustaka dioptimalkan vendor (TensorRT dan oneDNN), optimasi kompilasi AI, operator manual di PAI-Blade, presisi campuran, dan kompresi otomatis. Saat digunakan, PAI-Blade menganalisis model dan menerapkan satu atau lebih teknologi optimasi untuk mencapai hasil terbaik.
Teknologi optimasi dalam PAI-Blade memiliki desain universal sehingga dapat diterapkan di berbagai skenario bisnis. Selain itu, PAI-Blade memverifikasi akurasi hasil numerik setiap langkah optimasi untuk memastikan tidak ada dampak negatif pada presisi atau metrik model.
PAI-Blade menurunkan ambang batas optimasi model, memberikan pengalaman pengguna yang lebih baik, serta meningkatkan efisiensi produksi.
Cara kerja PAI-Blade
Anda dapat menginstal PAI-Blade di lingkungan lokal menggunakan paket wheel tanpa perlu mengajukan sumber daya tambahan atau mengunggah model dan data. Metode Python yang disediakan oleh PAI-Blade dapat diintegrasikan ke dalam pipeline untuk mengoptimalkan model. Selain itu, Anda dapat memverifikasi performa model yang telah dioptimalkan secara lokal, mencoba kebijakan optimasi berbeda, dan mengeksplorasi efeknya dengan mengonfigurasi parameter.
PAI-Blade juga menyediakan SDK untuk C++ yang memungkinkan Anda menerapkan model yang telah dioptimalkan. Untuk menjalankan model tersebut, cukup tautkan file pustaka PAI-Blade tanpa perlu memodifikasi kode model.
Cara menggunakan PAI-Blade
Ikuti langkah-langkah berikut untuk menggunakan PAI-Blade:
Instal PAI-Blade. Untuk informasi lebih lanjut, lihat Instal PAI-Blade.
Optimalkan model. Untuk detail lebih lanjut, lihat Optimalkan model TensorFlow dan Optimalkan model PyTorch.
Untuk informasi tentang kuantifikasi model, lihat Kuantifikasi. Untuk mode optimasi kompilasi, lihat Gunakan AICompiler untuk mengoptimalkan model.
Interpretasikan laporan optimasi yang dihasilkan. Untuk detail lebih lanjut, lihat Laporan optimasi.
Terapkan model untuk inferensi. Untuk panduan lebih lanjut, lihat Gunakan SDK untuk menerapkan model TensorFlow untuk inferensi, Gunakan SDK untuk menerapkan model PyTorch untuk inferensi, dan Gunakan Plugin Blade EAS untuk mengoptimalkan dan menerapkan model.