Metode instalasi Blade di lingkungan yang berbeda - Platform For AI

Paket instalasi Blade mencakup paket wheel dan SDK. Di lingkungan CPU dan Compute Unified Device Architecture (CUDA), Anda perlu menginstal paket wheel untuk optimasi model dan SDK untuk inferensi model. Pada perangkat terminal seperti perangkat seluler atau sistem tertanam, Anda hanya perlu menginstal paket wheel untuk optimasi model. Setelah optimasi Blade, model jaringan saraf seluler (MNN) dapat diperoleh untuk inferensi model. Topik ini menjelaskan cara menginstal Blade pada berbagai jenis perangkat.

Batasan

Blade hanya mendukung sistem operasi, versi Python, jenis perangkat, dan versi framework berikut:

Sistem operasi: Linux
Versi Python: 3.6 hingga 3.8
Jenis perangkat: GPU dengan versi CUDA mulai dari 10.0 hingga 11.3, CPU, dan perangkat terminal seperti perangkat MNN
Versi framework: TensorFlow 1.15, 2.4, dan 2.7, PyTorch 1.6.0 dan yang lebih baru, serta TensorRT 8.0 dan yang lebih baru
SDK untuk C++: cxx11 dan pre-cxx11 antarmuka biner aplikasi (ABI), serta format Red-Hat Package Manager (RPM), Debian Software Package (DEB), dan TGZ

Catatan penggunaan

Saat menginstal Blade, perhatikan hal-hal berikut:

Blade tidak secara otomatis menginstal TensorFlow atau PyTorch. Pastikan framework yang didukung telah terinstal di lingkungan Anda sebelum menginstal Blade.
Blade menyediakan paket instalasi untuk berbagai jenis perangkat dan versi CUDA. Kami menyarankan Anda menginstal paket wheel untuk Blade berdasarkan jenis perangkat dan versi CUDA Anda.
PyTorch 1.6.0 resmi tidak mendukung CUDA 10.0. Untuk menyelesaikan masalah ini, Anda dapat menggunakan paket wheel yang disediakan oleh Platform for AI (PAI). Untuk versi PyTorch lainnya, gunakan paket instalasi PyTorch resmi.

Prosedur

Prosedur untuk menginstal Blade bervariasi berdasarkan jenis perangkat. Bagian berikut menjelaskan prosedur instalasi untuk berbagai jenis perangkat:

Jika Anda menginstal Blade di lingkungan CUDA, Anda harus menginstal TensorFlow atau PyTorch, paket wheel dan SDK Blade, serta TensorRT. Lakukan langkah-langkah berikut:
1. Instal framework.
  Jika menggunakan framework TensorFlow, Anda dapat menginstal paket TensorFlow yang disediakan oleh komunitas TensorFlow. Jika ingin menginstal TensorFlow dengan integrasi TensorRT, gunakan paket TensorFlow yang telah dikompilasi sebelumnya yang disediakan oleh PAI. Untuk informasi lebih lanjut, lihat bagian "Instal TensorFlow" dari topik ini.
  Jika menggunakan framework PyTorch, Anda dapat menginstal paket PyTorch yang disediakan oleh komunitas PyTorch. Jika ingin menginstal PyTorch 1.6.0 yang mendukung CUDA 10.0, gunakan paket PyTorch yang telah dikompilasi sebelumnya yang disediakan oleh PAI. Untuk informasi lebih lanjut, lihat bagian "Instal PyTorch" dari topik ini.
2. Instal paket wheel untuk Blade. Untuk informasi lebih lanjut, lihat bagian "Instal paket wheel untuk Blade" dari topik ini.
3. Unduh dan instal SDK untuk Blade. Untuk informasi lebih lanjut, lihat bagian "Instal SDK untuk Blade" dari topik ini.
4. Dapatkan token akses. Untuk informasi lebih lanjut, lihat bagian "Dapatkan token akses" dari topik ini.
Untuk menggunakan Blade untuk optimasi model pada perangkat lokal, Anda harus menginstal TensorFlow, MNN, dan paket wheel. Untuk informasi lebih lanjut, lihat bagian "Instal Blade untuk optimasi model pada perangkat lokal" dari topik ini.

Instal TensorFlow

Blade mendukung TensorFlow 1.15 dan 2.4. Pastikan versi Python dan dependensi memenuhi persyaratan. Untuk informasi lebih lanjut, lihat bagian "Batasan" dari topik ini.

Anda dapat menginstal paket TensorFlow yang disediakan oleh komunitas TensorFlow dengan menggunakan salah satu perintah berikut:

# Tensorflow versi GPU
pip3 install tensorflow-gpu==1.15.0
# Atau:
pip3 install tensorflow-gpu==2.4.0

# Tensorflow versi CPU
pip3 install tensorflow==1.15.0
# TensorFlow 2.4 untuk CPU
pip3 install tensorflow==2.4.0

Instal PyTorch

Blade mendukung PyTorch 1.6.0 dan yang lebih baru. Anda dapat menginstal PyTorch untuk jenis perangkat atau versi CUDA tertentu berdasarkan panduan instalasi yang disediakan di situs resmi PyTorch. Jika ingin menginstal PyTorch 1.7.1 yang mendukung CUDA 11.0, jalankan perintah berikut:

pip3 install torch==1.7.1+cu110 torchvision==0.8.2+cu110 \
    -f https://download.pytorch.org/whl/torch/

Instal paket wheel untuk Blade

Paket wheel untuk Blade bervariasi berdasarkan framework model dan versinya, jenis perangkat, dan versi CUDA. Anda harus menginstal paket wheel yang sesuai berdasarkan lingkungan aktual Anda. Untuk menginstal paket wheel untuk versi terbaru Blade, jalankan salah satu perintah berikut. Untuk informasi tentang perintah instalasi untuk versi historis, lihat Lampiran: Perintah instalasi dan URL unduhan SDK untuk PAI-Blade versi sebelumnya.

CPU

TensorFlow 1.15.0 dan PyTorch 1.6.0

# pai_blade_cpu
pip3 install pai_blade_cpu==3.27.0+1.15.0.1.6.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# tensorflow_blade_cpu
pip3 install tensorflow_blade_cpu==3.27.0+1.15.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# torch_blade_cpu
pip3 install torch_blade_cpu==3.27.0+1.6.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

TensorFlow 2.4.0 dan PyTorch 1.7.1

# pai_blade_cpu
pip3 install pai_blade_cpu==3.27.0+2.4.0.1.7.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# tensorflow_blade_cpu
pip3 install tensorflow_blade_cpu==3.27.0+2.4.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# torch_blade_cpu
pip3 install torch_blade_cpu==3.27.0+1.7.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

PyTorch 1.8.1

# pai_blade_cpu
pip3 install pai_blade_cpu==3.27.0+1.8.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# torch_blade_cpu
pip3 install torch_blade_cpu==3.27.0+1.8.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

PyTorch 1.9.0

# pai_blade_cpu
pip3 install pai_blade_cpu==3.27.0+1.9.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# torch_blade_cpu
pip3 install torch_blade_cpu==3.27.0+1.9.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

TensorFlow 2.7.0 dan PyTorch 1.10.0

# pai_blade_cpu
pip3 install pai_blade_cpu==3.27.0+2.7.0.1.10.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# tensorflow_blade_cpu
pip3 install tensorflow_blade_cpu==3.27.0+2.7.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
# torch_blade_cpu
pip3 install torch_blade_cpu==3.27.0+1.10.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

CUDA 11.0

TensorFlow 2.4.0 dan PyTorch 1.7.1

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu110.2.4.0.1.7.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# tensorflow_blade_gpu
pip3 install tensorflow_blade_gpu==3.27.0+cu110.2.4.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# torch_blade
pip3 install torch_blade==3.27.0+1.7.1.cu110 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

CUDA 11.1

PyTorch 1.8.1

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu111.1.8.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# torch_blade
pip3 install torch_blade==3.27.0+1.8.1.cu111 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

PyTorch 1.9.0

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu111.1.9.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# torch_blade
pip3 install torch_blade==3.27.0+1.9.0.cu111 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

PyTorch 1.10.0

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu111.1.10.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# torch_blade
pip3 install torch_blade==3.27.0+1.10.0.cu111 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

CUDA 11.2

TensorFlow 2.7.0

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu112.2.7.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# tensorflow_blade_gpu
pip3 install tensorflow_blade_gpu==3.27.0+cu112.2.7.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

CUDA 11.3

PyTorch 1.10.0

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu113.1.11.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# torch_blade
pip3 install torch_blade==3.27.0+1.11.0.cu113 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

PyTorch 1.12.1

# pai_blade_gpu
pip3 install pai_blade_gpu==3.27.0+cu113.1.12.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
# torch_blade
pip3 install torch_blade==3.27.0+1.12.1.cu113 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

Instal SDK untuk Blade

SDK untuk Blade hanya mendukung GNU Compiler Collection (GCC) di Linux. Untuk kenyamanan Anda, Blade menyediakan dua jenis paket SDK yang berisi ABI GCC yang berbeda. Untuk informasi lebih lanjut, lihat dokumentasi ABI GCC resmi.

Jika versi GCC Anda lebih lama dari 5.1 atau makro _GLIBCXX_USE_CXX11_ABI=0 dikonfigurasi, instal SDK yang berisi ABI pre-cxx11.
Jika versi GCC Anda adalah 5.1 atau lebih baru dan tidak ada makro _GLIBCXX_USE_CXX11_ABI=0 yang dikonfigurasi, instal SDK yang berisi ABI cxx11.

PAI-Blade SDK juga menyediakan format paket berikut untuk distribusi Linux yang berbeda:

Paket SDK dalam format RPM: berlaku untuk CentOS dan Red Hat, dan dapat diinstal menggunakan perintah rpm.
Paket DEB: berlaku untuk Ubuntu dan Debian. Anda dapat menjalankan perintah dpkg untuk menginstal paket DEB.
Paket SDK dalam format TGZ: berlaku untuk berbagai distribusi Linux, dan dapat digunakan setelah dekompresi.

Sebagai contoh, Anda dapat menjalankan salah satu perintah berikut untuk menginstal paket SDK yang berisi ABI pre-cxx11 dan mendukung CUDA 11.0 untuk Blade V3.23.0:

Paket SDK dalam format RPM

rpm -ivh https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/3.23.0/py3.6.8_cu110_tf2.4.0_torch1.7.1_abiprecxx11/blade_cpp_sdk_gpu-3.23.0-Linux.rpm

Paket SDK dalam format DEB

wget https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/3.23.0/py3.6.8_cu110_tf2.4.0_torch1.7.1_abiprecxx11/blade_cpp_sdk_gpu-3.23.0-Linux.deb
dpkg -i blade_cpp_sdk_gpu-3.23.0-Linux.deb

Secara default, paket SDK dalam format RPM atau DEB diinstal di direktori /usr/local. Bagian berikut menunjukkan struktur direktori paket SDK setelah instalasi atau dekompresi:

/usr/local/
├── bin
│ ├── disc_compiler_main
│   └── tao_compiler_main
└── lib
    ├── libral_base_context.so
    ├── libtao_ops.so
    ├── libtf_blade.so
    ├── libtorch_blade.so
    └── mlir_disc_builder.so

Saat Anda menerapkan model, pustaka tautan dinamis di subdirektori /usr/local/lib digunakan.

Bagian berikut menunjukkan URL unduhan untuk versi terbaru SDK untuk C++. Untuk informasi tentang URL unduhan versi historis, lihat Lampiran: Perintah instalasi dan URL unduhan SDK untuk PAI-Blade versi sebelumnya.

CXX11 ABI
- CPU
  TensorFlow 1.15.0 dan PyTorch 1.6.0: DEB, RPM, dan TGZ
Pre-CXX11 ABI
- CPU
  - TensorFlow 1.15.0 dan PyTorch 1.6.0: DEB, RPM, atau TGZ
  - TensorFlow 2.4.0 dan PyTorch 1.7.1: DEB, RPM, atau TGZ
  - PyTorch 1.8.1 DEB, RPM, atau TGZ
  - PyTorch 1.9.0 DEB, RPM, atau TGZ
  - TensorFlow 2.7.0 dan PyTorch 1.10.0 DEB, RPM, atau TGZ
- CUDA 11.0
  TensorFlow 2.4.0 dan PyTorch 1.7.1: DEB, RPM, dan TGZ
- CUDA 11.1
  - PyTorch 1.8.1 DEB, RPM, atau TGZ
  - PyTorch 1.9.0 DEB, RPM, atau TGZ
  - PyTorch 1.10.0 DEB, RPM, atau TGZ
- CUDA 11.2
  TensorFlow 2.7.0: DEB, RPM, dan TGZ
- CUDA 11.3
  - PyTorch 1.11.0: DEB, RPM, atau TGZ
  - PyTorch 1.12.1: DEB, RPM, atau TGZ

Dapatkan token akses

SDK untuk Blade memerlukan token akses untuk beroperasi. Untuk mendapatkan token akses, Anda dapat menghubungi manajer penjualan Anda (SA atau PDSA) atau bergabung dengan grup DingTalk pengguna Blade (ID Grup: 21946131).

Instal Blade untuk optimasi model pada perangkat lokal

Blade memungkinkan Anda melakukan optimasi model di perangkat menggunakan model MNN yang dikonversi dari model TensorFlow. Anda harus menginstal TensorFlow dan MNN terlebih dahulu. Jalankan perintah berikut untuk menginstal TensorFlow dan MNN:

pip3 install tensorflow==1.15 MNN==1.1.0

Anda dapat menggunakan Blade versi GPU atau CPU untuk optimasi model di perangkat. Jalankan salah satu perintah berikut untuk menginstal paket wheel untuk Blade:

Jika Anda telah menginstal GPU, jalankan perintah berikut:

pip3 install pai-blade-gpu \
  -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

Jika tidak ada GPU yang diinstal, jalankan perintah berikut:

pip3 install pai-blade-cpu \
  -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html