Instal PAI-Blade pada server dan perangkat on-premises - Platform For AI

PAI-Blade mempercepat inferensi pembelajaran mendalam pada Platform for AI (PAI). Paket instalasi mencakup paket wheel untuk optimisasi model dan SDK C++ untuk inferensi model.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

Sistem operasi Linux
Python 3.6, 3.7, atau 3.8
Kerangka kerja pembelajaran mendalam yang didukung (PAI-Blade tidak menginstal kerangka kerja secara otomatis)
(Hanya GPU) Compute Unified Device Architecture (CUDA) 10.0 hingga 11.3

Kompatibilitas

Kategori	Versi yang didukung
Sistem operasi	Linux
Python	3.6, 3.7, 3.8
CUDA	10.0 hingga 11.3 (lingkungan GPU)
TensorFlow	1.15, 2.4, 2.7
PyTorch	1.6.0 dan versi selanjutnya
TensorRT	8.0 dan versi selanjutnya
C++ SDK ABI	cxx11, pre-cxx11
Format C++ SDK	RPM, DEB, TGZ
Jenis perangkat	GPU, CPU, perangkat terminal (Mobile Neural Network (MNN))

Jalur instalasi

Skenario	Komponen	Kapan digunakan
Server GPU atau CPU	Framework + TensorRT + paket wheel + C++ SDK + token akses	Optimisasi dan inferensi model pada server
Perangkat lokal	TensorFlow + MNN + paket wheel	Optimisasi model untuk perangkat mobile atau embedded

Instal pada server GPU atau CPU

Langkah 1: Instal framework

Instal TensorFlow atau PyTorch sebelum menginstal PAI-Blade.

TensorFlow

PAI-Blade mendukung TensorFlow 1.15, 2.4, dan 2.7. Instal dari komunitas TensorFlow:

# GPU
pip3 install tensorflow-gpu==1.15.0
pip3 install tensorflow-gpu==2.4.0

# CPU
pip3 install tensorflow==1.15.0
pip3 install tensorflow==2.4.0

Untuk menginstal TensorFlow dengan TensorRT terintegrasi, gunakan paket TensorFlow yang telah dikompilasi sebelumnya oleh PAI, bukan paket dari komunitas.

PyTorch

PAI-Blade mendukung PyTorch 1.6.0 dan versi selanjutnya. Instal dari website resmi PyTorch sesuai dengan jenis perangkat dan versi CUDA Anda.

Sebagai contoh, instal PyTorch 1.7.1 dengan CUDA 11.0:

pip3 install torch==1.7.1+cu110 torchvision==0.8.2+cu110 \
    -f https://download.pytorch.org/whl/torch/

PyTorch 1.6.0 resmi tidak mendukung CUDA 10.0. Gunakan paket PyTorch yang telah dikompilasi sebelumnya dari PAI untuk kombinasi ini.

Langkah 2: Instal paket wheel

Pilih perintah pip3 install yang sesuai dengan framework, versi framework, jenis perangkat, dan versi CUDA Anda.

Untuk versi sebelumnya, lihat Perintah instalasi dan URL unduhan SDK untuk PAI-Blade versi sebelumnya.

CPU

TensorFlow 1.15.0 dan PyTorch 1.6.0

pip3 install pai_blade_cpu==3.27.0+1.15.0.1.6.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install tensorflow_blade_cpu==3.27.0+1.15.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install torch_blade_cpu==3.27.0+1.6.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

TensorFlow 2.4.0 dan PyTorch 1.7.1

pip3 install pai_blade_cpu==3.27.0+2.4.0.1.7.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install tensorflow_blade_cpu==3.27.0+2.4.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install torch_blade_cpu==3.27.0+1.7.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

PyTorch 1.8.1

pip3 install pai_blade_cpu==3.27.0+1.8.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install torch_blade_cpu==3.27.0+1.8.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

PyTorch 1.9.0

pip3 install pai_blade_cpu==3.27.0+1.9.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install torch_blade_cpu==3.27.0+1.9.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

TensorFlow 2.7.0 dan PyTorch 1.10.0

pip3 install pai_blade_cpu==3.27.0+2.7.0.1.10.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install tensorflow_blade_cpu==3.27.0+2.7.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html
pip3 install torch_blade_cpu==3.27.0+1.10.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

CUDA 11.0

TensorFlow 2.4.0 dan PyTorch 1.7.1

pip3 install pai_blade_gpu==3.27.0+cu110.2.4.0.1.7.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install tensorflow_blade_gpu==3.27.0+cu110.2.4.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install torch_blade==3.27.0+1.7.1.cu110 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

CUDA 11.1

PyTorch 1.8.1

pip3 install pai_blade_gpu==3.27.0+cu111.1.8.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install torch_blade==3.27.0+1.8.1.cu111 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

PyTorch 1.9.0

pip3 install pai_blade_gpu==3.27.0+cu111.1.9.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install torch_blade==3.27.0+1.9.0.cu111 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

PyTorch 1.10.0

pip3 install pai_blade_gpu==3.27.0+cu111.1.10.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install torch_blade==3.27.0+1.10.0.cu111 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

CUDA 11.2

TensorFlow 2.7.0

pip3 install pai_blade_gpu==3.27.0+cu112.2.7.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install tensorflow_blade_gpu==3.27.0+cu112.2.7.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

CUDA 11.3

PyTorch 1.11.0

pip3 install pai_blade_gpu==3.27.0+cu113.1.11.0 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install torch_blade==3.27.0+1.11.0.cu113 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

PyTorch 1.12.1

pip3 install pai_blade_gpu==3.27.0+cu113.1.12.1 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html
pip3 install torch_blade==3.27.0+1.12.1.cu113 -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo_ext.html

Langkah 3: Instal C++ SDK

C++ SDK hanya mendukung GNU Compiler Collection (GCC) pada Linux. Blade menyediakan paket dengan dua varian Application Binary Interface (ABI). Untuk detailnya, lihat dokumentasi ABI GCC.

Pilih varian ABI Anda

Varian ABI	Kapan digunakan
pre-cxx11	GCC versi sebelum 5.1, atau `_GLIBCXX_USE_CXX11_ABI=0` dikonfigurasi
cxx11	GCC 5.1 atau versi lebih baru tanpa `_GLIBCXX_USE_CXX11_ABI=0`

Pilih format paket Anda

Format	Distribusi	Perintah instalasi	Memerlukan root
RPM	CentOS, Red Hat	`rpm -ivh`	Ya
DEB	Ubuntu, Debian	`dpkg -i`	Ya
TGZ	Semua Linux	Ekstrak dan gunakan	Tidak

Contoh: Instal SDK ABI pre-cxx11 untuk CUDA 11.0 (v3.23.0)

RPM

rpm -ivh https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/3.23.0/py3.6.8_cu110_tf2.4.0_torch1.7.1_abiprecxx11/blade_cpp_sdk_gpu-3.23.0-Linux.rpm

DEB

wget https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/3.23.0/py3.6.8_cu110_tf2.4.0_torch1.7.1_abiprecxx11/blade_cpp_sdk_gpu-3.23.0-Linux.deb
dpkg -i blade_cpp_sdk_gpu-3.23.0-Linux.deb

Struktur direktori SDK

Paket RPM dan DEB diinstal ke /usr/local/ secara default. Setelah instalasi atau ekstraksi:

/usr/local/
├── bin
│   ├── disc_compiler_main
│   └── tao_compiler_main
└── lib
    ├── libral_base_context.so
    ├── libtao_ops.so
    ├── libtf_blade.so
    ├── libtorch_blade.so
    └── mlir_disc_builder.so

Gunakan pustaka tautan dinamis di /usr/local/lib saat menerapkan model.

URL unduhan SDK (v3.27.0)

Untuk versi sebelumnya, lihat Perintah instalasi dan URL unduhan SDK untuk PAI-Blade versi sebelumnya.

ABI cxx11

Perangkat	Versi framework	DEB	RPM	TGZ
CPU	TensorFlow 1.15.0 + PyTorch 1.6.0	DEB	RPM	TGZ

ABI pre-cxx11

Perangkat	Versi framework	DEB	RPM	TGZ
CPU	TensorFlow 1.15.0 + PyTorch 1.6.0	DEB	RPM	TGZ
CPU	TensorFlow 2.4.0 + PyTorch 1.7.1	DEB	RPM	TGZ
CPU	PyTorch 1.8.1	DEB	RPM	TGZ
CPU	PyTorch 1.9.0	DEB	RPM	TGZ
CPU	TensorFlow 2.7.0 + PyTorch 1.10.0	DEB	RPM	TGZ
CUDA 11.0	TensorFlow 2.4.0 + PyTorch 1.7.1	DEB	RPM	TGZ
CUDA 11.1	PyTorch 1.8.1	DEB	RPM	TGZ
CUDA 11.1	PyTorch 1.9.0	DEB	RPM	TGZ
CUDA 11.1	PyTorch 1.10.0	DEB	RPM	TGZ
CUDA 11.2	TensorFlow 2.7.0	DEB	RPM	TGZ
CUDA 11.3	PyTorch 1.11.0	DEB	RPM	TGZ
CUDA 11.3	PyTorch 1.12.1	DEB	RPM	TGZ

Langkah 4: Dapatkan token akses

C++ SDK memerlukan token akses. Hubungi manajer penjualan Anda (SA atau PDSA) atau bergabunglah dengan grup DingTalk pengguna Blade (ID Grup: 21946131).

Instal untuk perangkat on-premises

Blade mengonversi model TensorFlow menjadi model Mobile Neural Network (MNN) untuk inferensi pada perangkat.

Instal framework yang diperlukan:

   pip3 install tensorflow==1.15 MNN==1.1.0

Instal paket wheel Blade untuk lingkungan Anda: GPU CPU

   pip3 install pai-blade-gpu \
     -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

   pip3 install pai-blade-cpu \
     -f https://pai-blade.oss-cn-zhangjiakou.aliyuncs.com/release/repo.html

Catatan penting

Blade tidak menginstal TensorFlow atau PyTorch secara otomatis. Instal framework yang didukung sebelum menginstal Blade.
Sesuaikan paket wheel dengan jenis perangkat dan versi CUDA Anda.
PyTorch 1.6.0 resmi tidak mendukung CUDA 10.0. Gunakan paket wheel yang disediakan oleh PAI untuk kombinasi ini. Untuk versi PyTorch lainnya, gunakan paket PyTorch resmi.