AI アクセラレーションの概要 - Platform For AI - Alibaba Cloud ドキュメントセンター

PAI は、AI トレーニングと推論のためのアクセラレーションツールを提供しており、データセットキャッシング、分散トレーニング、モデル最適化をカバーしています。

アクセラレーションツール

PAI は、AI ワークフローのさまざまな段階に対応する、以下のアクセラレーションツールを提供しています：

ツール	段階	説明
EPL	トレーニング	TensorFlow 向けの大規模分散トレーニングフレームワークです。データ並列処理、オペレーター分割、パイプライン並列処理、および自動並列化戦略をサポートしています。
Pai-Megatron-Patch	トレーニング	複数の最適化技術を Transformer モデルライブラリと統合することで、PyTorch での Transformer モデルのトレーニングを高速化します。
PAI-Blade	推論	TensorFlow と PyTorch 向けの汎用推論最適化ツールです。GPU、CPU、およびエッジデバイスをサポートしています。単一の API 呼び出しで、グラフ最適化、AI コンパイラ最適化、混合精度、および自動圧縮を適用します。
BladeLLM	推論	大規模言語モデル (LLM) 向けの高性能推論エンジンです。モデル量子化、効率的なバッチ処理、GPU メモリ管理により、デプロイメントを最適化します。
ローカルキャッシュアクセラレーション	データローディング	Lingjun コンピュートノードにデータセットをキャッシュすることで、マルチエポックトレーニング中のリモートストレージからの繰り返しの読み取りを排除します。OSS と CPFS ストレージをサポートしています。

最適化の目標に合わせてツールを選択してください。

EPL

自動並列化戦略を備えた TensorFlow 向けの分散トレーニングフレームワークです。詳細については、「EPL を使用した分散トレーニングアクセラレーション」をご参照ください。
Pai-Megatron-Patch

PyTorch Transformer モデル向けのトレーニング最適化ツールです。アクセラレーションスイッチによりトレーニング速度を向上させます。詳細については、「Transformer トレーニングアクセラレーション (Pai-Megatron-Patch)」をご参照ください。
PAI-Blade

グラフ最適化、混合精度、圧縮技術を統合した汎用推論最適化ツールです。詳細については、「推論アクセラレーション (Blade) の概要」をご参照ください。
BladeLLM

量子化と効率的なバッチ処理を備えた LLM デプロイメント向けの高性能推論エンジンです。詳細については、「LLM 推論エンジン (BladeLLM)」をご参照ください。
ローカルキャッシュアクセラレーション

Lingjun コンピュートノードにデータセットをキャッシュして、マルチエポックトレーニングを高速化します。詳細については、「ローカルキャッシュアクセラレーション」をご参照ください。

実践的なチュートリアルについては、「AI アクセラレーションのユースケース」をご参照ください。