Transformer トレーニングの高速化 (Pai-Megatron-Patch) - Platform For AI

Pai-Megatron-Patch は、Megatron-LM 上に構築された一連の最適化技術を使用して、PyTorch ベースの Transformer モデルのトレーニングを高速化します。ソースコードの変更は不要です。

推奨用途：

PAI-Lingjun AI Computing Service 上で分散大規模言語モデル (LLM) トレーニングを実行する ML エンジニア
Hugging Face と Megatron-LM のモデルの重みを切り替える必要があるチーム
LLM トレーニングパイプラインに強化学習 (PPO) を追加する実務者

主な機能：

アップストリーム Megatron-LM の更新との互換性を維持する非侵襲的なパッチ
事前学習、教師ありファインチューニング (SFT)、オフライン推論をカバーするエンドツーエンドのワークフロー
人気のオープンソース LLM、双方向の重み変換、PPO トレーニングに対応したモデルライブラリ

Pai-Megatron-Patch について

Pai-Megatron-Patch は、Alibaba Cloud の Platform for AI (PAI) のアルゴリズムチームによって開発されました。これは PAI-Lingjun AI Computing Service の補完ツールキットであり、主流のオープンソース LLM のトレーニングとオフライン検証のための Megatron-LM ベースのワークフローを提供します。

このツールキットは、LLM の完全なワークフローをカバーします。効率的な分散トレーニング、教師あり指示ファインチューニング、オフライン推論と検証を提供します。

仕組み

Pai-Megatron-Patch は、ソースコードを直接変更するのではなく、パッチを適用することで Megatron-LM を拡張します。この非侵襲的な設計により、コア Megatron-LM ライブラリは変更されず、将来のアップストリーム更新との互換性を維持しながら、追加機能を備えた独立した LLM トレーニングワークフローを構築できます。

コンポーネント

コンポーネント	説明
モデルライブラリ	人気のオープンソース LLM： Baichuan、Bloom、ChatGLM、Falcon、Galactica、GLM、Llama、Qwen、StarCoder
トークナイザー	対応モデル用のトークナイザー
モデル変換ツール	Hugging Face と Megatron-LM のモデルの重みの双方向変換 — 事前学習またはファインチューニングのために Hugging Face の重みを読み込み、評価と推論のために Hugging Face 形式にエクスポートします
強化学習	SFT と報酬モデル (RM) を使用した PPO トレーニングワークフロー
オフラインテキスト生成	検証のためのオフラインテキスト生成機能
サンプルとツール	LLM トレーニングと推論のためのすぐに実行可能なサンプル

エコシステムにおける位置づけ

Pai-Megatron-Patch は PAI-Lingjun と Megatron-LM の間に位置し、Hugging Face モデルエコシステムと統合されます：

構築基盤： Megatron-LM (コアトレーニングフレームワーク)
実行環境： PAI-Lingjun AI Computing Service
互換性： Hugging Face モデルの重み (双方向変換)

はじめに

Pai-Megatron-Patch をセットアップして使用するには、次のワークフローに従ってください：