Pai-Megatron-Patch は、さまざまな最適化技術を組み合わせて PyTorch ベースの Transformer モデルのトレーニングを高速化し、最適なトレーニングパフォーマンスを実現します。このトピックでは、Pai-Megatron-Patch の仕組みと使用方法について説明します。
背景情報
Pai-Megatron-Patch は、Alibaba Cloud の Platform for AI (PAI) のアルゴリズムチームによって開発されたツールキットです。これは、PAI-Lingjun AI Computing Service 上の大規模言語モデル (LLM) のベストプラクティスソリューションのコンパニオンツールです。このツールキットは、開発者が PAI-Lingjun を使い始め、効率的な分散トレーニング、教師あり命令ファインチューニング、オフライン推論と検証など、LLM のエンドツーエンドのワークフローを完了するのに役立ちます。このプロジェクトは、主流のオープンソース LLM のトレーニングとオフライン検証のための Megatron-LM ベースのワークフローを提供し、LLM のトレーニングを迅速に開始できるようにします。
仕組み
Pai-Megatron-Patch は、ソースコードを直接変更する代わりにパッチを適用することで Megatron-LM を拡張します。この非侵襲的なアプローチにより、コアの Megatron-LM ライブラリを変更することなく、LLM の独立したトレーニングワークフローを構築し、追加機能を提供できます。これにより、将来の上流の更新との互換性が確保され、確立されたベストプラクティスが影響を受けないことが保証されます。
Pai-Megatron-Patch には、モデルライブラリ、トークナイザー、モデル変換ツール、強化学習機能、オフラインテキスト生成機能が含まれています。また、LLM のトレーニングと推論を迅速にデプロイするのに役立つさまざまな例とツールも提供します。
モデルライブラリには、Baichuan、Bloom、ChatGLM、Falcon、Galactica、GLM、Llama、Qwen、StarCoder などの一般的な LLM が含まれています。このパッチは、Hugging Face モデルの重みと Megatron-LM モデルの重みの間の双方向変換もサポートしており、Hugging Face の重みを Megatron-LM 環境にロードして事前トレーニングやファインチューニングを行うことができます。逆に、Megatron-LM モデルの重みを Hugging Face フォーマットに変換して、そのエコシステム内で評価と推論を行うこともできます。
強化学習のために、Pai-Megatron-Patch は PPO トレーニングなどのワークフローを提供します。トレーニングには SFT モデルと RM モデルを使用できます。付属のツールと例は、LLM のトレーニングと評価のための包括的なツールキットを提供します。
手順
Pai-Megatron-Patch を使い始めるには、次のワークフローに従ってください。