Lingjun AI 計算プラットフォームで Megatron を使用して Qwen (7B/14B/72B) をトレーニング、ファインチューニング、デプロイします。このガイドでは、Qwen-7B を例として使用します。
前提条件
このガイドでは Qwen-7B v1.1.4 を使用します。以下の準備を完了してください:
Platform of Artificial Intelligence (PAI)、Data Science Workshop (DSW)、Deep Learning Containers (DLC)、および Elastic Algorithm Service (EAS) を有効化し、デフォルトのワークスペースを作成します。PAI の有効化とデフォルトワークスペースの作成をご参照ください。
Lingjun リソースを購入し、リソースクォータを作成します。モデルサイズに基づいて仕様を選択してください。料金については、「Lingjun Serverless の料金詳細」をご参照ください。設定については、「リソースグループの作成と Lingjun リソースの購入」および「リソースクォータの作成」をご参照ください。
モデルサイズ
フルパラメータトレーニングリソース
推論リソース (最小)
Megatron トレーニングモデルセグメント
7B
8 × gu7xf GPU、8 × gu7ef GPU
1 × V100 (32 GB VRAM)、1 × A10 (24 GB VRAM)
TP: 1, PP: 1
14B
8 × gu7xf GPU、8 × gu7ef GPU
2 × V100 (32 GB VRAM)、2 × A10 (24 GB VRAM)
TP: 2, PP: 1
72B
4 × 8 gu7xf GPU、4 × 8 gu7ef GPU
6 × V100 (32 GB VRAM)、2 × gu7xf GPU
TP: 8, PP: 2
トレーニングファイルと結果を保存するために、汎用型 NAS ファイルシステムデータセットを作成します。デフォルトのマウントパスを
/mnt/data/nasに設定します。詳細については、「データセットの作成と管理」をご参照ください。以下の設定で DSW インスタンスを作成します。詳細については、「DSW インスタンスの作成」をご参照ください。
リソースグループ:Lingjun リソース用に作成したリソースクォータを選択します。
リソース仕様:以下のリソース仕様を設定します。
CPU (コア数): 90.
メモリ (GB):1024。
共有メモリ (GB):1024。
GPU (カード数): 8 以上。
データセットのマウント: カスタムデータセット をクリックし、作成したデータセットを選択して、デフォルトのマウントパスを使用します。
イメージ構成:イメージアドレス タブで、イメージを
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:1.12-ubuntu20.04-py3.10-cuda11.3-megatron-patch-llmに設定します。
RAM ユーザーを使用する場合は、DSW、DLC、または EAS に必要な権限を付与します。詳細については、「クラウド製品の依存関係と権限:DSW」、「クラウド製品の依存関係と権限:DLC」、または「クラウド製品の依存関係と権限:EAS」をご参照ください。
制限事項
このベストプラクティスは、中国 (ウランチャブ) リージョンでのみ利用可能です。
ステップ 1:Qwen モデルの準備
以下のいずれかの方法で Qwen モデルをダウンロードします:
PAI DSW 開発環境に移動します。
PAI コンソールにログインします。
ページ左上のリージョン選択欄で、サービスを利用するリージョンとして [中国 (ウランチャブ)] を選択します。
左側のナビゲーションウィンドウで、ワークスペース一覧 をクリックします。表示されたページで、管理するワークスペースの名前をクリックします。
左側のナビゲーションウィンドウで、 を選択します。
ターゲットインスタンスの操作 列で、開く をクリックします。
上部のメニューバーで[ターミナル]をクリックし、表示されたタブでterminal の作成をクリックします。
Qwen モデルをダウンロードします。
ModelScope コミュニティからモデルをダウンロード
ターミナルで、以下のコマンドを実行して ModelScope をインストールします。
Python 環境に入ります。
次のコードは、Qwen-7B モデルファイルをダウンロードします。
Ctrl+Dを押して、Python 環境を終了します。以下のコマンドを実行して、ダウンロードした Qwen モデルを対応するフォルダに移動してください。
pip install modelscopepython# ### モデルとトークナイザーのロード from modelscope.hub.snapshot_download import snapshot_download model_dir = snapshot_download('qwen/Qwen-7B', 'v1.1.4') # model_dir = snapshot_download('qwen/Qwen-14B', 'v1.0.4') # model_dir = snapshot_download('qwen/Qwen-72B') # ダウンロードパスを取得します。 print(model_dir) # /root/.cache/modelscope/hub/qwen/Qwen-7B# /mnt/workspace/qwen-ckpts/${ckpt_folder_with_hf_suffix} ディレクトリを作成します。 mkdir -p /mnt/workspace/qwen-ckpts/qwen-7b-hf # ダウンロードしたモデルを /mnt/workspace/qwen-ckpts/${ckpt_folder_with_hf_suffix} ディレクトリにコピーします。 cp -r /root/.cache/modelscope/hub/qwen/Qwen-7B/* /mnt/workspace/qwen-ckpts/qwen-7b-hfHuggingFace コミュニティからのモデルのダウンロード
DSW ターミナルで、次のコマンドを実行してモデルファイルをダウンロードします。本ガイドでは、例として Qwen-7B モデルを使用します。Qwen-14B または Qwen-72B のモデルファイルをダウンロードするには、必要に応じて次のコードを変更してください。
mkdir /mnt/workspace/qwen-ckpts cd /mnt/workspace/qwen-ckpts git clone https://huggingface.co/Qwen/Qwen-7B # git clone https://huggingface.co/Qwen/Qwen-7B-Chat # git clone https://huggingface.co/Qwen/Qwen-14B # git clone https://huggingface.co/Qwen/Qwen-14B-Chat # git clone https://huggingface.co/Qwen/Qwen-72B # git clone https://huggingface.co/Qwen/Qwen-72B-Chat
ステップ 2:事前学習データの準備
DSW で事前学習データを準備します。この例では、WuDaoCorpora2.0 (研究目的のみ) を使用して Megatron のデータ前処理をデモンストレーションします。PAI が提供するサンプルデータをダウンロードするか、独自のデータを準備してください。
PAI によって処理された小規模サンプルデータの使用
PAI は処理済みのサンプルデータを提供しています。以下のコマンドを実行してダウンロードします。
mkdir /mnt/workspace/qwen-datasets/
cd /mnt/workspace/qwen-datasets
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/qwen-datasets/alpaca_zh-qwen-train.json
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/qwen-datasets/alpaca_zh-qwen-valid.json
mkdir -p /mnt/workspace/qwen-datasets/wudao
cd /mnt/workspace/qwen-datasets/wudao
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/qwen-datasets/wudao_qwenbpe_content_document.bin
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/qwen-datasets/wudao_qwenbpe_content_document.idxご自身でのデータ処理
WuDaoCorpora2.0 データセットを
/mnt/workspace/qwen-datasetsにダウンロードします。解凍後のフォルダ名は wudao_200g です。PAI はデモンストレーション用のサンプルデータを提供しています。以下のコマンドを実行してデータセットをダウンロードし、解凍します。
mkdir /mnt/workspace/qwen-datasets cd /mnt/workspace/qwen-datasets wget https://atp-modelzoo.oss-cn-hangzhou.aliyuncs.com/release/datasets/WuDaoCorpus2.0_base_sample.tgz tar zxvf WuDaoCorpus2.0_base_sample.tgz mv WuDaoCorpus2.0_base_sample wudao_200gターミナルで、以下のコマンドを実行して Wudao データに対してデータクレンジングとファイル形式変換を行います。これにより、マージされた merged_wudao_cleaned.json ファイルが生成されます。
#! /bin/bash set -ex # 生データが保存されているパスを設定します。 data_dir=/mnt/workspace/qwen-datasets/wudao_200g # データクレンジングプロセスを開始します。 dataset_dir=$(dirname $data_dir) mkdir -p ${dataset_dir}/cleaned_wudao_dataset cd ${dataset_dir}/cleaned_wudao_dataset wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama2-codes/preprocess_wudao2.py # 前のセクションとは異なり、key パラメーターが追加され、text に設定されています。 python preprocess_wudao2.py -i ${data_dir} -o ${dataset_dir}/cleaned_wudao_dataset -k text -p 32 # クレンジングされたデータをマージします。 mkdir ${dataset_dir}/wudao cd ${dataset_dir}/wudao find ${dataset_dir}/cleaned_wudao_dataset -name "*.json" -exec cat {} + > ${dataset_dir}/wudao/merged_wudao_cleaned.json rm -rf ${dataset_dir}/cleaned_wudao_datasetコマンド実行後、
qwen-datasetsディレクトリのファイル構造は以下のようになります。新しい wudao フォルダが追加されます。qwen-datasets ├── wudao_200g └── wudao └── merged_wudao_cleaned.jsonターミナルで、以下のコマンドを実行して merged_wudao_cleaned.json ファイルを複数のグループに分割し、圧縮します。これにより、後続のステップでのマルチスレッド処理が容易になります。
apt-get update apt-get install zstd # チャンク数は 10 に設定されています。データ処理が遅い場合は、この値を増やしてください。 NUM_PIECE=10 # merged_wudao_cleaned.json ファイルを処理します。 mkdir -p ${dataset_dir}/cleaned_zst/ # データの総行数を照会し、データを分割します。 NUM=$(sed -n '$=' ${dataset_dir}/wudao/merged_wudao_cleaned.json) echo "total line of dataset is $NUM, data will be split into $NUM_PIECE pieces for processing" NUM=`expr $NUM / $NUM_PIECE` echo "each group is processing $NUM sample" split_dir=${dataset_dir}/split mkdir $split_dir split -l $NUM --numeric-suffixes --additional-suffix=.jsonl ${dataset_dir}/wudao/merged_wudao_cleaned.json $split_dir/ # データを圧縮します。 o_path=${dataset_dir}/cleaned_zst/ mkdir -p $o_path files=$(ls $split_dir/*.jsonl) for filename in $files do f=$(basename $filename) zstd -z $filename -o $o_path/$f.zst & done rm -rf $split_dir rm ${dataset_dir}/wudao/merged_wudao_cleaned.jsonコマンド実行後、
qwen-datasetsディレクトリのファイル構造は以下のようになります。新しいcleaned_zstフォルダが追加され、その中に 10 個の圧縮ファイルが含まれます。qwen-datasets ├── wudao_200g ├── wudao └── cleaned_zst ├── 00.jsonl.zst │ ... └── 09.jsonl.zstMMAP 形式の事前学習データセットを作成します。
MMAP は、トレーニングやファインチューニング中にデータの読み取りを待つ時間を短縮する事前トークン化されたデータ形式です。これは特に大規模なデータを処理する場合に有利です。以下の手順に従ってください:
DSW ターミナルで、以下のコマンドを実行して、Megatron のモデルトレーニングツールである PAI-Megatron-Patch のソースコードを DSW の作業ディレクトリ
/mnt/workspace/にコピーします。cd /mnt/workspace/ # 方法 1:オープンソースのウェブサイトからトレーニングコードを取得します。 git clone --recurse-submodules https://github.com/alibaba/Pai-Megatron-Patch.git # 方法 2:wget を使用してトレーニングコードを取得します。tar zxvf Pai-Megatron-Patch.tgz を実行してファイルを解凍します。 wget https://atp-modelzoo.oss-cn-hangzhou.aliyuncs.com/release/models/Pai-Megatron-Patch.tgzターミナルで、以下のコマンドを実行してデータを MMAP 形式に変換します。
コマンド実行後、
.binと.idxファイルが/mnt/workspace/qwen-datasets/wudaoディレクトリに生成されます。# Qwen に必要なトークナイザーライブラリをインストールします。 pip install tiktoken # データセットパスと作業ディレクトリを設定します。 export dataset_dir=/mnt/workspace/qwen-datasets export WORK_DIR=/mnt/workspace # トレーニングセットと検証セット用の MMAP 形式の事前学習データセットを生成します。 cd ${WORK_DIR}/Pai-Megatron-Patch/toolkits/pretrain_data_preprocessing bash run_make_pretraining_dataset.sh \ ../../Megatron-LM-23.04 \ ${WORK_DIR}/Pai-Megatron-Patch/ \ ${dataset_dir}/cleaned_zst/ \ qwenbpe \ ${dataset_dir}/wudao/ \ ${WORK_DIR}/qwen-ckpts/qwen-7b-hf rm -rf ${dataset_dir}/cleaned_zst以下の表は、run_make_pretraining_dataset.sh のパラメーターを説明しています。
パラメーター
説明
MEGATRON_PATH=$1
オープンソースの Megatron コードのパス。
MEGATRON_PATCH_PATH=$2
Megatron Patch コードのパス。
input_data_dir=$3
パッケージ化された WuDao データセットを含むフォルダのパス。
tokenizer=$4
トークナイザーのタイプ。これを qwenbpe に設定します。
output_data_dir=$5
出力される
.binおよび.idxファイルを保存するパス。load_dir=$6
生成された tokenizer_config.json ファイルのパス。
結果として得られる
qwen-datasetsディレクトリの構造:qwen-datasets ├── wudao_200g └── wudao ├── wudao_qwenbpe_content_document.bin └── wudao_qwenbpe_content_document.idx
ステップ 3:Megatron を使用したモデルのトレーニング
Megatron を使用してモデルをトレーニングします。
モデルフォーマットの変換
HuggingFace モデルファイルを Megatron フォーマットに変換します。
変換済みの Megatron モデルのダウンロード
PAI は変換済みのモデルを提供しています。以下からダウンロードしてください:
cd /mnt/workspace/
mkdir qwen-ckpts
cd qwen-ckpts
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/qwen-ckpts/qwen-7b-hf-to-mg-tp1-pp1.tgz
tar -zxf qwen-7b-hf-to-mg-tp1-pp1.tgz
mv qwen-7b-hf-to-mg-tp1-pp1 qwen-7b-hf-to-megatron-tp1-pp1HuggingFace モデルの Megatron フォーマットへの変換
以下のコマンドを実行して、HuggingFace モデルを Megatron フォーマットに変換します:
# モデルを変換します。
cd /mnt/workspace/Pai-Megatron-Patch/toolkits/model_checkpoints_convertor/qwen
sh model_convertor.sh \
../../../Megatron-LM-main \
/mnt/workspace/qwen-ckpts/qwen-7b-hf \
/mnt/workspace/qwen-ckpts/qwen-7b-hf-to-megatron-tp1-pp1 \
1 \
1 \
qwen-7b \
0 \
false以下の表は、model_convertor.sh のパラメーターを説明しています。
パラメーター | 説明 |
MEGATRON_PATH=$1 | オープンソースの Megatron コードのパス。 |
SOURCE_CKPT_PATH=$2 | HuggingFace モデルファイルのパス。 |
TARGET_CKPT_PATH=$3 | 変換された Megatron モデルを保存するパス。 |
TP=$4 | テンソル並列処理のシャード数。これはトレーニングで使用する数と同じでなければなりません。シャード数はモデルサイズによって異なります。モデルを変換する際に、必要に応じてこのパラメーターを修正してください:
|
PP=$5 | パイプライン並列処理のシャード数。これはトレーニングで使用する数と同じでなければなりません。シャード数はモデルサイズによって異なります。モデルを変換する際に、必要に応じてこのパラメーターを修正してください:
|
MN=$6 | モデル名:qwen-7b、qwen-14b、または qwen-72b。 |
EXTRA_VOCAB_SIZE=$7 | 追加の語彙サイズ。 |
mg2hf=$8 | Megatron モデルを HuggingFace モデルに変換するかどうかを指定します。 |
事前学習済みモデル
単一の DSW インスタンスで事前学習を行うか、DLC で分散タスクを送信します。トレーニングには約 2 時間かかります。モデルファイルは /mnt/workspace/output_megatron_qwen/ ディレクトリに保存されます。
DSW スタンドアロンでの事前学習済みモデル
ターミナルで Qwen-7B モデルに対して以下のコマンドを実行します:
export WORK_DIR=/mnt/workspace
cd ${WORK_DIR}/Pai-Megatron-Patch/examples/qwen
sh run_pretrain_megatron_qwen.sh \
dsw \
${WORK_DIR}/Pai-Megatron-Patch \
7B \
1 \
8 \
1e-5 \
1e-6 \
2048 \
2048 \
85 \
fp16 \
1 \
1 \
sel \
true \
false \
false \
false \
100000 \
${WORK_DIR}/qwen-datasets/wudao/wudao_qwenbpe_content_document \
${WORK_DIR}/qwen-ckpts/qwen-7b-hf-to-megatron-tp1-pp1 \
100000000 \
10000 \
${WORK_DIR}/output_megatron_qwen/ run_pretrain_megatron_qwen.sh のパラメーター:
パラメーター | 説明 |
ENV=$1 | 実行環境:
|
MEGATRON_PATH=$2 | オープンソースの Megatron コードのパス。 |
MODEL_SIZE=$3 | モデルサイズ:7B、14B、または 72B。 |
BATCH_SIZE=$4 | 各 GPU での 1 回のトレーニング反復あたりのサンプル数:4 または 8。 |
GLOBAL_BATCH_SIZE=$5 | トレーニングサンプルの総数。 |
LR=$6 | 学習率:1e-5 または 5e-5。 |
MIN_LR=$7 | 最小学習率:1e-6 または 5e-6。 |
SEQ_LEN=$8 | シーケンス長。 |
PAD_LEN=${9} | パディング長。 |
EXTRA_VOCAB_SIZE=${10} | 追加の語彙サイズ:
|
PR=${11} | トレーニング精度:fp16 または bf16。 |
TP=${12} | モデル並列処理の次数。 |
PP=${13} | パイプライン並列処理の次数。 |
AC=${14} | アクティベーションチェックポイントモード:
|
DO=${15} | VRAM 使用量を削減するために Megatron 版の Zero-1 オプティマイザーを使用するかどうかを指定します:
|
FL=${16} | FlashAttention を有効にするかどうかを指定します:
|
SP=${17} | シーケンス並列処理を使用するかどうかを指定します:
|
TE=${18} | Transformer-engine アクセラレーションを有効にするかどうかを指定します。この機能には gu8xf GPU が必要です。 |
SAVE_INTERVAL=${19} | チェックポイントファイルを保存する間隔。 |
DATASET_PATH=${20} | トレーニングデータセットのパス。 |
PRETRAIN_CHECKPOINT_PATH=${21} | 事前学習済みモデルのパス。 |
TRAIN_TOKENS=${22} | トレーニングトークン |
WARMUP_TOKENS=${23} | ウォームアップトークンの数。 |
OUTPUT_BASEPATH=${24} | 出力モデルファイルを保存するパス。 |
DLC 分散事前学習済みモデル
単一インスタンスでのデバッグ後、DLC で分散マルチ GPU タスクを設定します:
[ジョブの作成] ページに移動します。
PAI コンソールにログインし、対象のリージョンとワークスペースを選択して、[Deep Learning Containers (DLC)] をクリックします。
Deep Learning Containers (DLC) ページで、[ジョブの作成] をクリックします。
タスクの作成 ページで、次のキーパラメーターを設定し、その他のパラメーターはデフォルト値のままにします。トレーニングタスクを作成する。
パラメーター
説明
基本情報
タスク名
カスタムのタスク名を入力します。このガイドでは test_qwen_dlc を使用します。
環境コンテキスト
イメージの構成
イメージアドレス を選択し、テキストボックスに
pai-image-manage-registry.cn-wulanchabu.cr.aliyuncs.com/pai/pytorch-training:1.12-ubuntu20.04-py3.10-cuda11.3-megatron-patch-llmを入力します。データセットのマウント
カスタムデータセット をクリックし、次のパラメーターを設定します:
カスタムデータセット:作成した NAS データセットを選択します。
マウントパス:これを
/mnt/workspace/に設定します。
開始コマンド
以下のコマンドを設定します。run_pretrain_megatron_qwen.sh スクリプトの起動パラメーターは、単一の DSW インスタンスでモデルを事前学習する場合と同じです。
export WORK_DIR=/mnt/workspace cd ${WORK_DIR}/Pai-Megatron-Patch/examples/qwen sh run_pretrain_megatron_qwen.sh \ dlc \ ${WORK_DIR}/PAI-Megatron-Patch \ 7B \ 1 \ 8 \ 1e-5 \ 1e-6 \ 2048 \ 2048 \ 85 \ fp16 \ 1 \ 1 \ sel \ true \ false \ false \ false \ 100000 \ ${WORK_DIR}/qwen-datasets/wudao/wudao_qwenbpe_content_document \ ${WORK_DIR}/qwen-ckpts/qwen-7b-hf-to-megatron-tp1-pp1 \ 100000000 \ 10000 \ ${WORK_DIR}/output_megatron_qwen/リソース情報
リソースタイプ
[Lingjun AI 計算] を選択します。
リソースソース
リソースタイプ を選択します。
リソースタイプ
Lingjun リソース用に作成したリソースクォータを選択します。
フレーム
PyTorch を選択します。
タスクリソース
Worker ノードに対して以下のパラメーターを設定します:
ノード数: 2。マルチノードトレーニングを実行するには、ノード数 を必須のマシン数に設定します。
GPU (カード数):8
CPU (コア数):90
説明CPU コア数は 96 を超えることはできません。
メモリ (GiB): 1024
共有メモリ (GiB):1024
OK をクリックすると、ページは自動的に コンテナトレーニング (DLC) ページに移動します。ステータス が 完了しました に変わると、トレーニングタスクは成功です。
教師あり学習によるモデルのファインチューニング
単一の DSW インスタンスでモデルをファインチューニングするか、DLC 環境で分散タスクを送信します。トレーニングには約 2 時間かかります。モデルファイルは /mnt/workspace/output_megatron_qwen/ に保存されます。
ファインチューニングの前に、「ステップ 2:事前学習データの準備」に移動し、[PAI によって処理された小規模サンプルデータの使用] タブから JSON ファイルをダウンロードします。
モデルをファインチューニングします。
単一の DSW インスタンスでのモデルのファインチューニング
ターミナルで Qwen-7B モデルに対して以下のコマンドを実行します:
export WORK_DIR=/mnt/workspace cd ${WORK_DIR}/Pai-Megatron-Patch/examples/qwen sh run_finetune_megatron_qwen_withGA.sh \ dsw \ ${WORK_DIR}/Pai-Megatron-Patch \ 7B \ 1 \ 96 \ 1e-5 \ 1e-6 \ 2048 \ 2048 \ 85 \ bf16 \ 1 \ 1 \ sel \ true \ false \ false \ false \ 1000 \ ${WORK_DIR}/qwen-datasets/alpaca_zh-qwen-train.json \ ${WORK_DIR}/qwen-datasets/alpaca_zh-qwen-valid.json \ ${WORK_DIR}/qwen-ckpts/qwen-7b-hf-to-megatron-tp1-pp1 \ 2000 \ 10 \ ${WORK_DIR}/output_megatron_qwen/run_finetune_megatron_qwen_withGA.sh のパラメーター:
パラメーター
説明
ENV=$1
実行環境:
dlc
dsw
MEGATRON_PATH=$2
オープンソースの Megatron コードのパス。
MODEL_SIZE=$3
モデルサイズ:7B、14B、または 72B。
BATCH_SIZE=$4
各 GPU での 1 回のトレーニング反復あたりのサンプル数:1、2、4、または 8。
GLOBAL_BATCH_SIZE=$5
1 回のファインチューニング反復あたりのサンプル総数:64、96、または 128。
LR=$6
学習率:1e-5 または 5e-5。
MIN_LR=$7
最小学習率:1e-6 または 5e-6。
SEQ_LEN=$8
シーケンス長。
PAD_LEN=$9
パディングシーケンス長。
EXTRA_VOCAB_SIZE=${10}
追加の語彙サイズ:
Qwen-7B: 85。
Qwen-14B: 213。
Qwen-72B: 213。
PR=${11}
トレーニング精度:fp16 または bf16。
TP=${12}
モデル並列処理の次数。
PP=${13}
パイプライン並列処理の次数。
AC=${14}
アクティベーションチェックポイントモード:full または sel。
DO=${15}
VRAM 使用量を削減するために Megatron 版の Zero-1 オプティマイザーを使用するかどうかを指定します:
true
false
FL=${16}
FlashAttention を有効にするかどうかを指定します:
true
false
SP=${17}
シーケンス並列処理を使用するかどうかを指定します:
true
false
TE=${18}
Transformer-engine アクセラレーションを有効にするかどうかを指定します。この機能には gu8xf GPU が必要です。
SAVE_INTERVAL=${19}
モデルを保存するステップ間隔。
DATASET_PATH=${20}
トレーニングデータセットのパス。
VALID_DATASET_PATH=${21}
検証データセットのパス。
PRETRAIN_CHECKPOINT_PATH=${22}
事前学習済みモデルのパス。
TRAIN_ITERS=${23}
トレーニングの反復回数。
LR_WARMUP_ITERS=${24}
学習率が最も増加するステップ。
OUTPUT_BASEPATH=${25}
出力モデルファイルを保存するパス。
DLC での分散トレーニングによるモデルのファインチューニング
単一の DSW インスタンスでデバッグした後、DLC 環境でマルチ GPU サーバーを使用して分散タスクを設定します。DLC トレーニングタスクを送信するときは、開始コマンド を次のように設定します。その他のパラメーターは、ステップ 2: モデルを事前トレーニングする と同じです。
export WORK_DIR=/mnt/workspace cd ${WORK_DIR}/Pai-Megatron-Patch/examples/qwen sh run_finetune_megatron_qwen_withGA.sh \ dlc \ ${WORK_DIR}/Pai-Megatron-Patch \ 7B \ 1 \ 96 \ 1e-5 \ 1e-6 \ 2048 \ 2048 \ 85 \ bf16 \ 1 \ 1 \ sel \ true \ false \ false \ false \ 1000 \ ${WORK_DIR}/qwen-datasets/alpaca_zh-qwen-train.json \ ${WORK_DIR}/qwen-datasets/alpaca_zh-qwen-valid.json \ ${WORK_DIR}/qwen-ckpts/qwen-7b-hf-to-megatron-tp1-pp1 \ 2000 \ 10 \ ${WORK_DIR}/output_megatron_qwen/run_finetune_megatron_qwen_withGA.sh のパラメーターは、単一の DSW インスタンスでのファインチューニングの場合と同じです。
ステップ 4:オフライン推論の実行
トレーニング後、Megatron 推論パイプラインを使用してオフライン推論とモデル評価を行います。
テストサンプル pred_input.jsonl をダウンロードし、DSW の
/mnt/workspaceディレクトリにアップロードします。詳細については、「ファイルのアップロードとダウンロード」をご参照ください。説明推論用のデータ構造は、ファインチューニングで使用した構造と一致する必要があります。
事前学習モデルのパスからすべての JSON ファイルと tokenizer.model を、生成されたモデルのパスにコピーします。生成されたモデルのパスは、
{OUTPUT_BASEPATH }/checkpointの下のサブディレクトリで、latest_checkpointed_iteration.txt と同じレベルにあります。説明コマンド内のパスを実際のパスに置き換えてください。
cd /mnt/workspace/qwen-ckpts/qwen-7b-hf-to-megatron-tp1-pp1 cp *.json /mnt/workspace/output_megatron_qwen/checkpoint/dswXXX/ cp tokenizer.model /mnt/workspace/output_megatron_qwen/checkpoint/dswXXX/ターミナルで、以下のコマンドを実行してオフライン推論を行います。推論結果は
/mnt/workspace/qwen_pred.txtファイルに保存されます。結果に基づいてモデルのパフォーマンスを評価します。説明コマンドを実行する前に、run_text_generation_megatron_qwen.sh スクリプトで CUDA_VISIBLE_DEVICES パラメーターを 0 に、GPUS_PER_NODE パラメーターを 1 に設定してください。
export WORK_DIR=/mnt/workspace cd ${WORK_DIR}/Pai-Megatron-Patch/examples/qwen bash run_text_generation_megatron_qwen.sh \ dsw \ ${WORK_DIR}/PAI-Megatron-Patch \ /mnt/workspace/output_megatron_qwen/checkpoint/dswXXX \ 7B \ 1 \ 1 \ 1024 \ 1024 \ 85 \ fp16 \ 10 \ 512 \ 512 \ ${WORK_DIR}/pred_input.jsonl \ ${WORK_DIR}/qwen_pred.txt \ 0 \ 1.0 \ 1.2以下の表は、run_text_generation_megatron_qwen.sh のパラメーターを説明しています。
パラメーター
説明
ENV=$1
実行環境:
dlc
dsw
MEGATRON_PATCH_PATH=$2
Megatron Patch コードのパス。
CHECKPOINT_PATH=$3
トレーニングフェーズでモデルが保存されたパス。
重要これを実際のモデルパスに置き換えてください。
MODEL_SIZE=$4
モデルサイズ:7B、14B、または 72B。
TP=$5
モデル並列処理の次数。
重要このパラメーターが 1 に設定されている場合、推論には単一の GPU を使用します。
このパラメーターが 1 より大きい値に設定されている場合、対応する数の GPU を推論に使用します。
BS=$6
各 GPU での 1 回の推論反復あたりのサンプル数:1、4、または 8。
SEQ_LEN=$7
シーケンス長:256、512、または 1024。
PAD_LEN=$8
PAD 長:テキストがパディングされる長さ。
EXTRA_VOCAB_SIZE=${9}
モデル変換中に追加されたトークンの数:
Qwen-7B: 85。
Qwen-14B: 213。
Qwen-72B: 213。
PR=${10}
推論に使用される精度:fp16 または bf16。
TOP_K=${11}
top-k フィルタリングのために保持する最も確率の高い語彙トークンの数 (0 から n):0、5、10、または 20。
INPUT_SEQ_LEN=${12}
入力シーケンス長:512。
OUTPUT_SEQ_LEN=${13}
出力シーケンス長:256。
INPUT_FILE=${14}
推論用のテキストファイル:pred_input.jsonl。各行が 1 つのサンプルです。
OUTPUT_FILE=${15}
推論用の出力ファイル:qwen_pred.txt。
TOP_P=${16}
top-p フィルタリングの累積確率 (0 から 1):0、0.85、または 0.95。
説明TOP_K と TOP_P のうち、どちらか一方のみがゼロ以外にできます。
TEMPERATURE=${17}
(サンプリング)(ポリシー) における温度ペナルティ:1~n。
REPETITION_PENALTY=${18}
繰り返しに対するペナルティ。値は 1 から 2 の範囲です。デフォルト値は 1.2 です。
ステップ 5:モデルフォーマットの変換
トレーニング済みの Megatron モデルを、オンラインデプロイ用に HuggingFace フォーマットに変換します。
以下のコマンドを実行して、Megatron モデルを HuggingFace フォーマットに変換します。
export WORK_DIR=/mnt/workspace cd /mnt/workspace/Pai-Megatron-Patch/toolkits/model_checkpoints_convertor/qwen sh model_convertor.sh \ ../../../Megatron-LM-main \ ${WORK_DIR}/output_megatron_qwen/checkpoint/${path}/iter_******* \ /mnt/workspace/qwen-ckpts/qwen-7b-mg-to-hf-tp1-pp1/ \ 1 \ 1 \ qwen-7b \ 0 \ true以下の表は、model_convertor.sh のパラメーターを説明しています。
パラメーター
説明
MEGATRON_PATH=$1
オープンソースの Megatron コードのパス。
SOURCE_CKPT_PATH=$2
トレーニングから得られた Megatron モデルのパス。パスは
iter_*ディレクトリに固有でなければなりません。例:${WORK_DIR}/output_megatron_qwen/checkpoint/dsw-pretrain-megatron-qwen-7B-lr-1e-5-bs-1-seqlen-2048-pr-bf16-tp-1-pp-1-ac-sel-do-true-sp-false-tt--wt-/iter_*******。重要これを実際のモデルパスに置き換えてください。
変換に事前学習済みモデルを使用する場合、モデルパスからすべての distrib_optim.pt ファイルを削除してください。
TARGET_CKPT_PATH=$3
変換された HuggingFace モデルを保存するパス。
TP=$4
テンソル並列処理のシャード数。これはトレーニングで使用した数と同じでなければなりません。
PP=$5
パイプライン並列処理のシャード数。これはトレーニングで使用した数と同じでなければなりません。
MN=$6
モデル名:qwen-7b、qwen-14b、または qwen-72b。
EXTRA_VOCAB_SIZE=$7
追加の語彙サイズ。
mg2hf=$8
Megatron モデルを HuggingFace モデルに変換するかどうかを指定します。
オープンソースの HuggingFace モデルフォルダ
/mnt/workspace/qwen-ckpts/qwen-7b-hfから.json、.py、および.tiktokenファイルを/mnt/workspace/qwen-ckpts/qwen-7b-mg-to-hf-tp1-pp1ディレクトリにコピーして、モデルが使用できるようにします。重要pytorch_model.bin.index.json ファイルをコピーする必要はありません。
ステップ 6:モデルサービスのデプロイと呼び出し
HuggingFace モデルをオンライン推論サービスとしてデプロイします。
モデルサービスのデプロイ
PAI コンソールにログインします。ページの上部でリージョンを選択します。次に、目的のワークスペースを選択し、[Enter Elastic Algorithm Service (EAS)] をクリックします。
サービスのデプロイメント をクリックし、オンライン推論サービス セクションで、カスタムモデルのデプロイ セクションの カスタムデプロイメント をクリックします。
カスタムデプロイメント ページで、次の主要なパラメーターを設定し、その他のパラメーターはデフォルトのままにします。
パラメーター
説明
基本情報
サービス名
リージョン内で一意のカスタムモデルサービス名を入力します。このガイドでは test_qwen を使用します。
環境コンテキスト
デプロイメント方式
イメージデプロイメント を選択し、Web アプリケーションを有効にする を選択します。
イメージ設定
イメージアドレス を選択し、テキストボックスに次のレジストリアドレスを入力します:
eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/chat-llm-webui:3.0.4-vllm。直接マウント
マウントタイプとして NAS を選択します。汎用型 NAS をクリックし、以下のパラメーターを設定します。
ファイルシステムの選択:データセットの作成に使用した NAS ファイルシステムを選択します。
ファイルシステムのマウントポイント:データセットの作成に使用したマウントポイントを選択します。
ファイルシステムパス:NAS に保存されている変換済み HuggingFace モデルのパスに設定します。このガイドでは
/qwen-ckpts/qwen-7b-mg-to-hf-tp1-pp1を使用します。マウントパス:マウント後のパスを指定します。このガイドでは
/qwen-7bを使用します。
コマンドの実行
これを
python webui/webui_server.py --port=8000 --model-path=/qwen-7b --tensor-parallel-size 1 --backend=vllmに設定します。ここで:
--model-path:モデル構成のマウントパスと同じでなければなりません。
--tensor-parallel-size:モデルのテンソル並列処理のシャード数。これは GPU の数に基づいて調整する必要があります。7B モデルの場合は 1 に、72B モデルの場合は 8 に設定します (8 GPU インスタンスが必要)。
ポート番号
これを 8000 に設定します。
リソース情報
リソースタイプ
リソースクォータ を選択します。
リソースクォータ
Lingjun リソース用に作成したリソースクォータを選択します。
インスタンス数
モデルと選択したリソースに基づいて設定します。7B モデルの場合、インスタンス数 を 1 に設定します。
リソースのデプロイメント
7B モデルの場合、各インスタンスが使用するリソースを以下のように設定します:
CPU (コア数): 16。
メモリ (GB):64。
GPU (カード数):1。
サービス登録
Virtual Private Cloud (VPC)
NAS マウントポイントを設定すると、システムは自動的に VPC、vSwitch、およびセキュリティグループをプリセットの NAS ファイルシステムと一致させます。
vSwitch
セキュリティグループ名
デプロイメント をクリックします。
モデルのステータス が 実行中 に変わると、サービスはデプロイされます。
サービスの呼び出し
デプロイされたサービスを呼び出して推論を行います。
サービスリストで、対象のサービスの名前をクリックします。 ページの右上隅にあるWeb アプリケーションの表示をクリックします。
WebUI ページで、モデル推論を実行します。