Data Science Workshop (DSW) は、ファインチューニングを通じてモデルをカスタマイズするためのインタラクティブなモデリングプラットフォームです。このトピックでは、DSW で Llama-3-8B-Instruct モデルをファインチューニングし、特定のタスクにおけるパフォーマンスを向上させる方法について説明します。
背景情報
Llama3 は、2024 年 4 月に Meta 社によってリリースされた Llama シリーズの最新モデルです。Llama2 データセットの 7 倍以上にあたる 15 兆を超えるトークンでトレーニングされており、8K のコンテキスト長をサポートし、128K トークン語彙を持つ改良されたトークナイザーを使用して、複雑なコンテキストや専門用語をより正確に処理します。
Llama3 は、8B と 70B のパラメータサイズで利用可能で、それぞれに事前学習済みバージョンと指示チューニング済みバージョンがあります。
-
8B バージョン
コンシューマーグレードの GPU に最適で、コンピューティングリソースが限られているシステムでの迅速なデプロイを可能にし、迅速な応答時間とコスト効率が求められるアプリケーションに適しています。
-
Meta-Llama-3-8b:8B の事前学習済みモデル。
-
Meta-Llama-3-8b-instruct:8B モデルの指示チューニング済みバージョン。
-
-
70B バージョン
大規模な AI アプリケーション向けに設計されており、優れたモデルパフォーマンスを必要とする非常に複雑なタスクを処理します。
-
Meta-Llama-3-70b:70B の事前学習済みモデル。
-
Meta-Llama-3-70b-instruct:70B モデルの指示チューニング済みバージョン。
-
前提条件
-
ワークスペースを作成します。詳細については、「ワークスペースの作成と管理」をご参照ください。
-
DSW インスタンスを作成します。以下の主要なパラメータを設定します。詳細については、「DSW インスタンスの作成」をご参照ください。
-
インスタンスタイプ:V100 など、少なくとも 16 GB の GPU メモリを搭載した GPU インスタンスを使用します。
-
Python 環境:Python 3.9 以降を使用します。
-
イメージ:イメージ URL フィールドに、
dsw-registry-vpc.REGION.cr.aliyuncs.com/pai-training-algorithm/llm_deepspeed_peft:v0.0.3を入力します。REGIONを、DSW インスタンスが配置されているリージョンの ID (例:cn-hangzhou、cn-shanghai) に置き換えます。リージョンとその対応するリージョン ID の完全なリストについては、次の表をご参照ください。リージョン
リージョン ID
中国 (杭州)
cn-hangzhou
中国 (上海)
cn-shanghai
中国 (北京)
cn-beijing
中国 (深圳)
cn-shenzhen
-
-
Llama3 大規模言語モデルを使用する前に、「Meta の公式ライセンス」をお読みください。
説明ページにアクセスできない場合は、プロキシを設定して再試行する必要がある場合があります。
ステップ1:モデルのダウンロード
方法1:DSW でのダウンロード
-
DSW 開発環境を開きます。
-
PAI コンソールにログインします。
-
左上隅で、DSW インスタンスが配置されているリージョンを選択します。
-
左側メニューで、ワークスペースリスト をクリックします。[Workspaces] ページで、デフォルトのワークスペースの名前をクリックします。
-
左側メニューで、モデル開発とトレーニング > インタラクティブモデリング (DSW) を選択します。
-
使用するインスタンスを見つけ、操作 列の 開く をクリックして DSW 開発環境を開きます。
-
-
[Launcher] ページの ノートブック セクションで、[Python 3] をクリックします。
-
次のコードを実行してモデルファイルをダウンロードします。このコードは、適切なダウンロードソースを自動的に選択し、モデルファイルを現在のディレクトリにダウンロードします。
! pip install modelscope==1.32.0 transformers==4.37.0from modelscope.hub.snapshot_download import snapshot_download snapshot_download('LLM-Research/Meta-Llama-3-8B-Instruct', cache_dir='.', revision='master')
方法2:Meta からのダウンロード
Meta の Web サイトにアクセスして、モデルをリクエストし、ダウンロードします。
ページにアクセスできない場合は、プロキシを設定して再試行する必要がある場合があります。
ステップ2:データセットの準備
この例では、英語の詩のデータセットを使用して Llama 3 モデルをファインチューニングし、詩の生成能力を向上させます。DSW ノートブックで次のコマンドを実行して、トレーニングデータセットをダウンロードします。
!wget https://atp-modelzoo-sh.oss-cn-shanghai.aliyuncs.com/tutorial/llm_instruct/en_poetry_train.json
特定のユースケースに合わせて、同じ形式で独自のデータセットを準備することもできます。
ステップ3:モデルのファインチューニング
軽量な LoRA トレーニング
このチュートリアルでは、トレーニングスクリプト /ml/code/sft.py を使用して、軽量な低ランク適応 (LoRA) トレーニングを実行します。トレーニング後、モデルパラメータは量子化され、推論のための GPU メモリ使用量が削減されます。
accelerate launch コマンドを実行すると、指定された Python スクリプトが指定されたパラメータで開始され、multi_gpu.yaml 設定ファイルの設定に基づいて、利用可能なコンピューティングリソースを使用してトレーニングが実行されます。
! accelerate launch --num_processes 1 --config_file /ml/code/multi_gpu.yaml /ml/code/sft.py \
--model_name ./LLM-Research/Meta-Llama-3-8B-Instruct/ \
--model_type llama \
--train_dataset_name en_poetry_train.json \
--num_train_epochs 3 \
--batch_size 8 \
--seq_length 128 \
--learning_rate 5e-4 \
--lr_scheduler_type linear \
--target_modules k_proj o_proj q_proj v_proj \
--output_dir lora_model/ \
--apply_chat_template \
--use_peft \
--load_in_4bit \
--peft_lora_r 32 \
--peft_lora_alpha 32
以下に、この例で使用されるパラメータについて説明します。必要に応じて変更できます。
-
accelerate launchコマンドは、複数の GPU にまたがるディープラーニングトレーニングスクリプトを開始および管理します。-
--num_processes 1:プロセス数を 1 に設定し、マルチプロセス並列化を無効にします。 -
--config_file /ml/code/multi_gpu.yaml:設定ファイルへのパス。 -
/ml/code/sft.py:実行する Python スクリプトへのパス。
-
-
/ml/code/sft.pyスクリプトのパラメータ:-
--model_name ./LLM-Research/Meta-Llama-3-8B-Instruct/:事前学習済みモデルへのパス。 -
--model_type llama:モデルのタイプ。この例ではllamaを使用します。 -
--train_dataset_name en_poetry_train.json:トレーニングデータセットへのパス。 -
--num_train_epochs 3:トレーニングエポック数。 -
--batch_size 8:バッチサイズ。 -
--seq_length 128:シーケンス長。 -
--learning_rate 5e-4:学習率 (0.0005)。 -
--lr_scheduler_type linear:学習率スケジューラのタイプ。 -
--target_modules k_proj o_proj q_proj v_proj:ファインチューニング中にターゲットとするモデルモジュール。 -
--output_dir lora_model/:ファインチューニングされたモデルの出力ディレクトリ。 -
--apply_chat_template:トレーニング中にチャットテンプレートを適用します。 -
--use_peft:パラメータ効率的なファインチューニング (PEFT) メソッドを有効にします。 -
--load_in_4bit:モデルの重みを 4 ビット精度でロードして、メモリ消費量を削減します。 -
--peft_lora_r 32:LoRA 行列のランク (r)。 -
--peft_lora_alpha 32:LoRA のスケーリング係数 (alpha)。
-
LoRA 重みのマージ
次のコマンドを実行して、LoRA 重みを事前学習済みモデルとマージします。
! RANK=0 python /ml/code/convert.py \
--model_name ./LLM-Research/Meta-Llama-3-8B-Instruct/ \
--model_type llama \
--output_dir trained_model/ \
--adapter_dir lora_model/
この例で使用されるパラメータは以下の通りです:
-
RANK=0:RANK環境変数は、分散トレーニングにおける現在のプロセスのランクを示します。値0は、単一プロセスまたはメインプロセスを意味します。 -
python /ml/code/convert.py:重み変換のためにconvert.pyスクリプトを実行します。 -
--model_name ./LLM-Research/Meta-Llama-3-8B-Instruct/:事前学習済みモデルへのパス。 -
--model_type llama:モデルのタイプ。 -
--output_dir trained_model/:変換されたモデルと重みのディレクトリ。 -
--adapter_dir lora_model/:LoRA アダプターの重みを含むディレクトリ。
ステップ4:推論の実行
次のコードを実行して推論を行い、ファインチューニングの結果を検証します。この例では、モデルに春についての詩を書くように依頼します:
import torch, transformers
# model_id = "./LLM-Research/Meta-Llama-3-8B-Instruct/"
model_id = "./trained_model/"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "user", "content": "Write a poem on a topic 'spring' "},
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=1024,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
以下は応答例です。ファインチューニングされたモデルは、詩を生成できるようになりました:
Here's a poem on the topic of "Spring":
As winter's chill begins to fade,
The earth awakens from its shade,
And spring's sweet breath begins to blow,
Bringing life to all that's cold and slow.
The trees regain their vibrant hue,
And flowers bloom, both old and new,
Their petals dancing in the breeze,
As sunshine warms the world with ease.
The air is filled with sweet perfume,
As blossoms burst forth in their room,
And robins sing their morning song,
As spring's awakening is strong.
The world is fresh, and new, and bright,
As spring's warm light begins to take flight,
And all around, new life unfolds,
As winter's grip begins to grow old.
So let us bask in spring's warm rays,
And let our spirits soar and sway,
For in this season, we're reborn,
And all around, new life is sworn.
I hope you enjoy it!
ステップ5:モデルのデプロイ
ファインチューニングされたモデルの重みを Object Storage Service (OSS) にアップロードし、Elastic Algorithm Service (EAS) ChatLLM を使用してモデルをサービスとしてデプロイできます。詳細については、「EAS での LLM アプリケーションのデプロイ」をご参照ください。
付録:DSW ギャラリーからの Llama3 の実行
DSW ギャラリーには、構築済みの Llama3 サンプルノートブックが用意されています。DSW インスタンスでサンプルを開いて直接実行したり、必要に応じて変更したりできます。詳細については、「ノートブックギャラリー」をご参照ください。
よくある質問
Q: FileDownloadError: File config.json download incomplete... エラー
ターミナルで pip install -U modelscope を実行して modelscope パッケージをアップグレードします。次に、ノートブックページの上部にある
アイコンをクリックして Python カーネルを再起動し、モデルのダウンロードコードを再度実行してください。
関連ドキュメント
ChatLLM-WebUI の重要なリリース情報については、「ChatLLM-WebUI リリースノート」をご参照ください。