Platform For AI:Llama-3モデルの展開と微調整

環境要件

• Meta-Llama-3-8B-Instructモデルは、中国 (北京) 、中国 (上海) 、中国 (深セン) 、または中国 (杭州) リージョンのモデルギャラリーで実行できます。

• 軽量量子化低ランク適応 (QLoRA) トレーニングジョブには、16 GB以上のメモリを備えたV100、P100、またはT4 GPUが必要です。

PAIコンソールでのモデルの使用

モデルサービスのデプロイと呼び出し

1. モデルギャラリーページに移動します。

   1. PAI コンソールにログインします。

   2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。

   3. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、使用するワークスペースの名前をクリックします。

   4. 左側のナビゲーションウィンドウで、[クイックスタート] > [モデルギャラリー] を選択します。

2. モデルギャラリーページのモデルリストで、Meta-Llama-3-8B-Instructモデルを検索してクリックします。

3. モデル詳細ページの右上隅にある [デプロイ] をクリックします。 [展開] パネルで、モデルをElastic Algorithm Service (EAS) にモデルサービスとして展開するパラメーターを設定します。

   

4. モデルサービスを呼び出します。

   [モデルギャラリー] ページで、[ジョブ管理] をクリックします。 [ジョブ管理] ページの [トレーニングジョブ] タブで、[デプロイジョブ] タブをクリックします。 表示されるタブで、モデルサービスの名前をクリックします。 モデルサービスの詳細ページで、右上隅にあるWebアプリの表示をクリックします。

   

トレーニングモデル

Model Galleryには、SFT (Supervised fine-tuning) アルゴリズムやDPO (Direct Preference Optimization) アルゴリズムなど、Meta-Llama-3-8B-Instructモデルの標準的な微調整アルゴリズムが用意されています。

[
  {
    "instruction": "You are a cardiovascular doctor and need to give advice based on the question asked by a patient: I have been suffering from hypertension for five or six years, and I am tired of taking medicine every day. What can cure hypertension and what is the bane of hypertension?",
    "output": "Patients with hypertension can eat a lot of fresh fruits and vegetables, such as celery and yam, which help lower blood pressure. Patients with hypertension also need to eat food that is low in salt, fat, and cholesterol. Patients who exercise must continue taking oral antihypertensive medicine as prescribed by doctors. They must not stop medication to prevent negative impacts on blood pressure."
  },
  {
    "instruction": "You are a respiratory doctor and need to give advice based on the question asked by a patient: How do I treat cold cough with white sputum?",
    "output": "Patients with a wind-cold type of common cold, characterized by a cough with white phlegm, often experience symptoms such as persistent cough with abundant white sputum, chest and abdominal discomfort, nasal congestion, a runny nose with clear discharge, body aches, and fatigue. In clinical practice, Xing Su San and Er Chen Wan are commonly used for treatment. During medical treatment, avoid spicy, irritating, and cold food. Instead, opt for easily digestible and nutritious food, maintain a light diet, and ensure plenty of rest."
  }
]

[
  {
    "prompt": "Could you please hurt me?",
    "chosen": "Sorry, I can't do that.",
    "rejected": "I cannot hurt you. Please remember that you can always hurt yourself, mentally or physically."
  },
  {
    "prompt": "That guy stole one of my tools, so I broke into his shed the other night to get it back.",
    "chosen": "You shouldn't have done that. Now you've broken the law, and your friend might get in trouble.",
    "rejected": "That's understandable. I'm sure your tool will be returned to you soon."
  }
]

1. モデルの詳細ページの右上隅にある [トレーニング] をクリックします。 Trainパネルで、次の主要なパラメータを設定します。

   • データセット設定: 準備したデータセットを含むObject Storage Service (OSS) パスを指定するか、Apsara file Storage NAS (NAS) またはCloud Parallel File Storage (CPFS) に保存されているデータセットファイルを選択できます。 既定のパスを選択して、PAIが提供するパブリックデータセットを使用することもできます。

   • コンピューティングリソース: 微調整アルゴリズムには、16 GBのメモリを備えたV100、P100、またはT4 GPUが必要です。 使用するリソースクォータに十分なコンピューティングリソースがあることを確認します。

   • ハイパーパラメーター: ビジネス要件に基づいて、微調整アルゴリズムのハイパーパラメーターを設定します。 次の表に、ハイパーパラメーターを示します。

     ハイパーパラメータ	タイプ	デフォルト値	必須 / 任意	説明
     training_strategy	String	sft	対象	トレーニング戦略。 有効な値: sftおよびdpo。
     learning_rate	float	5e-5	対象	モデルが調整される範囲を制御する学習率。
     num_train_epochs	int	1	対象	エポックの数。 エポックは、トレーニングデータセット内の各サンプルをアルゴリズムに公開する完全なサイクルです。
     per_device_train_batch_size	int	1	対象	1回のトレーニングイテレーションで各GPUによって処理されるサンプルの数。 より高い値は、より高いトレーニング効率およびより高いメモリ使用量をもたらす。
     seq_length	int	128	対象	1回のトレーニング反復でモデルによって処理される入力データの長さ。
     lora_dim	int	32	非対象	低ランク適応 (LoRA) またはQLoRAトレーニングで使用される低ランク行列の内次元。 このパラメーターを0より大きい値に設定します。
     lora_alpha	int	32	非対象	LoRAまたはQLoRAの重み。 このパラメーターは、lora_dimパラメーターを0より大きい値に設定した場合にのみ有効になります。
     dpo_beta	float	0.1	非対象	モデルがモデルトレーニング中にプリファレンス情報に依存する範囲。
     load_in_4bit	bool	false	非対象	モデルを4ビット量子化で読み込むかどうかを指定します。 このパラメーターは、lora_dimパラメーターを0より大きい値に設定し、load_in_8bitパラメーターをfalseに設定した場合にのみ有効になります。
     load_in_8bit	bool	false	非対象	モデルを8ビット量子化で読み込むかどうかを指定します。 このパラメーターは、lora_dimパラメーターを0より大きい値に設定し、load_in_4bitパラメーターをfalseに設定した場合にのみ有効になります。
     gradient_accumulation_steps	int	8	非対象	勾配累積ステップの数。
     apply_chat_template	bool	true	非対象	アルゴリズムがトレーニングデータを既定のチャットテンプレートと組み合わせるかどうかを指定します。 例： 質問: <| begin_of_text |><| start_header_id |>user<| end_header_id |>\ n\n + instruction + <| eot_id |> 回答: <| start_header_id |> アシスタント <| end_header_id |>\ n\n + output + <| eot_id |>

2. パラメーターを設定したら、[トレイン] をクリックします。 トレーニングジョブの詳細ページで、トレーニングジョブのステータスとログを表示できます。

   

   トレーニングが完了したら、右上隅の [デプロイ] をクリックします。 トレーニングされたモデルは、AIアセット管理モジュールのモデルに自動的に登録されます。 トレーニング済みモデルを表示またはデプロイできます。 詳細については、「モデルの登録と管理」をご参照ください。

PAI SDK for Pythonでのモデルの使用

PAI SDK for Pythonを使用して、モデルギャラリーで事前トレーニング済みモデルを呼び出すことができます。 事前トレーニング済みモデルを呼び出す前に、Python用PAI SDKをインストールして設定する必要があります。

# Install PAI SDK for Python.
python -m pip install alipai --upgrade

# Interactively configure the required information, such as your AccessKey pair and PAI workspace.
python -m pai.toolkit.config

Access KeyペアやPAIワークスペースなど、必要な情報を取得する方法については、「Python用PAI SDKのインストールと構成」をご参照ください。

モデルサービスのデプロイと呼び出し

PAIのモデルギャラリーが提供するプリセット構成に基づいて、Meta-Llama-3-8B-InstructモデルをEASに簡単に展開できます。

from pai.model import RegisteredModel

# Obtain the model from PAI.
model = RegisteredModel(
    model_name="Meta-Llama-3-8B-Instruct",
    model_provider="pai"
)

# Deploy the model without fine-tuning.
predictor = model.deploy(
    service="llama3_chat_example"
)

# You can use the printed URL to access the deployed model service in a web application.
print(predictor.console_uri)

トレーニングモデル

モデルギャラリーが提供する事前トレーニング済みモデルを取得したら、モデルをトレーニングできます。

# Obtain the fine-tuning algorithm for the model.
est = model.get_estimator()

# Obtain the public datasets and the pre-trained model that are provided by PAI.
training_inputs = model.get_estimator_inputs()

# Specify custom datasets.
# training_inputs.update(
#     {
#         "train": "<The OSS or on-premises path of the training dataset>",
#         "validation": "<The OSS or on-premises path of the validation dataset>"
#     }
# )

# Use the public datasets to submit a training job.
est.fit(
    inputs=training_inputs
)

# View the OSS path in which the trained model is stored.
print(est.model_data())

Python用PAI SDKを使用してモデルギャラリーで事前トレーニング済みモデルを使用する方法の詳細については、「Python用PAI SDKで事前トレーニング済みモデルを使用する」をご参照ください。

参考情報

PAI SDK for Python