大規模な教師モデルから、パフォーマンスを維持しつつ、より小規模な生徒モデルに知識を蒸留します。
このガイドでは、Qwen2 を使用したデータ拡張と知識蒸留について、命令データの準備から生徒モデルのトレーニング、デプロイまでを解説します。
ワークフロー
-
必要なフォーマットで訓練データセットを準備します。
-
Qwen2-1.5B-Instruct-Exp または Qwen2-7B-Instruct-Exp を使用して、意味的に類似した命令を生成し、汎化性能を向上させます。
-
Qwen2-1.5B-Instruct-Refine または Qwen2-7B-Instruct-Refine を使用して、拡張されたものを含む命令を洗練させ、よりリッチな出力を得ます。
-
命令データセットに対して、Qwen2-72B-Instruct を用いて教師モデルの応答を生成します。
-
完成した命令と応答のデータセットで、より小規模な生徒モデルをファインチューニングし、本番環境で使用します。
前提条件
以下の前提条件を満たしてください:
PAI (DLC および EAS) の従量課金が有効化され、デフォルトのワークスペースが作成されていること。詳細については、「PAI の有効化とデフォルトワークスペースの作成」をご参照ください。
トレーニングデータとモデルファイルを保存するための OSS バケットが作成されていること。バケットの作成方法の詳細については、「コンソールのクイックスタート」をご参照ください。
命令データの準備
データ準備戦略とデータ形式の要件に従って、命令データを準備します:
データ準備戦略
知識蒸留の結果を向上させるために、以下の戦略に従ってください:
-
少なくとも数百のデータポイントを準備します。データが多いほど、モデルのパフォーマンスが向上します。
-
タスクシナリオ、入出力長、言語にわたって、広くバランスの取れたディストリビューションを確保します。
-
ルールベースの手法を使用して、異常データをクリーンアップおよびフィルター処理します。少量であっても、ファインチューニングの結果を低下させる可能性があります。
データ形式の要件
訓練データセットは、`instruction` という 1 つのフィールドを持つ JSON ファイルである必要があります。例:
[
{
"instruction": "2008年の金融危機の際、各国政府は金融市場を安定させるためにどのような主要な措置を講じましたか?"
},
{
"instruction": "気候変動が悪化する中、持続可能な開発を促進するために各国政府はどのような重要な行動を取りましたか?"
},
{
"instruction": "2001年のITバブル崩壊の際、各国政府は経済回復を支援するためにどのような主要な措置を講じましたか?"
}
]
任意:命令の拡張
命令拡張は、ユーザーが提供した命令データセットを拡張して、多様性とカバー率を高めます。
-
たとえば、次の入力が与えられた場合:
魚香肉絲 (ユーシャンロースー) の作り方は? GRE 試験の準備はどうすればいいですか? 友人に誤解されたらどうすればいいですか? -
モデルは次のようなものを出力します:
麻婆豆腐の作り方を教えてください。 TOEFL 試験の準備に関する詳細なガイドを提供してください。 仕事で挫折した場合、どのように考え方を調整しますか?
命令の多様性が高いほど、生徒モデルの汎化性能が向上します。PAI は、Qwen2 をベースにした 2 つの独自の拡張モデル、Qwen2-1.5B-Instruct-Exp と Qwen2-7B-Instruct-Exp を提供しています。どちらかのモデルを EAS サービスとしてデプロイします:
モデルサービスのデプロイ
命令拡張モデルを EAS オンラインサービスとしてデプロイします。
-
モデルギャラリーページに移動します。
-
PAI コンソールにログインします。
-
左上のコーナーで、リージョンを選択します。
-
左側のナビゲーションウィンドウで、[ワークスペース]を選択し、ワークスペース名をクリックします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
-
モデルギャラリーページで、Qwen2-1.5B-Instruct-Exp または Qwen2-7B-Instruct-Exp を検索して、[デプロイ] をクリックします。
-
[デプロイ] パネルで、[モデルサービス情報] と [リソースデプロイメント情報] のデフォルト値を確認し、必要に応じて変更してから [デプロイ] をクリックします。
-
[料金に関する通知] ダイアログボックスで、[OK] をクリックします。
システムによって [デプロイメントタスク] ページが開きます。[ステータス] が [実行中] になると、デプロイメントは成功です。
モデルサービスの呼び出し
デプロイ後、API を使用して推論を実行します。詳細については、「大規模言語モデルのデプロイ」をご参照ください。クライアントリクエストの例:
-
サービスのエンドポイントとトークンを取得します。
-
[サービス詳細] ページで、[基本情報] をクリックし、次に [エンドポイント情報の表示] をクリックします。
-
[エンドポイント情報] ダイアログで、エンドポイントとトークンを見つけ、ローカルに保存します。
-
-
次の Python スクリプトを作成して実行します:
import argparse import json import requests from typing import List def post_http_request(prompt: str, system_prompt: str, host: str, authorization: str, max_new_tokens: int, temperature: float, top_k: int, top_p: float) -> requests.Response: headers = { "User-Agent": "Test Client", "Authorization": f"{authorization}" } pload = { "prompt": prompt, "system_prompt": system_prompt, "top_k": top_k, "top_p": top_p, "temperature": temperature, "max_new_tokens": max_new_tokens, "do_sample": True, "eos_token_id": 151645 } response = requests.post(host, headers=headers, json=pload) return response def get_response(response: requests.Response) -> List[str]: data = json.loads(response.content) output = data["response"] return output if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--top-k", type=int, default=50) parser.add_argument("--top-p", type=float, default=0.95) parser.add_argument("--max-new-tokens", type=int, default=2048) parser.add_argument("--temperature", type=float, default=1) parser.add_argument("--prompt", type=str, default="Sing me a song.") args = parser.parse_args() prompt = args.prompt top_k = args.top_k top_p = args.top_p temperature = args.temperature max_new_tokens = args.max_new_tokens host = "EAS HOST" authorization = "EAS TOKEN" print(f" --- input: {prompt}\n", flush=True) system_prompt = "You are an instruction creator. Your goal is to create a new instruction inspired by the [given instruction]." response = post_http_request( prompt, system_prompt, host, authorization, max_new_tokens, temperature, top_k, top_p) output = get_response(response) print(f" --- output: {output}\n", flush=True)パラメーター:
-
host:サービスのエンドポイント。
-
authorization:サービスのトークン。
-
バッチ拡張
EAS API を使用して、JSON データセットから命令をバッチ拡張します。次の Python スクリプトを作成して実行します:
import requests
import json
import random
from tqdm import tqdm
from typing import List
input_file_path = "input.json" # 入力ファイル名
with open(input_file_path) as fp:
data = json.load(fp)
total_size = 10 # 拡張後の目標サンプル総数
pbar = tqdm(total=total_size)
while len(data) < total_size:
prompt = random.sample(data, 1)[0]["instruction"]
system_prompt = "You are an instruction creator. Your goal is to create a new instruction inspired by the [given instruction]."
top_k = 50
top_p = 0.95
temperature = 1
max_new_tokens = 2048
host = "EAS HOST"
authorization = "EAS TOKEN"
response = post_http_request(
prompt, system_prompt,
host, authorization,
max_new_tokens, temperature, top_k, top_p)
output = get_response(response)
temp = {
"instruction": output
}
data.append(temp)
pbar.update(1)
pbar.close()
output_file_path = "output.json" # 出力ファイル名
with open(output_file_path, 'w') as f:
json.dump(data, f, ensure_ascii=False)
パラメーター:
-
host:サービスのエンドポイント。
-
authorization:サービスのトークン。
-
file_path:ご利用のデータセットファイルのローカルパスに置き換えます。
-
post_http_request関数とget_response関数は、「モデルサービスの呼び出し」の Python スクリプトで定義されているものと同じです。
または、PAI-Designer の LLM-Instruction Expansion (DLC) コンポーネントを使用して、コードなしで実行することもできます。詳細については、「カスタムパイプライン」をご参照ください。
PAI-Designer のワークフローで、Read OSS Data ノードを追加し、それを LLM-Instruction Expansion (DLC) ノードに接続します。LLM-Instruction Expansion (DLC) ノードを選択し、右側の [Fields Setting] パネルで次のパラメーターを設定します:
-
OSS RAM Role:権限付与を完了します。
-
Target Process Field:処理するフィールドの名前を入力します (必須)。
-
Model Name:モデルを選択します。例:
qwen2-1.5b-instruct-exp。 -
Output OSS Directory:出力パスを指定します。
任意:命令の最適化
命令の最適化は、命令をより詳細で構造化されたプロンプトに洗練させ、よりリッチな LLM の応答を引き出します。
-
たとえば、命令最適化モデルに次の入力が与えられた場合:
魚香肉絲 (ユーシャンロースー) の作り方は? GRE 試験の準備はどうすればいいですか? 友人に誤解されたらどうすればいいですか? -
モデルは次のようなものを出力します:
魚香肉絲の四川風の詳細なレシピを提供してください。野菜、豚肉、調味料の具体的な材料リストと、ステップバイステップの調理手順を含めてください。また、一緒に提供するのに適した副菜や主食も推奨してください。 GRE の登録、必要書類、学習戦略、推奨される参考書を網羅した包括的なガイドを提供してください。また、準備に役立つ効果的な練習問題や模擬試験も提案してください。 友人に誤解されたときに冷静かつ合理的に対処し、効果的にコミュニケーションをとって解決するための詳細なガイドを提供してください。例えば、自分の考えや感情を表現する方法、誤解をエスカレートさせない方法、練習のための具体的な対話シナリオや状況など、実践的なアドバイスを含めてください。
より詳細な命令は、より良い LLM の出力を生み出します。PAI は、Qwen2 をベースにした 2 つの独自の最適化モデル、Qwen2-1.5B-Instruct-Refine と Qwen2-7B-Instruct-Refine を提供しています。どちらかのモデルを EAS サービスとしてデプロイします:
モデルサービスのデプロイ
-
モデルギャラリーページに移動します。
-
PAI コンソールにログインします。
-
左上のコーナーで、リージョンを選択します。
-
左側のナビゲーションウィンドウで、[ワークスペース] を選択し、ワークスペース名をクリックします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
-
「モデルギャラリー」ページで Qwen2-1.5B-Instruct-Refine または Qwen2-7B-Instruct-Refine を検索し、[デプロイ] をクリックします。
-
[デプロイ] パネルで、[モデルサービス情報] と [リソースデプロイメント情報] のデフォルト値を確認して必要に応じて変更し、[デプロイ] をクリックします。
-
[請求通知] ダイアログで、[OK] をクリックします。
[デプロイメントタスク] ページが開きます。[ステータス] に [実行中] と表示されると、デプロイメントは成功です。
モデルサービスの呼び出し
デプロイ後、API を使用して推論を実行します。詳細については、「大規模言語モデルのデプロイ」をご参照ください。クライアントリクエストの例:
-
サービスのエンドポイントとトークンを取得します。
-
[サービス詳細] ページで [基本情報] をクリックし、次に [エンドポイント情報の表示] をクリックします。
-
[エンドポイント情報] ダイアログボックスで、エンドポイントとトークンを見つけ、ローカルに保存します。
-
-
次の Python スクリプトを作成して実行します:
import argparse import json import requests from typing import List def post_http_request(prompt: str, system_prompt: str, host: str, authorization: str, max_new_tokens: int, temperature: float, top_k: int, top_p: float) -> requests.Response: headers = { "User-Agent": "Test Client", "Authorization": f"{authorization}" } pload = { "prompt": prompt, "system_prompt": system_prompt, "top_k": top_k, "top_p": top_p, "temperature": temperature, "max_new_tokens": max_new_tokens, "do_sample": True, "eos_token_id": 151645 } response = requests.post(host, headers=headers, json=pload) return response def get_response(response: requests.Response) -> List[str]: data = json.loads(response.content) output = data["response"] return output if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--top-k", type=int, default=2) parser.add_argument("--top-p", type=float, default=0.95) parser.add_argument("--max-new-tokens", type=int, default=256) parser.add_argument("--temperature", type=float, default=0.5) parser.add_argument("--prompt", type=str, default="Sing me a song.") args = parser.parse_args() prompt = args.prompt top_k = args.top_k top_p = args.top_p temperature = args.temperature max_new_tokens = args.max_new_tokens host = "EAS HOST" authorization = "EAS TOKEN" print(f" --- input: {prompt}\n", flush=True) system_prompt = "Optimize this instruction to make it more detailed and specific." response = post_http_request( prompt, system_prompt, host, authorization, max_new_tokens, temperature, top_k, top_p) output = get_response(response) print(f" --- output: {output}\n", flush=True)パラメーター:
-
host:サービスのエンドポイント。
-
authorization:サービスのトークン。
-
バッチ最適化
EAS API を使用して、JSON データセットから命令をバッチ最適化します。次の Python スクリプトを作成して実行します:
import requests
import json
import random
from tqdm import tqdm
from typing import List
input_file_path = "input.json" # 入力ファイル名
with open(input_file_path) as fp:
data = json.load(fp)
pbar = tqdm(total=len(data))
new_data = []
for d in data:
prompt = d["instruction"]
system_prompt = "Optimize the following instruction."
top_k = 50
top_p = 0.95
temperature = 1
max_new_tokens = 2048
host = "EAS HOST"
authorization = "EAS TOKEN"
response = post_http_request(
prompt, system_prompt,
host, authorization,
max_new_tokens, temperature, top_k, top_p)
output = get_response(response)
temp = {
"instruction": output
}
new_data.append(temp)
pbar.update(1)
pbar.close()
output_file_path = "output.json" # 出力ファイル名
with open(output_file_path, 'w') as f:
json.dump(new_data, f, ensure_ascii=False)
パラメーター:
-
host:サービスのエンドポイント。
-
authorization:サービスのトークン。
-
file_path:ご利用のデータセットファイルのローカルパスに置き換えます。
-
post_http_request関数とget_response関数は、「モデルサービスの呼び出し」の Python スクリプトで定義されているものと同じです。
または、PAI-Designer の LLM-Instruction Optimization (DLC) コンポーネントを使用して、コードなしで実行することもできます。詳細については、「カスタムパイプライン」をご参照ください。
PAI-Designer のワークフローで、Read OSS Data ノードを LLM-Instruction Optimization (DLC) ノードに接続します。右側の [Fields Setting] パネルで、次の設定を完了します:
-
OSS RAM Role:権限付与を完了します。
-
Target Process Field:処理するフィールドの名前を入力します。
-
Model Name:
qwen2-1.5b-instruct-refineを選択します。 -
Output OSS Directory:出力パスを指定します。
教師モデルによる応答の生成
モデルサービスのデプロイ
教師 LLM をデプロイして、最適化された命令データセットに対する応答を生成します:
-
モデルギャラリーページに移動します。
-
PAI コンソールにログインします。
-
左上のコーナーで、リージョンを選択します。
-
左側のナビゲーションウィンドウで [ワークスペース] を選択し、ワークスペース名をクリックします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
-
モデルギャラリーページで Qwen2-72B-Instruct を検索し、[デプロイ] をクリックします。
-
[デプロイ] パネルで [モデルサービス情報] と [リソースデプロイメント情報] のデフォルト値を確認し、必要に応じて変更してから [デプロイ] をクリックします。
-
[請求通知] ダイアログで、[OK] をクリックします。
[デプロイメントタスク] ページが開きます。[ステータス] が [実行中] と表示されると、デプロイメントは成功です。
モデルサービスの呼び出し
デプロイ後、API を使用して推論を実行します。詳細については、「大規模言語モデルのデプロイ」をご参照ください。クライアントリクエストの例:
-
サービスのエンドポイントとトークンを取得します。
-
[サービス詳細] ページで、[基本情報] をクリックし、次に [エンドポイント情報の表示] をクリックします。
-
[エンドポイント情報] ダイアログで、エンドポイントとトークンを見つけ、ローカルに保存します。
-
-
次の Python スクリプトを作成して実行します:
import argparse import json import requests from typing import List def post_http_request(prompt: str, system_prompt: str, host: str, authorization: str, max_new_tokens: int, temperature: float, top_k: int, top_p: float) -> requests.Response: headers = { "User-Agent": "Test Client", "Authorization": f"{authorization}" } pload = { "prompt": prompt, "system_prompt": system_prompt, "top_k": top_k, "top_p": top_p, "temperature": temperature, "max_new_tokens": max_new_tokens, "do_sample": True, } response = requests.post(host, headers=headers, json=pload) return response def get_response(response: requests.Response) -> List[str]: data = json.loads(response.content) output = data["response"] return output if __name__ == "__main__": parser = argparse.ArgumentParser() parser.add_argument("--top-k", type=int, default=50) parser.add_argument("--top-p", type=float, default=0.95) parser.add_argument("--max-new-tokens", type=int, default=2048) parser.add_argument("--temperature", type=float, default=0.5) parser.add_argument("--prompt", type=str) parser.add_argument("--system_prompt", type=str) args = parser.parse_args() prompt = args.prompt system_prompt = args.system_prompt top_k = args.top_k top_p = args.top_p temperature = args.temperature max_new_tokens = args.max_new_tokens host = "EAS HOST" authorization = "EAS TOKEN" print(f" --- input: {prompt}\n", flush=True) response = post_http_request( prompt, system_prompt, host, authorization, max_new_tokens, temperature, top_k, top_p) output = get_response(response) print(f" --- output: {output}\n", flush=True)パラメーター:
-
host:サービスのエンドポイント。
-
authorization:サービスのトークン。
-
教師モデルによる命令の一括アノテーション
教師モデル API を使用して、JSON データセットの命令に一括でアノテーションを行います。次の Python スクリプトを作成して実行します:
import json
from tqdm import tqdm
import requests
from typing import List
input_file_path = "input.json" # 入力ファイル名
with open(input_file_path) as fp:
data = json.load(fp)
pbar = tqdm(total=len(data))
new_data = []
for d in data:
system_prompt = "You are a helpful assistant."
prompt = d["instruction"]
print(prompt)
top_k = 50
top_p = 0.95
temperature = 0.5
max_new_tokens = 2048
host = "EAS HOST"
authorization = "EAS TOKEN"
response = post_http_request(
prompt, system_prompt,
host, authorization,
max_new_tokens, temperature, top_k, top_p)
output = get_response(response)
temp = {
"instruction": prompt,
"output": output
}
new_data.append(temp)
pbar.update(1)
pbar.close()
output_file_path = "output.json" # 出力ファイル名
with open(output_file_path, 'w') as f:
json.dump(new_data, f, ensure_ascii=False)
パラメーター:
-
host:サービスのエンドポイント。
-
authorization:サービスのトークン。
-
file_path:ご利用のデータセットファイルのローカルパスに置き換えます。
-
post_http_request関数とget_response関数は、「モデルサービスの呼び出し」のスクリプトで定義されているものと同じです。
生徒モデルのトレーニング
モデルのトレーニング
モデルギャラリーで、教師モデルが生成したデータセットを使用して生徒モデルをトレーニングします。この例では Qwen2-7B-Instruct を使用します:
-
モデルギャラリーページに移動します。
-
PAI コンソールにログインします。
-
左上のコーナーで、リージョンを選択します。
-
左側のナビゲーションウィンドウで、[ワークスペース] を選択し、ワークスペース名をクリックします。
-
左側のナビゲーションウィンドウで、 を選択します。
-
-
[モデルギャラリー] ページで、Qwen2-7B-Instruct カードを検索してクリックし、詳細ページを開きます。
-
モデル詳細ページで、右上隅の[ファインチューン]をクリックします。
-
[ファインチューン] パネルで、これらのキーパラメーターを設定します。その他のパラメーターはデフォルトのままにします。
パラメーター
説明
デフォルト値
データセット構成
トレーニングデータセット
ドロップダウンから [OSS ファイルまたはディレクトリ] を選択し、データセットの OSS パスを選択します:
-
をクリックし、ご利用の OSS バケットを選択します。 -
[ファイルをアップロード] をクリックします。データセットファイルを OSS ディレクトリにアップロードします。
-
[OK] をクリックします。
なし
トレーニング出力構成
モデル
をクリックし、ご利用の OSS ストレージディレクトリを選択します。なし
テンソルボード
をクリックし、ご利用の OSS ストレージディレクトリを選択します。なし
コンピューティングリソースの構成
ジョブリソース
リソース仕様を選択します。システムが適切なオプションを推奨します。
なし
ハイパーパラメーター構成
学習率
学習率。型:浮動小数点数。
5e-5
num_train_epochs
トレーニングエポック数。型:整数。
1
per_device_train_batch_size
GPU ごとの反復あたりのトレーニングサンプル数。型:整数。
1
シーケンス長
テキストシーケンス長。型:整数。
128
lora_dim
LoRA ディメンション。型:整数。lora_dim > 0 の場合、LoRA/QLoRA 軽量トレーニングを使用します。
32
lora_alpha
LoRA の重み。型:整数。lora_dim > 0 で、LoRA/QLoRA 軽量トレーニングが使用されている場合にのみ有効です。
32
load_in_4bit
モデルを 4 ビットモードでロードするかどうか。型:ブール値。有効な値:
-
true
-
false
lora_dim > 0、load_in_4bit が true、かつ load_in_8bit が false の場合、4 ビット QLoRA 軽量トレーニングを使用します。
true
load_in_8bit
モデルを 8 ビットモードでロードするかどうか。型:ブール値。有効な値:
-
true
-
false
lora_dim > 0、load_in_4bit が false、かつ load_in_8bit が true の場合、8 ビット QLoRA 軽量トレーニングを使用します。
false
勾配蓄積ステップ
勾配累積ステップ数。型:整数。
8
チャットテンプレートの適用
トレーニングデータをデフォルトのチャットテンプレートと組み合わせるかどうか。型:ブール値。有効な値:
-
true
-
false
Qwen2 シリーズモデルの場合、フォーマットは次のとおりです:
-
質問:
<|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n -
回答:
<|im_start|>assistant\n + output + <|im_end|>\n
true
システムプロンプト
トレーニング用のシステムプロンプト。型:文字列。
あなたは役立つアシスタントです
-
-
パラメーターを設定した後、[トレーニング]をクリックします。
-
[課金通知] ダイアログで、[OK] をクリックします。
システムがトレーニングタスクページを開きます。
モデルサービスのデプロイ
トレーニング後、モデルを EAS サービスとしてデプロイします。
-
トレーニングタスクページで、右側にある[デプロイ]をクリックします。
-
デプロイメントパネルには、[モデルサービス情報] と [リソースデプロイメント情報] のデフォルト値が設定されています。必要に応じて変更し、[デプロイ] をクリックします。
-
[請求通知] ダイアログで、 [OK] をクリックします。
システムが [デプロイメントタスク] ページを開きます。[ステータス] に [実行中] と表示されると、デプロイメントは成功です。
モデルサービスの呼び出し
デプロイ後、API を使用して推論を実行します。詳細については、「大規模言語モデルのデプロイ」をご参照ください。