LLMのデータ増強とモデル蒸留ソリューション - Platform For AI

大規模言語モデル (LLM) のトレーニングおよび推論プロセスは、高いエネルギー消費および長い応答時間を伴う。これらの課題は、リソースが制約された環境でのLLMの展開を制限します。これらの課題に対処するために、Platform for AI (PAI) はモデル蒸留機能を提供します。この機能により、LLMから小さなモデルへの知識の転送が容易になり、ほとんどのパフォーマンスを維持しながら、モデルサイズとコンピューティングリソース要件が大幅に削減されます。これにより、より多くの実際のアプリケーションシナリオがサポートされます。このトピックでは、Qwen2モデルを使用して、LLMのデータ拡張およびモデル蒸留ソリューションを開発する方法について説明します。

働くプロセス

以下の説明は、ソリューションの完全な開発プロセスを提供します。

指示データの準備
データ形式の要件とデータ準備戦略に基づいて、トレーニングデータセットを準備できます。
(オプション) 命令拡張モデルの使用
プリセットされた命令拡張モデルQwen2-1.5B-Instruct-ExpまたはAI用プラットフォームのモデルギャラリー (PAI) にQwen2-7B-Instruct-Expされているものを使用して、準備したトレーニングデータセットの命令のセマンティクスに基づいて、同様の命令を自動的に拡張できます。指導増強は、LLMの蒸留トレーニングの一般化を改善するのに役立ちます。
(オプション) 命令最適化モデルの使用
PAIのモデルギャラリーにQwen2-1.5B-Instruct-RefineまたはQwen2-7B-Instruct-Refineされているプリセット命令最適化モデルを使用して、準備したトレーニングデータセットの命令と拡張命令を最適化できます。命令の最適化は、LLMの言語生成機能の向上に役立ちます。
教師モデルサービスをデプロイして応答を生成
PAIのモデルギャラリーのプリセット教師LLM Qwen2-72B-Instructを使用して、トレーニングデータセットの指示に対する応答を生成し、教師LLMの知識を抽出できます。
蒸留とトレーニング学生モデル
PAIのモデルギャラリーで生成された命令応答データセットを使用して、実際のアプリケーションシナリオでより小さな学生モデルを抽出してトレーニングできます。

前提条件

このトピックで説明する操作を実行する前に、次の準備を行っていることを確認してください。

PAI-DLCとPAI-EASが有効になり、デフォルトのワークスペースが作成されます。詳細については、「PAIの有効化とデフォルトワークスペースの作成」をご参照ください。
トレーニングデータとモデルファイルを保存するOSSバケットが作成されます。詳細については、「バケットの作成」をご参照ください。

指示データの準備

命令データの準備方法については、「データ準備戦略」および「データ形式の要件」をご参照ください。

データ準備戦略

モデル蒸留の有効性と安定性を向上させるために、次の戦略に基づいて指示データを準備できます。

少なくとも数百のデータレコードを準備します。大量のデータは、モデルの有効性を向上させるのに役立ちます。
トレーニングデータセットの分布が広くバランスが取れていることを確認します。たとえば、タスクシナリオは多様であり、入出力データは短い形式と長い形式の両方をカバーします。データに中国語や英語などの複数の言語が含まれる場合は、言語分布のバランスが取れていることを確認してください。
異常なデータを処理します。少量の異常データは、微調整の有効性に大きな影響を与える可能性があります。ルールに基づいてデータをクレンジングし、トレーニングデータセットの異常なデータを除外することを推奨します。

データ形式の要件

トレーニングデータセットは、命令フィールドを含むJSONファイルです。次のサンプルコードは、命令データの例を示します。

[
    {
        "instruction": "What were the main measures taken by governments to stabilize financial markets during the 2008 financial crisis?"
    },
    {
        "instruction": "In the context of increasing climate change, what important actions have governments taken to promote sustainable development?"
    },
    {
        "Instruction": "What were the main measures taken by governments to support economic recovery during the bursting of the tech bubble in 2001?"
    }
]

(オプション) 命令拡張モデルの使用

命令増強は、LLMのプロンプトエンジニアリングの一般的な技術です。命令拡張は、ユーザ提供のトレーニングデータセットを自動的に拡張するために使用され、それによってデータ拡張を達成します。

たとえば、次の入力を指定できます。

How to make fish-fragrant shredded pork? 
How to prepare for the Graduate Record Examination (GRE) exam? 
What can I do if I am misunderstood by a friend?

モデルは次の結果を返します。

Teach me how to make mapo tofu? 
Provide a detailed guide on how to prepare for the Test of English as a Foreign Language (TOEFL) exam? 
How will you adjust your mindset if you encounter setbacks in your work?

命令の多様性は、LLMの学習の一般化に影響を与える。指導増強は、生成された学生モデルの有効性を効率的に改善するのに役立ち得る。 PAIは、Qwen2ベースモデルに基づく以下の独立して開発された命令拡張モデルを提供します: Qwen2-1.5B-Instruct-ExpとQwen2-7B-Instruct-Exp。 PAIのモデルギャラリーにモデルサービスを数回クリックするだけでデプロイできます。

モデルサービスのデプロイ

以下の手順を実行すると、Elastic Algorithm service (EAS) に命令拡張モデルをオンラインサービスとして展開できます。

モデルギャラリーページに移動します。
1. PAI コンソールにログインします。
2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。
3. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、使用するワークスペースの名前をクリックします。
4. 左側のナビゲーションウィンドウで、[クイックスタート] > [モデルギャラリー] を選択します。
[モデルギャラリー] ページのモデルリストで、Qwen2-1.5B-Instruct-ExpまたはQwen2-7B-Instruct-Expを検索し、目的のモデルカードで [デプロイ] をクリックします。
[デプロイ] パネルでは、[モデルサービス情報] セクションと [リソースデプロイ情報] セクションのパラメーターが自動的に設定されます。ビジネス要件に基づいてパラメーターを変更できます。パラメーターを設定したら、[デプロイ] をクリックします。
[課金通知] メッセージで、[OK] をクリックします。
サービスの詳細ページが表示されます。 Statusパラメーターの値がRunningに変わると、モデルサービスがデプロイされます。

モデルサービスの呼び出し

モデルサービスをデプロイした後、モデル推論用のAPIを使用できます。詳細については、「LLMデプロイ」をご参照ください。次の例は、クライアントを使用してモデルサービス呼び出し要求を開始する方法を示しています。

モデルサービスのエンドポイントとトークンを取得します。
1. サービスの詳細ページの [基本情報] セクションで、[通話情報の表示] をクリックします。
2. [呼び出し情報] ダイアログボックスで、モデルサービスのエンドポイントとトークンを表示し、オンプレミスマシンに保存します。

ターミナルで、次のPythonコードファイルを作成して実行し、モデルサービスを呼び出します。

import argparse
import json
import requests
from typing import List

def post_http_request(prompt: str,
                      system_prompt: str,
                      host: str,
                      authorization: str,
                      max_new_tokens: int,
                      temperature: float,
                      top_k: int,
                      top_p: float) -> requests.Response:
    headers = {
        "User-Agent": "Test Client",
        "Authorization": f"{authorization}"
    }
    pload = {
        "prompt": prompt,
        "system_prompt": system_prompt,
        "top_k": top_k,
        "top_p": top_p,
        "temperature": temperature,
        "max_new_tokens": max_new_tokens,
        "do_sample": True,
        "eos_token_id": 151645
    }
    response = requests.post(host, headers=headers, json=pload)
    return response

def get_response(response: requests.Response) -> List[str]:
    data = json.loads(response.content)
    output = data["response"]
    return output

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--top-k", type=int, default=50)
    parser.add_argument("--top-p", type=float, default=0.95)
    parser.add_argument("--max-new-tokens", type=int, default=2048)
    parser.add_argument("--temperature", type=float, default=1)
    parser.add_argument("--prompt", type=str, default="Sing me a song.")

    args = parser.parse_args()
    prompt = args.prompt
    top_k = args.top_k
    top_p = args.top_p
    temperature = args.temperature
    max_new_tokens = args.max_new_tokens

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    print(f" --- input: {prompt}\n", flush=True)
    system_prompt = "I want you to play the role of an instruction creator.   Your goal is to take inspiration from [a given instruction] and create an instruction."
    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    print(f" --- output: {output}\n", flush=True)

次のパラメータに注意してください。

host: モデルサービスのエンドポイント。
authorization: モデルサービスのトークン。

一度に複数の命令を強化

前述のEASモデルサービスを呼び出して、一度に手順を拡張できます。次のサンプルコードは、カスタムJSONトレーニングデータセットを読み取り、命令拡張のために前述のモデルサービスを呼び出す方法の例を示しています。モデルサービスを呼び出すには、ターミナルで次のPythonコードファイルを作成して実行する必要があります。

import requests
import json
import random
from tqdm import tqdm
from typing import List

input_file_path = "input.json"  # The name of the input file.
with open(input_file_path) as fp:
    data = json.load(fp)

total_size = 10  # The expected number of data records after expansion.
pbar = tqdm(total=total_size)

while len(data) < total_size:
    prompt = random.sample(data, 1)[0]["instruction"]
    system_prompt = "I want you to play the role of an instruction creator.   Your goal is to take inspiration from [a given instruction] and create an instruction."
    top_k = 50
    top_p = 0.95
    temperature = 1
    max_new_tokens = 2048

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    temp = {
        "instruction": output
    }
    data.append(temp)
    pbar.update(1)
pbar.close()

output_file_path = "output.json" # The name of the output file.
with open(output_file_path, 'w') as f:
    json.dump(data, f, ensure_ascii=False)

次のパラメータに注意してください。

host: モデルサービスのエンドポイント。
authorization: モデルサービスのトークン。
file_path: データセットファイルのオンプレミスパス。
post_http_requestおよびget_response関数の定義は、モデルサービスの呼び出しのPythonスクリプトの対応する関数の定義と同じです。

Machine Learning DesignerのLLM-GenerateInstructionData (DLC) コンポーネントを使用して、手順を拡張することもできます。詳細については、「カスタムパイプラインのデモ」をご参照ください。

(オプション) 命令最適化モデルの使用

命令最適化は、LLMのプロンプトエンジニアリングのもう1つの一般的なテクノロジーです。命令最適化を使用して、ユーザ提供のトレーニングデータセットを自動的に最適化し、より詳細な命令を生成します。詳細な命令は、LLMが詳細な応答を返すことを可能にします。

たとえば、命令最適化モデルで次の入力を指定できます。

How to make fish-fragrant shredded pork? 
How to prepare for the GRE exam? 
What can I do if I am misunderstood by a friend?

モデルは次の結果を返します。

Provide a detailed recipe of Chinese Sichuan-style fish-fragrant shredded pork. The recipe contains a list of specific ingredients, such as vegetables, pork, and spices, and detailed cooking instructions. If possible, recommend side dishes and other main courses that pair well with this dish. 
Provide a detailed guide, including registration for the GRE test, required materials, test preparation strategies, and recommended review materials. If possible, recommend some effective practice questions and mock exams to help me prepare for the exam. 
Provide a detailed guide to teach me how to be calm and rational, and communicate effectively to solve the problem when I am misunderstood by my friends. Provide some practical suggestions, such as how to express my thoughts and feelings, and how to avoid aggravating misunderstandings, and provide specific dialogue scenarios and situations so that I can better understand and practice.

命令の詳細レベルは、LLMの出力に影響します。命令最適化は、生成された学生モデルの有効性を効率的に改善することができます。 PAIは、Qwen2ベースモデルに基づいて、独立して開発された命令最適化モデルであるQwen2-1.5B-Instruct-RefineとQwen2-7B-Instruct-Refineを提供します。 PAIのモデルギャラリーにモデルサービスを数回クリックするだけでデプロイできます。

モデルサービスのデプロイ

モデルギャラリーページに移動します。
1. PAI コンソールにログインします。
2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。
3. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、使用するワークスペースの名前をクリックします。
4. 左側のナビゲーションウィンドウで、[クイックスタート] > [モデルギャラリー] を選択します。
モデルギャラリーページのモデルリストで、Qwen2-1.5B-Instruct-リファインまたはQwen2-7B-Instruct-リファインを検索し、目的のモデルカードで [デプロイ] をクリックします。
[デプロイ] パネルでは、[モデルサービス情報] セクションと [リソースデプロイ情報] セクションのパラメーターが自動的に設定されます。ビジネス要件に基づいてパラメーターを変更できます。パラメーターを設定したら、[デプロイ] をクリックします。
[課金通知] メッセージで、[OK] をクリックします。
サービスの詳細ページが表示されます。 Statusパラメーターの値がRunningに変わると、モデルサービスがデプロイされます。

モデルサービスの呼び出し

モデルサービスのエンドポイントとトークンを取得します。
1. サービスの詳細ページの [基本情報] セクションで、[通話情報の表示] をクリックします。
2. [呼び出し情報] ダイアログボックスで、モデルサービスのエンドポイントとトークンを表示し、オンプレミスマシンに保存します。

ターミナルで、次のPythonコードファイルを作成して実行し、モデルサービスを呼び出します。

import argparse
import json
import requests
from typing import List


def post_http_request(prompt: str,
                      system_prompt: str,
                      host: str,
                      authorization: str,
                      max_new_tokens: int,
                      temperature: float,
                      top_k: int,
                      top_p: float) -> requests.Response:
    headers = {
        "User-Agent": "Test Client",
        "Authorization": f"{authorization}"
    }
    pload = {
        "prompt": prompt,
        "system_prompt": system_prompt,
        "top_k": top_k,
        "top_p": top_p,
        "temperature": temperature,
        "max_new_tokens": max_new_tokens,
        "do_sample": True,
        "eos_token_id": 151645
    }
    response = requests.post(host, headers=headers, json=pload)
    return response


def get_response(response: requests.Response) -> List[str]:
    data = json.loads(response.content)
    output = data["response"]
    return output


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--top-k", type=int, default=2)
    parser.add_argument("--top-p", type=float, default=0.95)
    parser.add_argument("--max-new-tokens", type=int, default=256)
    parser.add_argument("--temperature", type=float, default=0.5)
    parser.add_argument("--prompt", type=str, default="Sing me a song.")

    args = parser.parse_args()
    prompt = args.prompt
    top_k = args.top_k
    top_p = args.top_p
    temperature = args.temperature
    max_new_tokens = args.max_new_tokens

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    print(f" --- input: {prompt}\n", flush=True)
    system_prompt = "Optimize this instruction and change it to a more detailed and specific instruction."
    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    print(f" --- output: {output}\n", flush=True)

次のパラメータに注意してください。

host: モデルサービスのエンドポイント。
authorization: モデルサービスのトークン。

一度に複数の命令を最適化

上記のEASモデルサービスを呼び出して、一度に複数の手順を最適化できます。次のサンプルコードは、カスタムJSONトレーニングデータセットを読み取り、命令最適化のために前述のモデルサービスを呼び出す方法の例を示しています。モデルサービスを呼び出すには、ターミナルで次のPythonコードファイルを作成して実行する必要があります。

import requests
import json
import random
from tqdm import tqdm
from typing import List

input_file_path = "input.json"  # The name of the input file.

with open(input_file_path) as fp:
    data = json.load(fp)

pbar = tqdm(total=len(data))
new_data = []

for d in data:
    prompt = d["instruction"]
    system_prompt = "Optimize the following instruction."
    top_k = 50
    top_p = 0.95
    temperature = 1
    max_new_tokens = 2048

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    temp = {
        "instruction": output
    }
    new_data.append(temp)
    pbar.update(1)
pbar.close()

output_file_path = "output.json"  # The name of the output file.
with open(output_file_path, 'w') as f:
    json.dump(new_data, f, ensure_ascii=False)

次のパラメータに注意してください。

host: モデルサービスのエンドポイント。
authorization: モデルサービスのトークン。
file_path: データセットファイルのオンプレミスパス。
post_http_requestおよびget_response関数の定義は、「モデルサービスの呼び出し」のPythonスクリプトの対応する関数の定義と同じです。

Machine Learning DesignerのLLM-OptimizeInstructionData (DLC) コンポーネントを使用して、命令を最適化することもできます。詳細については、「カスタムパイプラインのデモ」をご参照ください。

応答を生成するための教師モデルサービスのデプロイ

モデルサービスのデプロイ

トレーニングデータセットの手順を最適化した後、次の手順を実行して、教師モデルサービスをデプロイして応答を生成できます。

モデルギャラリーページに移動します。
1. PAI コンソールにログインします。
2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。
3. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、使用するワークスペースの名前をクリックします。
4. 左側のナビゲーションウィンドウで、[クイックスタート] > [モデルギャラリー] を選択します。
モデルギャラリーページのモデルリストで、Qwen2-72B-Instructを検索し、モデルカードで [デプロイ] をクリックします。
[デプロイ] パネルでは、[モデルサービス情報] セクションと [リソースデプロイ情報] セクションのパラメーターが自動的に設定されます。ビジネス要件に基づいてパラメーターを変更できます。パラメーターを設定したら、[デプロイ] をクリックします。
[課金通知] メッセージで、[OK] をクリックします。
サービスの詳細ページが表示されます。 Statusパラメーターの値がRunningに変わると、モデルサービスがデプロイされます。

モデルサービスの呼び出し

モデルサービスのエンドポイントとトークンを取得します。
1. サービスの詳細ページの [基本情報] セクションで、[通話情報の表示] をクリックします。
2. [呼び出し情報] ダイアログボックスで、モデルサービスのエンドポイントとトークンを表示し、オンプレミスマシンに保存します。

ターミナルで、次のPythonコードファイルを作成して実行し、モデルサービスを呼び出します。

import argparse
import json
import requests
from typing import List


def post_http_request(prompt: str,
                      system_prompt: str,
                      host: str,
                      authorization: str,
                      max_new_tokens: int,
                      temperature: float,
                      top_k: int,
                      top_p: float) -> requests.Response:
    headers = {
        "User-Agent": "Test Client",
        "Authorization": f"{authorization}"
    }
    pload = {
        "prompt": prompt,
        "system_prompt": system_prompt,
        "top_k": top_k,
        "top_p": top_p,
        "temperature": temperature,
        "max_new_tokens": max_new_tokens,
        "do_sample": True,
    }
    response = requests.post(host, headers=headers, json=pload)
    return response


def get_response(response: requests.Response) -> List[str]:
    data = json.loads(response.content)
    output = data["response"]
    return output


if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("--top-k", type=int, default=50)
    parser.add_argument("--top-p", type=float, default=0.95)
    parser.add_argument("--max-new-tokens", type=int, default=2048)
    parser.add_argument("--temperature", type=float, default=0.5)
    parser.add_argument("--prompt", type=str)
    parser.add_argument("--system_prompt", type=str)

    args = parser.parse_args()
    prompt = args.prompt
    system_prompt = args.system_prompt
    top_k = args.top_k
    top_p = args.top_p
    temperature = args.temperature
    max_new_tokens = args.max_new_tokens

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    print(f" --- input: {prompt}\n", flush=True)
    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    print(f" --- output: {output}\n", flush=True)

次のパラメータに注意してください。

host: モデルサービスのエンドポイント。
authorization: モデルサービスのトークン。

教師モデルサービスの複数の指示に一度にラベルを付ける

次のサンプルコードは、カスタムJSONトレーニングデータセットを読み取り、前述のモデルサービスを呼び出して一度に複数の命令にラベルを付ける方法の例を示しています。モデルサービスを呼び出すには、ターミナルで次のPythonコードファイルを作成して実行する必要があります。

import json 
from tqdm import tqdm
import requests
from typing import List

input_file_path = "input.json"  # The name of the input file.

with open(input_file_path) as fp:
    data = json.load(fp)

pbar = tqdm(total=len(data))
new_data = []

for d in data:
    system_prompt = "You are a helpful assistant."
    prompt = d["instruction"]
    print(prompt)
    top_k = 50
    top_p = 0.95
    temperature = 0.5
    max_new_tokens = 2048

    host = "EAS HOST"
    authorization = "EAS TOKEN"

    response = post_http_request(
        prompt, system_prompt,
        host, authorization,
        max_new_tokens, temperature, top_k, top_p)
    output = get_response(response)
    temp = {
        "instruction": prompt,
        "output": output
    }
    new_data.append(temp)
    pbar.update(1)
pbar.close()

output_file_path = "output.json" # The name of the output file.
with open(output_file_path, 'w') as f:
    json.dump(new_data, f, ensure_ascii=False)

次のパラメータに注意してください。

host: モデルサービスのエンドポイント。
authorization: モデルサービスのトークン。
file_path: データセットファイルのオンプレミスパス。
post_http_requestおよびget_response関数の定義は、モデルサービスの呼び出しのPythonスクリプトの対応する関数の定義と同じです。

学生モデルを蒸留して訓練する

モデルのトレーニング

教師モデルサービスから応答を取得した後、コードを記述する必要なく、PAIのモデルギャラリーで学生モデルをトレーニングできます。これにより、モデル開発プロセスが大幅に簡素化されます。この例では、Qwen2-7B-Instructモデルを使用して、準備されたトレーニングデータを使用してPAIのモデルギャラリーでモデルをトレーニングする方法を説明します。以下の手順を実行します。

モデルギャラリーページに移動します。
1. PAI コンソールにログインします。
2. 左上隅で、ビジネス要件に基づいてリージョンを選択します。
3. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、使用するワークスペースの名前をクリックします。
4. 左側のナビゲーションウィンドウで、[クイックスタート] > [モデルギャラリー] を選択します。
モデルギャラリーページのモデルリストで、Qwen2-72B-Instructモデルを検索してクリックします。
モデル詳細ページの右上隅にある [トレーニング] をクリックします。

[トレイン] パネルで、次の表に示す主要なパラメーターを設定します。他のパラメータのデフォルト設定を使用します。

パラメーター		説明	デフォルト値
データセットの設定	トレーニングデータセット	ドロップダウンリストから [OSSファイルまたはディレクトリ] を選択し、次の手順を実行して、データセットファイルのObject Storage Service (OSS) ディレクトリを選択します。アイコンをクリックします。 [OSSファイルの選択] ダイアログボックスで、OSSバケットを選択します。 [ファイルのアップロード] をクリックし、指示に従ってデータセットファイルをOSSディレクトリにアップロードします。 [OK] をクリックします。	なし
ModelOutputパス	モデル	アイコンをクリックしてOSSディレクトリを選択します。	なし
ModelOutputパス	tensorboard	アイコンをクリックしてOSSディレクトリを選択します。	なし
コンピューティングリソース	求人リソース	リソース仕様を設定します。システムは適切なリソース仕様を推奨します。	なし
ハイパーパラメータ	learning_rate	モデルトレーニング中の学習率。値はFLOAT型でなければなりません。	5e-5
	num_train_epochs	トレーニングエポックの数。値はINT型でなければなりません。	1
	per_device_train_batch_サイズ	1回のトレーニングイテレーションで各GPUが使用するデータ量。値はINT型でなければなりません。	1
	seq_length	テキストシーケンスの長さ。値はINT型でなければなりません。	128
	lora_dim	低ランク適応 (LoRA) またはQLoRAトレーニングで使用される低ランク行列の内次元。値はINT型でなければなりません。このパラメーターを0より大きい値に設定します。	32
	lora_alpha	LoRAまたはQLoRAの重み。値はINT型でなければなりません。このパラメーターは、lora_dimパラメーターを0より大きい値に設定した場合にのみ有効になります。	32
	load_in_4bit	モデルを4ビット量子化で読み込むかどうかを指定します。値はBOOLEAN型でなければなりません。有効な値： true false このパラメーターは、lora_dimパラメーターを0より大きい値に設定し、load_in_8bitパラメーターをfalseに設定した場合にのみ有効になります。	true
	load_in_8bit	モデルを8ビット量子化で読み込むかどうかを指定します。値はBOOLEAN型でなければなりません。有効な値： true false このパラメーターは、lora_dimパラメーターを0より大きい値に設定し、load_in_4bitパラメーターをfalseに設定した場合にのみ有効になります。	false
	gradient_accumulation_steps	勾配累積ステップの数。値はINT型でなければなりません。	8
	apply_chat_テンプレート	アルゴリズムがトレーニングデータを既定のチャットテンプレートと組み合わせてモデル出力を最適化するかどうかを指定します。値はBOOLEAN型でなければなりません。有効な値： true false この例では、Qwen2モデルを次の形式で使用します。質問: `<\| im_end \|>\ n <\| im_start \|>user\n + instruction + <\| im_end \|>\ n` 回答: `<\| im_start \|> アシスタント \n + 出力 + <\| im_end \|>\ n`	true
	system_prompt	モデルのトレーニングに使用されるシステムプロンプト。値はSTRING型でなければなりません。	あなたは役に立つアシスタントです

パラメーターを設定したら、[トレイン] をクリックします。
[課金通知] メッセージで、[OK] をクリックします。
トレーニングジョブの詳細ページが表示されます。

モデルサービスのデプロイ

モデルをトレーニングした後、次の手順を実行して、EASでモデルをオンラインサービスとして展開できます。

トレーニングジョブの詳細ページの右上隅にある [デプロイ] をクリックします。
[配置] パネルでは、[モデルサービス情報] セクションと [リソース配置情報] セクションのパラメーターが自動的に設定されます。ビジネス要件に基づいてパラメーターを変更できます。パラメーターを設定したら、[デプロイ] をクリックします。
[課金通知] メッセージで、[OK] をクリックします。
サービスの詳細ページが表示されます。 Statusパラメーターの値がRunningに変わると、モデルサービスがデプロイされます。

モデルサービスの呼び出し

モデルサービスをデプロイした後、モデル推論用のAPIを使用できます。詳細については、「LLMデプロイ」をご参照ください。

Platform For AI:LLMのデータ増強とモデル蒸留ソリューションの開発

働くプロセス

前提条件

指示データの準備

データ準備戦略

データ形式の要件

(オプション) 命令拡張モデルの使用

モデルサービスのデプロイ

モデルサービスの呼び出し

一度に複数の命令を強化

(オプション) 命令最適化モデルの使用

モデルサービスのデプロイ

モデルサービスの呼び出し

一度に複数の命令を最適化

応答を生成するための教師モデルサービスのデプロイ

モデルサービスのデプロイ

モデルサービスの呼び出し

教師モデルサービスの複数の指示に一度にラベルを付ける

学生モデルを蒸留して訓練する

モデルのトレーニング

モデルサービスのデプロイ

モデルサービスの呼び出し

関連ドキュメント