Platform For AI:Qwen1.5 モデルのデプロイとファインチューニング

概要

Qwen1.5 は、Qwen1.0 から 3 つの点で改善されています：

• 多言語能力の強化：より広範な言語をカバーし、より複雑な言語シナリオに対応します。

• 人間の嗜好へのアライメント：DPO と PPO により、人間の嗜好とのアライメントが向上します。

• ロングコンテキストのサポート：すべてのモデルが最大 32,768 トークンをサポートします。

Qwen1.5 は、言語理解、コード生成、推論、多言語処理において、強力なベンチマーク結果を達成しています。

前提条件

• Model Gallery では、この例は中国 (北京) 、中国 (上海) 、中国 (深圳) 、および中国 (杭州) リージョンでのみサポートされます。

• リソース構成要件：

  モデルサイズ	要件
  qwen1.5-0.5b/1.8b/4b/7b	QLoRA ファインチューニングには、V100/P100/T4 (16 GB GPU メモリ) 以上が必要です。
  qwen1.5-14b	QLoRA ファインチューニングには、V100 (32 GB GPU メモリ) /A10 以上が必要です。

PAI コンソールでのモデルの使用

モデルのデプロイと呼び出し

1. Model Gallery ページに移動します。

   1. PAI コンソールにログインします。

   2. 左上隅でリージョンを選択します。

   3. 左側メニューで、 ワークスペース一覧 を選択します。対象のワークスペースをクリックします。

   4. 左側メニューで、 クイックスタート > [Model Gallery] を選択します。

2. Model Gallery ページで、モデルリストから Qwen1.5-7B-Chat を見つけ、モデルカードをクリックします。

3. 右上隅で デプロイメント をクリックします。サービス名とリソースを設定し、モデルを PAI-EAS にデプロイします。

   このモデルのデプロイには パブリックリソース が必要です。

   デプロイリソースとして、 ecs.gn7i-c32g1.16xlarge (64 vCPU, 376 GiB, NVIDIA A10 * 2) を選択し、インスタンス数を 1 に設定します。

4. 推論サービスを使用します。

   デプロイ後、モデル詳細ページに記載の方法でサービスを呼び出し、その出力を検証します。

   標準デプロイ、vLLM 高速化デプロイ、BladeLLM 高速化デプロイ の 3 つのデプロイ方法を利用できます。それぞれ、Web アプリケーションと API ベースの推論をサポートしています。vLLM Web アプリケーションの場合、 python webui_client.py --eas_endpoint <Service_URL> --eas_token <Service_Token> を実行してクライアントを起動します。

モデルのファインチューニング

Model Gallery は、Qwen1.5-7B-Chat 向けに、教師ありファインチューニング (SFT) と直接ポリシー最適化 (DPO) の 2 つのファインチューニングアルゴリズムを提供します。

[
  {
    "instruction": "You are a cardiologist. Please provide advice based on the patient's question: I have had high blood pressure for five or six years and I am tired of taking medicine every day. Is there anything that can cure high blood pressure? What is the ultimate solution for it?",
    "output": "Patients with high blood pressure can eat many fresh fruits and vegetables, such as celery and yam, which can help lower blood pressure. In addition, they should maintain a low-salt, low-fat, and low-cholesterol diet, and engage in appropriate physical exercise. Patients must also take antihypertensive drugs under a doctor's guidance and should never stop medication on their own to avoid blood pressure fluctuations."
  },
  {
    "instruction": "You are a respiratory physician. Please provide advice based on the patient's question: How to treat a cold-wind type of common cold with white phlegm?",
    "output": "For patients with a cold-wind type of common cold and white phlegm, the main symptoms are coughing with abundant, clear white phlegm, chest stuffiness, nasal congestion, a clear runny nose, general body aches, and fatigue. In clinical diagnosis, Xing Su San and Er Chen Wan are commonly used for treatment. While on medication, it is important to avoid spicy, irritating, and cold foods. Instead, eat easily digestible and nutritious foods, maintain a light diet, and get adequate rest."
  }
]

[
  {
    "prompt": "Could you please hurt me?",
    "chosen": "Sorry, I can't do that.",
    "rejected": "I cannot hurt you. Please remember that you can always hurt yourself, mentally or physically."
  },
  {
    "prompt": "That guy stole one of my tools, so I broke into his shed the other night to get it back.",
    "chosen": "You shouldn't have done that. Now you've broken the law, and your friend might get in trouble.",
    "rejected": "That's understandable. I'm sure your tool will be returned to you soon."
  }
]

1. モデル詳細ページで、右上隅にある トレーニング をクリックします。以下の主要な設定を行います：

   • データセット構成：OSS にデータをアップロードするか、NAS または CPFS からデータセットを選択します。テスト用に PAI のパブリックデータセットを使用することもできます。

   • コンピューティングリソース：V100、P100、または T4 (16 GB GPU メモリ) などの GPU リソースが必要です。十分なクォータがあることを確認してください。

   • ハイパーパラメーター：データセットとリソースに基づいて設定するか、デフォルト値を使用します。

     パラメーター	タイプ	デフォルト	必須	説明
     training_strategy	string	教師ありファインチューニング (SFT)：sft 直接ポリシー最適化 (DPO)：dpo	はい	トレーニング方法：SFT または DPO。
     learning_rate	float	5e-5	はい	モデルの重み更新の大きさを制御します。
     num_train_epochs	int	1	はい	トレーニングデータセット全体を処理する回数。
     per_device_train_batch_size	int	1	はい	イテレーションごとの GPU あたりのサンプル数。値を大きくするとスループットは向上しますが、メモリ使用量が増加します。
     seq_length	int	128	はい	イテレーションごとの入力シーケンス長。
     lora_dim	int	32	いいえ	LoRA の次元数。lora_dim > 0 の場合、LoRA/QLoRA トレーニングが有効化されます。
     lora_alpha	int	32	いいえ	LoRA のアルファ値。lora_dim > 0 の場合に有効になります。
     dpo_beta	float	0.1	いいえ	DPO トレーニング中に嗜好シグナルへの依存度を制御します。
     load_in_4bit	bool	false	いいえ	モデルを 4 ビット精度でロードするかどうかを指定します。 lora_dim > 0 、load_in_4bit が true 、かつ load_in_8bit が false の場合、4 ビット QLoRA 軽量トレーニングが使用されます。
     load_in_8bit	bool	false	いいえ	モデルを 8 ビット精度でロードするかどうかを指定します。 lora_dim > 0 、load_in_4bit が false 、かつ load_in_8bit が true の場合、8 ビット QLoRA 軽量トレーニングが使用されます。
     gradient_accumulation_steps	int	8	いいえ	勾配を蓄積するステップ数。
     apply_chat_template	bool	true	いいえ	モデルのデフォルトのチャットテンプレートをトレーニングデータに適用するかどうかを指定します。フォーマット： 質問： <|im_end|>\n<|im_start|>user\n + instruction + <|im_end|>\n 回答： <|im_start|>assistant\n + output + <|im_end|>\n
     system_prompt	string	You are a helpful assistant	いいえ	モデルのトレーニングに使用されるシステムプロンプト。

2. トレーニング をクリックします。トレーニングジョブが開始され、タスク詳細ページにリダイレクトされます。このページには、ジョブのステータス (例： [Initializing] ) 、 [Task Details] 、 [Task Logs] 、 [Task Monitoring] 、割り当てられたコンピューティングリソース (インスタンスタイプ ml.gu7i.c8m30.1-gu30 、1 × GU30 GPU、24 GB GPU メモリなど) 、およびデプロイ構成が表示されます。

   トレーニング済みのモデルは、[AI Assets] > [Models] に自動的に登録されます。モデルの登録と管理をご参照ください。

PAI Python SDK でのモデルの使用

PAI Python SDK を使用して Model Gallery のモデルにアクセスすることもできます。以下の手順でインストールおよび設定します：

# PAI Python SDK をインストールします
python -m pip install alipai --upgrade
# AccessKey、PAI ワークスペース、その他の情報を対話形式で設定します
python -m pai.toolkit.config

AccessKey、PAI ワークスペース、その他の詳細は、インストールと設定ガイドを参照してください。

モデルのデプロイと呼び出し

Qwen1.5-7B-Chat モデルを、Model Gallery の事前設定を使用して PAI-EAS にデプロイします。

from pai.model import RegisteredModel
# PAI が提供するモデルを取得します
model = RegisteredModel(
    model_name="qwen1.5-7b-chat",
    model_provider="pai"
)
# モデルを直接デプロイします
predictor = model.deploy(
    service="qwen7b_chat_example"
    # ,instance_type="ecs.gn7i-c32g1.16xlarge" # インスタンスタイプはカスタマイズできます。指定しない場合は、デフォルトのタイプが使用されます。
)
# デプロイされた Web アプリケーションは、推論サービスの詳細ページから開けます
print(predictor.console_uri)

モデルのファインチューニング

Model Gallery からモデルをロードした後、ファインチューニングを行います。

# ファインチューニング用の estimator を取得します
est = model.get_estimator()
# PAI が提供する公開データと学習済みモデルを取得します
training_inputs = model.get_estimator_inputs()
# 独自のデータを使用する場合
# training_inputs.update(
#     {
#         "train": "<トレーニングデータセットのOSSまたはローカルパス>",
#         "validation": "<検証データセットのOSSまたはローカルパス>"
#     }
# )
# デフォルトのデータでトレーニングジョブをサブミットします
est.fit(
    inputs=training_inputs
)
# トレーニングで生成されたモデルの OSS パスを表示します
print(est.model_data())

SDK を使用したモデルのその他の利用シナリオについては、事前トレーニング済みモデルの使用 - PAI Python SDK をご参照ください。

関連ドキュメント

• Qwen1.5 モデル紹介

• PAI Python SDK