すべてのプロダクト
Search
ドキュメントセンター

Platform For AI:PAI-ChatLearn: Qwen3 強化学習のベストプラクティス

最終更新日:Aug 26, 2026

このトピックでは、PAI-ChatLearn トレーニングフレームワークを使用して、PAI 上で Lingjun リソースを用いて大規模言語モデル (LLM) の効率的な分散強化学習を実行する方法について説明します。また、トレーニング済みモデルのデプロイ方法についても説明します。このソリューションは、強化学習を通じて LLM の推論能力を向上させたいシナリオに適しています。

1. 事前準備

1.1 開発環境の準備

開始する前に、以下のタスクが完了していることを確認してください。

  1. PAI を有効化し、デフォルトのワークスペースを作成します。

  2. Lingjun リソースを購入し、リソースクォータを作成します。この例では Lingjun リソースが必要です。この例では、ml.gx8xf.8xlarge-gu108 ノードスペックのマシンが 2 台必要です。Lingjun リソースのノードスペックの詳細については、「AI コンピューティングリソースの課金」をご参照ください。

  3. データセットを作成し、必要なトレーニングファイルと結果ファイルを保存します。

    • データセットタイプ:ベーシック を選択します。

    • ストレージクラス:ファイルストレージタイプを選択します。このトピックでは、ファイルストレージ (汎用 NAS) を使用します。NAS ファイルシステムがない場合は、「ファイルシステムの作成」をご参照ください。

      説明

      トレーニングタスクで高い読み書き速度とパフォーマンスが必要な場合は、[ファイルストレージ (インテリジェントコンピューティング CPFS)] を使用してください。

    • デフォルトのマウントパス:デフォルト値 /mnt/data/ を使用します。

  4. Data Science Workshop (DSW) インスタンスを作成します。主要なパラメーターは以下の通りです。

    • リソースタイプ:リソースクォータ を選択します。

    • リソースクォータ:Lingjun リソース用に作成したリソースクォータを選択します。

    • リソース仕様:以下のリソース仕様を設定します。

      • GPU 数: 8 以上。

      • CPU (コア数): 90。

      • メモリ (GB):1024。

      • 共有メモリ (GB):1024。

    • イメージ情報:イメージアドレス を選択し、ランタイムイメージを dsw-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-training-algorithm/chatlearn:torch2.5.1-vllm0.6.6-ubuntu22.04-cuda12.6-py310 に設定します。レジストリアドレスのリージョンは、ご利用の DSW インスタンスが所在するリージョンに変更する必要があります。例えば、上海の DSW インスタンスを使用している場合、アドレスのリージョンを cn-shanghai に変更します。

    • データセットのマウント:[カスタムデータセット] をクリックし、作成したデータセットを選択して、デフォルトのマウントパスを使用します。

  5. Resource Access Management (RAM) ユーザーを使用して以下の操作を実行する場合、その RAM ユーザーに Data Science Workshop (DSW)、Deep Learning Containers (DLC)、または Elastic Algorithm Service (EAS) を使用するために必要な権限を付与する必要があります。詳細については、「製品の依存関係と権限付与:DSW」、「製品の依存関係と権限付与:DLC」、または「製品の依存関係と権限付与:EAS」をご参照ください。

1.2 コードリポジトリのダウンロード

  1. PAI-DSW 開発環境に移動します。

    1. PAI コンソールにログインします。ページ左上の隅でリージョンを選択します。中国 (ウランチャブ) を推奨します。

    2. 左側のナビゲーションウィンドウで、[ワークスペースリスト] をクリックします。表示されたページで、管理したいワークスペースの名前をクリックします。

    3. 左側のナビゲーションウィンドウで、モデル開発とトレーニング > Data Science Workshop (DSW) を選択し、ターゲットインスタンスの 操作 列にある [開く] をクリックします。

  2. 上部のメニューバーで、[ターミナル] をクリックします。表示されたタブで、[ターミナルの作成] をクリックします。

  3. ChatLearn コードリポジトリをダウンロードします。

    git clone https://github.com/alibaba/ChatLearn.git && cd ChatLearn && git checkout 4ad5912306df5d4a814dc2dd5567fcb26f5d473b

1.3 Qwen3 モデルの準備

ModelScope から Qwen3 モデルの重みをダウンロードします。

modelscope download --model Qwen/Qwen3-8B --local_dir Qwen3-8B

1.4 トレーニングデータセットの準備

この例では、MATH-lighteval データセットを使用して、ChatLearn の強化学習ワークフローをデモンストレーションします。

  • このデータセットは数学的推論タスク用です。報酬スコアの検証には固定のルールを使用します。

  • カスタムタスクで強化学習を実行するには、ChatLearn コードリポジトリの examples/fsdp/models/rule_reward.py を参照して、カスタムの報酬スコアリング関数を実装できます。

# データセットをダウンロードします
mkdir -p dataset
modelscope download --dataset AI-ModelScope/MATH-lighteval --local_dir dataset/MATH-lighteval
# データセットを前処理します
python examples/fsdp/data/data_preprocess/math_lighteval.py --input_dir dataset/MATH-lighteval --local_dir dataset/MATH-lighteval

2. 強化学習トレーニング

説明

DLC 環境のマルチ GPU サーバーで分散トレーニングタスクを送信する前に、DSW 環境でコードを開発およびテストしてください。

この例では、トレーニングエンジンとして Fully Sharded Data Parallel (FSDP) を使用します。Megatron-LM を使用してトレーニングを高速化するには、「tutorial_grpo_mcore」をご参照ください。

2.1 DSW でのシングルノードトレーニング

引き続き DSW 環境で、以下のコマンドを実行してトレーニングを開始します。トレーニング済みのモデルは、後のデプロイメントのためにマウントされたデータセットに保存されます。

bash examples/fsdp/scripts/train_grpo_qwen3.sh
説明

train_grpo_qwen3.sh のデフォルトパラメーターを使用した場合、トレーニングには 2〜3 時間かかると予想されます。

2.2 DLC でのマルチノードトレーニング

シングルノードでの開発とテストが完了したら、DLC 環境のマルチ GPU サーバーで分散タスクを設定して、モデルのトレーニングを高速化できます。

  1. [タスクの作成] ページに移動します。

    1. PAI コンソールにログインします。ページの上部で、ターゲットリージョンを選択します。右側で、ターゲットワークスペースを選択し、[DLC に入る] をクリックします。

    2. Deep Learning Containers (DLC) ページで、[タスクの作成] をクリックします。

  2. タスクの作成 ページで、以下の主要なパラメーターを設定します。他のパラメーターはデフォルト値を使用します。詳細については、「トレーニングタスクの作成」をご参照ください。

    パラメーター

    説明

    基本情報

    タスク名

    カスタムのタスク名。この例では test_qwen3_dlc を使用します。

    環境コンテキスト

    イメージ情報

    イメージアドレス を選択し、テキストボックスに次のアドレスを入力します:dsw-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-training-algorithm/chatlearn:torch2.5.1-vllm0.6.6-ubuntu22.04-cuda12.6-py310。レジストリアドレスのリージョンは、現在のリージョンと一致するように変更する必要があります。

    データセットのマウント

    [カスタムデータセット] をクリックし、作成したデータセットを選択して、デフォルトのマウントパス /mnt/data/ を使用します。

    開始コマンド

    次のコマンドを設定します。train_grpo_qwen3.sh スクリプトの起動パラメーターは、DSW でのシングルノード事前学習のものと同じです。

    cd /mnt/data/ChatLearn && bash examples/fsdp/scripts/train_grpo_qwen3.sh

    リソース情報

    リソースタイプ

    [Lingjun AI 計算] を選択します。

    リソースソース

    [リソースクォータ] を選択します。

    リソースクォータ

    Lingjun リソース用に作成したリソースクォータを選択します。

    フレーム

    [PyTorch] を選択します。

    タスクリソース

    Worker ノード設定タブで、次のパラメーターを設定します:

    • 数量:2。マルチノードトレーニングの場合、[ノード数] を必要なマシンの数に設定します。

    • GPU (カード数): 8

    • CPU (コア数):90

    • メモリ (GiB):1024

    • 共有メモリ (GB):1024

  3. OK をクリックします。[Deep Learning Containers (DLC)] ページにリダイレクトされます。タスク名をクリックして、[タスク詳細] ページでタスクの実行ステータスを表示できます。[ステータス] が [成功] に変わると、トレーニングタスクは完了です。

    説明

    DLC ジョブが失敗し、エラーメッセージ ray.exceptions.RpcError: Timed out while waiting for GCS to become available. が表示された場合でも、実際にはトレーニングタスクは完了しています。保存されたモデルをサービスとしてデプロイする手順に進むことができます。

2.3 主要なパラメーターの説明

train_grpo_qwen3.sh で設定する主要なパラメーター

パラメーター

説明

model_path

モデルの重みパス

output_dir

ログ、モデル、データの出力パス

train_data_path

トレーニングデータセットのパス

eval_data_path

評価データセットのパス

sp_size

長い思考プロセスを持つモデルをトレーニングするための Ulysses シーケンス並列処理の設定

tensor_model_parallel_size

vLLM 推論サービスのためのテンソル並列処理の設定

gpu_memory_utilization

vLLM 推論サービスによって事前に割り当てられる VRAM の割合

seq_length

最大シーケンス長 (プロンプト長 + 生成長)

max_new_tokens

最大生成長

num_inference_per_prompt

各プロンプトに対して生成される応答の数

sample_per_episode

各反復でトレーニングされるサンプル数 = プロンプト数 × num_inference_per_prompt

train_micro_batch_size

トレーニング中のフォワードパスのバッチサイズ

enable_eval_before_training

トレーニング前に評価を実行するかどうかを指定

num_episode

強化学習のトレーニングエポック数

eval_episode_interval

評価エポックの間隔

save_episode_interval

モデル保存エポックの間隔

3. モデルのデプロイと呼び出し

モデルのトレーニングが完了したら、モデルをオンラインサービスとしてデプロイし、本番環境で呼び出すことができます。

3.1 モデルサービスのデプロイ

  1. PAI コンソールにログインします。ページの上部で、ターゲットリージョンを選択します。右側で、ターゲットワークスペースを選択し、[EAS に入る] をクリックします。

  2. モデルのアップロードとデプロイメント をクリックします。カスタムモデルのデプロイ エリアで、カスタムデプロイメント をクリックします。

  3. カスタムデプロイメント ページで、以下の主要なパラメーターを設定します。他のパラメーターはデフォルト値を使用します。

    パラメーター

    説明

    基本情報

    サービス名

    モデルサービスのカスタム名。同じリージョン内で一意である必要があります。この例では test_qwen3 を使用します。

    環境コンテキスト

    デプロイメント方式

    イメージデプロイメント を選択します。

    イメージ設定

    イメージアドレス を選択し、テキストボックスに次のレジストリアドレスを入力します:eas-registry-vpc.cn-wulanchabu.cr.aliyuncs.com/pai-eas/vllm:v0.8.5.post1。レジストリアドレスのリージョンは、現在のリージョンと一致するように変更する必要があります。

    ストレージのマウント

    [汎用 NAS] を選択し、次のパラメーターを設定します:

    • [ファイルシステムの選択]:データセットの作成に使用した NAS ファイルシステムを選択します。

    • [ファイルシステムのマウントポイント]:データセットの作成に使用したマウントポイントを選択します。

    • [ファイルシステムパス]:NAS に保存されている Hugging Face モデルへのパス。この例では /ChatLearn/output/qwen3-grpo/save_model/policy_trainer/20/huggingface/ を使用します。

    • マウントパス:マウント後のパス。この例では /qwen3_rlhf を使用します。

    コマンドの実行

    vllm serve /qwen3_rlhf --host 0.0.0.0 --port 8000 --max-model-len 8192 に設定します。

    説明

    V100 インスタンスにデプロイする場合、実行コマンドを vllm serve /qwen3_rlhf --host 0.0.0.0 --port 8000 --max-model-len 8192 --dtype=half に設定します。

    ポート番号

    8000 に設定します。

    リソースのデプロイメント

    リソースタイプ

    [パブリックリソース] を選択します。

    レプリカ数

    モデルと選択したリソースに基づいて設定します。8B モデルの場合、これを 1 に設定します。

    リソースのデプロイメント

    リソース仕様には、A10 または V100 インスタンスを選択します。この例では ecs.gn7i-c32g1.8xlarge を使用します。

    ネットワーク情報

    VPC

    NAS マウントポイントを設定すると、システムは自動的に VPC と vSwitch をプリセットの NAS ファイルシステムと一致させます。必要に応じてセキュリティグループを設定します。

    vSwitch

    セキュリティグループ

  4. デプロイメント をクリックします。サービスのデプロイには約 6 分かかります。[サービスステータス] が [実行中] に変わると、サービスのデプロイは完了です。

3.2 サービスの呼び出し

  1. サービスのエンドポイントとトークンを取得します。オンライン推論サービス タブで、ターゲットサービスを見つけ、概要 ページに移動します。基本情報 セクションで、エンドポイント情報の表示 をクリックします。

  2. 次のコードを使用してサービスを呼び出します。<YOUR EAS URL> を前のステップで取得したエンドポイントに置き換えます。トークンは環境変数として設定します。

    import os
    from openai import OpenAI
    
    # トークンを環境変数として設定します。
    openai_api_key = os.environ.get("Token")
    # <YOUR EAS URL> をサービスのエンドポイントに置き換えます。
    openai_api_base = "<YOUR EAS URL>/v1"
    
    client = OpenAI(
        api_key=openai_api_key,
        base_url=openai_api_base,
    )
    
    chat_response = client.chat.completions.create(
        model="/qwen3_rlhf",
        messages=[
            {"role": "system", "content": "You are a helpful assistant."},
            {"role": "user", "content": "Find the smallest positive integer solution to $\\tan{19x^{\\circ}}=\\dfrac{\\cos{96^{\\circ}}+\\sin{96^{\\circ}}}{\\cos{96^{\\circ}}-\\sin{96^{\\circ}}}$. Let's think step by step and output the final answer within \\boxed{}."},
        ],
        temperature=0.7,
        top_p=0.8,
        presence_penalty=1.5,
        extra_body={
            "top_k": 20, 
            "chat_template_kwargs": {"enable_thinking": False},
        }
    )
    print("チャット応答:", chat_response)

付録: トレーニングとデプロイのためのリソース仕様リファレンス

次の表に、さまざまなモデルサイズでサポートされているリソース仕様を示します。

モデルサイズ

フルパラメーター トレーニングリソース (最小)

推論リソース (最小)

数量

仕様

Qwen3-8B

1 台

ml.gu7xf.c96m1600.8-gu108 または

ml.gu7ef.c96m1600.8-gu100 または

ml.gx8xf.8xlarge-gu108

1 × V100 (32 GB VRAM) / 1 × A10 (24 GB VRAM)

Qwen3-32B

2 台

4 × V100 (32 GB VRAM) / 4 × A10 (24 GB VRAM)

Qwen3-30B-A3B

2 台

4 × V100 (32 GB VRAM) / 4 × A10 (24 GB VRAM)