Platform For AI:クイックスタートによるLlama 2モデルのデプロイとファインチューニング

モデルギャラリーページに移動します。

1. PAI コンソールにログインします。

2. 左側のナビゲーションウィンドウで Workspaces をクリックし、ワークスペースを選択します。

3. 左側のナビゲーションウィンドウで QuickStart > Model Gallery をクリックして、モデルギャラリーページに移動します。

モデルリストの検索ボックスに「llama-2-7b-chat」と入力し、Enter キーを押します。

llama-2-7b-chat モデルカードをクリックしてモデル詳細ページに移動します。右上隅の Deploy をクリックします。

デプロイページの下部にある Deploy をクリックします。

表示される Billing reminder ダイアログボックスで、OK をクリックします。

Service Details ページが表示されます。Status が Running に変わると、推論サービスのデプロイは完了です。

サービスのデプロイ後、Web UI または API を使用してサービスを呼び出すことができます。

1. Service Details ページで、右上隅の View Web App をクリックします。

2. 推論サービスを呼び出します。

   • Web UI： [Chat] タブで、ダイアログボックスにテキストを入力し、[Send] をクリックして会話を開始します。

     左側の [Model params] ペインでは、[Max New Tokens] (デフォルト：2048) 、[Top K] (デフォルト：0) 、[Top P] (デフォルト：0) 、[Temperature] (デフォルト：0) などの推論パラメーターを設定できます。また、[Do sample]、[KV cache]、[Stream output] オプションを選択することもできます。[Max round] のデフォルト値は 5 です。

   • API： Web UI ページの下部にある [Use via API] をクリックすると、API エンドポイント、リクエスト例、コードスニペットなどの API 呼び出しの詳細が表示されます。

モデルギャラリーページに移動します。

1. PAI コンソールにログインします。

2. 左側のナビゲーションウィンドウで Workspaces をクリックし、ワークスペースを選択します。

3. 左側のナビゲーションウィンドウで QuickStart > Model Gallery をクリックして、モデルギャラリーページに移動します。

モデルリストの検索ボックスに「llama-2-7b-chat」と入力し、Enter キーを押します。

llama-2-7b-chat モデルカードをクリックしてモデル詳細ページに移動し、Train をクリックします。

モデルのトレーニングパラメーターを設定します。

クイックスタートでは、ほとんどのユースケースに適したデフォルトの コンピューティングリソースと ハイパーパラメータが提供されます。必要に応じてこれらを変更できます。

[
    {
        "instruction": "Does the following text belong to the world topic? Why do Americans rarely hold military parades?",
        "output": "Yes",
        "id": 0
    },
    {
        "instruction": "Does the following text belong to the world topic? Breaking news! The timetable for vehicle reform in public institutions has been released!",
        "output": "No",
        "id": 1
    }
]

Train をクリックしてトレーニングジョブを送信します。

表示される Billing reminder ダイアログボックスで、OK をクリックします。

Task details ページが表示されます。[Task Status] が [Succeeded] に変わると、モデルのトレーニングは完了です。

トレーニング済みのモデルは OSS に保存されます。その場所は、Basic Information セクションの Output Path で確認できます。

ファインチューニングされたモデルをデプロイします。

ファインチューニングされたモデルのデプロイと呼び出しのプロセスは、直接デプロイの場合と同じです。詳細については、「モデルの直接デプロイ」をご参照ください。