Platform For AI:実験管理

前提条件

Object Storage Service (OSS) にオブジェクトを格納するバケットが作成されます。 詳細は、「バケットの作成」をご参照ください。

課金

• モデルギャラリーでモデルをトレーニングし、トレーニングタスクを実験に関連付けると、Deep Learning Containers (DLC) リソースとOSSストレージが課金されます。 詳細については、「DLCの課金」および「課金の概要」をご参照ください。

• PAIは、メトリック可視化用に最大5つの無料TensorBoardインスタンスを提供します。 より多くのインスタンスに対して課金されます。

トレーニングジョブと実験の関連付け

モデルギャラリーでモデルの微調整ジョブを作成するときに、タスクを新規または既存の実験に関連付けることができます。 以下の手順を実行します。

1. モデルギャラリーページで、トレーニングするモデルの名前をクリックします。 モデルの概要ページで、[トレイン] をクリックします。

2. [微調整] ページの [実験設定] セクションで、必要なパラメーターを設定します。

   1. 初めて実験管理を使用するとき、またはジョブを新しい実験に関連付ける場合は、[新しい実験] を選択し、[実験名] および [実験出力パス] パラメーターを設定します。

      説明

      モデル、TensorBoardなど、実験に関連付けられているすべてのジョブデータは、実験出力パスをデフォルトパスとして使用します。

      ジョブ出力パスをカスタマイズする場合は、トレーニング出力設定パラメーターを設定できます。 デフォルトのTensorBoardパスを変更すると、このジョブの視覚化されたメトリックを他のジョブと比較することはできません。

   2. ジョブを既存の実験に関連付けることもできます。

      

3. トレーニングジョブのその他のパラメーター設定については、「モデルのデプロイとトレーニング」をご参照ください。

4. ページ下部の [微調整] をクリックします。

   ページは自動的に [タスクの詳細] ページにリダイレクトされます。 ジョブに関連付けられている実験名、ジョブのハイパーパラメータ、およびその他のメタデータを表示できます。

実験を表示してTensorBoardを開く

同じ実験に関連付けられているジョブについては、実験のTensorBoardインスタンスのtrain_lossやtotal_flosなどの視覚化されたメトリックを比較できます。 以下の手順を実行します。

1. モデルギャラリーページで、[ジョブ管理] をクリックします。

2. [ジョブ管理] ページで、[すべての実験] をクリックします。 ジョブメトリックを比較する実験を選択し、[Tensorboard] をクリックします。

   TensorBoardインスタンスが自動的に開きます。

   

3. TensorBoardのステータスが [操作中] に変わったら、[移動] をクリックします。 新しいタブが表示されます。

   このページでは、実験に関連付けられているすべてのトレーニングジョブのメトリックを表示できます。 ジョブのメトリックは、モデルによって異なります。

TensorBoardのジョブメトリクスの比較

1. [水平軸] パラメーターでさまざまなオプションを選択することで、水平軸を切り替えることができます。

   • STEP: モデルトレーニングのステップ数。

   • RELATIVE: トレーニング開始後0.5時間などの相対時間。 単位：時間。

   • ウォール: 2024年4月2日の午前10時などの絶対時間。 単位：時間。

   一般的なメトリック:

   • loss: 予測結果と実際の結果の違い。

   • accuracy /precision /recall: Precisionメトリクス。

2. ジョブIDの前にあるチェックボックスを選択して、メトリック比較するジョブを選択します。

3. 特定のメトリックの値が互いに近い場合は、次の図に表示されるように、デカルト座標系の下の中央にあるボタンをクリックして、差が大きい部分に焦点を当てることができます。

4. グラフを拡大するには、次の図に示すように、デカルト座標系の下にある拡大ボタンをクリックします。