モデルトレーニングの問題 (損失が収束しない、勾配消失、収束性能が低いなど) をデバッグする際、メトリックをリアルタイムで可視化する方法が必要です。Platform for AI (PAI) では、TensorBoard インスタンスがデータセットまたは Deep Learning Containers (DLC) ジョブを介してトレーニングデータに接続し、インタラクティブなダッシュボードをレンダリングすることで、トレーニングの実行中に損失曲線、勾配、カスタムスカラーを確認できます。
前提条件
開始する前に、以下を確認してください。
Alibaba Cloud アカウント、またはワークスペースメンバーとして追加され、必要なロールと権限を持つ RAM ユーザー。詳細については、「付録: ロールと権限」をご参照ください。
制限事項
マレーシア (クアラルンプール) リージョンで作成された DLC ジョブでは、TensorBoard はサポートされていません。
TensorBoard インスタンスの作成
PAI コンソールにログインします。
左側のナビゲーションペインで、[ワークスペース] をクリックします。「ワークスペース」ページで、管理したいワークスペースの名前をクリックします。
左側のナビゲーションペインで、[AI アセット管理] > [ジョブ] を選択して、分散トレーニングジョブページに移動します。
[TensorBoard] タブをクリックし、[TensorBoard を作成] をクリックします。
[TensorBoard の作成] ページで、次の表で説明するパラメーターを設定し、[OK] をクリックします。
基本情報
| パラメーター | 説明 |
|---|---|
| [Name] | TensorBoard インスタンスの名前。 |
| [Configuration type] | マウントタイプを選択し、サマリーパスを入力します。詳細については、以下をご参照ください。 |
マウントタイプ
トレーニングログの保存場所に応じて、以下のいずれかのオプションを選択します。
Mount Dataset (推奨)： データセットを選択し、データセット内のサマリーディレクトリの相対パスを入力します。
Mount OSS： Object Storage Service (OSS) バケットパスを選択し、OSS 内のサマリーディレクトリの相対パスを入力します。
By Task： DLC ジョブを選択し、コンテナ内のログファイルの完全なパスを入力します。
サマリーパス
TensorBoard のサマリーログが保存されるパスです。トレーニングコード内の SummaryWriter クラスから完全なパスを取得します。
リソース設定
| リソースタイプ | 説明 |
|---|---|
| Free Quota | インスタンスごとに固定された無料リソースの割り当て：最大 2 vCPU と 4 GiB のメモリ。容量を解放するには、新しいインスタンスを作成する前に、実行中の無料クォータインスタンスを停止してください。 |
| 汎用コンピューティング | Public Resources[Resource Quota]2 つの課金オプション： (従量課金、インスタンスタイプを選択) または (サブスクリプション課金、コンピューティングリソースの購入とクォータの作成が必要)。 |
[リソースクォータ] を使用する場合は、以下の追加パラメーターを設定します。
[リソースクォータ] は、ホワイトリストに登録されているユーザーのみが利用できます。ホワイトリストの設定については、アカウントマネージャーにお問い合わせください。
| パラメーター | 説明 |
|---|---|
| [Priority] | インスタンスのスケジューリング優先度。有効な値：1〜9。1 が最も低い優先度です。 |
| [Job resource] | インスタンスに割り当てられる vCPU の数とメモリ容量 (GiB 単位)。 |
VPC
VPC 設定は、[パブリックリソース] を使用している場合にのみ利用できます。
VPC を設定しない場合、インスタンスはインターネット接続を使用するため、帯域幅の制限により、起動時やレポートの読み込み時に遅延が発生する可能性があります。安定したパフォーマンスを確保するには、VPC を設定してください。
現在のリージョンで Virtual Private Cloud (VPC)、vSwitch、セキュリティグループを選択します。これにより、インスタンスは選択された VPC 内のサービスにアクセスし、指定されたセキュリティグループルールを適用できます。
データセットが VPC を必要とする場合 (例：Cloud Parallel File Storage (CPFS) データセット、または VPC 内にマウントターゲットを持つ NAS データセット) は、VPC を設定する必要があります。
インスタンスが [実行中] 状態になったら、[アクション] 列の [TensorBoard の表示] をクリックして TensorBoard ダッシュボードを開きます。
TensorBoard は、トレーニングメトリックとサマリーログをインタラクティブに可視化します。
ヒント： [汎用コンピューティング] リソースを使用している場合は、不要な課金を避けるため、使用後にインスタンスを停止してください。自動停止を設定すると、インスタンスを自動的に停止できます。詳細については、「TensorBoard インスタンスの管理」をご参照ください。
TensorBoard インスタンスの管理
[TensorBoard] タブで、次の操作を使用してインスタンスを管理します：
インスタンスの起動
停止中のインスタンスを再起動するには、[アクション] 列の [開始] をクリックします。
インスタンスの詳細の表示
インスタンス名をクリックして詳細ページを開き、[Basic Information] と [Configuration Information] を確認できます。
関連する DLC ジョブの表示
TensorBoard インスタンスに関連付けられている DLC ジョブの数を表示します。[関連タスク] 列で 
にカーソルを合わせると、関連付けられた DLC ジョブの ID が表示されます。ID をクリックすると、ジョブの詳細ページに移動します。
関連するデータセットの表示
TensorBoard インスタンスに関連付けたデータセットの数を表示します。[関連データセット] 列で、 にカーソルを合わせると、関連付けられたデータセットの ID が表示されます。ID をクリックすると、データセットの詳細ページに移動します。
実行期間の表示
[実行時間] 列には、インスタンスが前回起動されてからの実行時間が表示されます。TensorBoard インスタンスを停止すると、実行時間はリセットされます。
インスタンスの停止
インスタンスをすぐに停止するには、[操作] 列の [停止] をクリックします。
自動停止時間を設定するには、[操作] 列の [自動停止設定] をクリックします。
次のステップ
TensorBoard インスタンスは、Deep Learning Containers (DLC) ページからも作成および管理できます。詳細については、「TensorBoard」をご参照ください。