分散トレーニング DLC のクイックスタート - Platform For AI

Deep Learning Containers (DLC) を使用すると、分散型または単一ノードのトレーニングジョブを迅速に作成できます。Kubernetes 上に構築された DLC は、手動でマシンを購入してランタイム環境を設定する必要がなく、既存のワークフローを変更することなく使用できます。このトピックでは、MNIST の手書き認識タスクを例に、DLC を使用して単一ノード、単一 GPU のトレーニングと、複数ノード、複数 GPU の分散トレーニングを行う方法を説明します。

説明

MNIST の手書き認識は、ディープラーニングにおける古典的な入門タスクです。その目的は、10 種類の手書き数字 (0 から 9) を認識する機械学習モデルを構築することです。

前提条件

Alibaba Cloud アカウントを使用して Platform for AI (PAI) をアクティブ化し、ワークスペースを作成します。PAI コンソールにログインします。左上のコーナーでリージョンを選択します。その後、必要な権限を付与し、プロダクトをアクティブ化します。

課金

このトピックの例では、パブリックリソースを使用して DLC ジョブを作成します。課金方法は従量課金です。課金ルールの詳細については、「Deep Learning Containers (DLC) の課金」をご参照ください。

単一ノード、単一 GPU トレーニング

データセットの作成

データセットには、モデルトレーニングのためのコード、データ、および結果が保存されます。このトピックでは、Object Storage Service (OSS) データセットを例として使用します。

PAI コンソールの左側のナビゲーションウィンドウで、[データセット] > [カスタムデータセット] > [データセットの作成] をクリックします。
データセットのパラメーターを設定します。主要なパラメーターは以下の通りです。その他のパラメーターはデフォルト値を使用できます。
- [名前]：例： dataset_mnist。
- [ストレージタイプ]： [Alibaba Cloud Object Storage Service (OSS)]。
- [OSS パス]：アイコンをクリックし、[バケット] を選択し、dlc_mnist などの新しいフォルダーを作成します。
  OSS をアクティブ化していない場合、または現在のリージョンで利用可能なバケットがない場合は、以下の手順に従って OSS をアクティブ化し、バケットを作成します：
  (オプション) OSS のアクティブ化とバケットの作成
  1. OSS をアクティブ化します。
  2. OSS コンソールにログインします。 [バケットの作成] をクリックします。 [バケット名] を入力します。 [リージョン] で、PAI と同じリージョンを選択します。他のパラメーターはデフォルト値を使用します。次に、[作成] をクリックします。
[確認] をクリックしてデータセットを作成します。

トレーニングコードとデータをアップロードします。

mnist_train.py をクリックして、提供されているトレーニングコードをダウンロードします。プロセスを簡略化するため、コードは実行時にデータセットの dataSet フォルダーにトレーニングデータを自動的にダウンロードするように設定されています。

本番環境で使用する場合は、事前にコードとトレーニングデータを PAI データセットにアップロードできます。

単一ノード、単一 GPU トレーニングコードの例： mnist_train.py

import torch
import torch.nn as nn
import torch.nn.functional as F
import torch.optim as optim
from torch.utils.data import DataLoader
from torchvision import datasets, transforms
from torch.utils.tensorboard import SummaryWriter

# ハイパーパラメーター
batch_size = 64  # 各トレーニングバッチのデータ量
learning_rate = 0.01  # 学習率
num_epochs = 20  # トレーニングエポック数

# GPU が利用可能かどうかを確認
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# データの前処理
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.5,), (0.5,))
])

train_dataset = datasets.MNIST(root='/mnt/data/dataSet', train=True, download=True, transform=transform)
val_dataset = datasets.MNIST(root='/mnt/data/dataSet', train=False, download=False, transform=transform)

train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
val_loader = DataLoader(val_dataset, batch_size=batch_size, shuffle=False)


# シンプルなニューラルネットワークを定義
class SimpleCNN(nn.Module):
    def __init__(self):
        super(SimpleCNN, self).__init__()
        # 最初の畳み込み層：入力チャンネル 1 (グレースケール画像)、出力チャンネル 10、カーネルサイズ 5x5
        self.conv1 = nn.Conv2d(1, 10, kernel_size=5)
        # 2番目の畳み込み層：入力チャンネル 10、出力チャンネル 20、カーネルサイズ 3x3
        self.conv2 = nn.Conv2d(10, 20, kernel_size=3)
        # 全結合層：入力は 20 × 5 × 5 (畳み込みとプーリング後の特徴マップサイズ)、出力は 128
        self.fc1 = nn.Linear(20 * 5 * 5, 128)
        # 出力層：128 -> 10 (10個の数字クラスに対応)
        self.fc2 = nn.Linear(128, 10)

    def forward(self, x):
        # 入力 x の形状： [batch, 1, 28, 28]
        x = F.max_pool2d(F.relu(self.conv1(x)), 2)  # [batch, 10, 12, 12]
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)  # [batch, 20, 5, 5]
        x = x.view(-1, 20 * 5 * 5)  # [batch, 500] にフラット化
        x = F.relu(self.fc1(x))      # [batch, 128]
        x = self.fc2(x)              # [batch, 10]
        return x


# モデルをインスタンス化し、利用可能であれば GPU に移動
model = SimpleCNN().to(device)
criterion = nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=learning_rate)

# モデルのトレーニングプロセスを可視化するために TensorBoard の SummaryWriter を作成
writer = SummaryWriter('/mnt/data/output/runs/mnist_experiment')

# 最高の精度を持つモデルを保存するための変数
best_val_accuracy = 0.0

# モデルをトレーニングし、損失と精度を記録
for epoch in range(num_epochs):
    model.train()
    for batch_idx, (data, target) in enumerate(train_loader):
        data, target = data.to(device), target.to(device)  # データとターゲットを GPU に移動

        # 勾配をゼロにする
        optimizer.zero_grad()
        # 順伝播
        output = model(data)
        # 損失を計算
        loss = criterion(output, target)
        # 逆伝播
        loss.backward()
        # パラメーターを更新
        optimizer.step()

        # トレーニング損失を TensorBoard に記録
        if batch_idx % 100 == 0:  # 100 バッチごとに記録
            writer.add_scalar('Loss/train', loss.item(), epoch * len(train_loader) + batch_idx)
            print(f'Train Epoch: {epoch} [{batch_idx * len(data)}/{len(train_loader.dataset)} ({100. * batch_idx / len(train_loader):.0f}%)]\tLoss: {loss.item():.6f}')

    # モデルを検証し、検証損失と精度を記録
    model.eval()
    val_loss = 0
    correct = 0
    with torch.no_grad():  # 勾配を計算しない
        for data, target in val_loader:
            data, target = data.to(device), target.to(device)  # データとターゲットを GPU に移動
            output = model(data)
            val_loss += criterion(output, target).item()  # 検証損失を累積
            pred = output.argmax(dim=1, keepdim=True)  # 予測ラベルを取得
            correct += pred.eq(target.view_as(pred)).sum().item()  # 正解予測数を累積

    val_loss /= len(val_loader)  # 平均検証損失を計算
    val_accuracy = 100. * correct / len(val_loader.dataset)  # 検証精度を計算
    print(f'Validation Loss: {val_loss:.4f}, Accuracy: {correct}/{len(val_loader.dataset)} ({val_accuracy:.0f}%)')

    # 検証損失と精度を TensorBoard に記録
    writer.add_scalar('Loss/validation', val_loss, epoch)
    writer.add_scalar('Accuracy/validation', val_accuracy, epoch)

    # 最高の検証精度を持つモデルを保存
    if val_accuracy > best_val_accuracy:
        best_val_accuracy = val_accuracy
        torch.save(model.state_dict(), '/mnt/data/output/best_model.pth')
        print(f'Model saved with accuracy: {best_val_accuracy:.2f}%')

# SummaryWriter を閉じる
writer.close()
print('Training complete. writer.close()')

コードをアップロードします。データセットの詳細ページで、[データの表示] をクリックして OSS コンソールを開きます。次に、[オブジェクトのアップロード] > [ファイルの選択] > [オブジェクトのアップロード] をクリックして、トレーニングコードを OSS にアップロードします。

DLC ジョブの作成

PAI コンソールの左側のナビゲーションウィンドウで、[Deep Learning Containers (DLC)] > [ジョブの作成] をクリックします。

DLC ジョブのパラメーターを設定します。主要なパラメーターは以下の通りです。その他のパラメーターはデフォルト値を使用できます。すべてのパラメーターの詳細については、「トレーニングジョブの作成」をご参照ください。

[イメージ設定]： [イメージアドレス] を選択し、ご利用の [リージョン] のイメージ URL を入力します。

リージョン	イメージ URL
中国 (北京)	dsw-registry-vpc.cn-beijing.cr.aliyuncs.com/pai/modelscope:1.28.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04
中国 (上海)	dsw-registry-vpc.cn-shanghai.cr.aliyuncs.com/pai/modelscope:1.28.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04
中国 (杭州)	dsw-registry-vpc.cn-hangzhou.cr.aliyuncs.com/pai/modelscope:1.28.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04
その他のリージョン	リージョン ID を検索し、イメージ URL の <Region ID> を置き換えて完全なリンクを取得します： dsw-registry-vpc.<Region ID>.cr.aliyuncs.com/pai/modelscope:1.28.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04

このイメージは、「インタラクティブモデリング (DSW) のクイックスタート」の環境と互換性があることが確認されています。PAI を使用したモデリングの典型的なワークフローは、まず DSW で環境を検証してコードを開発し、次に DLC を使用してトレーニングを行うことです。

[データセットのマウント]： [カスタムデータセット] を選択し、前のステップで作成したデータセットを選択します。デフォルトの [マウントパス] は /mnt/data です。
起動コマンド: python /mnt/data/mnist_train.py
この起動コマンドは、DSW またはローカルで実行する場合と同じです。ただし、mnist_train.py は /mnt/data/ にマウントされるため、コードパスを /mnt/data/mnist_train.py に更新する必要があります。
[ソース]： [パブリックリソース] を選択します。[リソースタイプ] には、ecs.gn7i-c8g1.2xlarge を選択します。
このインスタンス仕様が在庫切れの場合は、別の GPU インスタンスを選択できます。

[確認] をクリックしてジョブを作成します。ジョブの完了には約 15 分かかります。ログをクリックすると、トレーニングプロセスをモニターできます。

ジョブが完了すると、最適なモデルのチェックポイントと TensorBoard のログが、マウントされたデータセットの output パスに保存されます。

(オプション) TensorBoard の表示

TensorBoard 可視化ツールを使用して、損失曲線を表示し、トレーニングの詳細を理解できます。

重要

DLC ジョブで TensorBoard を使用するには、データセットを設定する必要があります。

DLC ジョブの詳細ページで、[TensorBoard] タブをクリックし、次に [TensorBoard の作成] をクリックします。
[設定タイプ] を [タスクごと] に設定します。[サマリーパス] には、トレーニングコードでサマリーが保存されるパス /mnt/data/output/runs/ を入力します。[確認] をクリックして開始します。
これはコードスニペット writer = SummaryWriter('/mnt/data/output/runs/mnist_experiment')
[TensorBoard の表示] をクリックして、トレーニングデータセット (train_loss) と検証セット (validation_loss) の損失曲線を表示します。
(オプション) 損失グラフに基づいてハイパーパラメーターを調整し、モデルのパフォーマンスを向上させる
損失値の傾向を観察することで、モデルのトレーニングパフォーマンスを評価できます：
- トレーニング終了時に train_loss と validation_loss の両方がまだ減少している場合、これはアンダーフィッティングを示します。
  これに対処するには、`num_epochs` (トレーニングエポック数、トレーニングの深さと正の相関) を増やすか、`learning_rate` をわずかに上げてからモデルを再トレーニングします。
- train_loss が減少し続ける一方で validation_loss が増加し始める場合、これはオーバーフィッティングを示します。
  これに対処するには、`num_epochs` を減らすか、`learning_rate` をわずかに下げてからモデルを再トレーニングします。
- トレーニングが終了する前に train_loss と validation_loss の両方が安定した場合、これは良好な適合を示します。
  モデルが良好に適合している場合は、次のステップに進むことができます。

トレーニング済みモデルのデプロイ

詳細については、「EAS を使用してモデルをオンラインサービスとしてデプロイする」をご参照ください。