すべてのプロダクト
Search
ドキュメントセンター

Object Storage Service:OSS バケットへのチェックポイントの保存とアクセス

最終更新日:Sep 24, 2026

このセクションでは、OssCheckpoint を使用して、OSS バケットから直接チェックポイント (モデルトレーニング中に特定の時点で保存されるモデルの状態) を読み書きする方法について説明します。

前提条件

OSS Connector for AI/ML がインストールされ、設定されている必要があります。詳細については、「OSS Connector for AI/ML のインストール」および「OSS Connector for AI/ML の設定」をご参照ください。

OssCheckpoint

OssCheckpoint は、データのトレーニングプロセス中に結果を読み書きするシナリオに適しています。

次の例では、OssCheckpoint を使用してチェックポイントを読み書きする方法を示します。

import torch
from osstorchconnector import OssCheckpoint

ENDPOINT = "endpoint"
CRED_PATH = "/root/.alibabacloud/credentials"
CONFIG_PATH = "/etc/oss-connector/config.json"

# OssCheckpoint を使用してチェックポイントを作成します
checkpoint = OssCheckpoint(endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)

# チェックポイントを読み取ります
CHECKPOINT_READ_URI = "oss://checkpoint/epoch.0"
with checkpoint.reader(CHECKPOINT_READ_URI) as reader:
   state_dict = torch.load(reader)

# チェックポイントを書き込みます
CHECKPOINT_WRITE_URI = "oss://checkpoint/epoch.1"
with checkpoint.writer(CHECKPOINT_WRITE_URI) as writer:
   torch.save(state_dict, writer)

データ型

OssCheckpoint を使用して作成されたチェックポイントオブジェクトは、一般的な I/O 操作を提供します。 詳細については、「OSS Connector for AI/ML のデータ型」をご参照ください。

パラメーター

次の表に、OssCheckpoint を使用する際に設定が必要なパラメーターを示します。

パラメーター

型

必須

説明

endpoint

string

はい

OSS へのアクセスに使用されるエンドポイントです。 詳細については、「エンドポイントとデータセンター」をご参照ください。

cred_path

string

はい

認証ファイルのパス。 デフォルト値は /root/.alibabacloud/credentials です。 詳細については、「アクセス認証情報の設定」をご参照ください。

config_path

string

はい

OSS Connector の設定ファイルのパス。 デフォルト値は /etc/oss-connector/config.json です。 詳細については、「OSS Connector の設定」をご参照ください。

分散チェックポイント (DCP)

OSS Connector for AI/ML は、V1.2.3 から PyTorch の分散チェックポイント (DCP) 機能をサポートしています。 OssDCPFileSystem を使用すると、OSS 上の分散チェックポイントを直接保存したり読み取ったりできます。

この例では、OssDCPFileSystem を使用して分散チェックポイントを保存およびロードする方法を示します。

import torchvision
import torch.distributed.checkpoint as DCP
from osstorchconnector import OssDCPFileSystem
import torch

ENDPOINT = "http://oss-cn-beijing-internal.aliyuncs.com"
CONFIG_PATH = "/etc/oss-connector/config.json"
CRED_PATH = "/root/.alibabacloud/credentials"
OSS_URI = "oss://ossconnectorbucket/dcp-checkpoint-resnet18"

model = torchvision.models.resnet18()

# OSS に書き込みます。
fs = OssDCPFileSystem(endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)
oss_storage_writer = fs.writer(OSS_URI)
# DCP.save または DCP.async_save を使用します。
checkpoint_future = DCP.async_save(
    state_dict=model.state_dict(),
    storage_writer=oss_storage_writer,
)
checkpoint_future.result()


# OSS からロードします。
loaded_state_dict = {
    key: torch.zeros_like(value) for key, value in model.state_dict().items()
}
oss_storage_reader = fs.reader(OSS_URI)
DCP.load(
    loaded_state_dict,
    storage_reader=oss_storage_reader,
)

Safetensors

OSS Connector for AI/ML は、V1.2.0rc6 から Safetensors 形式をサポートしています。 OssSafetensor を使用すると、OSS 上の Safetensors ファイルを直接保存したり、読み取ったりできます。

この例では、OssSafetensor を使用して Safetensors ファイルを保存およびロードする方法を示します。

import torch
from osstorchconnector import OssSafetensor

ENDPOINT = "http://oss-cn-beijing-internal.aliyuncs.com"
CONFIG_PATH = "/etc/oss-connector/config.json"
CRED_PATH = "/root/.alibabacloud/credentials"
OSS_URI = "oss://ossconnectorbucket/safetensors/model.safetensors"

sfts = OssSafetensor(endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)

# テンソルを Safetensors ファイルとして OSS に保存します。
tensors = {"embedding": torch.rand((512, 1024)), "attention": torch.rand((256, 256))}
metadata = {"a": "a", "b": "b"}
sfts.save_file(tensors, OSS_URI, metadata)

# OSS から Safetensors ファイルをロードします。
loaded_tensors = sfts.load_file(OSS_URI, device="cpu")

# または、safe_open を使用してテンソルをロードします。
with sfts.safe_open(OSS_URI, device ="cpu") as f:
    metadata = f.metadata() # メタデータを取得します。
    for key in f.keys(): # キーを使ってテンソルを読み取ります。
        tensor = f.get_tensor(key)