Cette rubrique explique comment utiliser OssCheckpoint pour lire et écrire directement des points de contrôle (l'état du modèle enregistré à un instant donné lors de l'entraînement) depuis et vers OSS.
Prérequis
OSS Connector for AI/ML est installé et configuré. Pour plus d'informations, consultez les rubriques Installation d'OSS Connector for AI/ML et Configuration d'OSS Connector for AI/ML.
OssCheckpoint
OssCheckpoint répond aux besoins de lecture et d'écriture des résultats d'entraînement durant le processus d'entraînement des données.
L'exemple suivant montre comment lire et écrire des points de contrôle avec OssCheckpoint.
import torch
from osstorchconnector import OssCheckpoint
ENDPOINT = "endpoint"
CRED_PATH = "/root/.alibabacloud/credentials"
CONFIG_PATH = "/etc/oss-connector/config.json"
# 使用OssCheckpoint创建checkpoint
checkpoint = OssCheckpoint(endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)
# 读 checkpoint
CHECKPOINT_READ_URI = "oss://checkpoint/epoch.0"
with checkpoint.reader(CHECKPOINT_READ_URI) as reader:
state_dict = torch.load(reader)
# 写 checkpoint
CHECKPOINT_WRITE_URI = "oss://checkpoint/epoch.1"
with checkpoint.writer(CHECKPOINT_WRITE_URI) as writer:
torch.save(state_dict, writer)
Types de données
L'objet checkpoint créé via OssCheckpoint implémente les interfaces d'E/S courantes. Pour plus de détails, reportez-vous à la section Types de données dans OSS Connector for AI/ML.
Configuration des paramètres
L'utilisation d'OssCheckpoint requiert une configuration spécifique. Le tableau ci-dessous décrit les différents paramètres disponibles.
|
Nom du paramètre |
Type de paramètre |
Obligatoire |
Description |
|
endpoint |
string |
Oui |
Nom de domaine d'accès au service OSS. Pour plus d'informations, consultez la rubrique Régions et endpoints. |
|
cred_path |
string |
Oui |
Le chemin par défaut du fichier d'authentification est |
|
config_path |
string |
Oui |
Le chemin par défaut du fichier de configuration d'OSS Connector est |