Cette rubrique explique comment lire et écrire directement des points de contrôle (état du modèle enregistré à un instant donné lors de l'entraînement) depuis des compartiments OSS à l'aide d'OssCheckpoint.
Prérequis
OSS Connector for AI/ML est installé et configuré. Pour plus d'informations, consultez les rubriques Installation d'OSS Connector for AI/ML et Configuration d'OSS Connector for AI/ML.
OssCheckpoint
OssCheckpoint convient aux scénarios impliquant la lecture et l'écriture de résultats au cours de l'entraînement des données.
L'exemple suivant montre comment lire et écrire des points de contrôle avec OssCheckpoint.
import torch
from osstorchconnector import OssCheckpoint
ENDPOINT = "endpoint"
CRED_PATH = "/root/.alibabacloud/credentials"
CONFIG_PATH = "/etc/oss-connector/config.json"
# Create a checkpoint by using OssCheckpoint
checkpoint = OssCheckpoint(endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)
# Read the checkpoint
CHECKPOINT_READ_URI = "oss://checkpoint/epoch.0"
with checkpoint.reader(CHECKPOINT_READ_URI) as reader:
state_dict = torch.load(reader)
# Write the checkpoint
CHECKPOINT_WRITE_URI = "oss://checkpoint/epoch.1"
with checkpoint.writer(CHECKPOINT_WRITE_URI) as writer:
torch.save(state_dict, writer)
Types de données
Les objets de point de contrôle créés via OssCheckpoint proposent des opérations d'E/S courantes. Pour en savoir plus, reportez-vous à la section relative aux types de données dans OSS Connector for AI/ML.
Paramètres
Le tableau ci-dessous détaille les paramètres à configurer lors de l'utilisation d'OssCheckpoint.
|
Paramètre |
Type |
Obligatoire |
Description |
|
endpoint |
string |
Oui |
L'endpoint utilisé pour accéder à OSS. Pour plus de détails, consultez la liste des endpoints et centres de données. |
|
cred_path |
string |
Oui |
Le chemin d'accès au fichier d'authentification. La valeur par défaut est |
|
config_path |
string |
Oui |
Le chemin d'accès au fichier de configuration d'OSS Connector. La valeur par défaut est |