Este tópico descreve como usar o OssCheckpoint para ler e gravar checkpoints diretamente no OSS. Checkpoints são estados do modelo salvos em momentos específicos durante o treinamento.
Pré-requisitos
Instale e configure o OSS Connector for AI/ML. Para mais informações, consulte Instalar o OSS Connector for AI/ML e Configurar o OSS Connector for AI/ML.
OssCheckpoint
O OssCheckpoint é ideal para cenários que exigem leitura e gravação de resultados durante o treinamento de dados.
O exemplo a seguir demonstra como usar o OssCheckpoint para ler e gravar checkpoints.
import torch
from osstorchconnector import OssCheckpoint
ENDPOINT = "endpoint"
CRED_PATH = "/root/.alibabacloud/credentials"
CONFIG_PATH = "/etc/oss-connector/config.json"
# 使用OssCheckpoint创建checkpoint
checkpoint = OssCheckpoint(endpoint=ENDPOINT, cred_path=CRED_PATH, config_path=CONFIG_PATH)
# 读 checkpoint
CHECKPOINT_READ_URI = "oss://checkpoint/epoch.0"
with checkpoint.reader(CHECKPOINT_READ_URI) as reader:
state_dict = torch.load(reader)
# 写 checkpoint
CHECKPOINT_WRITE_URI = "oss://checkpoint/epoch.1"
with checkpoint.writer(CHECKPOINT_WRITE_URI) as writer:
torch.save(state_dict, writer)
Tipos de dados
O objeto de checkpoint criado pelo OssCheckpoint implementa interfaces de E/S comuns. Para mais detalhes, consulte Tipos de dados no OSS Connector for AI/ML.
Configuração de parâmetros
Configure os parâmetros adequados ao usar o OssCheckpoint. Consulte a tabela a seguir para obter descrições detalhadas de cada parâmetro.
|
Nome do parâmetro |
Tipo |
Obrigatório |
Descrição |
|
endpoint |
string |
Sim |
Domínio de acesso ao serviço OSS. Para mais informações, consulte Regiões e endpoints. |
|
cred_path |
string |
Sim |
Caminho padrão do arquivo de autenticação: |
|
config_path |
string |
Sim |
Caminho padrão do arquivo de configuração do OSS Connector: |