Platform For AI:Pré-treinamento contínuo para LLMs

Preparar dados para o pré-treinamento contínuo

O pré-treinamento contínuo usa o toolkit Pai-Megatron-Patch, que aplica técnicas de aceleração do Megatron-LM para treinar LLMs e modelos de linguagem visual (VLMs).

O Pai-Megatron-Patch exige dados de pré-treinamento no formato MMAP, um formato pré-tokenizado que reduz o tempo de carregamento de grandes conjuntos de dados. Converta os dados brutos para o formato MMAP seguindo o tutorial de conversão de dados ou usando o componente "Convert text data to mmap format" no PAI-Designer. Os arquivos de saída devem ser nomeados como dataset.bin e dataset.idx. O PAI disponibiliza um conjunto de dados de exemplo para testes:

wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.bin
wget https://atp-modelzoo-wlcb-pai.oss-cn-wulanchabu.aliyuncs.com/release/models/pai-megatron-patch/llama3-datasets/wudao_llama3bpe_content_document.idx
mv wudao_llama3bpe_content_document.bin dataset.bin
mv wudao_llama3bpe_content_document.idx dataset.idx

Usar o PAI-QuickStart para pré-treinamento contínuo

Após preparar os dados, execute o pré-treinamento contínuo no PAI-QuickStart. Este procedimento usa o Qwen2-72B como exemplo.

1. Acesse a página Model Gallery.

   1. Faça login no PAI console.

   2. No canto superior esquerdo, selecione uma região.

   3. No painel de navegação à esquerda, escolha Workspaces e clique em no nome de um workspace.

   4. No painel de navegação à esquerda, escolha QuickStart > Model Gallery.

2. Na página Model Gallery, clique em Qwen2-72B-Base (Megatron-CPT).

3. Na página Model Details, clique em Train. Configure os seguintes parâmetros:

   • Training output: Defina a saída como um conjunto de dados NAS (Crie dataset). Os checkpoints do Megatron são salvos na subpasta checkpoint do diretório de saída.

   • Compute resources: Mínimo de 32 GPUs A100/A800/H100/H800 (80 GB) distribuídas em quatro nós.

   • Hyperparameters: Ajuste conforme seu conjunto de dados e recursos computacionais ou mantenha os valores padrão.

     Parameter	Default	Type	Description
     job_name	qwen2-72b-cpt	string	Tipo de tarefa de treinamento. Não modifique.
     batch_size	1	int	Amostras de dados processadas por GPU por iteração.
     global_batch_size	32	int	Total de amostras em todas as GPUs por iteração. Equivale a batch_size * número de GPUs.
     learning_rate	5e-5	float	Taxa de aprendizado.
     min_learning_rate	5e-6	float	Taxa mínima de aprendizado.
     sequence_length	1024	int	Comprimento da sequência de texto.
     pad_length	128	int	Comprimento de preenchimento para sequências de texto.
     save_interval	1000	int	Número de iterações de treinamento entre checkpoints.
     train_tokens	1638400	int	Total de tokens para treinamento. Tokens consumidos por iteração = global_batch_size * sequence_length.
     warmup_tokens	163840	int	Total de tokens para a fase de aquecimento.

4. Clique em Train. O PAI-QuickStart inicia o treinamento e exibe o status e os logs da tarefa.

(Opcional) Converter checkpoint do modelo para o formato Hugging Face

O pré-treinamento do Qwen2-72B gera arquivos no formato Megatron Dense Checkpoint. Para converter para o formato Hugging Face, use a ferramenta de conversão de formato de modelo Megatron-Core.