Acelerando leituras de dados com cache local do Lingjun - Platform For AI: Central de Documentação do Alibaba Cloud

O treinamento de IA frequentemente envolve a leitura repetida de grandes conjuntos de dados, o que pode gerar sobrecarga significativa na rede e reduzir a eficiência do processo. Para resolver isso, o PAI (Platform of AI) oferece aceleração de cache local para o Lingjun AI Computing Service. Esse recurso armazena dados em cache nos nós de computação locais para reduzir a sobrecarga da rede, aumentar o throughput do treinamento e melhorar o desempenho de leitura de dados, acelerando seus jobs de treinamento de IA.

Benefícios

Cache de alta velocidade: Cria caches de leitura em nó único e distribuídos usando a memória e os discos locais dos nós de computação. Esses caches aceleram o acesso ao conjunto de dados e aos checkpoints, reduzindo significativamente a latência de acesso aos dados.
Dimensionamento horizontal: O throughput do cache escala linearmente conforme o número de nós de computação, compatível com ambientes de centenas ou milhares de nós.
Distribuição de modelos Peer-to-peer (P2P): Permite carregamento e distribuição de modelos em grande escala com alta concorrência via tecnologia Peer-to-peer (P2P). O recurso aproveita a rede de alta velocidade entre nós GPU para leituras paralelas aceleradas de dados frequentes.
Serverless e fácil de usar: Ative ou desative o recurso com um único clique. Não requer modificação de código e opera de forma não intrusiva, eliminando a necessidade de manutenção.

Limitações e observações

Armazenamento compatível: Object Storage Service (OSS) e Lingjun CPFS.
Recursos aplicáveis: Disponível apenas para recursos do Lingjun AI Computing Service. Quando ativado, consome recursos em cada nó de computação (CPU: 4 núcleos, Memória: 14 GB).
Capacidade e política: A capacidade máxima do cache depende das especificações dos seus recursos do Lingjun AI Computing Service. A política de evicção é Least Recently Used (LRU).
Objetivo da aceleração: Foca em melhorar o desempenho de leitura de dados. Operações de escrita não são suportadas.
Alta disponibilidade de dados: O cache local não oferece alta disponibilidade; dados em cache podem ser perdidos. Faça backup dos dados importantes de treinamento imediatamente.
Funcionamento: Durante o treinamento multi-epoch, a primeira epoch lê dados da instância de armazenamento, como Object Storage Service (OSS) ou Lingjun CPFS, com desempenho equivalente à leitura direta. Nas epochs subsequentes, a leitura ocorre do cache local, aumentando a velocidade.

Procedimento

Ative o cache local na cota de recursos. No painel de navegação à esquerda, acesse Resource Quota > Intelligent Computing LINGJUN Resources e clique no nome da cota desejada. Ative a chave Enable Local Cache e especifique os caminhos de armazenamento a serem armazenados em cache.

Se utilizar cotas de recursos aninhadas, certifique-se de ativar o cache local na cota de recursos de nível superior.

Na seção Advanced Information, após ativar a chave Local Cache, clique em View Configuration para visualizar os serviços de armazenamento configurados, incluindo o URI do OSS e o sistema de arquivos do Lingjun CPFS.
Crie um job DLC usando recursos Lingjun da cota de recursos alvo e ative Use Cache. Se um endereço de armazenamento montado corresponder a um endereço em cache especificado na Etapa 1, a aceleração será ativada por padrão. Caso necessário, desative-a.

Na etapa Environment Information, dentro da seção Direct Mount, configure o URI de montagem do OSS e um caminho de montagem, como /mnt/data/. A chave Use Cache correspondente é ativada automaticamente.

Configurar regras de entrada do grupo de segurança

Se utilizar um Enterprise Security Group, adicione uma regra de entrada para permitir o tráfego da sua Virtual Private Cloud (VPC).

Na página da cota de recursos, localize o grupo de segurança configurado na seção Network Information. Anote o nome ou ID do grupo de segurança para localizá-lo posteriormente.
Ao ativar a aceleração de cache, o número de portas de entrada configuradas deve ser igual ao número de serviços de armazenamento configurados. Este exemplo utiliza quatro serviços.

Na página da cota de recursos, na seção Advanced Information, ative a chave Cache Acceleration. Na caixa de diálogo Enable Local Cache exibida, a lista Storage Services mostra o número de entradas OSS configuradas. Neste exemplo, há quatro entradas, portanto configure quatro portas de entrada.
Acesse seu grupo de segurança. Se for um Enterprise Security Group, adicione uma regra de entrada.

Parâmetros da regra: Defina Authorization Policy como Allow, Priority como 1 e Protocol como Custom TCP. Defina Source como o tipo IPv4 e insira 10.0.0.0/8 (o bloco CIDR desta VPC). Para Destination (esta instância), selecione o tipo Port e insira 10080/10083. Após concluir a configuração, clique em Submit. O campo Source corresponde ao bloco CIDR do vSwitch utilizado pela cota de recursos. Em Destination, configure as portas. O número de portas deve ser igual ao número de serviços de armazenamento na configuração do cache. Se houver n serviços de armazenamento, configure o intervalo de portas como 10080/10080+n-1, onde n<=10 (ou seja, o intervalo é 10080-10080+n-1). Por exemplo, com quatro serviços de armazenamento configurados, o intervalo de portas será 10080/10083.