Platform For AI:DSW FAQ

Parada, exclusão e liberação da instância

P: Como monto e uso meu próprio sistema de arquivos em uma instância do DSW?

Monte o OSS, NAS, CPFS ou Lingjun CPFS ao criar a instância e, em seguida, use o Terminal do DSW para navegar até o diretório de montagem e acessar seus arquivos.

P: A montagem de um conjunto de dados NAS no PAI-DSW falha com "The specified MountTarget 3b79d4a2ac-xmk97.cn-shanghai.nas.aliyuncs.com is not in VPC vpc(VPC instance)"

• Causa: um destino de montagem foi configurado quando o conjunto de dados NAS foi criado.

• Solução: deixe o destino de montagem em branco ao criar o conjunto de dados.

P: A montagem do NAS em um servidor FTP baseado em ECS falha com "mount: wrong fs type, bad option, bad superblock"

• Sintoma

  [root@iZufxxx file]# sudo mount -t nfs -o vers=4.0  3f8axxx-lfc99.cn-shanghai.nas.aliyuncs.com:/ /usr/sftp/file
  mount: wrong fs type, bad option, bad superblock on 3f8axxx-lfc99.cn-shanghai.nas.aliyuncs.com:/,
         missing codepage or helper program, or other error
         (for several filesystems (e.g. nfs, cifs) you might
         need a /sbin/mount.<type> helper program)
  
         In some cases useful info is found in syslog - try
         dmesg | tail or so.
  [root@iZufxxx file]#

• Solução

  Instale o pacote nfs-utils antes de executar o comando mount.

  yum install nfs-utils

P: Após montar um conjunto de dados OSS, acessar o diretório de montagem retorna um "Input/output error"

root@dsw-xxx:/mnt/workspace# cd /mnt
root@dsw-xxx:/mnt# ls -ll
total 9
drw-rw-r--  0   99   99  512 Jan  1  1970 data
drwxr-xr-x  5 root root 4096 Dec 13 02:42 systemDisk
drwxr-xr-x  5 root root 4096 Dec 13 02:42 workspace
root@dsw-xxx:/mnt# cd data
root@dsw-xxx:/mnt/data# ls -ll
ls: reading directory '.': Input/output error
total 0
root@dsw-xxx:/mnt/data#

O erro é causado pela função não ter permissão de acesso ao OSS (AliyunPAIDLCAccessingOSSRole). Para obter as etapas de autorização, consulte Authorize the PAI service account.

P: Como reduzo o risco de falta de memória (OOM) ao montar um conjunto de dados OSS com o Jindo?

Após montar um conjunto de dados OSS, configure parâmetros avançados para reduzir o risco de OOM:

• Opção 1: Use o Jindo 6.8.1, que inclui otimizações de memória.

  {
      "fs.jindo.fuse.pod.image.tag":"6.8.1"
  }

• Opção 2: Use o ossfs.

  Especifique o seguinte ao enviar a tarefa:

  {
      "mountType": "ossfs"
  }

  Para reduzir ainda mais o risco de OOM, desative a otimização readdirplus para reduzir o consumo de cache de metadados ao listar o conteúdo do diretório:

  {
      "mountType": "ossfs",
      "fs.ossfs.args": "-oreaddirplus=false"
  }

P: Montei o OSS com sucesso, mas por que não consigo vê-lo no navegador de arquivos do JupyterLab?

O navegador de arquivos do DSW mostra o diretório de trabalho da instância, que é /mnt/workspace por padrão. O caminho de montagem que você especificou para o OSS (por exemplo, /mnt/data) está fora do diretório de trabalho padrão, portanto, não aparece na lista de arquivos.

Para acessar os arquivos montados:

• Acesso via código: os arquivos são montados com sucesso. No seu código, use o caminho de montagem completo, por exemplo open('/mnt/data/my_file.csv').

• Altere o ponto de montagem: defina o caminho de montagem para um subdiretório dentro do diretório de trabalho, por exemplo /mnt/workspace/my_oss_data. Após a montagem, a pasta my_oss_data aparece no navegador de arquivos.

• Acesso via Terminal: execute cd /mnt/data no Terminal do DSW para navegar até o diretório de montagem e, em seguida, use ls e outros comandos para visualizar e gerenciar arquivos.

P: Ao usar um caminho OSS montado, meu programa retorna "Transport endpoint is not connected" ou "Input/output error"

Esses erros indicam que a conexão entre a instância do DSW e a montagem do OSS caiu. Causas comuns e etapas de solução de problemas:

1. Permissões da função RAM: verifique se a função RAM configurada para a instância do DSW tem permissão de acesso ao OSS (por exemplo, AliyunPAIDLCAccessingOSSRole). Permissões insuficientes são uma causa comum de falhas de leitura do OSS.

2. Recursos insuficientes do serviço de montagem: sob cargas de trabalho pesadas de leitura/gravação aleatória ou grandes quantidades de arquivos pequenos, o processo ossfs ou JindoFuse pode travar devido a condições de falta de memória (OOM). Nas Advanced settings da configuração de montagem, desative o cache de metadados ou aumente a alocação de memória. Para obter detalhes, consulte JindoFuse.

3. Restaurar a conexão:

   • Para montagens configuradas na inicialização, reinicie a instância do DSW. O sistema remontará automaticamente.

   • Use o PAI SDK para executar um comando de montagem dinâmica e remontar o caminho sem reiniciar a instância.

P: Quais tipos de armazenamento o DSW suporta para montagem? Posso montar o Alibaba Cloud Drive ou tabelas do MaxCompute?

O DSW suporta OSS, NAS e CPFS por meio da criação de conjuntos de dados ou montagem de caminho direto.

• O Alibaba Cloud Drive não é suportado: o DSW não suporta a montagem do Alibaba Cloud Drive pessoal. Armazene dados no OSS em vez disso.

• As tabelas do MaxCompute não são suportadas para montagem direta: os dados da tabela do MaxCompute (anteriormente ODPS) não podem ser montados como um diretório de sistema de arquivos. Acesse-os a partir do código do DSW usando o PAI SDK ou API. Para obter detalhes, consulte Read and write MaxCompute tables with PyODPS.

P: Meu código e dados serão perdidos se eu parar ou excluir uma instância do DSW? Como persisto e migro dados?

O disco do sistema da instância do DSW é um armazenamento temporário. Para grupos de recursos públicos, os dados são limpos se a instância ficar parada por mais de 15 dias. Para grupos de recursos dedicados, os dados são limpos quando a instância é parada ou excluída.

Para persistir dados e código e migrar entre instâncias, use armazenamento montado externo.

• Persistência: salve todos os dados, códigos e modelos importantes em um caminho montado do OSS ou NAS. Mesmo que a instância do DSW seja excluída, seus ativos permanecem seguros no seu próprio OSS ou NAS.

• Migração: para mover dados de uma instância do DSW para outra, monte o mesmo caminho do OSS ou NAS na nova instância. Esta é a abordagem de migração mais direta.

P: Montei o OSS com sucesso, mas os arquivos no meu diretório de trabalho não aparecem no OSS

O caminho de montagem padrão do OSS é /mnt/data, enquanto o diretório de trabalho padrão do DSW é /mnt/workspace. Os arquivos no diretório de trabalho não são visíveis no OSS porque estão em um caminho diferente. Copie os arquivos do diretório de trabalho para /mnt/data para torná-los visíveis no OSS:

cp -r /mnt/workspace/. /mnt/data/

P: Como copio todos os dados de /mnt/workspace para um diretório de conjunto de dados montado?

Execute o seguinte comando no Terminal da instância do DSW:

cp -r /mnt/workspace/ /mnt/data/

/mnt/data é o caminho de montagem padrão do conjunto de dados. Este comando preserva a estrutura e o conteúdo originais do arquivo. Após a cópia, verifique o status da montagem e verifique os dados do OSS com:

mount | grep oss

P: Como uso o **DSW** para ler dados do OSS?

Leia dados do OSS usando o Python SDK ou API. Para obter detalhes, consulte Read and write data in OSS.

P: Como faço o upload ou download de uma pasta?

O DSW não suporta o upload ou download de pastas diretamente. Comprima a pasta em um arquivo compactado primeiro. O Terminal do DSW fornece um ambiente Linux com ferramentas padrão como tar, gzip e unzip. O exemplo a seguir usa o tar.

1. Execute tar --version para verificar se o tar está instalado. Se não estiver, instale-o:

   # For Debian-based systems (e.g., Ubuntu)
   sudo apt install tar
   
   # For Red Hat-based systems (e.g., CentOS, Fedora)
   sudo yum install tar

2. Comprima ou extraia a pasta:

   # Compress a folder (/path/to/directory is the folder to compress)
   tar -cvf archive_name.tar /path/to/directory
   
   # Extract a folder
   tar -xvf archive_name.tar

P: Como transfiro ou compartilho dados entre duas instâncias do DSW?

Duas abordagens estão disponíveis:

• Mount a dataset, OSS, NAS, or CPFS: monte o mesmo conjunto de dados ou caminho do OSS em ambas as instâncias e armazene os dados compartilhados lá.

• Upload and download files: baixe os dados da instância de origem e, em seguida, faça o upload para a instância de destino.

P: Clicar em "Download" não tem efeito ou o download falha

Isso geralmente é causado por congestionamento de rede ou problemas no navegador. Tente o seguinte:

1. Aguarde um momento. Arquivos grandes levam mais tempo para responder.

2. Mude para um navegador diferente ou use o modo privativo (anônimo) do seu navegador.

3. Para arquivos maiores que 200 MB ou em redes instáveis, baixe via um caminho OSS montado.

P: A área de preparação de transferência de arquivos está sem espaço

A área de preparação de transferência de arquivos tem uma capacidade total de 10 GB. Acesse a página de gerenciamento da área de preparação e clear staging area files para liberar espaço. Se a página não atualizar, tente atualizar o navegador.

P: Por que o upload sempre redireciona para a área de preparação de transferência de arquivos?

Este é o comportamento esperado. Para garantir a estabilidade e a velocidade do upload, todos os arquivos maiores que 10 MB são roteados automaticamente pela área de preparação de transferência de arquivos antes de serem salvos na sua instância.

P: A barra de progresso trava ou não responde ao fazer o upload de um arquivo grande pela área de preparação de transferência de arquivos — o que devo fazer?

• Causa: Isso geralmente é causado por um ambiente de rede local instável, o que pode deixar o upload travado e a barra de progresso sem se mover, e às vezes causar uma falha na transferência.

• Solução: Faça o upload do arquivo para o Object Storage Service (OSS) primeiro e, em seguida, monte ou leia os dados do OSS a partir da instância do DSW. Para obter orientações, consulte Mount and manage data sources.

P: Como faço o upload de um arquivo grande (como um modelo com mais de 5 GB) ou grandes volumes de dados para o DSW?

O disco do sistema da instância do DSW é limitado e temporário. Em vez de fazer o upload de arquivos grandes diretamente, faça o upload dos seus dados para o Alibaba Cloud Object Storage Service (OSS) primeiro e, em seguida, monte o OSS na instância do DSW. Para obter detalhes, consulte Mount a dataset, OSS, NAS, or CPFS.

P: Por que a criação da instância do DSW falha com o erro FAIL_TO_INIT_DATASET?

Quando o caminho de montagem do OSS aponta para um arquivo em vez de um diretório, o DSW detecta durante a etapa de criação da instância que o caminho não pode ser reconhecido como um diretório. Consequentemente, ele se recusa a inicializar o conjunto de dados e retorna o erro FAIL_TO_INIT_DATASET.

Para resolver isso, verifique se existe um arquivo com o mesmo nome no mesmo nível do caminho de montagem no OSS. Se existir, exclua o arquivo ou modifique o caminho do diretório de montagem para garantir que ele aponte para um diretório válido e, em seguida, recrie a instância.

P: A conexão do ProxyClient com uma instância do DSW cai com "client_loop: send disconnect: Broken pipe"

Ao se conectar a uma instância do DSW via SSH, uma conexão ociosa pode ser derrubada e o seguinte prompt aparece:

Welcome to PAI DSW!

(base) [root@dsw-367946-867cc4957c-phxnp ~]$FATA[0245] proxy-read:websocket: close 1006 (abnormal closure): unexpected EOF
                        client_loop: send disconnect: Broken pipe

Para uma conexão mais confiável, use Remote connection: Direct SSH connection.

P: A conexão remota via VS Code falha ao abrir uma pasta local

Isso geralmente é causado pelo cliente VS Code. Faça o upload dos arquivos locais para o DSW na nuvem. Para obter instruções, consulte Upload and download files.

P: A configuração de conexão direta SSH falha com "Failed to update private zone items: Failed to add zone"

O erro indica que o serviço de resolução de DNS interno não está ativado. Ative-o seguindo as etapas em Activate Private DNS.

P: A conexão do VS Code com o DSW falha com "the input device is not a TTY"

Esse erro geralmente é causado por uma configuração TTY ausente no servidor SSH. Para corrigi-lo:

1. No Terminal da instância do DSW, edite /etc/ssh/sshd_config e adicione ou confirme a presença de PermitTTY yes.

2. Salve o arquivo e execute sudo service ssh restart para reiniciar o serviço SSH.

3. Reconecte-se usando o VS Code.

P: Posso chamar diretamente os recursos de GPU do PAI de um IDE externo para executar código?

Não. Tanto o DSW quanto o DLC exigem que o código seja executado no ambiente de nuvem. Chamar recursos de GPU do PAI diretamente de um IDE externo local via API não é suportado.

Use a conexão direta SSH para conectar um IDE local (como VS Code ou PyCharm) à instância do DSW para desenvolvimento, ou faça o upload do código para o DSW ou DLC para executá-lo. Para obter instruções de conexão SSH, consulte a seção "Conexão remota à instância" neste tópico.

P: Como uso bibliotecas de terceiros no **DSW**?

O DSW suporta a instalação de bibliotecas de terceiros. Para obter detalhes, consulte Manage third-party libraries.

P: Os pacotes instalados com pip e o código que escrevi serão perdidos após parar uma instância do DSW?

Não, se a instância usar um disco de nuvem como disco do sistema. Os dados do disco — incluindo os ambientes /mnt/workspace e /root — são preservados quando a instância é parada. Todos os ambientes e arquivos estão disponíveis quando a instância é reiniciada. Os dados só são totalmente excluídos quando a instância é excluída.

P: Por que um pacote de terceiros instalado não entra em vigor?

Após instalar um pacote com pip, se o import não conseguir encontrá-lo, reinicie o serviço ou o kernel primeiro. Se o erro persistir, verifique o ambiente Python ativo. O DSW instala pacotes no ambiente Python 3 por padrão. Para instalar em um ambiente diferente, mude para esse ambiente primeiro:

# Install into the Python 2 environment
source activate python2
pip install --user xxx

# Install into the TensorFlow 2.0 environment
source activate tf2
pip install --user xxx

Substitua xxx pelo nome do pacote a ser instalado.

P: Um comando pip install no DSW falha com um conflito de dependência ou erro de versão

Isso geralmente é causado por incompatibilidade de ambiente. Solucione o problema na seguinte ordem:

1. Mude de imagem (recomendado): pare a instância atual, crie uma nova instância do DSW e selecione uma imagem oficial diferente. Por exemplo, se o PyTorch 2.1 não funcionar, tente a imagem do PyTorch 2.3 ou a série modelscope, que geralmente tem melhor compatibilidade.

2. Instale uma versão específica: verifique a documentação do pacote para uma versão compatível com o seu ambiente DSW (versão Python/CUDA) e, em seguida, execute pip install package_name==x.y.z.

3. Mude a fonte de download: tente um espelho como o espelho PyPI da Universidade Tsinghua: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <yourLibraryName>.

• Diferenças de ambiente de imagem dedicada versus de uso geral: as imagens dedicadas (como a série isaaclab) são personalizadas para cenários específicos e podem causar inconsistências entre os ambientes Terminal e Notebook, módulos ausentes ou comportamento de comando diferente. Se você encontrar esses problemas, mude para uma imagem oficial de uso geral recomendada na documentação (como modelscope:1.26.0-pytorch2.6.0-gpu-py311-cu124-ubuntu22.04).

• A instalação do plugin novnc falha com "exit status 100": esse erro geralmente é causado por um conflito de versão do turbovnc. Pare a instância atual e mude para uma imagem oficial com dependências pré-instaladas compatíveis (como modelscope:1.34.0-pytorch2.3.1tensorflow2.16.1-gpu-py311-cu121-ubuntu22.04) para evitar instabilidade do sistema devido a downgrades manuais de pacotes.

P: Instalei uma biblioteca no Terminal do DSW, mas o Jupyter Notebook não consegue importá-la

O Terminal e o Jupyter podem estar usando ambientes Python diferentes. Execute which python para confirmar qual ambiente Python está ativo, ou instale a biblioteca diretamente no Notebook, por exemplo:

!which python
/usr/local/bin/python

!pip install bottle
Looking in indexes: https://mirrors.aliyun.com/pypi/simple/
Collecting bottle
  Downloading https://mirrors.aliyun.com/pypi/packages/83/f6/b55...
                                            103.8/103.8 kB 6.7 ...
Installing collected packages: bottle
Successfully installed bottle-0.13.4
WARNING: Running pip as the 'root' user can result in broken per...

[notice] A new release of pip is available: 23.3.2 -> 25.1.1
[notice] To update, run: pip install --upgrade pip

P: Meu código diz que a versão do driver CUDA é muito baixa. Devo atualizar manualmente o driver NVIDIA no DSW?

Não atualize o driver. Os drivers e o CUDA da instância do DSW são pré-instalados e bloqueados. A modificação manual pode corromper a instância irremediavelmente. A abordagem correta é mudar a imagem do DSW: pare a instância atual, crie uma nova e selecione uma imagem oficial com uma versão superior do CUDA e do driver.

Por exemplo, a imagem oficial modelscope:1.9.4-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04 inclui o CUDA 11.8 (indicado por cu118).

P: A imagem suporta GPU, mas meu código não consegue usá-la (torch.cuda.is_available() retorna False)

Este é um problema de invocação em tempo de execução, não uma incompatibilidade de versão do driver CUDA. Solucione o problema com as seguintes etapas:

1. Verifique a lógica do código para confirmar se o modelo ou tensor tem como alvo explícito o dispositivo GPU usando .to('cuda') ou torch.device('cuda').

2. Execute nvidia-smi no Terminal para verificar se o sistema detecta o dispositivo GPU.

3. Reinicie a instância do DSW para redefinir a alocação de recursos da GPU.

4. (Para Alibaba Cloud Linux 3) Se as etapas acima não resolverem o problema e o sistema for o Alibaba Cloud Linux 3, um problema de versão do systemd pode estar impedindo que os cgroups aloquem corretamente os dispositivos GPU. Execute sudo yum upgrade systemd no Terminal para atualizar o systemd e, em seguida, reinicie a instância.

P: Posso usar o Docker para implantar aplicativos dentro de uma instância do DSW?

Para recursos Lingjun, envie um ticket para ser adicionado à lista de permissões para uso do Docker. Para instâncias do DSW não-Lingjun, a execução do Docker dentro do contêiner da instância não é suportada.

P: A instância do DSW não tem unzip ou 7z. Como extraio arquivos?

Instale-os usando apt-get:

• Instale o unzip: execute apt-get update && apt-get install -y unzip no Terminal e, em seguida, extraia com unzip your_file.zip.

• Instale o p7zip (para 7z): execute apt-get update && apt-get install -y p7zip-full no Terminal e, em seguida, extraia com 7z x your_file.7z.

P: A instalação do pacote trava ou atinge o tempo limite

Travamentos na instalação, tempos limite ou velocidades muito lentas são geralmente causados por problemas de rede. Solucione o problema com as seguintes etapas:

Etapa 1: Verificar a conectividade de rede

Execute ping www.aliyun.com no Terminal para testar o acesso à internet. Se a rede estiver inacessível, prossiga para a etapa 2.

Etapa 2: Verificar a configuração do gateway

Na página de configuração da instância, verifique o tipo de Internet Access Gateway:

• Gateway público: O DSW usa o Public Gateway por padrão. Verifique o tipo de gateway na página de configuração da instância. O gateway público tem limites de largura de banda que podem ser insuficientes para arquivos grandes — considere mudar para um gateway privado.

• Gateway privado: o gateway privado fornece velocidades de rede mais altas, mas requer um NAT gateway público com um EIP e uma entrada SNAT configurados na VPC. Sem isso, a instância não consegue acessar a internet. Para obter detalhes, consulte Improve internet access with a private gateway.

Etapa 3: Mudar a fonte de download do pip

O DSW usa o espelho do Alibaba Cloud por padrão, que pode ser lento durante os horários de pico ou flutuações de rede. Tente mudar para outro espelho doméstico:

# Tsinghua University mirror (recommended)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn <yourLibraryName>

# USTC mirror
pip install -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host pypi.mirrors.ustc.edu.cn <yourLibraryName>

# Douban mirror
pip install -i https://pypi.doubanio.com/simple --trusted-host pypi.doubanio.com <yourLibraryName>

Para alterar permanentemente a fonte padrão do pip, consulte View or change the pip source.

Etapa 4: Usar instalação offline

Se a rede estiver indisponível ou altamente instável, instale os pacotes offline:

1. Em uma máquina local com uma boa conexão de rede, baixe o pacote .whl:

   # Run on the local machine
   pip download <yourLibraryName> -d ./packages

2. Faça o upload do arquivo .whl para a instância do DSW. Para obter instruções de upload, consulte Upload and download files.

3. Instale o pacote offline no DSW:

   pip install /path/to/your-package.whl

P: Como obtenho acesso root no WebIDE do DSW?

A maioria das imagens oficiais do DSW é executada como root por padrão. Se o prompt do Terminal mostrar root@..., você já está executando como root. O aviso "not recommended to run as root" do pip pode ser ignorado com segurança. Se sua imagem não usar login root, essa é uma configuração específica da imagem — mude para uma imagem que suporte acesso root.

P: Como inicio um servidor X no DSW?

O DSW não suporta a inicialização de um servidor X.

P: Como implanto um modelo gerado pelo **DSW**?

• Implantar com o EAS

  Após concluir o treinamento do modelo, implante-o como um serviço online usando o PAI-EAS. Para obter detalhes, consulte Deploy a model as an online service.

• Baixar o modelo para implantação local

  Clique com o botão direito no modelo gerado pelo DSW para baixá-lo para sua máquina local.

P: Por que sou solicitado a fazer login novamente após deixar a página ociosa por um tempo?

Por segurança, a sessão de login do DSW expira após 3 horas. Você precisará fazer login novamente após a expiração, mas isso não afeta nenhuma tarefa em execução. Para tarefas de longa duração, execute-as no Terminal do DSW usando o comando nohup para mantê-las em execução em segundo plano.

A duração do tempo limite da sessão atualmente não é configurável e o padrão é de 3 horas, portanto, você não pode modificar o tempo limite da sessão ou definir uma duração de desconexão.

P: Se eu fechar o navegador ou desligar meu computador, os trabalhos de treinamento no DSW continuarão em execução?

Sim. As instâncias do DSW são executadas na nuvem, portanto, fechar seu dispositivo local não afeta o estado delas. No entanto, algumas instâncias — especialmente as instâncias de teste gratuito — podem ter uma política de parada automática por ociosidade configurada. Se a utilização da CPU ou da GPU ficar abaixo de um determinado limiar por um período de tempo, o sistema pode tratar a instância como ociosa e pará-la automaticamente, interrompendo suas tarefas.

P: O DSW suporta destilação de modelo?

O DSW fornece apenas um ambiente de desenvolvimento baseado em nuvem e não oferece um recurso de destilação de modelo com um clique. Se você deseja realizar a destilação de modelo com um clique, pode usar o PAI Model Gallery. Para obter detalhes, consulte Model Distillation.

P: Por que o preenchimento automático de tab e outros recursos do bash não estão disponíveis no Terminal?

Algumas imagens têm restrições de uso. Digite bash no Terminal e pressione Enter para ativar os recursos do bash.

# bash
root@dsw-xxx-rxdxg:/mnt/workspace# ls
demos  lingxitest.tar
root@dsw-xxx-rxdxg:/mnt/workspace#

P: O que devo fazer se o tipo de instância do DSW não atender aos meus requisitos?

Atualize o tipo de instância seguindo estas etapas:

1. Na lista de instâncias do DSW, clique no nome da instância para abrir a página de detalhes da instância.

2. Na aba Instance Settings, clique em Change Settings.

3. No painel Change Instance Settings, atualize o tipo de instância.

   Nota

   Se a instância estiver em execução quando você atualizar o tipo, a instância será reiniciada imediatamente. Certifique-se de ter salvo todo o trabalho na instância antes de prosseguir.

P: A utilização de memória está alta — como libero memória?

Se o uso de memória estiver afetando as operações normais, use uma destas abordagens:

• Se a memória estiver tão alta que você não consegue mais interagir via linha de comando, clique em Stop Instance no canto superior direito, ou volte para o DSW console e clique em Stop ao lado da instância. Aguarde a instância parar e, em seguida, reabra-a.

• Se você ainda puder interagir via linha de comando, execute o top no Terminal da instância para visualizar o uso de memória por processo. %MEM mostra a porcentagem de memória e PID mostra o ID do processo.

  top – 10:40:20 up 22 min,  0 users,  load average: 0.95, 0.40, 0.15
  Tasks:  21 total,   2 running,  19 sleeping,   0 stopped,   0 zombie
  %Cpu(s): 12.9 us,  0.6 sy,  0.0 ni, 86.4 id,  0.0 wa,  0.0 hi,  0.0 si,  0.0 st
  MiB Mem :  16000.0 total,   5889.6 free,   8838.5 used,   1271.9 buff/cache
  MiB Swap:      0.0 total,      0.0 free,      0.0 used.   5889.6 avail Mem
  
    PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
    360 root      20   0 8992776   8.0g  17096 R 100.0  51.1   2:12.54 python
    207 root      20   0   11.2g 304160  50372 S   4.0   1.9   0:44.11 node
    106 root      20   0  288712 104764  18316 S   1.0   0.6   0:03.11 jupyter-lab
    122 root      20   0  638252 104652  32672 S   1.0   0.6   0:17.24 app
    244 root      20   0  648536  54848  37924 S   0.3   0.3   0:01.22 node
      1 root      20   0   10416   3828   3464 S   0.0   0.0   0:00.04 bash
     90 root      20   0   15420   3856   2240 S   0.0   0.0   0:00.00 sshd
     99 root      20   0   34500  25712  10688 S   0.0   0.2   0:00.48 supervisord
    100 root      20   0   16280   8612   5140 S   0.0   0.1   0:00.01 supervisor_stdo
    101 root      20   0   10420   3632   3300 S   0.0   0.0   0:00.00 launch_dswagent
    102 root      20   0   10420   3724   3384 S   0.0   0.0   0:00.00 launch_jupyterl
    103 root      20   0   10420   3628   3280 S   0.0   0.0   0:00.00 launch_code_ser
    105 root      20   0   29632  28416   1668 S   0.0   0.2   0:01.51 app
    154 root      20   0  721936  63232  37132 S   0.0   0.4   0:00.59 node
    172 root      20   0  995584 131364  41032 S   0.0   0.8   0:05.36 node
    218 root      20   0  848572  50384  37464 S   0.0   0.3   0:00.24 node
    256 root      20   0   10684   4468   3768 S   0.0   0.0   0:00.00 bash
    311 root      20   0  134328  50316  10432 S   0.0   0.3   0:00.93 python
    312 root      20   0  138020  54140  11004 S   0.0   0.3   0:01.06 python
   3670 root      20   0   10656   4368   3704 S   0.0   0.0   0:00.09 bash
   3694 root      20   0   13224   3980   3400 R   0.0   0.0   0:00.08 top

  Para encerrar um processo com alto uso de memória, execute:

  kill PID

  Substitua PID pelo ID do processo que deseja encerrar. A utilização de memória deve cair após a execução do comando.

  C 0.9%  M 4.3%

P: RuntimeError: CUDA error: too many resources requested for launch

Causa: Este erro significa que um kernel CUDA está solicitando mais recursos do que os disponíveis. Geralmente está relacionado aos limites de hardware da GPU.

Solução: Reinicie a instância e execute o programa novamente. Se o erro persistir, mude para uma instância de GPU com especificações superiores.

P: Posso criar um espaço de swap para usar memória virtual quando o DSW ficar sem memória?

O DSW é executado como um contêiner e não suporta a criação ou gerenciamento de espaço de swap pelos seguintes motivos:

• Restrições de permissão: Os contêineres têm permissões de kernel limitadas e não podem montar arquivos de swap. Mesmo com acesso root dentro do contêiner, as políticas de recursos no nível do host não podem ser contornadas.

• Política da plataforma: A plataforma gerencia e limita os recursos centralmente para garantir estabilidade e segurança em um ambiente multilocatário.

Se você estiver com pouca memória, otimize seu código ou atualize o tipo de instância.

P: Como soluciono e resolvo um erro de falta de memória (OOM) enquanto uma instância do DSW está em execução?

Quando uma instância do DSW relata um erro de falta de memória (OOM) ou o OOM killer do kernel encerra um processo, solucione o problema na seguinte ordem:

1. No Terminal, execute top, pressione M para classificar os processos por uso de memória e use a coluna %MEM para identificar processos com alto uso de memória e seus PID valores.

2. Confirme se o processo com alto uso de memória não é necessário e, em seguida, execute kill -9 <PID> para encerrá-lo. Substitua <PID> pelo ID do processo identificado na etapa anterior.

3. Se a instância estiver travada ou não puder aceitar comandos porque a memória está esgotada, use o PAI console para Stop e, em seguida, inicie-a novamente. Parar a instância não exclui dados.

4. Se a memória permanecer insuficiente, atualize o tipo de instância. Chame ListEcsSpecs para consultar os tipos de instância disponíveis e, em seguida, chame UpdateInstance para alterar o tipo de instância. Alternativamente, na página de detalhes da instância do DSW, abra a aba Instance Settings, clique em Change Settings e atualize o tipo de instância no painel Change Instance Settings. Antes de alterar a configuração de uma instância em execução, salve seu trabalho porque a alteração do tipo de instância a reinicia imediatamente.

5. Reduza o uso de pico de memória no seu código diminuindo o tamanho do lote, usando acumulação de gradiente para preservar o tamanho efetivo do lote, excluindo variáveis desnecessárias com del e chamando gc.collect() para recuperar memória.

Perguntas frequentes relacionadas

Use as seguintes perguntas frequentes neste tópico para orientações complementares:

• P: A utilização de memória está alta — como libero memória? explica como inspecionar o uso de memória por processo e recuperar uma instância que não responde.

• P: Posso criar um espaço de swap para usar memória virtual quando o DSW ficar sem memória? explica por que o espaço de swap não está disponível em uma instância do DSW.

• P: Como reduzo o risco de falta de memória (OOM) ao montar um conjunto de dados OSS com o Jindo? descreve opções de configuração de montagem que economizam memória.

P: A VRAM de várias placas GPU pode ser combinada? Qual é o limite da VRAM de uma única GPU?

Não, a VRAM de várias placas GPU (por exemplo, 2 x A10) não pode ser simplesmente somada. A VRAM da GPU é fisicamente isolada — seu programa vê vários espaços de VRAM independentes, e não um grande pool combinado.

No modo de treinamento padrão, cada GPU deve carregar independentemente o conjunto completo de parâmetros do modelo, gradientes e estados do otimizador. Se um trabalho pode ser executado é, portanto, determinado pelo limite de VRAM de uma única GPU. Se a VRAM exigida pelo seu modelo exceder a capacidade de uma única GPU (por exemplo, 24 GB em uma única A10), o trabalho fica sem memória (CUDA out of memory) mesmo que várias placas GPU estejam conectadas.

P: O DSW suporta passthrough de GPU, carregamento do módulo nvidia-drm ou habilitação de comunicação P2P?

O DSW tem as seguintes limitações nesta área:

• As instâncias de contêiner do DSW não suportam o carregamento do módulo de kernel nvidia-drm ou passthrough de GPU. Os recursos da GPU são montados apenas através de --gpus=all.

• A comunicação P2P entre placas GPU é determinada pelo hardware subjacente. A plataforma não fornece uma opção no nível do usuário para habilitá-la. Se o nvidia-smi mostrar NS, o hardware atual não suporta comunicação P2P e ela não pode ser habilitada por software.

• O PAI é um serviço gerenciado. Ele não suporta a instalação de drivers ou patches personalizados para habilitar a comunicação P2P — os drivers da GPU e a capacidade de comunicação subjacente são gerenciados uniformemente pela plataforma.

P: O VS Code mostra linhas onduladas vermelhas no código Python no DSW — o que devo fazer?

Linhas onduladas vermelhas podem aparecer no WebIDE do DSW (VS Code) mesmo quando a sintaxe está correta. Isso geralmente é um problema de análise específico do ambiente de IDE na nuvem. Siga estas etapas para diagnosticar o problema:

1. Recorte e cole o código em um editor VS Code local para verificar se os erros aparecem lá. Isso confirma se o problema é específico do ambiente de IDE na nuvem.

2. Se a verificação local estiver limpa, faça o upload novamente ou cole o código de volta no DSW.

3. Se o problema persistir e estiver afetando seu desenvolvimento, envie um ticket para investigação adicional pelo suporte técnico do PAI.

P: Posso alterar a região de uma instância do DSW? Os dados migrarão automaticamente?

As instâncias do DSW não suportam a alteração de regiões ou zonas de disponibilidade, e os dados não migram automaticamente.

• Para usar o DSW em uma região diferente, crie uma imagem personalizada a partir da instância atual na região original para fazer backup dos seus dados e, em seguida, crie uma nova instância a partir dessa imagem na região de destino.

• Se a criação da instância falhar devido a recursos insuficientes, tente um tipo de instância diferente ou aguarde até que os recursos fiquem disponíveis. Isso não envolve uma mudança de região e seus dados não serão perdidos.

P: Como preservo os dados ao mudar uma instância do DSW para uma região diferente?

A abordagem depende da sua configuração de armazenamento:

1. Sem armazenamento externo (apenas disco do sistema): Criar uma nova instância em uma região diferente sem um backup resultará em perda de dados. Crie primeiro uma imagem personalizada a partir da instância em execução na região original e, em seguida, crie uma nova instância a partir dessa imagem na região de destino para restaurar seu ambiente e dados.

2. Armazenamento NAS/OSS montado: Seus dados existem independentemente da instância e não requerem um backup de imagem. Migre os dados no NAS/OSS diretamente para a região de destino.

P: O PAI-DSW suporta migração de workspace entre regiões com um clique?

O DSW não suporta importação com um clique entre regiões. Como alternativa, faça o upload de arquivos do workspace de origem para uma área de preparação de transferência de arquivos ou OSS e, em seguida, baixe-os ou monte-os em uma instância do DSW na região de destino.