Platform For AI:DSW FAQ

P: Faturamento do DSW e cobranças por ociosidade

• O DSW suporta métodos de faturamento por assinatura e pagamento conforme o uso. Para detalhes de faturamento, consulte Faturamento do DSW.

• No modelo de pagamento conforme o uso, você é cobrado enquanto sua instância está em execução. O faturamento continua desde que a instância esteja em estado 'running', mesmo que você não esteja executando código ou tenha o WebIDE aberto.

P: Como visualizo minha fatura do **DSW**?

Usuários de pagamento conforme o uso podem visualizar detalhes da fatura na página de Despesas e Custos. Visualizar detalhes da fatura.

P: Cobranças após parar uma instância

Cobranças que continuam após você parar uma instância geralmente ocorrem por dois motivos principais:

• Atraso no faturamento: Para instâncias DSW de pagamento conforme o uso, há um atraso na geração e dedução da fatura. Uma cobrança recebida pode ser referente ao uso ocorrido antes da instância ser parada, não ao uso posterior.

• Expansão do disco do sistema: Se você expandiu o disco do sistema ao criar a instância DSW, continuará a incorrer em taxas de armazenamento para o disco, mesmo quando a instância estiver em estado 'stopped'. Um disco de sistema expandido não pode ser reduzido. Para interromper todas as cobranças de armazenamento, você deve excluir a instância. Antes de excluir a instância, certifique-se de fazer backup de todos os dados necessários. Os dados não podem ser recuperados após a exclusão da instância.

  Para verificar se o disco do sistema foi expandido, clique no nome da instância para acessar a página de detalhes da instância. Verifique se a capacidade do disco do sistema excede a cota gratuita. Instâncias em um grupo de recursos públicos recebem 100 GiB de capacidade gratuita.

  

P: Interromper todo o faturamento

• A única maneira de interromper completamente todo o faturamento de uma instância DSW é excluir a instância. Antes de excluir a instância, certifique-se de fazer backup de todos os dados necessários. Os dados não podem ser recuperados após a exclusão da instância.

  

• Alterne entre diferentes workspaces e regiões para garantir que todas as instâncias sejam excluídas.

  

P: Faturamento por minuto no modelo de pagamento conforme o uso

Instâncias de pagamento conforme o uso são faturadas por minuto. A fórmula é: Valor da Fatura = (Taxa Horária / 60) × Duração Real do Serviço (em minutos).

P: Erro "Failed to pull image" para repositórios privados

Para criar uma instância DSW usando uma URL de imagem de um repositório privado, como um repositório privado do Alibaba Cloud Container Registry (ACR), você deve inserir o nome de usuário e a senha do repositório.

P: Erro na criação de imagem: "insufficient capacity of ephemeral storage"

Causa: Este erro ocorre quando o espaço disponível no disco do sistema é insuficiente para a camada de gravação da imagem.

Solução: No Terminal do DSW, execute df -h para verificar o uso do disco. Certifique-se de que o espaço usado pelo overlay não exceda o espaço disponível em /dev/vda4. Se exceder, resolva definindo um Custom Excluded Path ao criar a imagem.

P: Como usar imagens Docker no DSW?

• Para iniciar uma instância DSW a partir de uma imagem Docker, envie a imagem para o Alibaba Cloud Container Registry (ACR), adicione-a como uma imagem personalizada no seu workspace PAI e selecione-a ao criar a instância.

  • Para enviar uma imagem Docker para o Container Registry (ACR), consulte Usar uma instância Personal Edition para enviar e baixar imagens.

  • Para adicionar uma imagem personalizada do PAI, consulte imagens personalizadas.

• Para empacotar o ambiente atual do DSW como uma imagem para iniciar outras instâncias ou implantar modelos, consulte Criar uma Imagem de Instância DSW.

• Instalar e usar Docker no cloud IDE do DSW: Apenas instâncias DSW criadas a partir de um Lingjun Resource Group ou de um General Resource Group Versão 1.0 suportam o recurso de contêiner aninhado. Gerenciar Contêineres Aninhados com DockerBoard e Usar Docker no DSW.

P: Por que a criação de imagem DSW falha ou atinge timeout?

• Limite de tamanho de imagem excedido: Ao criar uma imagem DSW, uma única camada de imagem não pode exceder 10 GiB. Caso contrário, a compilação falha. Reduza o tamanho da imagem para evitar esse erro.

• Incompatibilidade de região: A instância DSW e a instância do Container Registry (ACR) devem estar na mesma região. Caso contrário, o sistema não consegue encontrar o repositório de imagens correspondente durante a criação da imagem.

• Espaço insuficiente no disco do sistema: Durante a criação da imagem, se o espaço disponível no disco do sistema for menor que o tamanho dos dados necessários para a camada da imagem, ocorre um erro "insufficient capacity of ephemeral storage".

• Problemas de rede: A Personal Edition do ACR envia imagens pela rede pública. Instabilidade na rede ou tempos de transferência longos podem causar falha ou timeout no envio de imagens grandes. Para um desempenho mais rápido e estável, vincule uma instância Enterprise Edition do ACR à mesma VPC da instância DSW para enviar imagens pela rede interna.

P: Botão "Create Image" desabilitado ou repositório de imagens não encontrado

1. Status incorreto da instância: Você só pode usar o recurso "Create Image" em instâncias DSW running. O botão fica desabilitado se a instância estiver stopped ou em qualquer outro estado.

2. Pré-requisitos não atendidos ou erro de configuração:

   • Você deve primeiro criar uma instância do Container Registry (ACR) na mesma região da instância DSW e, em seguida, criar um namespace e um repositório de imagens dentro dele.

   • Certifique-se de que a instância DSW e a instância ACR estejam na mesma região.

P: Erro na criação de imagem: "Push container failed..."

Ao criar uma imagem, certifique-se de que os dados em uma única camada não excedam 10 GiB; caso contrário, a compilação falhará. Para instâncias DSW que usam grupos de recursos públicos, você pode definir um Custom Exclusion Path para excluir arquivos ou diretórios da imagem final. Alternativamente, você pode montar um caminho de armazenamento, como um caminho OSS, para armazenar e acessar seus dados.

Tamanho e uso do disco do sistema

Por padrão, arquivos e dados em uma instância DSW são armazenados no disco do sistema, que vem com uma cota gratuita.

• Verificar a cota gratuita

  Instâncias DSW em um grupo de recursos públicos incluem uma cota gratuita de 100 GiB. Recursos de computação de uso geral incluem um disco de sistema gratuito apenas com tipos específicos de instância. Recursos de Computação Inteligente Lingjun não fornecem discos em nuvem gratuitos. Verifique a cota gratuita na seção System Disk da página de configuração da instância:

  1. Clique no nome da instância na página Instance List.

  2. No canto superior direito, clique em Change Settings e role para baixo até a seção System Disk.

  

• Verificar o uso do disco do sistema

  Clique no nome da instância DSW para visualizar o uso do disco do sistema na seção Environment Information.

  

• O que fazer quando o disco do sistema está cheio

  Se o uso do disco do sistema exceder a cota gratuita, você pode expandir o disco do sistema ou montar um dataset.

Redução do disco do sistema

Não. Um disco de sistema DSW não pode ser reduzido após uma expansão. Se o disco do sistema de uma instância DSW for maior do que você precisa, faça backup das informações importantes usando um dataset, OSS, NAS ou CPFS. Após o backup, você pode excluir a instância DSW para interromper o faturamento. Em seguida, crie uma nova instância DSW com um tamanho de disco do sistema apropriado.

P: Montar e usar um sistema de arquivos personalizado

Você pode montar um sistema de arquivos OSS, NAS ou CPFS ao criar uma nova instância. Em seguida, acesse o diretório montado através do Terminal do DSW para visualizar e usar seus arquivos.

P: Erro de montagem NAS: "MountTarget ... is not in VPC"

• Causa: Este erro ocorre porque você configurou um ponto de montagem ao criar o dataset NAS.

• Solução: Deixe o campo de ponto de montagem vazio ao criar o dataset.

P: Erro de montagem: "wrong fs type, bad option, bad superblock"

• Sintoma

• Solução

  Antes de executar o comando mount, instale o pacote nfs-utils.

  yum install nfs-utils

P: "Input/output error" ao acessar um dataset OSS montado

Esse problema ocorre porque a função não possui as permissões de acesso ao OSS necessárias (AliyunPAIDLCAccessingOSSRole). Para etapas específicas de autorização, consulte Autorização da conta de serviço PAI.

P: Reduzir o risco de OOM ao montar OSS com JindoFuse

Você pode resolver esse problema usando um dos dois métodos:

• Método 1: Use JindoFuse 6.8.1, que possui uso de memória otimizado.

  {
      "fs.jindo.fuse.pod.image.tag":"6.8.1"
  }

  

• Método 2: Use ossfs.

  Ao enviar a tarefa, especifique o seguinte:

  {
      "mountType": "ossfs"
  }

  

  Para reduzir o uso de cache de metadados ao listar conteúdos de diretório e mitigar problemas de OOM, você pode desativar a otimização readdirplus com a seguinte configuração:

  {
      "mountType": "ossfs",
      "fs.ossfs.args": "-oreaddirplus=false"
  }

P: OSS montado não visível no navegador de arquivos do JupyterLab

Isso ocorre porque o navegador de arquivos do DSW mostra o diretório de trabalho da instância por padrão, que geralmente é /mnt/workspace. O caminho de montagem especificado para o OSS, por exemplo, /mnt/data, não está sob o diretório de trabalho padrão, então o navegador de arquivos não o exibe na lista de arquivos.

Soluções:

• Acesso via código: Seus arquivos já foram montados com sucesso. No seu código, você deve usar o caminho completo de montagem para acessá-los, como open('/mnt/data/my_file.csv').

• Alterar o ponto de montagem: Para visualizar facilmente os arquivos na UI, defina o caminho de montagem como um subdiretório do diretório de trabalho durante a configuração, como /mnt/workspace/my_oss_data. Após a conclusão da montagem, você verá seus arquivos OSS na pasta my_oss_data no navegador de arquivos.

• Acesso via Terminal: Use o comando cd /mnt/data no Terminal do DSW para mudar para o diretório montado e, em seguida, use comandos como ls para visualizar e gerenciar arquivos.

P: Erros de montagem OSS: "Transport endpoint not connected" ou "Input/output error"

Este erro indica que a instância DSW perdeu sua conexão de montagem com o OSS. As possíveis causas e etapas de solução de problemas são as seguintes:

1. Problema de permissão da função RAM: Verifique se a função RAM configurada para sua instância DSW tem permissões para acessar o OSS (por exemplo, AliyunPAIDLCAccessingOSSRole). Permissões insuficientes são uma causa comum dessa falha de conexão.

2. Recursos insuficientes para o serviço de montagem: Durante operações intensivas de leitura/gravação aleatória ou operações em um grande número de arquivos pequenos, o processo ossfs ou JindoFuse responsável pela montagem pode travar devido a um erro de Out of Memory (OOM). Na configuração avançada de montagem, você pode desativar o cache de metadados ou aumentar a alocação de memória. JindoFuse.

3. Restaurar a conexão:

   • Para montagens configuradas na inicialização, a maneira mais fácil de restaurar a conexão é reiniciar a instância DSW. O sistema remontará o caminho automaticamente.

   • Você também pode usar o PAI SDK para executar um comando de montagem dinâmica e remontar o caminho sem reiniciar a instância.

P: Tipos de montagem suportados no DSW

O DSW pode montar serviços de armazenamento em nuvem como OSS, NAS e CPFS, seja criando datasets ou montando caminhos diretamente.

• Alibaba Cloud Drive não é suportado: O DSW atualmente não suporta a montagem direta de um Alibaba Cloud Drive pessoal. Recomendamos armazenar dados que precisam ser processados no OSS.

• Montagem de tabelas MaxCompute não é suportada: Tabelas MaxCompute (anteriormente ODPS) não podem ser montadas diretamente como um sistema de arquivos no DSW. Use os SDKs ou APIs fornecidos pelo PAI para ler e gravar esses dados. Ler e gravar tabelas MaxCompute usando PyODPS.

P: Persistência e migração de dados para instâncias DSW

O disco do sistema de uma instância DSW é um armazenamento efêmero. Para instâncias em um grupo de recursos públicos, os dados são limpos se a instância ficar parada por mais de 15 dias. Para instâncias em um grupo de recursos dedicados, os dados no disco do sistema também são limpos quando a instância é parada ou excluída.

Para persistir seu código e dados e migrá-los entre instâncias, use armazenamento montado externamente.

• Solução de persistência: Salve todos os seus dados importantes, códigos e modelos em caminhos OSS ou NAS montados. Isso garante que seus ativos permaneçam seguros em seu próprio OSS ou NAS, mesmo se a instância DSW for excluída.

• Solução de migração: Quando precisar migrar dados de uma instância DSW para outra, basta montar o mesmo caminho OSS ou NAS que contém os dados na nova instância. Esta é a maneira mais conveniente de migrar dados.

P: Arquivos do diretório de trabalho não aparecem no OSS montado

O caminho de montagem padrão do OSS é /mnt/data, que é separado do diretório de trabalho padrão do DSW em /mnt/workspace. Portanto, os arquivos no seu diretório de trabalho não ficam automaticamente visíveis no bucket OSS montado. Para torná-los visíveis, copie-os para o caminho de montagem em /mnt/data. Após a cópia, os arquivos aparecerão no seu bucket OSS.

cp -r /mnt/workspace/. /mnt/data/

P: Ler dados do OSS no **DSW**

Use um SDK Python ou API para ler dados do OSS. Ler e gravar dados no OSS.

P: Carregar ou baixar uma pasta

O DSW não suporta upload ou download direto de pastas. Como solução alternativa, compacte a pasta em um único arquivo. O Terminal do DSW inclui ferramentas padrão do Linux, como tar, gzip e unzip, para compactar e extrair arquivos. O exemplo a seguir demonstra como usar o tar.

1. Execute tar --version para verificar se o tar está instalado. Se não estiver, instale-o usando os seguintes comandos.

   # Installation command for Debian-based systems (for example, Ubuntu)
   sudo apt install tar
   
   # Installation command for Red Hat-based systems (for example, CentOS or Fedora)
   sudo yum install tar

2. Compactar e extrair uma pasta.

   # Compress a folder. Replace /path/to/directory with the path to your folder.
   tar -cvf archive_name.tar /path/to/directory
   
   # Extract a folder.
   tar -xvf archive_name.tar

P: Transferir dados entre instâncias DSW

Você pode usar um dos seguintes métodos:

• Montar um dataset, OSS, NAS ou CPFS: Monte o mesmo dataset ou caminho OSS em ambas as instâncias DSW. Ambas as instâncias poderão então acessar quaisquer dados armazenados no caminho compartilhado.

• Carregar e baixar arquivos: Baixe os dados da instância DSW de origem e carregue-os na instância DSW de destino.

P: Download falha ou não responde

Esse problema geralmente é causado por congestionamento de rede ou problemas no navegador. Tente as seguintes etapas:

1. Aguarde um momento. Arquivos grandes demoram mais para responder e baixar.

2. Mude para um navegador diferente ou use o modo anônimo do seu navegador e tente novamente.

3. Se você estiver baixando arquivos grandes (mais de 200 MB) ou tiver uma conexão de rede instável, recomendamos montar o OSS para baixá-los.

P: File Transfer Station sem espaço

O File Transfer Station tem uma capacidade total de 10 GB. Para liberar espaço, acesse sua página de gerenciamento e limpe os arquivos da estação de transferência. Se a página não atualizar automaticamente, atualize seu navegador.

P: Redirecionamento para o File Transfer Station durante o upload

Este é o comportamento esperado. Para garantir estabilidade e velocidade no upload, todos os arquivos maiores que 10 MB são roteados automaticamente através do File Transfer Station. Eles são salvos na sua instância após a conclusão da transferência.

P: Carregar arquivos grandes ou datasets no DSW

O disco do sistema fornece apenas armazenamento temporário limitado. Em vez de carregar arquivos grandes diretamente, carregue dados no OSS e monte-os na sua instância DSW. Montar um dataset, OSS, NAS ou CPFS.

P: Conexão SSH do ProxyClient desconecta

Ao conectar-se a uma instância DSW via SSH, sua sessão pode desconectar após um período de inatividade. Você pode ver o seguinte erro:

Para corrigir permanentemente esse problema, recomendamos usar o método mais estável de Conexão remota: Conexão SSH direta.

P: Não é possível abrir pastas locais no VSCode

Esse problema geralmente é causado pelo cliente VSCode. Recomendamos carregar os arquivos da sua pasta local para sua instância DSW. Para instruções, consulte Carregar e baixar arquivos.

P: Falha na configuração de conexão SSH direta Failed to update private zone items: Failed to add zone

Este erro ocorre quando a resolução DNS interna está desativada. Para ativá-la, consulte Ativar resolução DNS interna.

P: Como uso bibliotecas de terceiros no **DSW**?

O DSW suporta a instalação de bibliotecas de terceiros. Gerenciar bibliotecas de terceiros.

P: Pacotes instalados com pip e meu código são perdidos após parar uma instância DSW?

Se você usar um disco em nuvem como disco do sistema, seus dados não serão perdidos. Todos os dados no disco da instância, incluindo os ambientes nos diretórios /mnt/workspace e /root, são preservados. Na próxima vez que você iniciar a instância, todos os seus ambientes e arquivos ainda estarão disponíveis. Os dados são limpos permanentemente apenas quando você exclui a instância.

P: Por que uma biblioteca de terceiros que instalei não funciona?

Se você instalar uma biblioteca de terceiros usando o comando pip mas não conseguir encontrar a biblioteca ao executar o comando import, primeiro tente reiniciar o serviço ou o Kernel. Se o erro persistir, verifique qual ambiente você está usando. Por padrão, o DSW instala bibliotecas de terceiros no ambiente Python 3. Para instalar uma biblioteca em um ambiente diferente, você deve primeiro mudar para esse ambiente. O exemplo a seguir mostra como fazer isso.

Install in the Python 2 environment.
source activate python2
pip install --user xxx
Install in the TensorFlow 2.0 environment.
source activate tf2
pip install --user xxx

Substitua xxx pelo nome da biblioteca de terceiros que deseja instalar.

P: Como corrigir falhas no pip install no DSW devido a erros de dependência ou versão?

Esse problema geralmente é causado por um ambiente incompatível. Para solucionar, siga estas etapas em ordem:

1. Solução recomendada: Alterar a imagem. Pare a instância atual, crie uma nova instância DSW e selecione uma imagem oficial diferente. Por exemplo, se a imagem PyTorch 2.1 não funcionar, tente a imagem PyTorch 2.3. Você também pode tentar uma imagem da série modelscope, que geralmente oferece melhor compatibilidade.

2. Instalar uma versão específica. Verifique a documentação oficial da biblioteca para encontrar uma versão que suporte seu ambiente DSW atual, incluindo as versões do Python e CUDA. Em seguida, execute pip install package_name==x.y.z.

3. Alterar a fonte de download. Tente usar um espelho diferente, como o espelho da Universidade Tsinghua: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple <yourLibraryName>.

P: Por que uma biblioteca instalada no Terminal não é encontrada em um Jupyter Notebook?

Esse problema pode ocorrer se o Terminal e o Jupyter Notebook usarem ambientes Python diferentes. Execute o comando which python para verificar qual ambiente Python está ativo. Alternativamente, instale a biblioteca necessária diretamente no Notebook, por exemplo:

P: A versão do driver CUDA está muito baixa. Devo atualizar o driver NVIDIA no DSW?

Não atualize a versão do driver. Instâncias DSW possuem drivers e CUDA pré-instalados e bloqueados. Você não pode modificá-los manualmente — fazer isso pode danificar irreparavelmente a instância. Em vez disso, pare a instância atual, crie uma nova e selecione uma imagem oficial com uma versão CUDA mais recente.

Por exemplo, a imagem oficial modelscope:1.9.4-pytorch2.0.1tensorflow2.13.0-gpu-py38-cu118-ubuntu20.04 tem cu118 em seu nome, o que indica a versão CUDA 11.8.

P: Posso usar Docker no DSW para implantar meu aplicativo?

Para usar Docker com recursos Lingjun, envie um ticket para ser adicionado à lista de permissões. Instâncias DSW que não usam recursos Lingjun atualmente não suportam a execução do Docker dentro do contêiner da instância.

P: Como posso extrair arquivos se o comando unzip ou 7z estiver ausente?

Use o comando apt-get para instalar as ferramentas.

• Para instalar o unzip: no Terminal, execute apt-get update && apt-get install -y unzip. Em seguida, use unzip your_file.zip.

• Para instalar o p7zip (para arquivos 7z): no Terminal, execute apt-get update && apt-get install -y p7zip-full. Em seguida, use 7z x your_file.7z.

P: Por que a instalação de uma biblioteca de terceiros trava ou atinge timeout?

Se a instalação de uma biblioteca de terceiros travar, atingir timeout ou for extremamente lenta, isso geralmente é um problema de rede. Siga estas etapas para solucionar o problema:

Etapa 1: Verificar a conectividade de rede

No Terminal, execute o comando ping www.aliyun.com para testar se a instância consegue acessar a internet. Se a rede estiver inacessível, prossiga para a Etapa 2.

Etapa 2: Verificar a configuração do gateway

Na página de configuração da instância, verifique o tipo do Internet Access Gateway:

• Public Gateway: Por padrão, o DSW usa um Public Gateway para acessar a internet. Você pode confirmar o tipo de gateway na página de configuração da instância DSW. O Public Gateway tem largura de banda limitada, o que pode ser insuficiente para baixar arquivos grandes. Nesse caso, mude para um Dedicated Gateway.

• Dedicated Gateway: Fornece velocidades de rede mais altas. Você deve criar um Internet NAT Gateway, associar um EIP e configurar uma entrada SNAT na VPC. Caso contrário, não será possível acessar a internet. Melhorar a velocidade de acesso à rede pública através de um gateway dedicado.

Etapa 3: Alterar a fonte de download do pip

O DSW usa uma fonte de espelho da Alibaba Cloud por padrão, mas problemas podem ocorrer durante horários de pico ou devido a flutuações de rede. Recomendamos mudar para uma fonte de espelho diferente na China:

# Use the Tsinghua University mirror (recommended)
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple --trusted-host pypi.tuna.tsinghua.edu.cn <yourLibraryName>

# Use the USTC mirror
pip install -i https://pypi.mirrors.ustc.edu.cn/simple --trusted-host pypi.mirrors.ustc.edu.cn <yourLibraryName>

# Use the Douban mirror
pip install -i https://pypi.doubanio.com/simple --trusted-host pypi.doubanio.com <yourLibraryName>

Para alterar permanentemente a fonte padrão do pip, consulte Visualizar ou alterar a fonte do pip.

Etapa 4: Usar instalação offline

Se a rede estiver inacessível ou muito instável, você pode realizar uma instalação offline:

1. No seu computador local (com boa conectividade de rede), baixe o arquivo de biblioteca .whl:

   # Run on your local computer
   pip download <yourLibraryName> -d ./packages

2. Carregue o arquivo .whl baixado na sua instância DSW. Para instruções, consulte Carregar e baixar arquivos.

3. No DSW, realize a instalação offline:

   pip install /path/to/your-package.whl

P: Como obtenho permissões de root no WebIDE do DSW?

A maioria das imagens oficiais do DSW executa como root por padrão. Se o prompt de comando mostrar root@..., você já tem permissões de root. Você pode ignorar com segurança o aviso "not recommended to run as root" durante a instalação do pip. Se sua imagem não usar root, mude para uma imagem que suporte acesso root.

P: Como inicio o X server no DSW?

O DSW não suporta a inicialização do X server.

Implantação de modelos

Execução da instância