O DSW (Data Science Workshop) é uma IDE de desenvolvimento de IA baseada em nuvem que oferece suporte aos ambientes Notebook, VS Code e Terminal. O DSW fornece imagens integradas para os principais frameworks de IA, como PyTorch e TensorFlow, além de suportar recursos de computação heterogênea e a montagem de conjuntos de dados do OSS, NAS e CPFS.
Visão geral do produto
As figuras a seguir mostram o ambiente de desenvolvimento do DSW:
New version
Legacy version
Vantagens do produto
Flexibilidade e facilidade de uso: Integra diversos ambientes de desenvolvimento com imagens pré-configuradas para frameworks open source, como PyTorch e TensorFlow. Oferece suporte a recursos de computação heterogêneos: grupos de recursos públicos, recursos dedicados (computação de uso geral) e recursos de computação inteligente Lingjun.
Desenvolvimento de IA de ponta a ponta: O PAI-DLC gerencia o treinamento distribuído, enquanto o PAI-EAS cuida da disponibilização de modelos, cobrindo todo o fluxo de trabalho de IA, desde o processamento de dados até a implantação do modelo.
Gerenciamento granular: Inclui controles de ciclo de vida, como desligamento programado e por inatividade, para reduzir custos. Os workspaces permitem alocar e recuperar recursos de forma centralizada.
Tutoriais práticos: A Notebook Gallery oferece tutoriais e projetos de exemplo que abrangem ajuste fino de LLM e casos de uso de AIGC. Execute-os para começar ou utilize-os como base para seus próprios projetos.
Recursos principais
Crie e gerencie
Crie uma instância do DSW: Selecione o tipo de recurso da instância, monte conjuntos de dados e especifique imagens personalizadas ao criar uma instância do DSW.
Acesse e gerencie instâncias do DSW: Utilize os recursos do DSW no console e pare, libere ou modifique a configuração das instâncias.
Função RAM da instância: Anexe uma função RAM a uma instância para acessar outros recursos da nuvem usando credenciais temporárias do STS, sem precisar configurar pares de AccessKey de longa duração. Isso reduz o risco de vazamento de credenciais.
Ambiente de desenvolvimento de modelos
Gerencie bibliotecas de terceiros: Gerencie e instale bibliotecas Python de terceiros ou pacotes de software.
Visualize treinamento com TensorBoard: Use o plug-in TensorBoard para visualizar métricas e informações durante o treinamento do modelo.
Implantar um modelo como serviço online: Quando o modelo estiver pronto, use o PAI-EAS para implantá-lo como um serviço online com dimensionamento automático, controle de versão e monitoramento de recursos.
Gerenciamento de subcontêineres (DockerBoard)、Usar docker no DSW: Crie e gerencie contêineres secundários dentro de uma instância do DSW.
Acesso e montagem de dados
Montar um conjunto de dados, OSS, NAS ou CPFS: Expanda o armazenamento da instância, armazene dados persistentemente e leia arquivos montando conjuntos de dados ou caminhos do OSS, NAS ou CPFS.
Ler e gravar dados no OSS: Leia e grave arquivos de dados do OSS usando APIs ou SDKs dentro de uma instância do DSW.
Upload e baixe arquivos: Transfira dados e modelos entre sua máquina local e a instância.
Configuração de rede
Conexão remota: Conexão SSH direta: Conecte-se a uma instância do DSW via SSH para ter uma experiência de desenvolvimento local utilizando o poder de computação do DSW.
Melhorar o acesso à internet com um gateway privado: Crie um gateway NAT e vincule um endereço IP elástico (EIP) à VPC da instância para aumentar as velocidades de upload e download.
Acessar serviços em uma instância pela rede pública: Acesse serviços em execução dentro da instância a partir de uma VPC ou da Internet. Esse recurso é útil para testar e validar modelos.
Acessar modelos e imagens de contêiner no exterior: Configure o Global Accelerator (GA) para o DSW a fim de acelerar o pull de imagens de contêiner de registros internacionais (como docker.io) ou o download de modelos de plataformas como Hugging Face.
Faturamento
Instâncias de computação
As instâncias do DSW podem usar grupos de recursos públicos ou recursos dedicados (computação de uso geral ou recursos de computação inteligente Lingjun). Cada opção possui um método de faturamento diferente.
|
Tipo de instância |
Método de faturamento |
Item faturável |
Regra de faturamento |
Parar faturamento |
|
Recursos públicos |
Pagamento conforme o uso |
Tempo de atividade da instância do DSW (duração durante a qual a instância utiliza recursos públicos). |
O faturamento baseia-se no tempo de atividade da instância do DSW. Importante
Observações sobre faturamento: As instâncias do DSW são faturadas por minuto, e as faturas são geradas hourly. Devido à agregação e processamento de dados, as faturas podem atrasar de 2 a 3 horas. A fatura final prevalece. |
Pare ou exclua a instância do DSW. Importante
Pare a instância manualmente ou configure um desligamento programado. Para mais informações, consulte Gerencie instâncias do DSW. |
|
Recursos dedicados (computação de uso geral ou recursos de computação inteligente Lingjun) |
Assinatura |
Número de nós e duração da assinatura para as especificações do nó. |
Os recursos dedicados são pré-pagos. O faturamento baseia-se no número de nós e na duração da assinatura para as especificações de nó selecionadas. Para mais informações, consulte Faturamento de recursos de computação de IA. |
Cancele a assinatura dos recursos. |
Disco do sistema
|
Método de faturamento |
Item faturável |
Regra de faturamento |
Parar faturamento |
|
Pagamento conforme o uso |
Capacidade do disco do sistema e duração de uso. |
Uma cota gratuita está incluída com base no tipo e nas especificações da instância. É possível expandir o disco; a capacidade expandida é faturada por capacidade e duração de uso. |
Exclua a instância do DSW. |
Para mais detalhes sobre faturamento, consulte Faturamento do Data Science Workshop (DSW). Para detalhes da fatura, consulte Visualize detalhes de faturamento do PAI.
Início rápido
Se você está começando agora no DSW, inicie pelo Início rápido: Modelagem interativa com o DSW, que apresenta o reconhecimento de dígitos manuscritos MNIST para ajudar você a dar os primeiros passos.
Obter ajuda
Se você encontrar problemas como falhas na inicialização ou desligamento de instâncias, dúvidas sobre faturamento, expiração de testes gratuitos, falhas de conexão SSH, lentidão no download ou acesso público ao DSW, consulte o FAQ do DSW.