DataWorks:Ambiente de desenvolvimento pessoal

Recursos

O Data Studio permite criar instâncias de ambiente de desenvolvimento pessoal no nível da conta com conectividade de rede ao armazenamento NAS e a repositórios git. Clone códigos, desenvolva e depure códigos Python e Notebook online e confirme seu código em um workspace de projeto para agendamento.

Uma instância de ambiente de desenvolvimento pessoal:

• Oferece suporte aos ecossistemas SQL, AI Notebook e Python. Permite executar instruções SQL, scripts Python e comandos shell localmente, desenvolver tarefas para Desenvolvimento de Notebook e depurar seu código.

• Permite instalar extensões para desenvolver tarefas correspondentes, como Tarefas do DataWorks Agent baseadas em clientes de terceiros.

• Inclui integração com git para gerenciamento de código, facilitando operações de clone, push e organização do código.

• É compatível com OSS e NAS para simplificar o gerenciamento e o acesso a dados.

• Suporta imagens personalizadas do DataWorks, possibilitando a execução de diversas tarefas de desenvolvimento com base nas imagens criadas por você.

Com esses recursos, o Data Studio oferece um ambiente de desenvolvimento flexível que simplifica o processamento de dados, a análise e o treinamento de modelos.

Faturamento

Ao criar uma instância de ambiente de desenvolvimento pessoal, especifique um grupo de recursos e a quantidade de CUs. A cobrança refere-se às CUs consumidas pelo grupo de recursos com base no tempo de execução da instância. Para mais informações, consulte Faturamento de grupo de recursos serverless.

• Enquanto uma instância de ambiente de desenvolvimento pessoal estiver no estado Running, as taxas de computação são cobradas conforme o método de faturamento do grupo de recursos. Se a instância utilizar um grupo de recursos de pagamento conforme o uso, as taxas serão calculadas com base em resource quota × instance runtime. Caso utilize um grupo de recursos por assinatura, ela consumirá a cota disponível desse grupo.

• Se a instância de ambiente de desenvolvimento pessoal não estiver em uso, pare a instância imediatamente na página de gerenciamento de instâncias.

Notas de uso

• Limites de workspace: Este recurso está disponível apenas em workspaces onde a opção Use Data Studio (New Version) está ativada.

• Limites de grupo de recursos: Apenas grupos de recursos serverless são suportados.

• Limites de quantidade: Cada membro pode criar até 10 instâncias de ambiente de desenvolvimento pessoal em um workspace.

• Limites de armazenamento: Cada instância de ambiente de desenvolvimento pessoal oferece 30 GiB gratuitos de disco em nuvem (armazenamento interno da instância). Esse armazenamento é recuperado 15 dias após a parada da instância. Salve seus arquivos de código pessoais oportunamente.

• Controle de acesso: O Data Studio gerencia as permissões das instâncias de ambiente de desenvolvimento pessoal com base na identidade (administrador do tenant, administrador do workspace ou proprietário da instância).

  • Administrador do tenant ou administrador do workspace

    • Podem visualizar e gerenciar todas as instâncias de ambiente de desenvolvimento pessoal no workspace atual .

    • Podem apenas usar instâncias de ambiente de desenvolvimento pessoal de sua própria titularidade.

  • Proprietário da instância

    • Pode apenas visualizar, usar e gerenciar instâncias de ambiente de desenvolvimento pessoal de sua própria titularidade .

      As operações de gerenciamento incluem Change Configuration , Stop , Start , Delete , Create Image , Scheduled Shutdown e View Automatic Shutdown Policy .

• Controles de segurança: Administradores do tenant ou administradores de segurança do tenant podem usar o recurso de controle de ambiente de desenvolvimento pessoal no Security Center para configurar políticas de controle para ambientes de desenvolvimento pessoal. As seguintes operações podem ser restritas:

  • Download de arquivo: Os administradores podem definir se permitem downloads de arquivos de diretórios montados nas instâncias de ambiente de desenvolvimento pessoal. Quando desativado, o botão de download fica esmaecido.

  • Instalação de extensão: Os administradores podem definir se permitem a instalação de extensões. Quando desativado, o botão de instalação fica esmaecido.

  • Uso do terminal: Os administradores podem definir se permitem o uso do terminal. Quando desativado, o botão do terminal fica esmaecido.

Criar uma instância de ambiente de desenvolvimento pessoal

1. Acesse a página Workspaces no console do DataWorks. Na barra de navegação superior, selecione a região desejada. Localize o workspace desejado e escolha Shortcuts > Data Studio na coluna Actions.

2. Clique em Personal development environment na parte superior e selecione uma instância existente ou crie uma nova conforme necessário.

   Parâmetro		Descrição
   Instance Name		Nome da instância de ambiente de desenvolvimento pessoal. Defina um nome personalizado.
   Instance Owner		Por padrão, o usuário atual que cria o workspace é definido como proprietário da instância .
   Resource Details	Resource Group	Selecione o grupo de recursos serverless para a instância de ambiente de desenvolvimento pessoal.
   	Resource Type	Configure os tipos de recursos CPU e GPU.
   	Resource Quota	Selecione a especificação de recursos para a instância de ambiente de desenvolvimento pessoal. A cota de recursos da especificação selecionada não deve exceder as Maximum CUs configuradas para o ambiente de desenvolvimento pessoal no grupo de recursos. Caso contrário, a especificação não poderá ser adicionada. Para ajustar a cota, entre em contato com o administrador para modificá-la na seção de gerenciamento de cotas, na página de detalhes do grupo de recursos. Após selecionar uma especificação, as seguintes informações são exibidas: Specification Name, CPU, Memory, Bandwidth e Resource Quota (quantidade de CUs deduzidas do grupo de recursos para a especificação selecionada). Em comparação com instâncias do tipo CPU, as instâncias do tipo GPU também exibem GPU Specification e GPU Memory. Aloque as Maximum CUs ou Minimum CUs disponíveis para a instância atual de ambiente de desenvolvimento pessoal na seção de gerenciamento de cotas do grupo de recursos serverless. Importante Preste atenção às informações de Resource Quota aqui. Quando uma instância de ambiente de desenvolvimento pessoal está em execução, se utilizar um grupo de recursos de pagamento conforme o uso, as taxas de computação serão calculadas com base em resource quota × instance runtime. Se utilizar um grupo de recursos por assinatura, ela consumirá a cota disponível desse grupo.
   Image		Selecione uma imagem fornecida pelo sistema ou uma imagem personalizada conforme necessário. Imagens internas do sistema: Para mais informações, consulte Imagens internas do sistema. Imagens personalizadas: Além das imagens fornecidas pelo sistema, selecione uma imagem personalizada criada por você. Imagens personalizadas permitem pré-instalar pacotes de terceiros específicos para atender aos seus requisitos de desenvolvimento. Para obter informações sobre como criar uma imagem personalizada, consulte Criar uma imagem do DataWorks a partir de um ambiente de desenvolvimento pessoal.
   Storage Settings	System Disk	Cada instância de ambiente de desenvolvimento pessoal oferece 30 GiB gratuitos de disco em nuvem (armazenamento interno da instância). Esse armazenamento é recuperado 15 dias após a parada da instância. Salve seus arquivos de código pessoais oportunamente. O caminho padrão do armazenamento interno de uma instância de ambiente de desenvolvimento pessoal é /mnt/workspace.
   	Datasets	Se precisar ler ou gravar em armazenamento OSS ou NAS em um ambiente de desenvolvimento pessoal, adicione datasets ao ambiente. Datasets: Selecione na lista suspensa um dataset do tipo de armazenamento de arquivos (OSS ou NAS) criado no workspace atual. Observe o seguinte: Ao selecionar um dataset do tipo NAS, se a VPC do grupo de recursos atual do DataWorks não estiver conectada ao ponto de montagem do NAS, ajuste a rede da VPC para garantir a conectividade. Nota A rede estará conectada quando a VPC associada ao grupo de recursos do DataWorks for a mesma VPC associada ao ponto de montagem do NAS. Mount Path: O caminho de montagem padrão baseia-se na configuração do dataset. Modifique-o manualmente para o nó atual. Advanced Settings: Ao ler datasets OSS ou NAS para desenvolvimento de nós, configure diferentes configurações avançadas para ajustar o método de leitura e o protocolo de montagem do dataset. Read Only: Quando o modo somente leitura está ativado, as tarefas executadas no ambiente de desenvolvimento pessoal podem apenas ler dados, sem permissão para gravar no OSS ou NAS. Importante Observações sobre exclusão de arquivos no armazenamento de instâncias de ambiente de desenvolvimento pessoal: Arquivos excluídos do espaço NAS montado em uma instância de ambiente de desenvolvimento pessoal (localizado por padrão em /mnt/data) não são movidos para a lixeira no Data Studio. Se o recurso de lixeira estiver ativado no console do NAS, os arquivos excluídos serão movidos para a lixeira do sistema de arquivos. Arquivos excluídos do espaço OSS montado em uma instância de ambiente de desenvolvimento pessoal (localizado por padrão em /mnt/data) não são movidos para a lixeira no Data Studio. Recupere dados ativando o recurso de versionamento. Arquivos excluídos do armazenamento interno de uma instância de ambiente de desenvolvimento pessoal (localizado por padrão em /mnt/workspace) não são movidos para a lixeira no Data Studio.
   Network Settings	VPC	Acessar recursos da VPC (como RDS): Configure a Proprietary Network correspondente aqui. Acessar recursos da Internet: Deixe este campo vazio. O ambiente de desenvolvimento suporta acesso à Internet por padrão. Acessar recursos da VPC e da Internet: Após configurar uma Proprietary Network aqui, configure também um Internet NAT Gateway para que a VPC acesse a Internet. Nota Para acessar endereços protegidos por controle de acesso baseado em lista de permissões, associe também uma Proprietary Network com capacidade de acesso à Internet.
   	Security Group	Selecione um grupo de segurança existente para associar.
   	vSwitch	Opcional. Se você não especificar um vSwitch, o sistema selecionará um aleatoriamente da VPC escolhida.
   Access Configuration	Enable SSH	Após ativar o ssh, use-o para conectar-se diretamente ao ambiente de desenvolvimento pessoal através da VPC selecionada. Se utilizar uma imagem personalizada, certifique-se de que o sshd esteja instalado na imagem. Importante Para usar ssh, instale o ssh Server no ambiente de desenvolvimento pessoal. Para mais informações, consulte Instalar e configurar o ssh Server.
   	SSH Public Key	Chave pública gerada localmente. Para mais informações, consulte Gerar um par de chaves ssh.
   	SSH Access Method	Log on from VPC: Este método de acesso é suportado por padrão. Acesse o ambiente de desenvolvimento pessoal a partir de outros terminais dentro da VPC, como instâncias ECS. Log on from Internet: Selecione esta opção para habilitar o acesso à Internet. Configure também um NAT Gateway e um EIP.
   	VPC Access Domain	Um nome de domínio autoritativo interno (Private Zone) é criado automaticamente para você. Utilize esse nome de domínio dentro da VPC para acessar o service ssh ou outros services personalizados da instância atual, evitando a necessidade de rastrear mudanças nos endereços IP da instância. Note que o nome de domínio autoritativo interno gera taxas.
   	NAT Gateway	Este parâmetro é obrigatório se você precisar de acesso à Internet. Selecione um Internet NAT Gateway criado para a VPC atual.
   	EIP	Este parâmetro é obrigatório se você precisar de acesso à Internet. Selecione um EIP criado para o NAT gateway atual.
   Advanced Information	Instance RAM Role	Uma função ram de instância permite associar uma função a uma instância de ambiente de desenvolvimento pessoal. Dentro da instância, acesse outros services da Alibaba Cloud usando credenciais temporárias STS, que são atualizadas periodicamente. Isso garante a segurança do seu AccessKey e permite controle de acesso refinado via ram. Por padrão, a Dataworks Default Role é selecionada. Para mais informações sobre funções, consulte Configurar uma função ram de instância para um ambiente de desenvolvimento pessoal.

Gerenciar instâncias de ambiente de desenvolvimento pessoal

Parar uma instância de ambiente de desenvolvimento pessoal

Importante

• Enquanto uma instância de ambiente de desenvolvimento pessoal estiver no estado Running, as taxas de computação são cobradas conforme o método de faturamento do grupo de recursos. Se a instância utilizar um grupo de recursos de pagamento conforme o uso, as taxas serão calculadas com base em resource quota × instance runtime. Caso utilize um grupo de recursos por assinatura, ela consumirá a cota disponível desse grupo.

• Se a instância de ambiente de desenvolvimento pessoal não estiver em uso, pare-a imediatamente na página de gerenciamento de instâncias.

Existem as seguintes formas de parar uma instância de ambiente de desenvolvimento pessoal:

1. Configurar uma política de desligamento automático no nível do workspace

O proprietário da conta Alibaba Cloud ou o administrador do workspace pode acessar a Administração para configurar uma política de desligamento automático para todas as instâncias de ambiente de desenvolvimento pessoal no workspace. Instâncias em execução que atendem aos critérios da política são desligadas automaticamente.

1. Faça login no console do DataWorks. Na região alvo, clique em More > Management Center no painel de navegação à esquerda. Selecione um workspace na lista suspensa e clique em Go to Management Center.

2. Na página Workspace Settings > General Configurations, localize a seção Personal Development Environment Instances e configure a Automatic Shutdown Policy conforme necessário.

   Descrições dos parâmetros:

   • Idle Duration é um parâmetro obrigatório e é medido em horas.

   • Configure pelo menos um dos parâmetros: GPU Utilization ou CPU Utilization.

   Nota

   • A política de desligamento definida aqui aplica-se a todas as instâncias de ambiente de desenvolvimento pessoal em execução no workspace atual e entra em vigor imediatamente após ser salva.

   • Se você modificar a configuração de desligamento automático de uma instância de ambiente de desenvolvimento pessoal, a duração de ociosidade da instância será recalculada.

2. Configurar um desligamento agendado

1. No console do Data Studio, clique em Personal development environment na parte superior e selecione Management Environment.

2. Na lista Personal Development Environment Instances, localize a instância que deseja parar automaticamente e clique em > Scheduled Shutdown na coluna Operation. Configure o Automatic Shutdown Time e clique em OK.

3. Parar manualmente uma instância

1. No console do Data Studio, clique em Personal development environment na parte superior e selecione Management Environment.

2. Na lista Personal Development Environment Instances, localize a instância que deseja parar e clique em Stop na coluna Operation.

Excluir uma instância de ambiente de desenvolvimento pessoal

Para liberar uma instância de ambiente de desenvolvimento pessoal, localize-a na lista de instâncias e clique em Delete na coluna Operation. Na caixa de diálogo exibida, confirme a exclusão.

Visualizar a utilização de recursos de uma instância de ambiente de desenvolvimento pessoal

Passe o mouse sobre as informações de utilização de recursos ao lado do nome da instância de ambiente de desenvolvimento pessoal para visualizar métricas detalhadas.

Usar datasets em um ambiente de desenvolvimento pessoal

Ambientes de desenvolvimento pessoal suportam datasets, permitindo leitura ou gravação em armazenamento OSS ou NAS durante a execução de nós. Para mais informações, consulte Usar datasets em um ambiente de desenvolvimento pessoal.

Referências

• Crie uma imagem personalizada a partir de uma instância de ambiente de desenvolvimento pessoal e utilize-a durante o desenvolvimento de outros nós. Para mais informações sobre como criar e usar imagens a partir de uma instância de ambiente de desenvolvimento pessoal, consulte Criar e usar imagens personalizadas.

• Para obter instruções sobre como conectar um ambiente de desenvolvimento pessoal a um repositório git para clonar, enviar e gerenciar código, consulte Conectar a um repositório git.

FAQ

P: A instância falha ao iniciar com o erro cu is not enough as max.

R: O grupo de recursos limita as CUs máximas para ambientes de desenvolvimento pessoal. Acesse a página de detalhes do grupo de recursos e ajuste a cota na seção de gerenciamento de cotas.

P: Qual é a relação entre um ambiente de desenvolvimento pessoal e os ambientes de desenvolvimento e produção em um workspace de modo padrão?

R: Um ambiente de desenvolvimento pessoal e os ambientes de desenvolvimento e produção em um workspace de modo padrão têm propósitos diferentes. O ambiente de desenvolvimento pessoal é uma instância baseada em cloud, no nível da conta, destinada à codificação, depuração e testes. Já os ambientes de desenvolvimento e produção são usados para agendar e executar workflows. Após escrever e depurar o código em um ambiente de desenvolvimento pessoal, envie-o para o workspace do projeto através do processo de implantação para configurar agendamentos no ambiente de desenvolvimento e implantar no ambiente de produção para execução.

P: Como implanto um workflow de um ambiente de desenvolvimento pessoal para o ambiente de desenvolvimento para agendamento?

R: Após concluir o desenvolvimento e a depuração do código no ambiente de desenvolvimento pessoal, envie o código para o workspace do projeto. Em seguida, acesse a página de desenvolvimento de dados no Data Studio, abra o nó de workflow correspondente no ambiente de desenvolvimento, configure o agendamento e as dependências, e implante o workflow no ambiente de produção.

P: A lista suspensa na parte superior do ambiente de desenvolvimento pessoal está vazia e não consigo alternar para o ambiente de desenvolvimento ou produção.

R: A lista suspensa na parte superior do ambiente de desenvolvimento pessoal serve para selecionar e gerenciar instâncias de ambiente de desenvolvimento pessoal, não para alternar entre os ambientes de desenvolvimento ou produção. Se a lista suspensa estiver vazia, isso geralmente ocorre por um dos seguintes motivos:

• O workspace atual não está associado a um grupo de recursos serverless, ou nenhuma cota de CU foi alocada para ambientes de desenvolvimento pessoal no grupo de recursos.

• O usuário atual não criou nenhuma instância de ambiente de desenvolvimento pessoal. Clique na lista suspensa para criar uma instância.

• O workspace não tem o Data Studio ativado. Ambientes de desenvolvimento pessoal estão disponíveis apenas no Data Studio.